LCZero

[Maratka]

Цитата: Сообщение от sovaz1997

Средний nps по всем матчам

Вполне себе компетентный ответ чуть выше, но думаю Вы и сами представляете, что если в evaluate.cpp добавляешь новую эвристику, то движок будет умнее, но медленнее, ибо по сути это линейное однопоточное выполнение всей этой простыни сверху до низу.

[Maratka]

Цитата: Сообщение от alchemist888

Вообще зачем мерить скорость SFdev версий, если есть нормальный эталонный Stockfish 8

А еще за эталон можно взять SF5, и откалибровать по нему.

[alchemist888]

Цитата: Сообщение от Maratka

А еще за эталон можно взять SF5, и откалибровать по нему.

По SF5 нельзя, DeepMind организовывали матч с SF8

[Maratka]

А причем тут DeepMind?

[alchemist888]

Цитата: Сообщение от Maratka

А причем тут DeepMind?

При том, что от туда пошла формула соотношения скоростей 1:875

[Maratka]

Хотя... в принципе то правильная. Как по мне: мы берем железо, где обеспечивается равенство движков, после чего... проблемы разработчиков, как усиливать их движок. Т.е подбираем железо так, чтобы LZ с первой "боевой" сетью 11248 был равен SF8. Желательно на партиях без книги, с начальной позиции :D

Ибо иначе смысл в калибровке?

[Maratka]

Цитата: Сообщение от alchemist888

При том, что от туда пошла формула соотношения скоростей 1:875

Вам уже разработчик LZ русским языком написал: это дурь.

[alchemist888]

Цитата: Сообщение от Maratka

Вам уже разработчик LZ русским языком написал: это дурь.

Между словом "дурь" и "неточно" огромная разница. Crem же не предложил лучший способ, верно? И критика идеи: калибровать железо по фиксированному значению соотношения скоростей была именно в плане дальнейшего прогресса движков, а не в том, что соотношения неверны на данный момент. Тут с ним невозможно не согласиться.
И здесь эталонные скорости определенных версий Стокфиша и LCZero на мой взгляд наилучшее решение.
Хотя, может Вы предложите лучший способ сравнения движков?

[Vizvezdenec]

Оборудование для соревнований нужно калибровать по цене в пересчёте на новейшее железо, а не по всякой чуши от дипмайнда, где специализированное железо сражалось против общедоступного.
Или Вы предлагаете стокфишу навесить 1 гигабайт хэша, потому что дипмайндовцы это сделали?

[Maratka]

Цитата: Сообщение от Vizvezdenec

Оборудование для соревнований нужно калибровать по цене в пересчёте на новейшее железо, а не по всякой чуши от дипмайнда, где специализированное железо сражалось против общедоступного.

Тоже правильно, и тоже не без недостатков. Например, TCEC'овский сервер явно не быстрее 32-ядерного Ryzen TR, который можно купить на сдачу от того сервера, когда он был молодым, свежим, и дорогим. С другой стороны, он обеспечивает ~80% производительности от сервера 3C, который вполне себе актуален на сегодня, т.е. не сказать, что прямо вот безнадежно устарел (другое дело, что для этого нужно HT включить, но на стоимость железа оно никак не влияет). Т.е. получается, что мы вправе дать LZ и 2, и 4 видеоплаты, в зависимости от методике подбора "соверменного" железа. А через полгода будет и вовсе 64-ядерный Ryzen TR, с производительностью выше чем у текущего топа и вовсе более чем вдвое более, т.е. тогда и сервер 3C обесценится в разы.

_____
Все же считаю, что проще всего запускать все на топе, помещающемся в одном корпусе, насколько это вписывается по финансам. Для SF это 384 ядра/768 потоков, для LZ - это где-то 6-7 видеоплат.

[alchemist888]

Цитата: Сообщение от Vizvezdenec

Оборудование для соревнований нужно калибровать по цене в пересчёте на новейшее железо, а не по всякой чуши от дипмайнда, где специализированное железо сражалось против общедоступного.
Или Вы предлагаете стокфишу навесить 1 гигабайт хэша, потому что дипмайндовцы это сделали?

Они же с хэшем потом исправили свою ошибку, верно?
Насчет калибровки по новейшему железу я согласен, но только, если это новое железо дает нечто большее, чем увеличение скорости работы движка на один поток.
Если мы забудем про HT, есть ли принципиальная разница для Стокфиша между каким-нибудь Core i5 из какого-нибудь 2011 года, и современным Core i9 если не брать во внимание различие в скоростях?

[sovaz1997]

Цитата: Сообщение от alchemist888

Они же с хэшем потом исправили свою ошибку, верно?
Насчет калибровки по новейшему железу я согласен, но только, если это новое железо дает нечто большее, чем увеличение скорости работы движка на один поток.
Если мы забудем про HT, есть ли принципиальная разница для Стокфиша между каким-нибудь Core i5 из какого-нибудь 2011 года, и современным Core i9 если не брать во внимание различие в скоростях?

Как по мне, не то что бы между Stockfish, между процессорами толком разницы нет, в плане архитектуры)
А если сравнивать производительность, объем памяти, то вообще забавно сравнивать будет период с 2000 по 2010 и с 2010 по 2020. Я имею ввиду скорость развития, которая резко замедлилась сейчас. Думаю, скорость развития замедлилась в том числе из-за сложной архитектуры x86. Наверняка можно лучше сделать, вот только стоить это будет нереально много (пере-изобрести процессор, по сути) и поддержки не будет никакой поначалу.

[Vizvezdenec]

Ну тут вопрос дискусионный, по крайней мере уж купить что-то за 1000 долларов сейчас и тогда - по производительности будет очень большая разница.
Но я не железячник.

[alchemist888]

Цитата: Сообщение от Vizvezdenec

Оборудование для соревнований нужно калибровать по цене в пересчёте на новейшее железо, а не по всякой чуши от дипмайнда, где специализированное железо сражалось против общедоступного.

Там была сеть той же размерности, как и у LCZero T30, и если DeepMind ничего не мутил с выводом nps, то по сути не имеет значения на каком оборудовании работал движок. Хотя мы этого знать не можем. Те числа выступают больше, как ориентир.

Цитата: Сообщение от Maratka

Все же считаю, что проще всего запускать все на топе, помещающемся в одном корпусе, насколько это вписывается по финансам. Для SF это 384 ядра/768 потоков, для LZ - это где-то 6-7 видеоплат.

Предложение хорошее, да вот только где Вы найдете хоть одного тестера кто такое запустит и наберет хорошую выборку для достоверного результата? Тем более, что LCZero все еще не может полноценно использовать более чем 2-e видеоплаты.
Плюс есть решения, где можно скомбинировать более чем 8 видеоплат на одной материнской плате. Я уже молчу про кластеры, которые иной раз будут дешевле обходиться, чем топовые сборки в одном блоке.

[Омегазеро]

Цитата: Сообщение от alchemist888

Согласен, это очень хорошие критерии для сравнения движков. Но здесь слишком много условий, соблюсти которые крайне тяжело. Причем на разных конфигурациях соотношения сил между Стокфишом и LCZero будет меняться.

Нет, тут все легко

Есть брать класс low-end, получается только две конфигурации

Если считать по схеме "процессор против видеокарты", то
GeForce GTX 1650 StormX против Intel Core i5-9400F

Если считать по схеме "системный блок против системного блока", то
GeForce GTX 1650 StormX + процессор AMD Athlon 220GE против i3-9350kf + видеокарта SAPPHIRE AMD Radeon HD 5450

В обоих случаях получается примерно одинаковое соотношение скоростей
Дело в том, что четырехядерник i3-9350kf имеет частоту 4000 и энергопотребление 95 Ватт. Скорость Стокфиша на нем почти такая же, как на шестиядернике i5-9400F с частотой 2900

[Maratka]

Цитата: Сообщение от alchemist888

Предложение хорошее, да вот только где Вы найдете хоть одного тестера кто такое запустит и наберет хорошую выборку для достоверного результата? Тем более, что LCZero все еще не может полноценно использовать более чем 2-e видеоплаты.

Потому и пишу: "насколько это вписывается по финансам"
Масштабируем вниз в 4 раза, и получаем 90 ядер (180 потоков) для SF и 2 видеоплаты для LZ. Да, прямо сейчас оно будут несколько под SF заточено, но через полгода-год nVidia выкатит свое 7-нм поколение, где две платы уделают современные четыре, и все станет на свои места.

Цитата: Сообщение от alchemist888

Плюс есть решения, где можно скомбинировать более чем 8 видеоплат на одной материнской плате. Я уже молчу про кластеры, которые иной раз будут дешевле обходиться, чем топовые сборки в одном блоке.

Никаких проблем! Если это впихивается в один сервернный корпус (пусть и "толстый" 4U), через райзеры, или еще как (параллельно основной плате например) - пусть ставят!

[Maratka]

Цитата: Сообщение от Омегазеро

Дело в том, что четырехядерник i3-9350kf имеет частоту 4000 и энергопотребление 95 Ватт. Скорость Стокфиша на нем почти такая же, как на шестиядернике i5-9400F с частотой 2900

Ну где же она такая же, если у i5 (и выше) есть турбо-буст? Конккректно этот i5 авторазгоняется до 4,1 причем при хорошем охлаждении как процессора, так и питальника платы держит эту частоту неограниченно долго. Это первое.

И второе, я совершенно не понимаю, почему Вы столь упрямо отбрасываете конфигурации на базе процессоров AMD? Скажем Ryzen 2600 при своих 65 ваттах плюс затычка а-ля GT 710 (еще около 20 ватт) явно предпочтительнее, чем почти любой i5 (ну разве что за исключением серии "K"), при этом имеет сравнимую стоимость.

[Maratka]

Цитата: Сообщение от alchemist888

Если мы забудем про HT, есть ли принципиальная разница для Стокфиша между каким-нибудь Core i5 из какого-нибудь 2011 года, и современным Core i9 если не брать во внимание различие в скоростях?

Конечно есть. У i9 больше потоков, а потому он считает "шире", а не просто "быстрее". С точки зрения поиска хода, это равнозначно тому, что мы стали меньше отрезать неперспективных линий (которые если копнуть, не все и не всегда являются неперспективными).

[alchemist888]

Цитата: Сообщение от Омегазеро

Нет, тут все легко
Есть брать класс low-end, получается только две конфигурации

Допустим Вы правы и на данный момент так. А потом? Сейчас видеокарт с тензорными ядрами не много, но бум нейронных сетей только начинается и такие платы будут выходить и улучшаться.
Да и потом неплохо таки вычислить примерное соотношение скоростей для "честных" матчей/турниров, чтобы на несбалансированных машинах запускать тесты с целью определить насколько сильны движки относительно друг друга. Как вариант, уменьшая количество потоков, или снижая производительность видеокарт.

[alchemist888]

Цитата: Сообщение от Maratka

Конечно есть. У i9 больше потоков, а потому он считает "шире", а не просто "быстрее". С точки зрения поиска хода, это равнозначно тому, что мы стали меньше отрезать неперспективных линий (которые если копнуть, не все и не всегда являются неперспективными).

У Вас есть примеры хороших тестов, где было показано явное преимущество многопоточности перед увеличением скорости, или времени на обдумывание хода?

[Maratka]

В этой теме регулярно бывает sovaz1997, он Вам покажет.

[Maratka]

Цитата: Сообщение от Maratka

В этой теме регулярно бывает sovaz1997, он Вам покажет.

Один из его примеров нашел.
rk6/p1r3p1/P3B1Kp/1p2B3/8/8/8/8 w - - 0 1

Проверять на версии, которой месяц-два, текущие могут искать уже лучше.

[Омегазеро]

Цитата: Сообщение от Maratka

Ну где же она такая же, если у i5 (и выше) есть турбо-буст? Конккректно этот i5 авторазгоняется до 4,1 причем при хорошем охлаждении как процессора, так и питальника платы держит эту частоту неограниченно долго. Это первое

Их скорости Стокфиша 9200 и 8500, при это авторазгон никто не запрещал

Цитата: Сообщение от Maratka

И второе, я совершенно не понимаю, почему Вы столь упрямо отбрасываете конфигурации на базе процессоров AMD? Скажем Ryzen 2600 при своих 65 ваттах плюс затычка а-ля GT 710 (еще около 20 ватт) явно предпочтительнее, чем почти любой i5 (ну разве что за исключением серии "K"), при этом имеет сравнимую стоимость.

AMD начала продажи Ryzen 5 2600 в марте 2018. Рекомендуемая цена 200$
Продажи GTX1650 начаты в апреле 2019. Рекомендуемая цена 150$
Разница 13 месяцев, в ценах почти 40%

А i3-9350kf и i5-9400F появились в феврале 2019 года
Разница 2 месяца, в ценах 5%

Поэтому выбраны вторые

[alchemist888]

Цитата: Сообщение от Maratka

Один из его примеров нашел.
rk6/p1r3p1/P3B1Kp/1p2B3/8/8/8/8 w - - 0 1

Проверять на версии, которой месяц-два, текущие могут искать уже лучше.

Речь идет об отдельных позициях? Я говорил о тестах, где два движка играют друг с другом. Здесь очевидна очень тонкая грань между тем где нужно копать шире, а где глубже. И скорее всего в определенных условиях лучше будет иметь больше потоков, когда в других полезнее будет иметь более производительные потоки, или больше времени на обдумывание. Скорее всего, чем больше у нас времени на анализ позиции, тем лучше будет проявлять себя многопоточность, так как основные линии будут просчитывать достаточно глубоко.
Но в практической игре мы всегда работаем с ограниченным количеством ресурсов и для меня совсем не очевидно, что 8 потоков и удвоенное время на обдумывание проиграют 16 потокам.
К тому же приведенная Вами позиция - этюд, решение которого движок жестко пранит. И тут многопоточность работает, как читерная функция, заставляя движок перебирать то, что он перебирает очень неохотно.

[Maratka]

Цитата: Сообщение от alchemist888

Речь идет об отдельных позициях? Я говорил о тестах, где два движка играют друг с другом. Здесь очевидна очень тонкая грань между тем где нужно копать шире, а где глубже.

При наличии дополнительных аппаратных потоков он копает шире автоматически, и не в ущерб глубине

[alchemist888]

Цитата: Сообщение от Maratka

При наличии дополнительных аппаратных потоков он копает шире автоматически, и не в ущерб глубине

А Вы знаете как движок выдает глубину? Я вот нет. Но подозреваю, что это не самый длинный вариант, который движок просчитал.
И сразу вопрос. Мы ставим позицию на минуту, Вы аппаратно включаете высокую многопоточность. И в этих условиях такой Стокфиш будет набирать ту же самую глубину, что и SF с "обычными" потоками?

[Maratka]

При равной однопоточной производительности возможно даже чуть бОльшую, за счет других потоков, которые другой дорожкой пришли к той же позиции, и записали оценку в хеш.

[Maratka]

Цитата: Сообщение от alchemist888

Я говорил о тестах, где два движка играют друг с другом. Здесь очевидна очень тонкая грань между тем где нужно копать шире, а где глубже.

95 ELO 384 ядра против 64.

[alchemist888]

Цитата: Сообщение от Maratka

При равной однопоточной производительности возможно даже чуть бОльшую, за счет других потоков, которые другой дорожкой пришли к той же позиции, и записали оценку в хеш.

Так речь идет не о равной однопоточной производительности. А в Вашем утверждении, что условно мы берем Стокфиш на одном ярде и аппаратно запускаем его в 10 потоков. И в этом случае он будет достигать той же самой глубины за отведенное время, что и Стокфиш на этом же ядре без каких-либо махинаций?

Цитата: Сообщение от Maratka

95 ELO 384 ядра против 64.

Этот тест показывает преимущество большего количества ядер/потоков перед меньшим, но никак не указывает на преимущество многопоточности перед увеличением времени на обдумывание, или увеличением производительности потоков.

[Maratka]

Совершенно верно, производительность на поток скорее даже падает. А вот ELO почему-то даже растет. ;)