LCZero

[svoitsl]

Такой вот пост с их форума

Цитата:

I use cutechess-cli running 20000 games in 500 games series (250 colour reversed). I adapted a script found in discord. You must have to modify some parameters if you change the number of nodes (nncache for Leela and hash for SF).

The batch :
for /l %%s in (1,250,9751) do (
cutechess-cli.exe ^
-engine name="Stockfish.dev" cmd="stockfish_19042720_x64_bmi2.exe" dir="C:\path\to\Stockfish-11-win" ^
option.Threads=4 option.Hash=512 nodes=1700000 ^
option.SyzygyPath=C:\path\to\TB\syzygy ^
-engine name="lc0.net.42547" dir="C:\path\to\LC0_v0.21" ^
option.WeightsFile="C:\path\to\LC0_v0.21\weights_4 2547.pb.gz" ^
cmd="lc0.exe --backend=cudnn-fp16 --syzygy-paths=C:\path\to\TB\syzygy" ^
nodes=3000 ^
-debug > Debug.txt -pgnout "match.pgn" min ^
-each proto=uci tc=inf -recover -concurrency 1 -tournament gauntlet ^
-draw movenumber=50 movecount=5 score=8 -resign movecount=5 score=1000 ^
-games 2 -rounds 250 ^
-openings file="C:\path\to\Books\openings-8ply-10k.pgn" format=pgn order=sequential start=%%s ^
-tb C:\path\to\TB\syzygy -repeat
)

Кто хочет может тоже адаптировать для себя

[Омегазеро]

Цитата: Сообщение от Vizvezdenec

Да, это типа 3,5-5,5 эло погрешности.
Да только это 95% На деле она может быть и больше

При этом вывод о снижении Эло Лилы с сети 42500 по сеть 42600 делается на основе теста с ошибкой 13 Эло - при том, что само снижение 6 Эло

Двойные стандарты получаются

[svoitsl]

Цитата: Сообщение от Омегазеро

вывод о снижении Эло Лилы с сети 42500 по сеть 42600

так это ж я такой вывод делал (а не Vizvezdenec)

[player-1980]

и какой вывод - какая сеть сильнейшая сейчас?

[svoitsl]

Цитата: Сообщение от player-1980

какая сеть сильнейшая сейчас?

вот занятный пост glbchess64 с их форума

Цитата:

Возможно, но все поздние сети T40 находятся в пределах 10-15 ELO: нам нужно, наверное, 100 000 игр для каждой сети или больше, чтобы их упорядочить: никто не может этого сделать.

Я тестирую сети на 20 000 игр, это занимает 5 дней, и этого недостаточно для того, что вы хотите. См .: https://docs.google.com/spreadsheets...it?usp=sharing

График ниже показывает статистические колебания при тестировании сетей и иллюстрирует сложность задачи. Никто не знает лучшую сеть. Так что выделить 50 лучших из них просто невозможно.

[player-1980]

короче, дело ясное, что дело темное...

[Vizvezdenec]

Ну то есть (неожиданно), нету тут никаких 20 эло разницы, когда наиграли 20000 игр, эта разница плавно становится 3 эло и меньше, по-прежнему укладываясь в погрешность.
Кто бы мог подумать-то, а?
Поэтому и говорю, что нужно не страдать этим, а просто последнюю брать, ну или сеть джортоса, которая построена на чуть другом обучении и это даёт измеримую прибавку (по крайней мере по сравнению с 247 или какой там).

[Омегазеро]

Цитата: Сообщение от Vizvezdenec

Ну то есть (неожиданно), нету тут никаких 20 эло разницы, когда наиграли 20000 игр, эта разница плавно становится 3 эло и меньше, по-прежнему укладываясь в погрешность.
Кто бы мог подумать-то, а?

Вы такой вывод делаете на основании теста ДВУХ сетей после дропа - 42504 и 42547
Между этими сетями нет такой разницы, да. Можно ли из этого сделать вывод, что между любыми сетями 425xxx такой разницы нет?

Обратите также внимание на условия теста - 3000 узлов на ход против 1700000 узлов на ход. Они не вызывают вопросов?

[Rom77]

Здесь дело в том, что эти сети даже после 1000 партий показывали отклонение до 15 пунктов от истинного. И такое поведение не касается исключительно одной сети. То есть, если бы тесты остановились на 1000 партий , то мы пришли бы к совершенно иным выводам о силе сетей.

[Vizvezdenec]

Делаю такой вывод на основании вообще абсолютно всех данных разных тестеров, которые видел, начиная с сетей 10xxx.
Ни один из них так и не указал ни одной сети более старой, которая была бы лучше более новой, за исключением 2 случаев:
1) произошёл LR дроп и эло временно упало;
2) обучение просто оказалось забагованным (как тот самый пресловутый баг с превращениями).
Помимо этого абсолютно каждый первый тест укладывался в 95% погрешности с небольшой вероятностью "взбрыка" случайной сети вверх/вниз, что вполне соответствует редкому выпаданию из тех самых 95%.
Более того, это "очевидно более сильные" сети у разных тестеров почему-то оказывались под разными номерами, а более сильная сеть одного тестера у другого была внизу, что вполне соответствует гипотизе о том, что это просто в одном тесте одной сети вот так повезло.
И да, это логически в общем-то должно быть так, это подтверждается наблюдениями, поэтому пока не будет приведён прямой пример обратного - извините, я в обратное не поверю.
А прямых примеров как-то того, нету.
Более того, все кандидаты на обратные примеры при наигрывании большей статистики такими перестают быть.
Конечно, тестировать всё равно нужно, но в основном чтобы баги вылавливать.

[Vizvezdenec]

Вот ещё есть неплохой пример.
https://nextchessmove.com/dev-builds...7d8a61911b34d5
Просто 2 одинаковых движка.
+216.49 +/- 9.20
+240.27 +/- 9.55
Вот вам и 19 эло погрешности при разнице в 24, да только движки физически одинаковые в первом и втором случае.

[Maratka]

Мне больше понравился пример, когда изменение комментариев дало ~10 ELO ;)

[Alex_Lk]

Цитата: Сообщение от Maratka

Мне больше понравился пример, когда изменение комментариев дало ~10 ELO ;)

Это как вообще может быть ?

[sovaz1997]

Цитата: Сообщение от Alex_Lk

Это как вообще может быть ?

Запросто. +/- не просто так существует.

[svoitsl]

Цитата: Сообщение от Омегазеро

Обратите также внимание на условия теста - 3000 узлов на ход против 1700000 узлов на ход. Они не вызывают вопросов?

Прошу огласить список вопросов (а то у меня нет,я правда в тестах свято блюду 1:875 )

Цитата: Сообщение от Alex_Lk

Это как вообще может быть ?

Намекают, что надо повысить точность и тогда ...

Цитата: Сообщение от Vizvezdenec

разница плавно становится 3 эло и меньше, по-прежнему укладываясь в погрешность.

Вы ведь тоже можете провести простой тест сегодня на 200 игр и через час другой на те же 200 игр и результат будет отличаться на 50 Эло :-)
(если конечно те же самые дебюты,а если нет то и на все 100 Эло)
Помню как то на их форуме тоже один чудак сильно этому факту удивлялся
(и ему ещё не сразу удалось доходчиво объяснить, просто он проводил много тестов с большим ТС и морально очень трудно признать свой немалый труд бесполезным)

[Maratka]

Цитата: Сообщение от sovaz1997

Запросто. +/- не просто так существует.

Единственное что я не понял, так это зачем его понадобилось тестировать.

[sovaz1997]

Цитата: Сообщение от Maratka

Единственное что я не понял, так это зачем его понадобилось тестировать.

Думаю, там автоматом все версии тестируются

[Maratka]

Ну может и так...

[Vizvezdenec]

Да, так и есть, автоматом все версии тестируются.
И при апдейте списка авторов +10 эло.
Мы потом долго шутили, что надо бы чаще его обновлять, а то эло слабо прирастает, а это - эло на халяву.

[svoitsl]

Это только мне кажется.что обучение сети 4х затормозилась?
За последние 3-е суток наиграно менее 0.8 млн.
Может сеть 54х усиленно обучают?
(что бы хоть к концу июля все таки начать обучать сеть 6х)

[Maratka]

Цитата: Сообщение от svoitsl

Это только мне кажется.что обучение сети 4х затормозилась?

Я бы сказал, что оно просто затормозилось, как таковое. Предел сети на носу, а потому давать на него какие-то повышенные ресурсы нет смысла: свои +5-10 ELO она и такими темпами за 2-3 месяца "догонит", а большего из 4xx вряд-ли получится выдавить.

[svoitsl]

Цитата: Сообщение от Maratka

а большего из 4xx вряд-ли получится выдавить.

все таки кажется хотят выдавить побольше, потом наверняка какое нибудь восстановление tb7 будет, да и обучение на дебютах тоже наверное что то должно дать. Иначе шансов даже на неуверенное первое место в каком нибудь TCEC 16 уже не будет, к тому времени и Стокфиш 10 Эло может набрать, да и бага из -за которого он проиграет наверное в ССС9 уже не будет, а у Лилы другая сеть к тому времени тоже не появится (есть правда ещё надежда на какое то усиление поиска...., все таки КомодоМС и без сети почти догнал своего тезку ab)

[Maratka]

Цитата: Сообщение от svoitsl

все таки кажется хотят выдавить побольше

Хотеть то можно, но... если есть запас.

[svoitsl]

Может кто нибудь подсказать какие там видяхи для Лилы из GTC1650/1660 в тренде?
1 Насколько лучше 1660?
2 Чем для Лилы лучше Ti?

[magbash]

По поводу клонов ЛСО.
Играющая сейчас AllieStein на ТСЕС в рапиде имеет от Fire ½ ½ 0, в тоже время счет у LCZero против Fire 3 - 0. И это уже не в первом турнире.
Вроде бы клон, если это клон, не должен так лететь.

[svoitsl]

Цитата: Сообщение от magbash

не должен так лететь.

Зато он лучше играет с другими движками , и выиграл даже у Стокфиша!!!
Интересно понаблюдать за его будущем.

[Maratka]

Цитата: Сообщение от svoitsl

Может кто нибудь подсказать какие там видяхи для Лилы из GTC1650/1660 в тренде?

Тут на любителя, если правильно понял вопрос: есть подороже с приличным охлаждением (для своего класса), питанием, для 1650 - в т.ч. и доп. питанием по кабелю (чуть повышает пиковые частоты), а есть подешевле.

Цитата: Сообщение от svoitsl

1 Насколько лучше 1660?

Чисто пропорционально количеству ядер: 1408 против 896, за плюсом (или минусом) небольшой разницы в частотах, если таковая будет.

Цитата: Сообщение от svoitsl

2 Чем для Лилы лучше Ti?

Обычно это предтоп в своем классе, выше (и гораздо дороже) только Титаны.

[svoitsl]

То есть вы хотите сказать, что если ядер в 1.5 раза больше, а цена только на четверть, то надо брать1660?

[Maratka]

Да, если финансы позволяют.
Но я бы прямо сейчас не брал: через месяц nVidia выпустит обновленные платы, в результате чего придется скидывать цены на старые, и есть шанс получить совсем чуть дороже RTX 2060, которые еще раза в 2-2,5 быстрее.

[Омегазеро]

Цитата: Сообщение от svoitsl

Прошу огласить список вопросов (а то у меня нет,я правда в тестах свято блюду 1:875 )

Вот это и есть главный вопрос - зачем блюсти 1:875, взятую из тестов Альфазеро, которые все раскритиковали

Кроме того, это желание "блюсти" какое-то определенное соотношение при разных nps абсурдно

Тестеры давно установили (публиковались соответствующие графики), что при уменьшении nps для ab и NN-движков Эло уменьшается по-разному

Начиная примерно с 6000 npm Эло Лилы при пропорциональном уменьшении скорости падает гораздо быстрее Эло Стокфиша

Опираясь на график, тестеры установили, что для сохранения примерного равенства Эло надо для скорости 3000 npm в 1,8 раз уменьшить скорость Стокфиша

Вот отсюда и получили такое соотношение - 3000npm против 1700000npm, с которым вы почему-то не согласны. Хотя тестеры как раз пытались выбрать такое соотношение, которое на больших скоростях равнозначно по Эло для 1:1000