TCEC 15 - чемпионат мира среди шахматных движков

[Омегазеро]

Цитата: Сообщение от Maratka

Ну положим про ~30-40 ELO Вы таки писали

Разница в Эло между Стокфишем и Лилой сильно зависит от отношения скоростей

При отношении скоростей 1:2000 разность около 10 Эло
При отношений скоростей 1:1000 разность более 50 Эло

Я выкладывала тесты, где это наглядно видно. На 1:1000 Лила громила Стокфиш

Кроме того, все зависит от выбора сети. Их Эло относительно Стокфиша колеблется на 15 Эло

На скоростях 1:2000 неудачный выбор сети может привести к тому, что сеть окажется слабее Стокфиша. У меня многие сети проигрывали с разрывом 1-2 очка.

Как ни странно, на СССС оказалось так, что отношение скоростей 1:2000 и даже больше. Поэтому меня не удивляют результаты.
Надо тщательнее отбирать сети, тестируя их именно на таком отношении

[Maratka]

Цитата: Сообщение от Омегазеро

Как ни странно, на СССС оказалось так, что отношение скоростей 1:2000 и даже больше.

Проблемы индейцев.
Уж извините, но GPU у LZ потому и используются, что на них возможно шикарное распараллеливание алгоритмов, которые конечно же в принципе предполагают параллельную работу на многих ядрах. Нейросети - позволяют, они как специально под GPU созданы. А уж тот факт, что конкретная реализация хромает - вина на ком угодно, но не на устроителях турнира: их задача дать железо, они дали. Железо шикарное, лучшего в свободной продаже не существует. Пользуйтесь на здоровье, а не обвиняйте, что де у кого-то там скорость не такая.

И да, я лично не наблюдаю 1:2000.



Оно может и бывает и 1:2000 или даже поболее, но точно не на всех позициях, и не во всех партиях.

[Vizvezdenec]

Разность более 50 эло?
При 1:1000?
Почему я не наблюдаю такого ни у одного тестера в принципе?
https://www.sp-cc.de/lc0-testing.htm Ну вот например.
CPU-Speed: Stockfish with 97% CPU-Speed (to switch off the Intel Turbo Boost): 7.5 MN/s in starting-position, running on 11 threads.

GPU (used by LC Zero): Nvidia RTX 2060 (6GB). LC Zero calculates around 11500 n/s in the starting position
Что тут у нас, 11,5 : 7500, это 1:700.
2 Stockfish 190504 bmi2 : 3522 7 7
3 Stockfish 10 181129 : 3508 7 7
4 Lc0 0.21.2 N:42668 : 3503 18 18
5 Lc0 0.21.1 N:JH.T8.610 : 3486 20 20
Нет ни то что 50 эло, но и плюса в эло-то нет никакого (хотя ошибка перекрывает, безусловно, но не до -50 эло, вероятность этого 0,00001% или около того). Лучшая сеть Лилы лучше SF dev на 1 эло у этого тестера, погрешность суммарная 20-25 эло.
Открываю гугл доки разных тестеров и вижу там цифры в 10 эло.
https://docs.google.com/spreadsheets...#gid=609748570
- большая погрешность, но если бы было хоть что-то отдалённо похожее на > 50 эло, то тут было бы за 100 эло у некоторых сетей с ней.
И в общем-то все тесты, что я видел, с соотношениями от 1:700 до 1:1500, показывают что-то в районе 20 эло от нуля, поэтому и возникает интересный вопрос, откуда идут утверждения про >50?
https://docs.google.com/spreadsheets...wTnc/htmlview#
42600 3448 13
Stockfish_10 3462
https://docs.google.com/spreadsheets...37vMU/htmlview
понятно, что огромные погрешности, но ни одной сети больше 40 эло разницы, при этом соотношение nps 1:1000
Уж извините, но если бы реально где-то там было "больше 50 эло", то хоть 1 тест хоть одного тестера хоть на каком-нибудь 1:700 или 1:1000 что-нибудь бы и показал, но пока я видел 40 эло максимум с погрешностью 35, при этом у более новой сети в том же тесте 10.
Кстати говоря, я в очередной раз вижу примерно таким же ничем подтверждённое утверждение про "может до 15 эло погрешности от сети к сети быть" - не надо так, пожалуйста.
Я бы оценил разницу на 1:1000 в величину в пределах 10-20 эло и вряд ли больше.

[Vizvezdenec]

И, кстати, специально для Вас Stefan Pohl, у которого добрый десяток лет тестирования шахматных движков, вот что пишет:
Many people discussed head-to-head results of Lc0 vs. Stockfish, which had only 100 games. I find this ridiculous, because 100 games statistically mean nothing. Now, each head-to-head has 500 games, which makes results worth calling them "results", I believe.
Это он к тому, что там вот такие результаты
Lc0 0.21.2 N:42595 Stockfish 190504 bmi2 : 100 (+ 20,= 76,- 4), 58.0 %
Lc0 0.21.2 N:42668 Stockfish 190504 bmi2 : 112 (+ 21,= 72,- 19), 50.9 %
И кто-то там уже наделал выводы о регрессе и т.д.

[Maratka]

Итого (кто бы сомневался) 100 партий - смешно, но и 500 - смешно.

[Vizvezdenec]

Цитата: Сообщение от Maratka

Итого (кто бы сомневался) 100 партий - смешно, но и 500 - смешно.

Ясное дело, но делать выводы на этой основе - ещё смешнее. По крайней мере у Stefan Pohl очень чёткая методика, которую он отрабатывал десятилетие почти, и вот у него выходит разница в эло не более 30 для 3 сетей при соотношении 1:700.
Конечно, это не в 1х1, а на поле из разных движков, ну да 1х1 там недалеко убежит.
В любом случае я рад, что по крайней мере есть именно его тесты, потому что остальные - муть мутью, и единственное, что из них реально можно заключить, что 50 эло разницы нет.

[svoitsl]

Цитата: Сообщение от Maratka

Итого (кто бы сомневался) 100 партий - смешно, но и 500 - смешно.

Дело не в цифрах...
Я до сих пор не видел нормальной проги для тестирования движков,может кто подскажет такую.
основное что она должна делать,это определять силу игры движка с заданной достоверностью.
Например задаю я 90% (гипотеза, что движок 1 сильнее движка 2) и она работает до тех пор этот результат не будет достигнут

[Alex_Zet]

Лилу устранили гениально. Взяли ее движек, натренировали сеть что бы громила хвост и чудо свершилось. Штейн набрала чуть больше очков чем Лила и теперь летит Стоку в финале. Мавр сделал свое дело. Большего от него и не требуется. Вопрос , для чего , с какой целью? А что бы сети заглохли, что бы всем показать что это бесперспективно. От этого прежде всего выигрывают коммерческие двтжки. Не Стокфиш. Чесс ком сайтик комодовский и все клоны именно с этой целью и созданы. Вспомним сначало был Антивиш но подрягался чуток и сгинул. А потому что кроме шумихи ни на что не был способен. А шумиха была нужна. Штейн это уже серьезно. Ее долго готовили. И план удался. Если выбросить сети то снова вернутся благоприятные времена для Комодо и прочих. Пусть Стокфиш будет первым, но ведь вторым будет именно Комодо. А для продаж этого вполне достаточно. Так что не Стокфиш тут правит, а именно Комодо с его грязными закулисными играми.

[Corrs]

https://forchess.ru/showpost.php?p=99813&postcount=103

[Maratka]

Цитата: Сообщение от Alex_Zet

Лилу устранили гениально. Взяли ее движек, натренировали сеть что бы громила хвост и чудо свершилось. Штейн набрала чуть больше очков чем Лила и теперь летит Стоку в финале. Мавр сделал свое дело. Большего от него и не требуется. Вопрос , для чего , с какой целью? А что бы сети заглохли, что бы всем показать что это бесперспективно. От этого прежде всего выигрывают коммерческие двтжки. Не Стокфиш. Чесс ком сайтик комодовский и все клоны именно с этой целью и созданы. Вспомним сначало был Антивиш но подрягался чуток и сгинул. А потому что кроме шумихи ни на что не был способен. А шумиха была нужна. Штейн это уже серьезно. Ее долго готовили. И план удался. Если выбросить сети то снова вернутся благоприятные времена для Комодо и прочих. Пусть Стокфиш будет первым, но ведь вторым будет именно Комодо. А для продаж этого вполне достаточно. Так что не Стокфиш тут правит, а именно Комодо с его грязными закулисными играми.

Я вот все думаю... Есть тут на форуме кнопка "спасибо". Для чего нужна - понятно. А почему нет ровно обратной кнопки?

[Maratka]

Было бы интересно посмотреть бонус SF на одном ядре против первого дивизиона с задействованием стольких ядер, сколько они умеют.
Как бы такое заказать? ;)

[Alex_Zet]

В бонусе S16 - Revisit Bonus S12 Div4 LCZero games при двух ходовой книге в матче между :
LCZeroCPU v0.21.2-nLD2 - Ethereal 11.50 счет 1.5 - 0.5

Etherealу кажется скоро кирдык. При его Hash 16384, Threads 43, скорости 74 - 77 Mnps, новенькая версия (напомню что в Премьер 15 играла версия 11.38) сливает искусственно хромоногой 3 - 8 knps инвалидке, которую тока ленивый сейчас не пинает на форуме из за фейкового ССС9.
Возможно все дело в новом движке v0.21.2, вместо v0.21.1 который играл в Суперфинале 15.
Команда Лилы к непопаданию в финал ссс 9 отнеслась спокойно, ведь специалисты отлично понимают подоплеку .

Лила - бесспорно движок №1.

[Maratka]

Цитата: Сообщение от Alex_Zet

Команда Лилы к непопаданию в финал ссс 9 отнеслась спокойно. Специалисты понимают подоплеку отлично.

Разумеется. Зачем переживать?

Цитата: Сообщение от Alex_Zet

Лила - бесспорно движок №1.

Само собой. Первый, после SF.

[sovaz1997]

Maratka, зачем по групповому этапу определяете? Надо по финалу определять
И без всяких там Leelenstein и т. д. Тот, кто лучше выносит хвост, не всегда является сильнейшим ;)

[Maratka]

Ну так я по финалу и смотрю. Какая там сеть была?

[sovaz1997]

Цитата: Сообщение от Maratka

Ну так я по финалу и смотрю. Какая там сеть была?

Не самая сильная на данный момент, хотя и близкая к этому.

[Alex_Zet]

Хочу продемонстрировать два видео.

Eman 3.81 vs Lc0 long time



Stockfish Polyglot (а читай БрейнФиш) vs Lc0 brief tournament по 5 минут на партию



В обоих турнирах Лила играла на скорости 2 - 4 kn/s
в первом Лила сыграла вничью.
Во втором проиграла Стоку 4 - 6 ( 1 - 3 по победам )
В первом турнире Eman - Лила соотношение скоростей было 5000 - ( 2 - 4 )
Во втором турнире Сток - Лила соотношение скоростей было такое же.

Горе тестеры потом будут всем рассказывать как Стокфиш уделал Лилу и показывать это видео.
Ну точности как у нас тут на форуме.

[Maratka]

Цитата: Сообщение от sovaz1997

Не самая сильная на данный момент, хотя и близкая к этому.

Ну SF тоже был не самый сильный...
Мне более интересен номер сети.

[Alex_Zet]

Еще один гвоздик в крышку ab. (Не буду упоминать слово гроб а то некоторые очень чувствительны и как Фрейд при слове смерть могут упасть в обморок.)

S16 - Revisit Bonus S12 Div4 LCZero games

LCZeroCPU v0.21.2-nLD2 - ScorpioNN v2.9.0-n_maddex_INT8 счет 0.5 - 1.5
LCZeroCPU v0.21.2-nLD2 - Ethereal 11.50 счет 1.5 - 0.5

То есть ScorpioNN уже как минимум не слабее чем Ethereal и к началу ТСЕС 16 ScorpioNN будет в порядке.

[Alex_Zet]

Коротко о предстоящем ТСЕС 16

Superfinal - 100 игр с контролем времени 120 ′ + 10 ″ - с использованием новой книги Jeroen Noomen ( ещё один закулисный воротило ТСЕС )
1. Премьер дивизион победитель
2. Премьер дивизион, занявший второе место

Суперфинал без Стокфиш.

Premier Division - 3x DRR с контролем времени 90 ′ + 5 ″ - с использованием новой книги из 8 ходов Катон - Нельсона Эрнандеса, тот самый чувак которому Стокфиш обязан по гроб жизни

8 движков из них 2 из 1-ой Лиги

По итогам Премьер вылетит Комодо, первый из ТОП 3 ab


League 1 - 1x DRR с контролем времени 45 + 5 - с использованием книги из 6 ходов, рандомизированной
16 движков из них 4 из 2 - ой Лиги.

League 2 - 1x DRR с контролем времени 30 + 5 - с использованием 4-х ходовой книги, рандомизированной
16 движков из них 6 из квалификации.

Квалификация
1x DRR с контролем времени 30 + 5 - с использованием 2-х ходовой книги, рандомизированной

До 16 двигателей разыграют 6 путевок во 2-ую Лигу.
Это смесь двигателей из Div 4 и новых записей. Полный список участников будет объявлен в ближайшее время.

ScorpioNN - жду хотя бы что дойдет до 1-ой Лиги.
Stoofvlees - этот должен взлететь до Премьер Дивизиона.
Парочка сетей ещё наверняка будет.

[Maratka]

Цитата: Сообщение от Alex_Zet

S16 - Revisit Bonus S12 Div4 LCZero games
LCZeroCPU v0.21.2-nLD2 - ScorpioNN v2.9.0-n_maddex_INT8 счет 0.5 - 1.5
LCZeroCPU v0.21.2-nLD2 - Ethereal 11.50 счет 1.5 - 0.5

Проверил у себя новый SF против LZ
Счет 1:0 в пользу SF, т.е. он сильнее на бесконечность!

[Виндхук]

Я думаю, единственное, что может помешать LC0 закрепиться в качестве чемпиона ТСЕС, это снижение вкладчиков, сейчас их меньше 600тыс, давно такого не помню.

[sovaz1997]

Цитата: Сообщение от Виндхук

Я думаю, единственное, что может помешать LC0 закрепиться в качестве чемпиона ТСЕС, это снижение вкладчиков, сейчас их меньше 600тыс, давно такого не помню.

Думаю, основная причина в том, что сеть не особо улучшается. Будет T60 - будет больше людей)

[Corrs]

братцы, разрабы и тестеры

Цитата: Сообщение от Corrs

https://forchess.ru/showpost.php?p=99813&postcount=103

так некрасиво!
В следующий раз, когда вы спросите мнение адвансеров, я тоже буду молчать, как партизан

[Vizvezdenec]

Так об этом движке ничего помимо того, что он обучен частично на партиях гроссов и автор - автор Sjeng, и не известно. Я не знаю, что ещё ответить.
Gcp я встречал пару раз в обсуждении патчей стокфиша, но назвать близким знакомым не могу.

[Corrs]

совсем другое дело

[Alex_Zet]

TCEC Season 16


16-й сезон TCEC начнется в воскресенье 14 июля в 15:00 CEST с участием самого мощного программного обеспечения для компьютерных шахмат. Впервые в истории нейронная сеть - Leela Chess Zero aka Lc0 - будет защищать как титул лиги, так и кубок.

TCEC Season 16 будет представлен в новом формате. Это сохранит известный Премьер-дивизион и Суперфинал, как и в предыдущих сезонах, но даст больше шансов запускать двигатели, чтобы подняться в рейтинге. По этой причине будут созданы три лиги из 16 двигателей. Мероприятие начнется с Квалификационной лиги, где будут представлены все новички, включая новые движки AB и нейронные сети. Лучшие 6 из Квалификационной лиги перейдут в Лигу 2 (также 6 перейдут в низшую лигу), а лучшие 4 из Лиги 2 перейдут в Лигу 1 (также 4 перейдут в низшую лигу). Наконец, лучшие 2 двигателя из Лиги 1 будут квалифицированы в Премьер-дивизии (также 2 будут переведены в низшую лигу).
Изменение структуры для TCEC необходимо из-за быстрого развития компьютерных шахмат. С новым форматом больше двигателей получат шанс подняться в ряды и получить шанс войти в элиту.

[Alex_Zet]

Ну что, новый сезон и новые триумфы Лилы, как то:

Чемпион ТСЕС 16
Обладательница 4-го кубка
Победа над Стокфиш в личной встрече.
Лучший движок по выносу хвоста.
Наивысший рейтинг ЭЛО
Движок приводящий в ужас ab.

Кажется все.

PS. Мероприятие начнется с Квалификационной лиги, где будут представлены все новички, включая новые движки AB и нейронные сети.

Новые движки АВ. Ну зачем заявлять пушечное мясо игры которых никому не интересны.
Другое дело новые сети. Ведь так и сказано - нейронные сети. Подчеркиваю, сказано во множественном числе - нейронные сети. Это значит ничего хорошего АВ движки не ожидает. Предположим что кроме Stoofvlees и ScorpioNN из квлификации выдут ещё четыре сети. А почему бы и нет. И это значит что сразу 6 АВ вылетят из 2 лиги. Затем четыре поднимуться в 1-ую Лигу и от туда также вылетят ещё 4 АВ по итогам. То еть за один сезон перекроится вся иерархия.
Я бы назвал этот сезон - революция сетей. Вначале хотел назвать просто и лаконично - без Стокфиша, но ведь он ещё пока остается в Премьер, Хотя и пролетит мимо Суперфинала. Хоронить пока ещё рано. А вот все остальные уже готовы что бы переплыть Стикс.

[Alex_Zet]

TCEC Сезон16 стартует в воскресенье 14 июля в 17.00 МСК

16-й сезон Top Chess Engine Championship стартует в это воскресенье 14 июля в 17.00 московское время. Всего за шесть призовых мест во вновь сформированном квалификационном дивизионе поборются 18 двигателей. Среди них три нейронные сети - ScorpioNN, ChessFighterNN и Stoofvlees. Их основными конкурентами являются опытные двигатели Rodent, Wasp, chess22k и Winter. Тем не менее, поскольку в TCEC Сезон 16 большинство двигателей представляются с серьезными обновлениями, можно ожидать любой неожиданности.

Формат квалификационного дивизиона

Квалификационное подразделение TCEC-это полностью приглашающее поле. Первоначально было установлено 16 двигателей, он был расширен до 18 из-за входа нового двигателя Asymptote (предложенного Грэмом Бэнксом из CCRL) и промо-двигателя.

Двигатели будут играть 1x DRR с контролем времени 30 + 5 – с использованием 2-х ходовой книги, рандомизированной. Первая шестерка получит право на участие во 2-й лиге TCEC, формат 16 сезона вы можете посмотреть здесь -

Развернуть для просмотра

TCEC Сезон 16 – информация и участники

TCEC Season 16 стартует в середине июля с участием сильнейших компьютерных шахматных программ. Впервые в истории нейронная сеть – Leela Chess Zero aka Lc0 – будет защищать как титул 15-го сезона ТСЕС, так и кубок.

TCEC Season 16 будет представлен в новом формате. Он сохранит уже известный Премьер-дивизион и Суперфинал, как и в предыдущие сезоны, но даст больше шансов новых компьютерных программ, подняться вверх по рейтингам. По этой причине будут созданы три лиги из 16 двигателей.

TCEC Сезон 16 начнется с Квалификационной лиги, где будут представлены все новички, включая новые AB движки и нейронные сети. Лучшие 6 из Квалификационной лиги перейдут в Лигу 2 (также 6 перейдут в низшую лигу). Лучшие 4 из Лиги 2 перейдут в Лигу 1 (также 4 перейдут в низшую лигу). Наконец, лучшие 2 двигателя из Лиги 1 будут квалифицированы в Премьер-дивизии (также 2 будут переведены в низшую лигу).

Изменение структуры TCEC необходимо в связи с нынешним быстрым развитием компьютерных шахмат. С новым форматом больше двигателей будет иметь шанс подняться вверх по турнирной таблице и имеют шанс войти в элиту.

Вот и список участников для Премьер-Дивизиона и вновь образованных лиг:

Суперфинал (100 игр с контролем времени 120 ′ + 10 ″ – с использованием новой книги Jeroen Noomen)
1. Premier Division winner
2. Premier Division runner up


Premier Division (3x DRR with time control 90′+5″ – using a new 8 move book by Cato aka Nelson Hernandez)
1. Lc0 – current TCEC champion
2. Stockfish
3. Komodo
4. AllieStein
5. Houdini
6. Komodo MCTS
7. League 1 winner
8. League 1 runner up


League 1 (1x DRR with time control 45+5 - using a 6 move book, randomized)
1. Ethereal
2. Fire
3. Xiphos
4. Laser
5. Andscacs
6. Fizbo
7. Jonny
8. Chiron
9. Ginkgo
10. ChessBrainVB
11. Booot
12. Rofchade
13. League 2 qualification
14. League 2 qualification
15. League 2 qualification
16. League 2 qualification


League 2 (1x DRR with time control 30+5 – using a 4 move book, randomized)
1. Fritz
2. Nirvana
3. Arasan
4. Texel
5. Vajolet
6. Gull
7. Pedone
8. Nemorino
9. Rubichess
10. Pirarucu
11. Qualification
12. Qualification
13. Qualification
14. Qualification
15. Qualification
16. Qualification


Qualification (1x DRR with time control 30+5 – using a 2 move book, randomized)
До 16 двигателей играют за 6 квалификационных позиций. Это смесь двигателей от Div 4 (TCEC Сезон 15) и новых участников. Полный список участников будет объявлен в ближайшее время.Подробности на chessdom.com.Все партии можете пересмотрет на tcec.chessdom.com.

[свернуть]

Промо-движок в полевых условиях

Многие двигатели в настоящее время использую нейронной сети, полностью используя графические процессоры. Тем не менее, чемпион Lc0 выпустил сильную версию, играющую только на процессоре! Это не уникальный двигатель по критериям TCEC, но, безусловно, интересно видеть, как он работает против реальных конкурентов 3000 ELO+. Таким образом, процессор Lc0 входит в TCEC в качестве промо-движка в квалификационного дивизиона. Он будет играть во все игры в дивизионе, но в конце дивизиона все результаты движка будут аннулированы.

Список участников квалификационного дивизиона

1. Bagatur 1.7b
2. The Baron 3.44.1
3. Cheese 2.1
4. chess22k 1.12
5. ChessFighterNN v2.1-n8x128c_7411
6. Igel 1.8.0
7. Jumbo 0.6.117
8. Marvin 3.4.0
9. Minic 0.76
10. ScorpioNN v2.9.0-n_maddex_INT8
11. Stoofvlees II a10
12. Topple 0.7.2_dev
13. Tucano 7.07
14. Wasp 3.68
15. Winter 0.6
16. Asymptote 0.6.2
17. Rodent III
18. Lc0 CPU

[Alex_Zet]

Asymptote 0.6 64-bit 4CPU 2881 (не густо) +75 −75 48.0% +7.4 52.0% 50

http://ccrl.chessdom.com/ccrl/4040/

Asymptote is a UCI (Universal Chess Interface) chess engine. Currently it does not implement the complete UCI specification, e.g. pondering is currently not supported.

Asymptote does not include a graphical user interface. You need a UCI-compliant GUI like Cutechess or Arena to play against Asymptote.


https://github.com/malu/asymptote