TCEC 12 - чемпионат мира среди шахматных движков!

[sovaz1997]

TCEC (Сезон 12), чемпионат лучших шахматных движков, начнется во второй половине апреля 2018 года, через несколько часов после последней игры в матче Stockfish - Houdini (Сезон 11). Это снова будет система дивизионов с 32 движками примерной силы 3000+ ELO, игры будут воспроизводится на мощном железе (44 ядра Xeon и 16 Гб ОЗУ) с длинным контролем времени для получения качественный шахматных партий.

Резкий скачок силы в прошлом сезоне был значительным. Ожидается, что эта тенденция продолжится в 12-м сезоне, так как большинство участников предоставят новые версии движков для мероприятия.

Официальный сайт TCEC Season 12 / TCEC Twitch TV / Facebook

Правила 12 сезона TCEC

Правила и положения TCEC развивались годами с помощью сообщества. Команда TCEC представит наиболее востребованные правила и функции, предложенные аудиторией в ходе обсуждений в течение последних трех месяцев.

Среди наиболее заметных изменений - контроль времени и количество игр. Второй дивизион сократил время игры, в то время как «Первый»- и «Премьер»- дивизионы не изменят контроль времени, но уменьшат количество кругов раунда. Сокращенные контроль времени и количество игр позволят делать четыре сезона в год и оставить время для дополнительного события (подсказка: NN-движки).

Еще одно серьезное изменение - система тай-брейков. До сих пор критерии SB (Sonneborn-Berger) были приоритетными. С 12-го сезона главным фактором тай-брейка будет прямой матч.

Незначительные изменения правил, характерные для Сезона 12, можно найти на вкладке «Правила» на официальном веб-сайте после начала сезона.

Список участников 12-го сезона

Развернуть для просмотра

Premier Division (8x RR, 90′ + 10”)
1. Stockfish – защищающий "Grand Champion of TCEC S11"
2. Houdini
3. Komodo
4. Fire
5. Chiron
6. Andscacs
7. Продвижение из 1-го див.
8. Продвижение из 1-го див.

1-й дивизион (4x RR, 60′ + 10”)
1. Fizbo
2. Ginkgo
3. Booot
4. Jonny
5. Gull
6. Laser
7. Продвижение из 2-го див.
8. Продвижение из 2-го див.

2-й дивизион (4x RR, 30′ + 10”)
1. Hannibal
2. Nirvana
3. Texel
4. Arasan
5. Fritz
6. Vajolet
7. Продвижение из 3-го див.
8. Продвижение из 3-го див.

3-й дивизион (4x RR, 30′ + 10”)
1. Bobcat
2. Wasp
3. Nemorino
4. Pedone
5. Defenchess*
6. Senpai
7. Продвижение из 4-го див.
8. Продвижение из 4-го див.

4-й дивизион (4x RR, 30′ + 10”)
1. ChessBrainVB
2. Ethereal
3. Tucano
4. Fruit
5. Scorpio
6. Rodent
7. Xiphos
8. The Baron

* Примечание: возможны изменения в 4-м дивизионе

[свернуть]

Дебютная книга

Основная часть успеха TCEC основана на работе экспертов по дебютам в TCEC. В этом сезоне дебютная книга будут предоставлены владельцем Catobase Нельсоном Эрнандесом еще раз. По традиции дебютная книга Суперфинала будут состоять из дебютов Jeroen Noomen. Еще больше приглашенных экспертов присоединятся к сезону. Конкретная информация будет обновлена на вкладке «Opennings» на официальном сайте.

Поддержка TCEC

TCEC - это соревнование, полностью поддерживаемое сообществом. Каждый сезон имеет свой отдельный бюджет, и только постоянная поддержка фанатов позволяет ему работать. Чтобы узнать, как вы можете поддержать TCEC, нажмите здесь.

[Vizvezdenec]

В прошлом финале вроде бы не было претензий к тому, что Стокфиш играл с c=12, а не 0?
В конце концов TCEC - это шоу, и разработчики стокфиша хотят не только его победы, но и чтобы шоу было интересным. Если c=21 не уменьшает эло в игре с движком своей же силы или силы SF9, то зачем ставить 0? С с=21 он играет порискованнее, но это и интереснее в том числе.
Вот в Винавере был типичный, как его называют, contemptfish - возил-возил в статической позиции, не разменивая фигуры (как с с=0 наверняка бы сделал), ну и дождался, пока Комодо ослабит защиту короля, навалился всеми фигурами и буквально за 10 ходов оценка Комодо стала из 0.00 в районе 10

[otodranik]

Да, не уменьшает против себя своей же силы. Я думаю, что первую партию в Королевском Стокфиш не смог удержать именно из-за контемпта, так как выбрал неперспективный путь, и посчитав свою позицию, уже в пределах уравненной.

[Maratka]

Цитата: Сообщение от Vizvezdenec

В прошлом финале вроде бы не было претензий к тому, что Стокфиш играл с c=12, а не 0?

Не было, т.к. было 12, а не 21. А то может давайте еще полста поставим? Оно же еще круче позволит выносить более слабых? ;)

________
Значение должно быть переменным, в зависимости от турнира, соперника, цвета фигур, и никак иначе.

Цитата: Сообщение от otodranik

Я думаю, что первую партию в Королевском Стокфиш не смог удержать именно из-за контемпта, так как выбрал неперспективный путь, и посчитав свою позицию, уже в пределах уравненной.

Ну так это очевидно, первые пяток ходов SF оценивал свою позицию около нуля, а Komodo в это время планомерно давил, и "выдавил" в итоге +1 за себя.
Ну и запертая ладья свое слово сказала, не очень понимаю, почему SF ее не выводил?

[otodranik]

Цитата: Сообщение от Maratka

Не было, т.к. было 12, а не 21. А то может давайте еще полста поставим? Оно же еще круче позволит выносить более слабых? ;)

________
Значение должно быть переменным, в зависимости от турнира, соперника, цвета фигур, и никак иначе.



Ну так это очевидно, первые пяток ходов SF оценивал свою позицию около нуля, а Komodo в это время планомерно давил, и "выдавил" в итоге +1 за себя.
Ну и запертая ладья свое слово сказала, не очень понимаю, почему SF ее не выводил?

На вывод ладьи уже не было времени и банально не по характеру позиции. Выбрал неверный план - и уже не свернуть. Он же защищал худшее решение против Комодо, а не против человека!

[ck195708]

Цитата: Сообщение от otodranik

На вывод ладьи уже не было времени и банально не по характеру позиции. Выбрал неверный план - и уже не свернуть. Он же защищал худшее решение против Комодо, а не против человека!

Да время-то было, но раньше. А после 17 хода пришлось дорого за это платить. Да и белопольный слон стока стрелял не туда. Авантюрная игра должна наказываться, что и произошло.

[Vizvezdenec]

Цитата: Сообщение от Maratka

Значение должно быть переменным, в зависимости от турнира, соперника, цвета фигур, и никак иначе.

Хорошо, авторы стокфиша протестировали, что c=21 не является регрессом по отношению к с=0 и к с=12 при игре с движком своей силы.
Вполне логично предположить, что по отношению к движку силы -50 эло он даже полезен (по крайней мере 20 был полезен во времена SF9 против SF8).
Итого зачем ставить 0, если можно поставить значение больше 0, которое не уменьшает вероятность победы в финале (протестировано), возможно, её увеличивает (логично на основе похожих тестов полугодичной давности), да ещё и делает стиль более агрессивным?

[Maratka]

Цитата: Сообщение от Vizvezdenec

Хорошо, авторы стокфиша протестировали, что c=21 не является регрессом по отношению к с=0 и к с=12 при игре с движком своей силы.

Проблема в том, что они это как раз таки и не протестировали.
Они протестировали не движок "своей силы", а самого себя, что не одно и то же.

Цитата: Сообщение от Vizvezdenec

Вполне логично предположить, что по отношению к движку силы -50 эло он даже полезен

Не обязательно. Вот когда движок -200 Elo -тогда да. А полста баллов в той или иной степени можно компенсировать своим собственным значением Contempt, установив его в нуль (что и сделали по просьбе авторов Komodo, т.к. это явно измененное значение по умолчанию), или даже в небольшой минус. Кроме того, у Komodo изменен не только contempt, но и еще пара параметров (хотя они уже больше заточка под мощность сервера, чем некий "анти-SF".

[md]

В идеале, контемпт нужно менять не в зависимости от соперника на матч или партию, а от позиции. Динамически. Или вообще не трогать, оставив 0, при котором движок ничейные позиции не расценивает как "лучше для него". Выше нуля можно ставить только при худших оценочных возможностях соперника. Кстати, в жизни, у людей, все ровно так же - задирать свои амбиции нужно очень аккуратно, иначе, недооценив соперника, вы проиграете сами себе. Причем не только в шахматах.

[sovaz1997]

md, в Stockfish как раз и стоит динамический Contempt, который меняется в определенном диапазоне. Базовое значение отчитывается от 21.

[Vizvezdenec]

Цитата: Сообщение от Maratka

Проблема в том, что они это как раз таки и не протестировали.
Они протестировали не движок "своей силы", а самого себя, что не одно и то же.



Не обязательно. Вот когда движок -200 Elo -тогда да. А полста баллов в той или иной степени можно компенсировать своим собственным значением Contempt, установив его в нуль (что и сделали по просьбе авторов Komodo, т.к. это явно измененное значение по умолчанию), или даже в небольшой минус. Кроме того, у Komodo изменен не только contempt, но и еще пара параметров (хотя они уже больше заточка под мощность сервера, чем некий "анти-SF".

Они протестировали, что могли. Не будут же они покупать Комодо и против него тесты гонять? Да и вообще, почему если это работает против себя, это не должно работать против других? По такой логике можно тесты на фиштесте вообще не гонять, т.к. там только против себя, вдруг против других это не сработает?
Отмечу, что Contempt высокий хорош ещё и для фиштеста - меньше ничьих и больше побед, соответственно любому тесту для статистически значимых результатов надо обычно меньше партий.
И ещё скажу одно - против движка на 200 эло слабее оптимальное значение contempt, вообще говоря, в районе 50, а не 20, contempt стока сильно отличается от contempt Комодо и Гудини, и значение 21 для него это как у тех 5 ~
В общем не знаю, опять паника на ровном месте, проиграл партию и проиграл, тем более что Сток так себе катает королевский гамбит обычно по не очень ясным причинам. Зато сейчас добивает Комодо в найдорфе и выходит вперёд.

[Maratka]

Цитата: Сообщение от Vizvezdenec

Они протестировали, что могли. Не будут же они покупать Комодо и против него тесты гонять?

А почему бы и нет?
Он что, неподъемных денег стОит?

Цитата: Сообщение от Vizvezdenec

Да и вообще, почему если это работает против себя, это не должно работать против других?

Потому что другие - это другие. Если Вася бьет Петю, а Петя - Колю, то не факт, что Вася бьет Колю: фактор "неудобного" соперника еще никто не отменял.
Мы это кстати отлично увидели в отборе: SF набрал максимум среди лидеров, и минимум среди "хвоста".

[Vizvezdenec]

Цитата: Сообщение от Maratka

А почему бы и нет?
Он что, неподъемных денег стОит?


Потому что другие - это другие. Если Вася бьет Петю, а Петя - Колю, то не факт, что Вася бьет Колю: фактор "неудобного" соперника еще никто не отменял.
Мы это кстати отлично увидели в отборе: SF набрал максимум среди лидеров, и минимум среди "хвоста".

Потому что нужна копия Комодо для всех пользователей фиштеста тогда, что несколько противоречит условиям распространения.
А в играх шахматных программ фактор "неудобного" соперника практически отсутствует.
При трогании значения Contempt так уж точно, SF9 прекрасно справлялся с Комодо и Гудини с c=20, показывая чуть выше эло даже, чем при c=0, ну и существенно лучше выступал против остальных движков. Сомневаюсь, что за 3 месяца с этого времени Комодо изменился настолько, что против него c=21 становится регрессом по сравнению с нулём.

[sovaz1997]

Komodo прибавил где-то 10 пунктов по сравнению с 11.3

Тесты Contempt здесь: https://www.sp-cc.de/experiments.htm

Я уверен, что SF с C=21 играет лучше против "сильных" Komodo и Houdini.

[otodranik]

Цитата: Сообщение от Vizvezdenec

Потому что нужна копия Комодо для всех пользователей фиштеста тогда, что несколько противоречит условиям распространения.
А в играх шахматных программ фактор "неудобного" соперника практически отсутствует.
При трогании значения Contempt так уж точно, SF9 прекрасно справлялся с Комодо и Гудини с c=20, показывая чуть выше эло даже, чем при c=0, ну и существенно лучше выступал против остальных движков. Сомневаюсь, что за 3 месяца с этого времени Комодо изменился настолько, что против него c=21 становится регрессом по сравнению с нулём.

Комодо всегда относительно себя немного прибавляет, а вот на фоне конкурентов это выглядит более убедительней.

[Maratka]

Цитата: Сообщение от Vizvezdenec

Потому что нужна копия Комодо для всех пользователей фиштеста тогда, что несколько противоречит условиям распространения.

Контроль 10 +.1 можно проггнать на обычном ПК с 6-8 потоками за ночь.
Я уж молчу про копеечные Ryzen'ы с 12 потоками.
~30 тыс. партий вполне достаточно, т.е. хватит и одного ПК от разработчиков.

Цитата: Сообщение от otodranik

Комодо всегда относительно себя немнгого прибавляет, а вот на фоне конкурентов это выглядит более убедительней.

В том и дело. У меня стойкое убеждение, что Komodo прибавил за последние 10 месяцев (по сути - всего две версии) куда как поболее, чем 15-20 официальных Elo. Но, это видно в сравнении именно с конкурентами. А "над собой" - да, действительно добавил копейки, и потому кажется, что прирост в сравнении со SF копеечный.

Опять же - мало кто знает о методике тестирования Komodo. Возможно, что эти 15-20 Elo были рассчитаны на контроле ~10 минут, но тут количество ничьих возрастает в сравнении с минутным контролем у SF, а значит ценность этих Elo рейтинга у Komodo выше.

[Vizvezdenec]

А где это видно?
Глядя на рейтинг листы (CCRL, fasgm, ipon, sp-cc.de) я не вижу прям сильной прибавки по сравнению с версиями вроде 11.2.2, 10-20 эло обычно, что примерно и соответствует указанным +5 эло за версию. Причём в рейтингах по 10 минут на партию или по 60 от fastgm я тоже её не вижу. Те же 10-20 эло, а зачастую 12 версия и ниже вообще какой-нибудь 11.3.1.
Опять-таки, для того, чтобы видеть 5 эло прибавки на временном контроле 10 минут на партию, нужно, прямо скажем, крайне много времени потратить, не думаю, что у разрабов Комодо оно есть.
Впечатление большей прибавки может складываться, исходя из результата TCEC, но там очень мало партий+весьма сильно решает Contempt, который для этого сезона увеличили.
Да и разница в эло на 10 минутах на партию и 60 секундах на самом деле обычно не так уж и велика, я помню, на фиштесте крутили парочку раз регрешн тесты на 180+1.8, так вот разница от 10+0.1 (т.е. при увеличении временного контроля в 18 раз!) была в пределах погрешности, обычно на 2-3 эло меньше получалось из 35-40.

[sovaz1997]

А тем временем 3-1 намечается

[Maratka]

Цитата: Сообщение от Vizvezdenec

А где это видно?
Глядя на рейтинг листы (CCRL, fasgm, ipon, sp-cc.de) я не вижу прям сильной прибавки по сравнению с версиями вроде 11.2.2

А сколько тысяч партий он там сыграл?

[Maratka]

Цитата: Сообщение от sovaz1997

А тем временем 3-1 намечается

По сути, уже есть. Даже по оценке самого Komodo +2, выпутаться он вряд-ли сможет.

[Vizvezdenec]

Цитата: Сообщение от Maratka

А сколько тысяч партий он там сыграл?

на 10 минутах он сыграл 3300 партий для Комодо 12 - для остальных версий больше (для 11.2 8400 партий). Вышло вот что.
3 Komodo 11.3.1 : 3294
4 Komodo 12 : 3291
5 Komodo 11.2 : 3286
6 Komodo 11.01 : 3272
Ошибка эло тут в районе 7-9, так что в принципе не так уж далеко 12 комодо от 11.2 ушёл - максимум будет где-то 25 эло.
На 60 минутах минимум 1500 игр, максимум у 11.2 -2850 партий, там это выглядит вот так:
2 Komodo 12 : 3305
3 Houdini 6 : 3303
4 Komodo 11.3.1 : 3293
5 Komodo 11.2 : 3290
6 Komodo 11.01 : 3278
Тут уже 9-12 эло ошибка, да, тут Комодо 12 на 12 эло превышает 11.3.1, но это более чем в пределах случайностей.
Глядя на эти данные (а это - самые лучшие данные на ультрадлинных временных контролях, больше ни у кого обычно нету и сотни партий на таком времени) я, честно говоря, не вижу ни сильного прироста помимо заявленного, ни прям какого-то супер-скейлинга. Всё более-менее в пределах погрешностей.

[Maratka]

Цитата: Сообщение от Vizvezdenec

Тут уже 9-12 эло ошибка, да, тут Комодо 12 на 12 эло превышает 11.3.1, но это более чем в пределах случайностей.

Так еще раз, сравнивать нужно разные движки, а не себе с собой же, и рисовать рейтинги.
Какой счет например в матче Komodo 12 vs Houdini 6?
И почему я не вижу нигде SF?

[sovaz1997]

http://fastgm.de

[Vizvezdenec]

Цитата: Сообщение от Maratka

Так еще раз, сравнивать нужно разные движки, а не себе с собой же, и рисовать рейтинги.
Какой счет например в матче Komodo 12 vs Houdini 6?
И почему я не вижу нигде SF?

Так рейтинг и составляется на основе игр с другими движками, а не друг с другом.

[otodranik]

Цитата: Сообщение от Maratka

Контроль 10 +.1 можно проггнать на обычном ПК с 6-8 потоками за ночь.
Я уж молчу про копеечные Ryzen'ы с 12 потоками.
~30 тыс. партий вполне достаточно, т.е. хватит и одного ПК от разработчиков.



В том и дело. У меня стойкое убеждение, что Komodo прибавил за последние 10 месяцев (по сути - всего две версии) куда как поболее, чем 15-20 официальных Elo. Но, это видно в сравнении именно с конкурентами. А "над собой" - да, действительно добавил копейки, и потому кажется, что прирост в сравнении со SF копеечный.

Опять же - мало кто знает о методике тестирования Komodo. Возможно, что эти 15-20 Elo были рассчитаны на контроле ~10 минут, но тут количество ничьих возрастает в сравнении с минутным контролем у SF, а значит ценность этих Elo рейтинга у Komodo выше.

Почему жe, судя по толкчессу - Ларри Кауфманн всегда пишет, что не брезгует УКК! Стандарт сейчас примерно един - это УКК, и это работает.

[Maratka]

Ну работает, значит и хорошо. ;)

[otodranik]

Цитата: Сообщение от Maratka

Ну работает, значит и хорошо. ;)

Ну если тестировать на классическом контроле патчи, то мы не добьемся такого прироста силы, как в случае с УКК! Еще и затраты будут несравнимо огромны.

[Vizvezdenec]

Да там всё просто, для прохождения статистического теста (обычно всеми используется LLR - log-likelihood ratio) нужно достаточно много игр и на длинных временных контролях их никто не наиграет.
Собственно, из того, что мне известно, 10+0.1 и 60+0.6 - два самых длинных временных контроля, использующихся разработчиками шахматных программ, Гудини использует 8+0.08 (длинный временной контроль не известен), движки вроде Ethereal и Laser используют 5+0.05 и 20+0.2 и крайне редко 60+0.1.

[otodranik]

Цитата: Сообщение от Vizvezdenec

Да там всё просто, для прохождения статистического теста (обычно всеми используется LLR - log-likelihood ratio) нужно достаточно много игр и на длинных временных контролях их никто не наиграет.
Собственно, из того, что мне известно, 10+0.1 и 60+0.6 - два самых длинных временных контроля, использующихся разработчиками шахматных программ, Гудини использует 8+0.08 (длинный временной контроль не известен), движки вроде Ethereal и Laser используют 5+0.05 и 20+0.2 и крайне редко 60+0.1.

Правильно, от мощности располагаемой. Не у всех есть 1000 ядер!

[Vizvezdenec]

Цитата: Сообщение от otodranik

Праивльно, от мощности располагаемой. Не у всех есть 1000 ядер!

Ну стокфиш это использовал и при 200-500 ядрах, но да. Для достижения статистической значимости нужно много игр и ни один разработчик не использует больших временных контролей - нету столько машин.

[svoitsl]

Цитата: Сообщение от Vizvezdenec

нету столько машин

Все таки основная причина мне думается не в этом, а в том, что разрабатывать толком некому (как например с Leela, где номинально 4 чел, а на деле... ), если хочется что то проверить, то по уму надо писать специальный тест именно для того, что хочется проверить, а не гонять движки на 10000 игр, но вот получается что погонять движки проще, чем тест сделать