TCEC 12 - чемпионат мира среди шахматных движков!

[sovaz1997]

TCEC (Сезон 12), чемпионат лучших шахматных движков, начнется во второй половине апреля 2018 года, через несколько часов после последней игры в матче Stockfish - Houdini (Сезон 11). Это снова будет система дивизионов с 32 движками примерной силы 3000+ ELO, игры будут воспроизводится на мощном железе (44 ядра Xeon и 16 Гб ОЗУ) с длинным контролем времени для получения качественный шахматных партий.

Резкий скачок силы в прошлом сезоне был значительным. Ожидается, что эта тенденция продолжится в 12-м сезоне, так как большинство участников предоставят новые версии движков для мероприятия.

Официальный сайт TCEC Season 12 / TCEC Twitch TV / Facebook

Правила 12 сезона TCEC

Правила и положения TCEC развивались годами с помощью сообщества. Команда TCEC представит наиболее востребованные правила и функции, предложенные аудиторией в ходе обсуждений в течение последних трех месяцев.

Среди наиболее заметных изменений - контроль времени и количество игр. Второй дивизион сократил время игры, в то время как «Первый»- и «Премьер»- дивизионы не изменят контроль времени, но уменьшат количество кругов раунда. Сокращенные контроль времени и количество игр позволят делать четыре сезона в год и оставить время для дополнительного события (подсказка: NN-движки).

Еще одно серьезное изменение - система тай-брейков. До сих пор критерии SB (Sonneborn-Berger) были приоритетными. С 12-го сезона главным фактором тай-брейка будет прямой матч.

Незначительные изменения правил, характерные для Сезона 12, можно найти на вкладке «Правила» на официальном веб-сайте после начала сезона.

Список участников 12-го сезона

Развернуть для просмотра

Premier Division (8x RR, 90′ + 10”)
1. Stockfish – защищающий "Grand Champion of TCEC S11"
2. Houdini
3. Komodo
4. Fire
5. Chiron
6. Andscacs
7. Продвижение из 1-го див.
8. Продвижение из 1-го див.

1-й дивизион (4x RR, 60′ + 10”)
1. Fizbo
2. Ginkgo
3. Booot
4. Jonny
5. Gull
6. Laser
7. Продвижение из 2-го див.
8. Продвижение из 2-го див.

2-й дивизион (4x RR, 30′ + 10”)
1. Hannibal
2. Nirvana
3. Texel
4. Arasan
5. Fritz
6. Vajolet
7. Продвижение из 3-го див.
8. Продвижение из 3-го див.

3-й дивизион (4x RR, 30′ + 10”)
1. Bobcat
2. Wasp
3. Nemorino
4. Pedone
5. Defenchess*
6. Senpai
7. Продвижение из 4-го див.
8. Продвижение из 4-го див.

4-й дивизион (4x RR, 30′ + 10”)
1. ChessBrainVB
2. Ethereal
3. Tucano
4. Fruit
5. Scorpio
6. Rodent
7. Xiphos
8. The Baron

* Примечание: возможны изменения в 4-м дивизионе

[свернуть]

Дебютная книга

Основная часть успеха TCEC основана на работе экспертов по дебютам в TCEC. В этом сезоне дебютная книга будут предоставлены владельцем Catobase Нельсоном Эрнандесом еще раз. По традиции дебютная книга Суперфинала будут состоять из дебютов Jeroen Noomen. Еще больше приглашенных экспертов присоединятся к сезону. Конкретная информация будет обновлена на вкладке «Opennings» на официальном сайте.

Поддержка TCEC

TCEC - это соревнование, полностью поддерживаемое сообществом. Каждый сезон имеет свой отдельный бюджет, и только постоянная поддержка фанатов позволяет ему работать. Чтобы узнать, как вы можете поддержать TCEC, нажмите здесь.

[sovaz1997]

Ссылка на новый сайт TCEC (сейчас там бонусные игры): http://fierce-cliffs-15335.herokuapp.com/live

Последняя версия Ethereal превосходит версию 10.00 на 70 пунктов. А в TCEC играла версия 9.64. В общем, сила Ethrereal сейчас где-то на уровне Andscacs и будет расти. Думаю, есть шансы даже на Премьер-дивизион в следующем сезоне.

[Vizvezdenec]

There probably won't be a GPU next season
Информация от Knight Moves, железячника TCEC.
Так что Лиле и всем NN движкам пока придётся играть на процессорах.

[Maratka]

Цитата: Сообщение от sovaz1997

Последняя версия Ethereal превосходит версию 10.00 на 70 пунктов. А в TCEC играла версия 9.64. В общем, сила Ethrereal сейчас где-то на уровне Andscacs и будет расти. Думаю, есть шансы даже на Премьер-дивизион в следующем сезоне.

Что-то похожее может быть вполне.
В только что закончившемся чемпионате Laser взял пятое место в дивизионе один, а Ethereal - 4-е место в третьем.

Сейчас же в личной встрече Ethereal ведет +2 очка за 5 партий до конца.
Т.е. выйдет он на уровень Andscacs или нет, но в премьер-лиге играть при благоприятном раскладе сможет.

[Maratka]

Цитата: Сообщение от sovaz1997

Да не, тесты без книги как раз тоже интересны, я не упрекаю

Результаты будут.
Партии, если очень кому нужно - тоже будут, но партии нужно будет заказать, просто так возиться с ними понятно что желания нет.

___________
На данный момент +2 =5 -0 в пользу SF.

[sovaz1997]

Laser тоже быстро развивается сейчас. Они оба на OpenBench тестируются. А OpenBench разработал автор Ethereal. Я надеюсь, что эти движки составят конкуренцию Fire, а затем и Komodo с Houdini. Вряд ли догонят Stockfish, т. к. он имеет много ресурсов и высокую скорость развития. Но потеснить Komodo с их 5 пунктами к новым версиям вполне реально.

[Vizvezdenec]

Цитата: Сообщение от sovaz1997

Laser тоже быстро развивается сейчас. Они оба на OpenBench тестируются. А OpenBench разработал автор Ethereal. Я надеюсь, что эти движки составят конкуренцию Fire, а затем и Komodo с Houdini. Вряд ли догонят Stockfish, т. к. он имеет много ресурсов и высокую скорость развития. Но потеснить Komodo с их 5 пунктами к новым версиям вполне реально.

У Laser какие-то проблемы с Openbench, там какой-то баг, из-за которого скорость его на Openbench всего 700 kn/s, что очень мало (у стокфиша на тех же машинах 1650 kn/s примерно). Andrew Grant вроде бы что-то там предлагал для фикса, не знаю, насколько оно помогает.

[Maratka]

Цитата: Сообщение от sovaz1997

Но потеснить Komodo с их 5 пунктами к новым версиям вполне реально.

Houdini IMHO не лучше.
Komodo дает стабильно, но мало, а Гударт может и "уснуть" на три года....

[otodranik]

Цитата: Сообщение от Vizvezdenec

У Laser какие-то проблемы с Openbench, там какой-то баг, из-за которого скорость его на Openbench всего 700 kn/s, что очень мало (у стокфиша на тех же машинах 1650 kn/s примерно). Andrew Grant вроде бы что-то там предлагал для фикса, не знаю, насколько оно помогает.

Это точно баг? Обычно у разных движков, разные и скорости, которые могут различаться в разы. Или же Лазер имеет скорость +- Стокфиша?

[Vizvezdenec]

Цитата: Сообщение от otodranik

Это точно баг? Обычно у разных движков, разные и скорости, которые могут различаться в разы. Или же Лазер имеет скорость +- Стокфиша?

Ну он имеет поменьше скорость, но не в 2,5 раза. Где-то на 20% скорость ниже у него обычно.

[Vizvezdenec]

Бонусные игры по запросу аудитории - Stockfish dev на 1 ядре против Ethereal dev на 43 ядрах.

[Vizvezdenec]

После 12 партий счёт +4-2=6 в пользу стокфиша.
Хочется отметить, что игра стокфиша выглядит так, как будто Лила играет за него.
Начисто позиционно перекатывает Ethereal, но при этом плохо считает тактику, делает какие-то полукорректные атакующие жертвы, не слишком чётко играет в эндшпилях.
Так что даже на 1 ядре стокфиш остаётся позиционным монстром, что очень заметно на контрасте по сравнению с Ethereal, который обе партии выиграл, забрав пожертвованный материал и отбив атаку.
Просто чем это интересно - когда сток играет на 1 ядре, противник обычно тоже играет на одном ядре. Никогда не видел, чтобы давали такую разницу в железе и играли матч.
В итоге выходит при похожей силе огромная разница в стиле - противник реально классно всё считает, на тактику и полукорректные жертвы его не поймаешь (как на 1 ядре вполне себе проходит), но при этом более слабую оценочную функцию 43 ядра скомпенсировать не в состоянии - на 1 ядре позиционно всё равно стокфиш выглядит куда сильнее. А на 1 ядре против 1 ядра такой разницы в стиле не выходит - стокфиш громит противника тактикой и эндшпильной техникой, а то, как хорошо он фигуры расставляет по сравнению с противником, мало заметно.
Возможно, это ещё и следствие того, что Ethereal позиционно слабоват, у автора 1200 эло на личесс, поэтому есть некоторые проблемы у него с тем, чтобы придумывать хорошие оценочные параметры.

[Vizvezdenec]

Итого +6-2=16, в принципе достаточно интересный матч.
А Стокфиш, похоже, в премьер дивизионе TCEC бы поселился и на одном ядре.
Кстати, любопытно, похоже, что стокфишу бы хватило в финале 11 ядер, чтобы обыграть Комодо, если считать, что удвоение ядер даёт ~30 эло...

[sovaz1997]

Запустили Ethereal против Komodo MCTS. Пока Ethereal выигрывает со счётом 13.5-5.5.

[otodranik]

Цитата: Сообщение от Vizvezdenec

Итого +6-2=16, в принципе достаточно интересный матч.
А Стокфиш, похоже, в премьер дивизионе TCEC бы поселился и на одном ядре.
Кстати, любопытно, похоже, что стокфишу бы хватило в финале 11 ядер, чтобы обыграть Комодо, если считать, что удвоение ядер даёт ~30 эло...

А партии есть?

[Maratka]

Цитата: Сообщение от sovaz1997

Запустили Ethereal против Komodo MCTS. Пока Ethereal выигрывает со счётом 13.5-5.5.

Komodo на 1-м ядре? (общий счет - 17.5 - 6.5).

[sovaz1997]

Maratka, оба на 12 ядрах. Это Komodo Monte-Carlo.

[Maratka]

Понятно. Т.е. против SF вообще бы сухарь был.

________
Интересно сравнить Komodo Monte-Carlo и LZ...

[sovaz1997]

Komodo MCTS против LCZero в бонусе (закончилось) Жалко, что партии скачать нельзя.

Счёт: 15-9 (в пользу Komodo MCTS).

[Maratka]

Что-то долго LZ не переучивают. Все старую сеть долбают.. С таким подходом пролетит от как фанера.. В третий дивизион может и прорвется, но не более.

[Rom77]

Цитата: Сообщение от Maratka

Что-то долго LZ не переучивают. Все старую сеть долбают.. С таким подходом пролетит от как фанера.. В третий дивизион может и прорвется, но не более.

Так ведь давно уже переучивают. Только на тестовом сервере:
http://testserver.lczero.org/networks

Тестовый сервер сейчас даже быстрее, чем основной. А на основном, видимо запустят, когда допишут и проверят необходимый и достаточный минимум кода.

[Vizvezdenec]

Не знаю, даже железячника TCEC Knight Moves откровенно выбесили разработчики лилы, т.к. никакой вменяемой документации нет, зато есть куча настроек, оптимальные значения которых 2 недели назад сказал какой-то Вася Пупкин в дискорде на основании чёрт его знает каких тестов.
А потом, когда TCEC делает бонусные игры, они откуда-то вылазят и начинают рассказывать про то, что настройки-то не те (хотя попробовано было около 5 бинарников с разными настройками).
В общем разработка Лилы крайне хаотична и не очень понятно, что с ней дальше с такой методологией будет.
Да даже на гитхаб Лилы зайти, что это такое вообще https://github.com/glinscott/leela-chess/pulls
40+ pull requests, 130 issues (!), разработка куда-то своим чередом идёт и не очень понятно, в положительную сторону или нет.
Особенно это обидно, если учесть, что Лила сейчас - движок, на который тратится больше всего ресурсов, т.к. видеокарты едят куда больше электроэнергии, чем процессоры, а донаторов видеокарт у лилы 200+
Это я к чему всё - что то, что скоро все переедут на тестовый сервер и быстро всё сделают хорошо, я слышу уже третий месяц, а воз как-то и ныне там.

[Rom77]

Поживём - увидим. Жизнь всё расставит по своим местам. Для меня любой результат этих усилий будет интересным и поучительным.

[Alex_Lk]

А когда TCEC-13 начнется ?
Или несчастливый номер решили не играть ?

[Maratka]

Цитата: Сообщение от Alex_Lk

А когда TCEC-13 начнется ?
Или несчастливый номер решили не играть ?

_

Цитата: Сообщение от sovaz1997

Даты старта TCEC 13: 11-14 Июля.
Я думаю, этот сезон будет более интересным и с интригой: никто не знает, с какой скоростью будут развиваться NN-движки во время TCEC. Не удивлюсь, если кто-то дойдет до первого дивизиона, а то и до премьер-дивизиона. О победе NN-движка в S13 говорить пока рано, но все может быть, конечно.

[Vizvezdenec]

Учитывая, что Граф карты на TCEC 13 с большой вероятностью не будет, вероятность победы там NN движка стремится к нулю. Без GPU NN движки мало что могут, какие бы хорошие веса у них не были, при этом увеличение сети, скорее всего, сделает только хуже из-за большого падения скорости.
Да и разработкой Лилы под процессоры под управлением Windows тоже не очень понятно кто занимается и поэтому бинарники под TCEC ещё и более медленные, чем можно было бы ожидать на таком железе.

[Maratka]

LZ - большая интрига, но (на фоне где-то апрельский фанфааров) явно нуждающийся в редизайне. Как минимум - в переобучении. Сейчас потолок LZ - второй дивизион. Это очень круто, на фоне того, что LZ занял в прошлом турнире последнее место в последнем (четвертом) дивизионе, но на сенсацию в премьер-лиге его явно не хватит.

Что до остальных - интрига будет, если Гударт родит Houdini 7. Если нет - чемпионат можно вообще не устраивать.

[Виндхук]

Цитата: Сообщение от Maratka

Что до остальных - интрига будет, если Гударт родит Houdini 7. Если нет - чемпионат можно вообще не устраивать.

Я думаю Гударт давно забил на Гудини и клепает свой MCTS движек. Надо быть в тренде.

[sovaz1997]

Stockfish на 384 ядрах (!!!) против Stockfish на 8*100 (!!!!) ядрах. В общем, один ПК на 384 ядрах против 100 ПК в кластере на 8

http://fierce-cliffs-15335.herokuapp.com/live

По скорости почти в 10 раз больше, чем на 43 ядрах (384 ядерный). 800 в среднем имеет скорость поменьше, т. к. есть узкие места в кластере.

"Message Passing Interface, a framework often used for multi-host clusters. Stockfish-MPI is a multi-host version of SF that uses MPI for collaboration. Here it is 100 hosts each with 8 core."

Производительность Stockfish на 800 ядрах иногда подскакивает до миллиарда узлов в секунду, хотя в основном ниже, чем у 384-ядерного.

За все спасибо noobpwnftw!



PGN бонусных игр: http://anonfile.com/J115m7f2be/PostF..._NotaVirus.zip

[Rom77]

Спасибо, интересно.

Разве Стокфиш не поддерживает максимум 512 тредов? Впрочем, этот показатель можно подкрутить. Наверное в версии для MPI это выполнено...

Заметно, что средняя скорость кластера никак не выше, чем у сервера. А значит в силу вступает качество распараллеливания. Отсюда и такое преимущество сервера.

[Maratka]

Цитата: Сообщение от Rom77

Заметно, что средняя скорость кластера никак не выше, чем у сервера.

Думается, что это просто очень неправильный кластер, в реальности собирать такое никто не будет, хотя бы потому, что сотню ПК разместить непросто. Правильно - это двадцать серверов по 40 ядер, идеально - еще меньше серверов с еще бОльшим количеством ядер в каждом.