TCEC 17& TCEC 18 - Чемпионат Мира среди шахматных движков

[LenFox]

TCEC S17 format

The grand champion of Season 17 will once again be determined in the TCEC Superfinal: a 100 games head to head clash with a book by Jeroen Noomen. This match will be played by the top 2 engines of the Premier Division. However, dictated by the current level of play of the engines and the upgrades in the hardware, the way to the Superfinal will be slightly modified.

Premier Division: the Premier Division (Div P) will be expanded from 8 to 10 engines. These will be the top 6 engines from the previous season and 4 qualifiers from the Div P entrance playoff

The way to Div P: Season 17 will have two competitions, depending on what hardware the engines need: CPU and GPU.

The AB/CPU competition will start with a Qualification league (invitational, variable number of participants), League 2 (16 participants) and League 1 (16 participants). Promotions in the AB (Minimax, aka “traditional”) Leagues go as in Season 16.

The NeuralNetwork/GPU competition will have just League 1 (invitational, 16 participants max).

As the number of engines in both competitions differ, so will the resulting qualification spots for the playoff. 4 engines from the respective Leagues 1 of CPU and 2 engines from the GPU will enter the playoff to determine which 4 engines qualify to be promoted to the Premier Division.

The Premier Division expansion is mainly due to the fact that there are enough engines that play at similar strength to form such division, thus giving place to more games of balanced strength and different playing styles.

More upgrades coming

There are more upgrades coming in Season 17. Next to its public wiki at wiki.chessdom.org TCEC will have an official news website, which will be used as a main hub for articles, news, videos, and game analysis. The long awaited merchandising will also be launched together with cool new graphics from the esteemed professional TCEC designer Santiago Mendez.

TCEC S17 timeline

This is the tentative timeline for TCEC Season 17. Note that all dates are estimates and changes can (and will) be made when needed, moving start dates a few days earlier or later in the schedule.

Dec 29, 2019: Submission deadline for the Qualification group for traditional engines

Dec 30, 2019: Testing for Qualification group

Jan 1, 2020: Start of the Qualification group

Jan 1, 2020: Launch of TCEC merchandising section

Jan 3, 2020: Launch of the official TCEC news website

Jan 14, 2020: League 2 for traditional engines

Jan 30, 2020: League 1 for traditional engines

Feb 15, 2020: League 1 (Qualification) for NN and Hybrid engines

Feb 25, 2020: Div P entrance playoff

Feb 29, 2020: Premier Division

March 31, 2020: Superfinal

Дополнительная подробная информация по TCEC S17 (формат проведения, железо, движки, авторы, дебютные книги): https://wiki.chessdom.org/TCEC_Season_17 (страница будет обновляться в процессе)

[Гудвин]

Модераторов в разделе достаточно, права у них тоже позволяют поправить тему, как нужно и как удобно. Так что "волну гнать" на пустом месте не нужно.

[Vizvezdenec]

Там вроде железо обновляют, это так?

[sovaz1997]

Цитата: Сообщение от Vizvezdenec

Там вроде железо обновляют, это так?

Да) Причем для NN-движков тоже)

[Maratka]

Цитата: Сообщение от Vizvezdenec

Там вроде железо обновляют, это так?

Для a-b движков - четыре Xeon, в сумме где-то около 90 ядер (т.е. сравнимо с 3С).
Вопрос включения HT - открыт.

Сервер для сетей тоже обновят, но там не все просто, т.к. есть объективные ограничения LZ: он вяло масштабируется за две платы. Для новых крупных сетей это даст некоторый бонус, если будет 3 платы, но не думаю, что линейный, 3/2 =1,5 - это математика, реально хорошо бы получить 20%. Учитывая, что эти сети сами по себе в ~2 раза медленнее, хотя и потенциально гораздо умнее - сложный вопрос.
IMHO, для LZ лучше было бы банально дождаться нового поколения плат на 7 нм, где вполне реально получить буст в 1,5-2 раза, просто потому, что новые платы будут сами по себе быстрее в 1,5-2 раза. Это было бы правильно.
Но и брать Xeon'ы, когда доступны 64-ядерные Epic'и тоже... странно!

Ну либо (а может и совместно) - переход nVidia на шину PCI-E 4.0, ибо как мне кажется - проблема в масштабировании весьма вероятно в шине: версия 3.0 банально захлебывается от необходимости синхронизировать данные между несколькими платами: на две платы ее еще хватает, на 3 и более - категорически нет!

Во всяком случае, была информация от Intel, что де "они пропускают 4.0, т.к. для графики по уши достаточно и 3.0 (а зачастую даже 2.0), тогда как для ИИ мало и 4.0".

[Омегазеро]

Цитата: Сообщение от Maratka

как мне кажется - проблема в масштабировании весьма вероятно в шине: версия 3.0 банально захлебывается от необходимости синхронизировать данные между несколькими платами: на две платы ее еще хватает, на 3 и более - категорически нет!

Во всяком случае, была информация от Intel, что де "они пропускают 4.0, т.к. для графики по уши достаточно и 3.0 (а зачастую даже 2.0), тогда как для ИИ мало и 4.0".

Разве данные между платами не синхронизируются через мост?
Для карт 2080 используется NVLINK BRIDGE с огромной пропускной способностью
Неужели теперь и его недостаточно?

И откуда возьмется такой поток данных? Из чего он состоит?

[crem]

GPU независимо работают, ничего там не синхронизируется и шина думаю загружена где-нибудь на 1%.
Проблема с масштабируемостью в том что:

1. Обход дерева трогает большое число независимых участков памяти (обычной, не GPU RAM) и поэтому CPU кэш не помогает. Но это пока не очень страшно, где-то до 150000 nps суммарно по всем GPU оно бы ещё дотянуло.

2. Очень трудно заставить алгоритм монте-карло находить большое число позиций чтоб одновременно считать. Где-то 1300 с текущим подходом -- потолок. Соответственно 2 GPU (с minibatch size 512) можно загрузить, а дальше -- работа для GPU просто не находится.

[Омегазеро]

Цитата: Сообщение от crem

ничего там не синхронизируется и шина думаю загружена где-нибудь на 1%

Я это и предполагала!
Спасибо!
А Маратка явно смеется над нами

Цитата: Сообщение от crem

1. Обход дерева трогает большое число независимых участков памяти (обычной, не GPU RAM) и поэтому CPU кэш не помогает. Но это пока не очень страшно, где-то до 150000 nps суммарно по всем GPU оно бы ещё дотянуло.

2. Очень трудно заставить алгоритм монте-карло находить большое число позиций чтоб одновременно считать. Где-то 1300 с текущим подходом -- потолок. Соответственно 2 GPU (с minibatch size 512) можно загрузить, а дальше -- работа для GPU просто не находится.

А нет никаких идей, как решить эту проблему?

[Maratka]

Цитата: Сообщение от crem

GPU независимо работают, ничего там не синхронизируется и шина думаю загружена где-нибудь на 1%.

А проверить можете? У меня просто нет двух плат. Ну чтобы наверняка знать

Берете GPU-Z, идете на вкладку "сенсоры", и смотрите показания по Bus Interface Load по каждому GPU.

Цитата: Сообщение от crem

2. Очень трудно заставить алгоритм монте-карло находить большое число позиций чтоб одновременно считать. Где-то 1300 с текущим подходом -- потолок.

А запустить 2, 5, 10 независимых потоков?

[crem]

Цитата: Сообщение от Омегазеро

А нет никаких идей, как решить эту проблему?

Идеи есть, но пока не работали.
Главным образом потому, что хочется одним махом решить вообще всё. По-отдельности понятно что делать, а вместе чтобы всё работало -- пока нет. В основном мешает transposition table, который тоже был бы очень полезен, но с другими фичами плохо совместим.

Вообще я пока в отпуске был (с 10 по 29 декабря), описывал изменения, которые я пробовал, но они не заработали, и в процессе описывания появилось ещё несколько идей которые я надеюсь в ближайшее время проверить, очевидные непроверенные дыры.
(в стиле "без сахара невкусно, а с сахаром слишком сладко", без ответа на вопрос "а что если с сахаром, но не сыпать его килограммами?")

[crem]

Цитата: Сообщение от Maratka

А проверить можете? У меня просто нет двух плат. Ну чтобы наверняка знать

Берете GPU-Z, идете на вкладку "сенсоры", и смотрите показания по Bus Interface Load по каждому GPU.

У меня тоже нету двух плат. И даже одной толком нету, у меня GTX970 которой я не пользуюсь.

Цитата: Сообщение от Maratka

А запустить 2, 5, 10 независимых потоков?

И будут эти потоки делать одно и то же, одновременно считать одни и те же позиции и возвращать одинаковые результаты.

[Омегазеро]

Цитата: Сообщение от crem

шина думаю загружена где-нибудь на 1%

Точно!
Вот как раз момент, когда Лила на 100% загрузила RTX2060. По шине загрузка всего 1% данных

Заодно можно узнать и другие интересные подробности
Например, мощность процессора при этом падает до 20 (вместо 100)
И т.п.

[LenFox]

S17 - Qualification League

[sovaz1997]

Здесь все подробности формата TCEC S17: https://wiki.chessdom.org/TCEC_Season_17
Насколько я понимаю, на официальном сайте этой информации не будет, т. к. теперь есть более удобная TCEC Wiki

[alchemist888]

Цитата: Сообщение от sovaz1997

Здесь все подробности формата TCEC S17: https://wiki.chessdom.org/TCEC_Season_17

Не нашел ни одного правила по поводу определения уникальности движков. Также, заметил, что AllieStein включен в DivP.
Пока все печально.

[EngMatch]

Теперь в TCEC, наряду с HT, движкам доступны и Huge pages.
"Large pages are automatically in use, nothing needs to be done by engines."
Т.е. не важно поддерживает ли их движок? Не ясно.

Движки могут использовать до 131072 MB хэша, но рекомендуемый максимум - 65536.
Пока только у Igel Hash 131072, а у Counter - 1024 (при Threads 176).

https://wiki.chessdom.org/TCEC_Seaso...er_information

[Vizvezdenec]

131 гиг хэша? Ну без large pages это вообще невозможно использовать нормально, стокфиш после 32 гб начинает тормозить.

[magbash]

Цитата: Сообщение от EngMatch

Теперь в TCEC, наряду с HT, движкам доступны и Huge pages.

Не нашел про HT в TCEC,

И что это за новый сайт - Jan 3, 2020: Launch of the official TCEC news website

[Vizvezdenec]

Цитата: Сообщение от magbash

Не нашел про HT в TCEC,

И что это за новый сайт - Jan 3, 2020: Launch of the official TCEC news website

Cores: 88 physical / 176 threads
Number of Cores / Threads

Each engine can use up to 176 cores of the processors,

[ChessMan]

Цитата: Сообщение от EngMatch

Теперь в TCEC, наряду с HT, движкам доступны и Huge pages.
"Large pages are automatically in use, nothing needs to be done by engines."
Т.е. не важно поддерживает ли их движок? Не ясно.

Да, не важно. В Линуксе по умолчанию все движки будут использовать HugePages. Во всяком случае, Стокфиш точно использует.

Сейчас ОС такая:
CentOS Linux release 7.7.1908 (Core)

в предыдущем финале была такая:
Windows Server 2012 R2

[ChessMan]

Кстати, переход на Линукс - это уже "буст" для Стокфиша. Процентов на 8 минимум. Скорее больше, ведь ХЭШ большой.

[LenFox]

[EngMatch]

Цитата: Сообщение от Vizvezdenec

стокфиш после 32 гб начинает тормозить.

Stockfish уже играл с Hash 65536 в финале TCEC 8.

[EngMatch]

Непонятна ситуация с появившимся из ниоткуда PeSTO. У него тот же автор что и у rofChade, но последний уже в числе участников L1.

[sovaz1997]

Цитата: Сообщение от EngMatch

Непонятна ситуация с появившимся из ниоткуда PeSTO. У него тот же автор что и у rofChade, но последний уже в числе участников L1.

PeSTO - экспериментальный движок, у которого очень простая оценка позиции - только таблицы PST и веса фигур. Таким был Rofchade в 1-й версии, насколько я знаю. Теперь они разделились.
https://rofchade.nl/?p=307

[LenFox]

[Александр Руденко]

какие-то все движки неизвестные ….а их вроде нет в открытом доступе.....все играют брином\стоком\эманом \и др...а эти что за движки?

[Maratka]

Цитата: Сообщение от Александр Руденко

какие-то все движки неизвестные ….а их вроде нет в открытом доступе.....

Вот это главное: пусть он третьесорный, и сливает под "околoлo нуля" оригинальным разоаботкам своего класса... Но если "свой класс" за год-два станет клонами LZ с разбросом в 100 ELO... то куда и зачем рабоать автора оригинальных (но ваторосортных) алгоритмов?

[Vizvezdenec]

Цитата: Сообщение от Александр Руденко

какие-то все движки неизвестные ….а их вроде нет в открытом доступе.....все играют брином\стоком\эманом \и др...а эти что за движки?

Так это народ для собственного удовольствия делает.
Думаю, 1-ядерный стокфиш на таком поле был бы в топе

[Alex_Zet]

Тот же стиль, а куда деться от своих привычек? .
Нет бы порадоваться что появляются новые движки, новые идеи, люди хотят заниматься и воплощать, так нет, именно надо пропихнуть своего, что именно в топе, да ещё и одноядерный.

Взять чужую идею и воплотив её в патч, выдать за свою. После этого можно рассуждать о одноядерности и топе.