TCEC 14 - чемпионат мира среди шахматных движков

[Vizvezdenec]

Собственно, пару слов о новых движках в 4 дивизионе.

KomodoMCTS - движок на базе Комодо от авторов того же Комодо, но вместо ABminimax там используется поиск Монте-Карло. В блице сила ~ Ethereal, но, говорят, скейлится плохо как со временем, так и с количеством ядер. Посмотрим.

Demolito - движок от Lucas Braesch с никнеймом lucasart, одного из старых соавторов Stockfish и недавнего соавтора Ethereal. Примерная сила в районе 3000 CCRL elo 40/4. https://github.com/lucasart/Demolito

Winter - движок от FM Jonathan Rosenthal с никнеймом makishima_shogo на твиче, что делает его движком, написанным одним из самых сильных в шахматном плане авторов. Движок, правда, достаточно слабый - 2600-2700. https://github.com/rosenthj/Winter

pirarucu - движок от Raoni Campos, написан на Kotlin, примерная сила тоже в районе 3000 CCRL elo. Интересный факт - в организации фреймворка для тестирования использовался код Openbench от Andrew Grant, автора Ethereal. https://github.com/ratosh/pirarucu

rofChade - движок от Ronald Friederich. Вроде бы был он 2800 по шкале 40/4 CCRL недавно, но в тестировании был высоко. Так что не думаю, что слабее 3000. http://rofchade.nl/

ScorpioNN - гибридный альфа-бета-нейросетевой движок от автора Scorpio. Но в тестировании выглядел очень слабо - 0,5 очков из 80+ партий. Пока что собственно нейросеть оставляет желать лучшего, т.к. у автора не было времени её натренировать. Ожидаю от него последнего места.

Schooner - движок от Dennis Sceviour, при этом занимает аж 11 место в CCRL 40/4, выше Laser и ниже Shredder. Но есть явная проблема с мультипроцессингом - скорость на 43 ядрах ниже, чем на 16, да и на 16 она равна 10-12 mnps при скорости на одном 2. Так что скейлинг явно оставляет желать лучшего, поэтому не выглядит он явным фаворитом.
https://sites.google.com/site/schoonerchess/

Также в дивизионе присутствуют уже старые знакомые Wasp, Nemorino, Rodent, Tucano и Chess 22k.

Ещё пару новостей - DeusX дисквалифицирован за отсутствие оригинальности. С этого сезона требуется, чтобы NN движок имел свой оригинальный движок для запуска нейросети, что автор DeusX отказался сделать. Поэтому выходит из последнего дивизиона в 3 3 программы. 4 дивизион стал площадкой для повышения и его размер теперь ограничен только фантазией организаторов.

Кубок TCEC по нокаут-системе (прошлосезонный победитель Stockfish) теперь тоже будет проводиться каждый сезон и туда выходит топ-8 движков из последнего дивизиона.

Если что ещё забыл - смотрите тут http://www.chessdom.com/tcec-season-...bSTMIfRkqgnJcs

[Vizvezdenec]

Кстати говоря, проверяли - это поражение Arasan в другой сети в той же позиции происходит.

[Maratka]

Цитата: Сообщение от Vizvezdenec

И у Лилы согласно тестам многим с определённого количества этих самых роллаутов он просто пропадает

Ну так теоретически и должно быть: сеть конечной разрядности с конечным количеством узлов. По мере того, как движок выбирает узлы, сила сначала быстро растет (мы можем найти более точную оценку), но после некоторого предела - растет уже медленно (ибо при просмотре условно говоря 10% узлов лучший ход найден с вероятностью 10%, а при просмотре 80% - с вероятностью 80%)
В идеале же, после просмотре всех узлов - вообще должна перестать расти.

[Vizvezdenec]

Цитата: Сообщение от Maratka

Ну так теоретически и должно быть: сеть конечной разрядности с конечным количеством узлов. По мере того, как движок выбирает узлы, сила сначала быстро растет (мы можем найти более точную оценку), но после некоторого предела - растет уже медлено (ибо при просмотре условно говоря 10% узлов лучший ход найден с вероятностью 10%, а при просмотре 80% - с вероятностью 80%)
В идеале же, после просмотре всех узлов - вообще должна перестать расти.

Ну а это значит, что на ещё более длинных временных контролях у Лилы будут бОльшие проблемы - там это количество узлов легко наберётся.
Тут может помочь бОльший размер сети - но... Он как раз будет плох как для тренировки, так и для игры на текущем железе - слишком уж оно будет мало роллаутов производить.

[Maratka]

Тут большой вопрос к распараллеливанию на мультиGPU.
Суперкомпьютеры с тысячами тесел жрут энергию десятками мегаватт в час, значит смысл в этом распараллеливании есть. Но LZ (во всяком случае как я слышал) параллелится куда как хуже. Если этот вопрос решат, то проблема больших сетей рассосется достаточно быстро.

[Vizvezdenec]

Цитата: Сообщение от Maratka

Тут большой вопрос к распараллеливанию на мультиGPU.
Суперкомпьютеры с тысячами тесел жрут энергию десятками мегаватт в час, значит смысл в этом распараллеливании есть. Но LZ (во всяком случае как я слышал) параллелится куда как хуже. Если этот вопрос решат, то проблема больших сетей рассосется достаточно быстро.

Ну как, проблема в том, чтобы её натренировать и чтобы у организаторов турниров было нужное железо, останется.

[Maratka]

Цитата: Сообщение от Vizvezdenec

Ну как, проблема в том, чтобы её натренировать

Натренировать- да. Но ведь и Стокфишу то десять лет ;)
А на турниры железо в любом случае арендуется. Да и по хорошему, чем принципиальным отличается ферма для крипты от шахматного компьютера на GPU?
Т.е. ну уж 5-10 плат поставить в стойку думаю можно без особых проблем.

[svoitsl]

Цитата: Сообщение от Maratka

Суперкомпьютеры с тысячами тесел

так на них и запускаются сразу большая куча задач

[Maratka]

Цитата: Сообщение от Vizvezdenec

Ну а это значит, что на ещё более длинных временных контролях у Лилы будут бОльшие проблемы - там это количество узлов легко наберётся.

Кстати потому я и писал несколько дней назад свой прогноз: LZ (если успеет - в этом сезоне, если нет - ну в любом случае в следующем году) заберет корону у SF. Но вот сможет ли LZ удержать корону хотя бы пару лет - это вопрос. A-b движки в плане роста ELO более прогнозируемы, да и замедления роста у них пока что не наблюдается, свои ~70 ELO в год SF например берет стабильно.

[Maratka]

Цитата: Сообщение от svoitsl

так на них и запускаются сразу большая куча задач

Далеко не всегда. Иначе нет смысла в СУПЕРкомпьютере: для сотен-тысяч разных задач можно взять сотни-тысячи ПК с одной-двумя Теслами. Оно еще и практичнее будет, т.к. эти ПК можно разнести территориально по разным университетам, со своей специализацией у каждого.

[Vizvezdenec]

Не знаю, это уже третий отрезок в полгода, когда я слышу, что осталось полгода

[svoitsl]

Лила пока удерживает 2-е место,но желающих его занять то же немало

[Maratka]

Цитата: Сообщение от Vizvezdenec

Не знаю, это уже третий отрезок в полгода, когда я слышу, что осталось полгода

С другой стороны, LZ не хватает буквально ~50 ELO до уровня SF.
Это на моей машине, и я лично рискну утверждать, что она достаточно неплохо сбалансирована для матчей LZ против привычных a-b движков: GTX 960 и AMD FX 8370 соответственно.
Уровень железа в TCEC пропорционально выше где-то на порядок по каждому компоненту, так что если LZ не упрется в свой фундаментальный лимит, который мы обсудили чуть выше, то прокачать его на +100 ELO за несколько месяцев думаю все же реально. Просто (возможно) придется вернуться к обучению сети 1xxx, если 3xxx будет буксовать так, как мы сейчас видим.

[Maratka]

Цитата: Сообщение от svoitsl

Лила пока удерживает 2-е место,но желающих его занять то же не мало

Прошло 20% турнира ;)
Для движка, который более-менее на равных способен бодаться с обычной версией Komodo этот дивизион должен быть проходным двором.

[Vizvezdenec]

Цитата: Сообщение от Maratka

С другой стороны, LZ не хватает буквально ~50 ELO до уровня SF.
Это на моей машине, и я лично рискну утверждать, что она достаточно неплохо сбалансирована для матчей LZ против привычных a-b движков: GTX 960 и AMD FX 8370 соответственно.
Уровень железа в TCEC пропорционально выше где-то на порядок по каждому компоненту, так что если LZ не упрется в свой фундаментальный лимит, который мы обсудили чуть выше, то прокачать его на +100 ELO за несколько месяцев думаю все же реально. Просто (возможно) придется вернуться к обучению сети 1xxx, если 3xxx будет буксовать так, как мы сейчас видим.

Вы играете матчи 1х1, где Лила сильна.
Слабость же её основная в том, чтобы обыгрывать слабые движки - она им и сливает зачастую. И тут уже не 50 эло разницы совсем возникает (скажем так, вот Лила стартанула этот дивизион TCEC с двух ничьих и поражения, каков шанс такого старта у Stockfish 9 (-50 эло от dev) и на таком железе? Я бы поставил на 10^-6 или ниже. При этом у Лилы найти отрезки, где она против движков подобного уровня набирает 1 очко за 3 игры я могу много, уж никак не раз на миллион это случается Или в 4c она слила все мини-матчи, как SF, так Гудини и Комодо, просто SF она слила меньше, чем перформанс рейтинг предполагает, а остальным двум - сильнее.
У NN движков есть какая -то "анизотропия" эло, они хорошо играют против сильных соперников и очень плохо против более слабых. Поэтому я уже говорил, что для Лилы бОльшей проблемой будет выйти в финал, нежели его выиграть. Поэтому в личных встречах она выглядит как конкурент, а на большом поле игроков совсем даже и нет уже.
А так и в прошлом сезоне все говорили, какая Лила суперская, а на деле она не смогла преодолеть 3 дивизион, да и из 4 на бровях вылезла. Да, там были перегретые GPU, но я уже говорил - можете вешать на процессоры стокфиша любой перегрев и те дивизионы он и с 8 ядрами пройдёт, да и с одним в общем-то тоже

[Maratka]

Цитата: Сообщение от Vizvezdenec

Слабость же её основная в том, чтобы обыгрывать слабые движки - она им и сливает зачастую. И тут уже не 50 эло разницы совсем возникает (скажем так, вот Лила стартанула этот дивизион TCEC с двух ничьих и поражения, каков шанс такого старта у Stockfish 9 (-50 эло от dev)?

Тоже верно. Посмотрим...
В слишком разные шахматы они играют, у LZ нет слабостей a-b движков, но есть свои.

[Alex_Lk]

Да нет у Лилы никаких перспектив !!!
Сейчас выскочит из-за угла, какой нибудь классический AB движок с "прикрученной" к нему сеткой. GPU будет грузить "сетка", процессор займется обычным перебором. Оценочную функцию обучат когда доверять "сетке" а когда послать ее по боку.
И будет царствовать не Stockfish а тот кто быстрее "сетку" к себе прикрутит.

[sovaz1997]

Цитата: Сообщение от Alex_Lk

Да нет у Лилы никаких перспектив !!!
Сейчас выскочит из-за угла, какой нибудь классический AB движок с "прикрученной" к нему сеткой. GPU будет грузить "сетка", процессор займется обычным перебором. Оценочную функцию обучат когда доверять "сетке" а когда послать ее по боку.
И будет царствовать не Stockfish а тот кто быстрее "сетку" к себе прикрутит.

Я думал об этом очень давно и сейчас уже не уверен в перспективе такой штуки. Вообще не уверен, что будут работать все эти ab-эвристики, т. к. нейросеть тоже не идеальна в оценке позиции. Должен быть гибкий поиск, а он уже и так есть в Lc0. Если бы такой гибридный подход работал, он бы наверняка был уже реализован. Я даже писал об этом в форум Stockfish.

[Alex_Zet]

Цитата: Сообщение от Vizvezdenec

У NN движков есть какая -то "анизотропия" эло, они хорошо играют против сильных соперников и очень плохо против более слабых.

12 *** Arasan CCC3***246.00*** LCZero v19-TP-11248***34.35***1-0

Парадокс. Идущий на 3 месте слабый Арасан.

N Engine              Rtng Pts Gm    SB X Elo Perf Ko Lc Ar Pe Ne Va Ro Ha

 1 KomodoMCTS 2210.00  3479 6.0  8 23.75 0 -10 75.0 ·· =  1  11 =  =  =  1 
 2 LCZero v19-TP-11248 3247 5.5  8 20.00 0 +63 68.8 =  ·· 0  1  1  1  =1 = 
 3 Arasan CCC3         3204 5.0  9 17.25 0 +38 55.6 0  1  ·· 0= =  =  1  1=

[Alex_Zet]

Уважаемый crem, прокомментируйте следующее

Цитата: Сообщение от 17

Команда СФ потихонко экспериментирует на примере LC0, Scorpio и Komodo.
Увидим насколько проект будет удачен.
-----

MCTS SF
----
Kelly Kinyama 16:17 (1 hour ago)

Here is the link: https://github.com/Kellykinyama12/Stockfish
and here is a sample program:https://github.com/Kellykinyama12/St...er/Release.zip

This program builds a decision tree of moves, and contains the statistics similar to Monte Carlo Tree Search. We make decision depending on what information is in the Decision Tree, making it both Best Search First and later Depth First Search.
Hi,
I was thinking: we have Leela and K having now MCTS. Maybe it is worth experimenting in SF.

I was skimming through Leelas code

https://github.com/glinscott/leela-c...r/lc0/src/mcts

and their MCTS stuff is less than 2000 LOCs, and I suspect that something in our code could be reused.

Before I start backporting this to SF a question: does anybody already thought about it?
-------
https://groups.google.com/forum/#!to...ng/7qPEusXJlx4

Насколько все же метод Монте Карло отличается от метода Лилы?

PS. Удивительно насколько совпадает оценка eval у экспертов Komodo 2177 [6-men TB,128 Cores] и Stockfish 10 [7-men TB,176 Threads] в партии 35 ***rofChade 1.023T ***- Vajolet2 2.6.1. Буквально тютелька в тютельку. Пища для умов, кто же у кого своровал.

[Vizvezdenec]

Цитата: Сообщение от Alex_Zet

12 *** Arasan CCC3***246.00*** LCZero v19-TP-11248***34.35***1-0

Парадокс. Идущий на 3 месте слабый Арасан.

N Engine              Rtng Pts Gm    SB X Elo Perf Ko Lc Ar Pe Ne Va Ro Ha

 1 KomodoMCTS 2210.00  3479 6.0  8 23.75 0 -10 75.0 ·· =  1  11 =  =  =  1 
 2 LCZero v19-TP-11248 3247 5.5  8 20.00 0 +63 68.8 =  ·· 0  1  1  1  =1 = 
 3 Arasan CCC3         3204 5.0  9 17.25 0 +38 55.6 0  1  ·· 0= =  =  1  1=

Арасан слабее стокфиша.
Ну и Комодо, Гудини, Fire, Ethereal, Xiphos, Andscacs и ещё десятка движков, да. И намного

[Vizvezdenec]

На форуме стокфиша пишет много кто и совсем не обязательно это разработчики стокфиша

[Alex_Zet]

Про унылый Арасан я знаю, вы лучше методы Лилы и Монте Карло сравните

[Vizvezdenec]

А что тут сравнивать.
Лила это NN + MCTS, а ещё можно и без NN.
По Komodo MCTS можно сказать, что, может быть, и не так уж и обязательна нейросеть для того, чтобы MCTS движок играл сильно.

[Alex_Zet]

А в чем суть метода Лилы? Есть такое понятие - заглянуть за горизонт. Простые движки этого не могут. MCTS тоже. Лила может?

[Vizvezdenec]

судя по оценкам в крепостях, которые ещё хуже, чем у AB движков, не особо

[Alex_Zet]

Хорошо.
Метод простых движков - линейность. Схожу так - последует это.
Метод Монте-Карло для поиска в дереве — группа численных методов для изучения случайных процессов. Суть метода заключается в следующем: процесс моделируется при помощи генератора случайных величин. Это повторяется много раз, а потом на основе полученных случайных данных вычисляются вероятностные характеристики решаемой задачи.
В чем заключен метод Лилы?

[Maratka]

Найти готовое решение в сети.

[Alex_Zet]

Нет, ну это не честно. В этом сезоне KomodoMCTS, в следующем СтокфишMCTS. Потом еще кто то, и все требуют место под солнцем, стая голодных. А кто будет давать дорогу молодым талантам которые расцветут у нас на глазах? Ведь эти им кислород сразу перекрывают.

TCEC S20 participants

Division Premier

1. LCZero
2. Stockfish
3. StockfishMCTS
4. Komodo
5. Ethereal
6. KomodoMCTS
7. Houdini
8. Fire

[Maratka]

Цитата: Сообщение от Alex_Zet

в следующем СтокфишMCTS

SF в этом не нуждается.
LZ если пойдет масть, то сможет его сдвинуть на ~год с первого места, да и то при условии, что в следующем году не поменяют сервер. А поменять на какой-нить там 2*64 Epic вполне могут. Дальше все для LZ весьма туманно: на длинных контролях он не угонится за альфа-бетой без увеличения размерности сети, а это в свою очередь очень сильно уменьшит темпы роста его сети и скорость перебора вариантов в матчах, т.е. потребуется в ~3 раза более мощные видеоплаты.

[svoitsl]

В общем то LCZero v19-TP-11248 достаточно ровно сидит на втором месте и вполне ещё не потеряла шансов занять и первое

То что появился StockfishMCTS это конечно хорошо, но вот почему он не начал с div3? По блату разве что?

Цитата: Сообщение от Maratka

на длинных контролях он не угонится за альфа-бетой без увеличения размерности сети

За год много воды утечет, все зависит от темпов разработки, вполне могут быть и двух сеточные движки и они кажется уже делаются вроде. И различные оптимизации повышающие силу игры при той же размерности...Да и сама по себе разрядность fp16 по сравнению с int тоже какой то прирост должна дать, если не в скорости обучения то хотя бы в силе.