TCEC 14 - чемпионат мира среди шахматных движков

[Vizvezdenec]

Собственно, пару слов о новых движках в 4 дивизионе.

KomodoMCTS - движок на базе Комодо от авторов того же Комодо, но вместо ABminimax там используется поиск Монте-Карло. В блице сила ~ Ethereal, но, говорят, скейлится плохо как со временем, так и с количеством ядер. Посмотрим.

Demolito - движок от Lucas Braesch с никнеймом lucasart, одного из старых соавторов Stockfish и недавнего соавтора Ethereal. Примерная сила в районе 3000 CCRL elo 40/4. https://github.com/lucasart/Demolito

Winter - движок от FM Jonathan Rosenthal с никнеймом makishima_shogo на твиче, что делает его движком, написанным одним из самых сильных в шахматном плане авторов. Движок, правда, достаточно слабый - 2600-2700. https://github.com/rosenthj/Winter

pirarucu - движок от Raoni Campos, написан на Kotlin, примерная сила тоже в районе 3000 CCRL elo. Интересный факт - в организации фреймворка для тестирования использовался код Openbench от Andrew Grant, автора Ethereal. https://github.com/ratosh/pirarucu

rofChade - движок от Ronald Friederich. Вроде бы был он 2800 по шкале 40/4 CCRL недавно, но в тестировании был высоко. Так что не думаю, что слабее 3000. http://rofchade.nl/

ScorpioNN - гибридный альфа-бета-нейросетевой движок от автора Scorpio. Но в тестировании выглядел очень слабо - 0,5 очков из 80+ партий. Пока что собственно нейросеть оставляет желать лучшего, т.к. у автора не было времени её натренировать. Ожидаю от него последнего места.

Schooner - движок от Dennis Sceviour, при этом занимает аж 11 место в CCRL 40/4, выше Laser и ниже Shredder. Но есть явная проблема с мультипроцессингом - скорость на 43 ядрах ниже, чем на 16, да и на 16 она равна 10-12 mnps при скорости на одном 2. Так что скейлинг явно оставляет желать лучшего, поэтому не выглядит он явным фаворитом.
https://sites.google.com/site/schoonerchess/

Также в дивизионе присутствуют уже старые знакомые Wasp, Nemorino, Rodent, Tucano и Chess 22k.

Ещё пару новостей - DeusX дисквалифицирован за отсутствие оригинальности. С этого сезона требуется, чтобы NN движок имел свой оригинальный движок для запуска нейросети, что автор DeusX отказался сделать. Поэтому выходит из последнего дивизиона в 3 3 программы. 4 дивизион стал площадкой для повышения и его размер теперь ограничен только фантазией организаторов.

Кубок TCEC по нокаут-системе (прошлосезонный победитель Stockfish) теперь тоже будет проводиться каждый сезон и туда выходит топ-8 движков из последнего дивизиона.

Если что ещё забыл - смотрите тут http://www.chessdom.com/tcec-season-...bSTMIfRkqgnJcs

[sovaz1997]

StockfishMCTS не появился

[Alex_Zet]

Только у меня из архива не загружается партия 34 Hannibal 20181202-M10 LCZero v19-TP-11248-29.02 0-1?

[Maratka]

Цитата: Сообщение от svoitsl

разрядность fp16 по сравнению с int тоже какой то прирост должна дать, если не в скорости обучения то хотя бы в силе.

FP работает медленнее, чем int, но дает более точные результаты. Что из этого перевесит - не знаю. LZ насколько я в курсе, обеспечивает лучшую игру при fp16, правда не каждая железка умеет работать с этой математикой.

[sovaz1997]

М-да.

crem: "Это наш "специалист по общению с TCEC" ссамодельничал, разработчики вообще не были в курсе что такое на TCEC отослали. (При первом упоминании высказались резко против, но как оказалось это нашего специалиста не остановило).
Прошлые два раза была очень похожая ситуация, но его удалось вовремя остановить. А в этот раз, похоже, нет."

(С другого форума из цитаты)

[Maratka]

Он и тут писал ровно то же самое.

Цитата: Сообщение от crem

Это наш "специалист по общению с TCEC" ссамодельничал, разработчики вообще не были в курсе что такое на TCEC отослали. (При первом упоминании высказались резко против, но как оказалось это нашего специалиста не остановило).
Прошлые два раза была очень похожая ситуация, но его удалось вовремя остановить. А в этот раз, похоже, нет.

[sovaz1997]

А, ну это отсюда похоже и есть, пропустил этот момент))

Ладно. Судя по производительности, Лила должна дотянуть до следующего дивизиона. А там уже с нормальной конфигурацией проблем быть не должно. Главное, чтобы не получилось как в прошлом TCEC - в итоге оставшись в 3-м дивизионе, не пройдя дальше. И здесь уже организаторов TCEC обвинить будет не в чем. Только если похвалить за использование RTX 2080 Ti да и вообще за всю их работу.

[Vizvezdenec]

А дело ли тут в конфигурации?
Говорят, лила начинает видеть, что она проигрывает в той позиции после 6 миллионов роллаутов... Что даже на таком железе малореально как бы

[Alex_Zet]

Цитата: Сообщение от Vizvezdenec

А дело ли тут в конфигурации?
Говорят, лила начинает видеть, что она проигрывает в той позиции после 6 миллионов роллаутов... Что даже на таком железе малореально как бы

Другими словами Лила слишком поздно замечает свой проигрыш? Как то попроще выразитесь, а то я слово роллауты не понимаю.

[Maratka]

Попроще, LZ нужно час, чтобы найти свой проигрыш, тогда как у него было 30 секунд.
На самом деле это хорошо. Это значит, что в сети не находится достаточно большое количество нужных данных, ну или вернее говоря они есть, но закопаны далеко.

Отсюда следует, что:
1) Учить сеть еще можно. Оно не переполнена.
2) Производительности существующего железа недостаточно даже для контроля ~2-3 часа на партию, т.е. LZ пока что еще масштабируется по мере роста мощности железа, и не уперлась в количество узлов сети используемой размерности.
Это хорошие новости.

Теперь плохая: учить ее придется не просто долго, а очень долго. Т.е. на уровень топовых движков ее вывести получилось, а вот насчет обойти их на всего-то сотку-полторы ELO - это проблема.

[Alex_Zet]

Долго это сколько, месяц,год?

PS. Я вижу что Лила играет в совершенно другие шахматы нежели соперники, в качественно другие. При том что возможно по эло она и сравнялась с Комодо но от Стока отстает не более чем на 100 эло. Также я вижу что когда играют движки а Комодо и Сток выступают в качестве экспертов то оценки у них практически одинаковые, то есть Комодо очень хорошо масштабируется в плотную к Стокфиш. Я не знаю как масштабируется Лила, пока еще сравнить не с чем, но думаю если ей добавить всего лишь 50 эло то она реально будет претендовать на Супеофинал и чемпионство.

[Maratka]

Первое поражение Komodo. Вполне предсказуемо, что от LZ.
Наша парочка делит 1-2 места с 10 очками, у ближайшего преследователя 6,5.
Думаю, вполне можно утверждать, что если кто-то там из команды LZ и накосячил, предоставив не тот движок/настройки, то косяк был не страшный.

[Maratka]

Цитата: Сообщение от Alex_Zet

Долго это сколько, месяц,год?

Много лет. А в рамках реалий - никогда, ибо дрессировать сеть 4-5 лет никто не будет, к тому же это ничего не даст: SF за это время со своими дежурным 70 ELO в год усилится больше.
Т.е. если команда LZ хочет забрать корону TCEC себе, то брать ее нужно вот прямо сейчас, в этом турнире. От силы, в следующем. Т.е. как угодно, но прокачать сеть еще на +100-150 ELO к уровню 11250, и сделать это за 2 месяца, от силы за 6.
______
Все писанное выше в этом и предыдущем сообщении по данному вопросу - мое личное мнение.
У представителей команды LZ может быть другие мнения.

[Alex_Zet]

Реально за какой срок можно усилить Лилу на 50 эло по сравнению с нынешней?

[Maratka]

Это не ко мне.

[Alex_Zet]

Прибавка 30 эло гарантированно даст Лиле место в Супеофинал, 50 эло с большей долей вероятности чемпионство

[sovaz1997]

Может, DeepMind опять прорыв устроит. Область-то очень бурно развивается, в отличие от Alpha-Beta, которая уже практически все выжала из себя.

[Alex_Zet]

Цитата: Сообщение от sovaz1997

Может, DeepMind опять прорыв устроит. Область-то очень бурно развивается, в отличие от Alpha-Beta, которая уже практически все выжала из себя.

Первым из АВ движков который забуксует будет Сток, а остальные будут неуклонно сокращать нынешний разрыв.
А про прорыв ДипМинд поподробнее плиз.

[sovaz1997]

Пока прорыва нет, но информация об новая информация по AZ появляется. Пока просто нет конкретики.

Да и Лила тоже может прорыв устроить и обогнать SF. И да, не надо AB приравнивать к чему-то точному. Современный AB - это совсем не то, что было 40-50 лет назад. Современная depth 30 может запросто не найти мат в 5 ходов, например. Да и плана игры у AB как такового нет. Но пока это самый успешный подход. Что будет дальше - узнаем.

[Maratka]

Цитата: Сообщение от sovaz1997

Да и плана игры у AB как такового нет.

Ну так оно и хорошо
А у LZ план есть, потому и есть у него проблема при запуске с любой позиции, отличной от стартовой. ;)
Т.е. в любом турнире, где используется книга (а она везде используется) - LZ демонстрирует худшую игру, чем мог бы.

[Maratka]

Цитата: Сообщение от sovaz1997

Может, DeepMind опять прорыв устроит. Область-то очень бурно развивается, в отличие от Alpha-Beta, которая уже практически все выжала из себя.

В этом деле главное - стабильность. Что толку от того, что AZ превзошел SF8 год назад по читерским правилам, и после пары лет работы над ним, если к тому времени де-факто была без пары месяцев версия 9, усиленная на 50 ELO?
Почувствуйте что называется разницу:
1) AZ разрабатывался несколько лет. Все это время писали его код, строили его тестовые сети, потом опять переписывали и перестраивали, и так много-много раз. Попутно разрабатывалось железо под него. Специализированное, узкозаточенное железо.
2) При этом публике было рассказано, что де AZ поиграл сам с собой несколько часов, и на базе этого получил знания, которых хватило для победы над SF8

А вот SF дает свои ~70 ELO в год 3-4 года подряд, и нет каких-то особенных сомнений, что его актуальная через год версия будет сильнее десятки на примерно столько же.

[Alex_Zet]

Я так и не понял сколько нужно времени Лиле что бы набрать 30 или хотя бы 20 эло? И за какое время Лила прибавила 20 эло достигнув тем самым нынешнего уровня?

[Maratka]

Цитата: Сообщение от Maratka

Это не ко мне.

Думаю все остальные, кто читает тему могут повторить эту фразу.

[Vizvezdenec]

Цитата: Сообщение от sovaz1997

Может, DeepMind опять прорыв устроит. Область-то очень бурно развивается, в отличие от Alpha-Beta, которая уже практически все выжала из себя.

Дипмайнд устроил прорыв разве что в том, что закупил кучу железа. Практически вся математика для этого проекта будет старше, чем AB minimax.
Реальный прорыв устроила Nvidia, которая клепает сейчас видеокарты, на порядок+ более производительные, чем какие-то 5 лет назад. Но смогут ли они так и дальше? Возникают некоторые сомнения, мы уже вплотную к пределу с точки зрения физики подбираемся.

[Alex_Zet]

Почему это в плотную? Уверяю, если бы сейчас у Лилы было не теперешнее оборудование а то что было в матче АZ - Сток8, то я сильно сомневаюсь в том что кто либо смог бы обыграть Лилу. И И по оборудованию и по силе сети расти есть куда безусловно. Нынешний уровень набран за какой срок? За мизерный, очень очень небольшой и уже сравнялась. Наши внутренние штампы и стереотипы, это наша проблема а не оборудование.
Через год от Стокфиш останется ничего.

[svoitsl]

Цитата: Сообщение от Maratka

У представителей команды LZ может быть другие мнения.

Crem кое -какие перспективы огласил

Цитата:

Сейчас test30 подаёт неплохие надежды. Там в частности используется policy sharpening, который казался свежей идеей, но три дня назад внезапно обнаружилось, что deepmind его тоже использовал (вроде бы, если мы интерпретируем статью правильно). Короче, продолжают находиться детали, которые у нас не так как у AlphaZero, и это хорошо.

В версии v0.20 будут изменения, которые позволят поддерживать разные варианты архитектуры нейросети. Ожидается, что из-за этого следующая попытка (скорее всего test40, но может оказаться что и test50) будет сильнее. Главным образом из-за SE сети, которая говорят хорошо себя показала в тестах.
Ну и ещё возможно добавим несколько константных плоскостей на вход нейросети: координатные (чтоб нейросеть лучше "видела" где относительно краёв доски находятся фигуры) и "шашечную" с разными значениями для чёрных и белых клеток (чтобы легче было различать разноцветных слонов).
И ещё попробуем добавить отдельную вероятность победы/поражения/ничьи на выходе из нейросети, но это наверняка не в test40.

[Maratka]

Цитата: Сообщение от Alex_Zet

И по оборудованию и по силе сети расти есть куда безусловно.

Так и у SF есть куда.
В следующем году выходят 64-ядерные Epic'и.
127 ядер вместо 43 - втрое быстрее. Это сразу ~100 ELO. ;)

Потому и пишу: либо LZ набирает нужные ей для победы 100-150 ELO буквально за несколько месяцев, либо у него нет шансов.

[Alex_Zet]

Вот вот, идеи будут множатся. Лила еще просто ребенок.

[Maratka]

Цитата: Сообщение от svoitsl

Crem кое -какие перспективы огласил

Т.е. все когда-то потом. А SF тут и сейчас играет. Потому обыгрывать его нужно тут и сейчас, потом уже будет другой SF, заметно более сильный.

[Alex_Zet]

Отличие Лилы и АВ движков, можно описать как отличие в качестве обновлений. Если обновления Стока это уменьшение количество строк кода и это количественный подход, то у Лилы все обновления будут представлять качественный подход, развиваться она будет не постепенным приростом ЭЛО, а скачкообразно, качественным изменением, если можно так выразиться. Как пример - добавление к существующей сети, сеть эндшпилей и это качественный скачек.

Выскажу робкое соображение что может Лила будет представлять целый набор разноцелевых сетей взаимодействующих между собой.

[Maratka]

Цитата: Сообщение от Alex_Zet

Если обновления Стока это уменьшение количество строк кода и это количественный подход,

Обновления SF - это примерно то же количество кода при лучшем качестве: исходник что 9, что 10 версии весит 420 килобайт.

Цитата: Сообщение от Alex_Zet

Как пример - добавление к существующей сети, сеть эндшпилей и это качественный скачек.

Вот это - да, возможно, и вполне прогнозируемо. Сеть для эндшпилей во всяком случае уже достаточно давно существует. Вопрос лишь в ее подключении к движку в качестве вспомогательной.