TCEC 16 - Чемпионат Мира среди шахматных движков

[sovaz1997]

TCEC 16 начнется 14 Июля 2019 года в 17:00 (по МСК) с участием сильнейших шахматных движков в мире. Впервые в истории движок с нейронной сетью, Leela Chess Zero (Lc0), будет защищать как титул лиги, так и Кубок.



TCEC 16 будет представлен в новом формате. Он сохранит известный Премьер-дивизион и Суперфинал, как и в предыдущих сезонах, но даст больше шансов движкам, чтобы подняться в рейтинге. По этой причине будут созданы три лиги из 16 движков. Мероприятие начнется с Квалификационной лиги, где будут представлены все новички, включая новые движки AB и движки, использующие нейронные сети. Лучшие 6 из Квалификационной лиги перейдут в Лигу 2 (также 6 перейдут в низшую лигу), а лучшие 4 из Лиги 2 перейдут в Лигу 1 (также 4 перейдут в низшую лигу). Наконец, лучшие 2 движка из Лиги 1 будут квалифицированы в Премьер-дивизион (также 2 будут переведены в низшую лигу).

Изменение структуры для TCEC необходимо из-за быстрого развития компьютерных шахмат. С новым форматом больше движков получат шанс подняться и получить шанс войти в элиту.

Вот список участников для Премьер-дивизиона и вновь образованных лиг. Посев двигателей полностью основан на TCEC 15.

Суперфинал (100 игр с контролем 120′+10″ – используется новая дебютная книга от Jeroen Noomen)

Развернуть для просмотра

1. 1-е место Премьер-дивизиона
2. 2-е место Премьер-дивизиона

[свернуть]

Премьер-дивизион (3x DRR с контролем 90′+5″ – используется новая 8-ходовая книга от Cato (Nelson Hernandez))

Развернуть для просмотра

1. Lc0 – текущий чемпион TCEC
2. Stockfish
3. Komodo
4. AllieStein
5. Houdini
6. Komodo MCTS
7. 1-е место из Лиги 1
8. 2-е место из Лиги 1

[свернуть]

Лига 1 (1x DRR с контролем 45+5 - используется 6-ходовая дебютная книга, рандомизированная)

Развернуть для просмотра

1. Ethereal
2. Fire
3. Xiphos
4. Laser
5. Andscacs
6. Fizbo
7. Jonny
8. Chiron
9. Ginkgo
10. ChessBrainVB
11. Booot
12. Rofchade
13. из Лиги 2
14. из Лиги 2
15. из Лиги 2
16. из Лиги 2

[свернуть]

Лига2 (1x DRR with time control 30+5 – using a 4 move book, рандомизированная)

Развернуть для просмотра

1. Fritz
2. Nirvana
3. Arasan
4. Texel
5. Vajolet
6. Gull
7. Pedone
8. Nemorino
9. Rubichess
10. Pirarucu
11. из квалификационного раунда
12. из квалификационного раунда
13. из квалификационного раунда
14. из квалификационного раунда
15. из квалификационного раунда
16. из квалификационного раунда

[свернуть]

Квалификация (1x DRR с контролем 30+5 – используется 2-ходовая дебютная книга, рандомизированная)

18 движков бьются за 6 квалификационных позиций. Это смесь движков из 4-го дивизиона и новых.

Развернуть для просмотра

1. Bagatur 1.7b
2. The Baron 3.44.1
3. Cheese 2.1
4. chess22k 1.12
5. ChessFighterNN v2.1-n8x128c_7411
6. Igel 1.8.0
7. Jumbo 0.6.117
8. Marvin 3.4.0
9. Minic 0.76
10. ScorpioNN v2.9.0-n_maddex_INT8
11. Stoofvlees II a10
12. Topple 0.7.2_dev
13. Tucano 7.07
14. Wasp 3.68
15. Winter 0.6
16. Asymptote 0.6.2
17. Rodent III
18. Lc0 CPU

[свернуть]

Промо-движок в полевых условиях
Многие движки в настоящее время используют NN, полностью используя графические процессоры. Тем не менее, чемпион Lc0 выпустил сильную версию, играющую только на CPU! Это не уникальный движок по критериям TCEC, но, безусловно, приятно видеть, как он играет против реальных конкурентов с силой, превышающей 3000 пунктов Эло. Таким образом, Lc0 CPU входит в TCEC в качестве промо-движка. Он будет играть в дивизионе, но в конце турнира все результаты движка будут аннулированы.

[Омегазеро]

Цитата: Сообщение от dew

Я не злобный, но авторы lc0 не упоминают авторов альфазеро почему?

А что брали у Альфазеро?
Дипмайнд не раскрывал ни код, ни нейросеть, ни базу тренировочных партий
Был взят на вооружение сам метод

Но тогда надо требовать у авторов аб-движков, чтобы они указывали изобретателей альфа-бета-отсечения

Разве есть в списке авторов Стокфиша Дональд Кнут и Рональд Мур?

[Vizvezdenec]

Цитата: Сообщение от sovaz1997

Лила получила выигранную позицию и... получила бешенную ладью. М-да.

У Лилы есть с этим некоторые проблемы.
Их сейчас куда меньше, чем на 30 сетях, которые просто в половине выигранных позиций позёвывали бешеные ладьи и вечные шахи, но полностью они не вылечены.

[Омегазеро]

Цитата: Сообщение от Alex_Zet

ТСЕС 16
1 Премьер дивизион 3 АВ + 5 не АВ

Alex_Zet ведь угадал?

[svoitsl]

[sovaz1997]

Цитата: Сообщение от Alex_Zet

С чего вы взяли что Элли это клон? Если это клон то приведите доказательства, а не просто собирайте слухи на форуме распространяемые безосновательно. Дайте хотя бы ссылку на джитхаб где будет новая версия Элли v0.5 играющая сейчас в ТСЕС 16 что бы сравнить с актуальным движком Лилы и уличить поганцев в воровстве.

Да да, если бы Сток не крэшанулся то и черт бы с ним, пусть клоны играют, а раз Стокфиша не будет то и клонов поганой метлой. Ни себе не людям, как говорится. И это вполне объяснимо, ведь с клонами Стоку легко справится, потому и ропота нет. Только это ещё доказать нужно, клоны ли это или может быть кому то это на руку.

Вот и доказательство чистого заимствования огромных кусков кода: сравните файлы.

https://github.com/manyoso/allie/blo...ral/loader.cpp
https://github.com/LeelaChessZero/lc...ural/loader.cc

https://github.com/manyoso/allie/blo...ural/network.h
https://github.com/LeelaChessZero/lc...ural/network.h

Это только 2 файла, чисто для примера. Там их намного больше (чисто скопированных).

Причем здесь даже в лицензии (!) стоит в обоих случаях Leela Chess Zero. Т. е. просто вся библиотека с улучшениями из Lc0 переходила в Allie. Ну а то, что там немного другой поиск и немного другой генератор ходов ни о чем не говорит абсолютно и лично мне очевидно, что достижения Allie на самом деле являются достижением команды Lc0. И здесь просто совесть не должна позволять не добавить имена авторов Lc0 именно в UCI-строку, а не куда-то там еще.

[alchemist888]

Шумихи вокруг клонов еще не было по причине того, что Allie долгое время не претендовала на выход в финалы. Но теперь, когда большая часть багов поправлена, Allie является реальным кандидатом на выход в SuFi TCEC 16. Все таки под ее управлением сеть близкая по силе к лучшим T30 сетям, а они в свою очередь сильно превосходят Houdini и Komodo.
Полагаю, если случится, что Allie оставит за бортом LCZero или Stockfish, то вопрос клонов будет поднят очень остро. По крайней мере я на это очень надеюсь.
Одним из лучших решений будет коллективная жалоба от разработчиков других движков.

[sovaz1997]

Цитата: Сообщение от alchemist888

Шумихи вокруг клонов еще не было по причине того, что Allie долгое время не претендовала на выход в финалы. Но теперь, когда большая часть багов поправлена, Allie является реальным кандидатом на выход в SuFi TCEC 16. Все таки под ее управлением сеть близкая по силе к лучшим T30 сетям, а они в свою очередь сильно превосходят Houdini и Komodo.
Полагаю, если случится, что Allie оставит за бортом LCZero или Stockfish, то вопрос клонов будет поднят очень остро. По крайней мере я на это очень надеюсь.
Одним из лучших решений будет коллективная жалоба от разработчиков других движков.

Нее, вообще не думаю. Если автор занимается копированием, придумать что-то свое будет очень проблематично. Так и будет плестись возле Лилы и ее усиления будут только за счет усиления поиска Lc0)) Хотя, если она выйдет в финал и сыграет с Лилой 100 партий, в этом случае, как мне кажется, ей не жить в следующем сезоне TCEC)) Во-первых, финал скучный. Во-вторых, сходство будет очевидно. Наверняка, правила изменят и будут более жестко отбирать движки. А то сейчас Allie нам показывает пример обхода системы правил TCEC.

[Vizvezdenec]

Ну я сейчас по коду полазил...
Печальненько, 10 файлов минимум из 15 либо полностью копипаста, либо изменения типа 2-3 линий кода из 500.
Надо бы где-нибудь написать официальную жалобу, если честно.

[crem]

Цитата: Сообщение от Vizvezdenec

Ну я сейчас по коду полазил...
Печальненько, 10 файлов минимум из 15 либо полностью копипаста, либо изменения типа 2-3 линий кода из 500.
Надо бы где-нибудь написать официальную жалобу, если честно.

Я ещё в марте пытался обсудить это с Антоном (Allie был повод, но вообще разговор был о том что правила о NN ужасны), часов 15 своего времени потратил рисуя всякие диаграммы, пытаясь и так и сяк объяснить что к чему.
Я пинговал TCEC каждую неделю, там отвечали "это очень важный вопрос, продолжай писать свои объяснения", но из разговора было понятно что они даже первой строчки не прочитали.
К началу мая я плюнул на эту затею.

Вот пару скриншотов из документов:

[crem]

Вот вам ещё оттуда же:

[alchemist888]

Цитата: Сообщение от crem

Я ещё в марте пытался обсудить это с Антоном (Allie был повод, но вообще разговор был о том что правила о NN ужасны), часов 15 своего времени потратил рисуя всякие диаграммы, пытаясь и так и сяк объяснить что к чему.

Большое спасибо за скрины!
По текущей ситуации я думаю, что коллективная жалоба от разработчиков движков и зрителей TCEC будет иметь значительно больший успех. Плюс сейчас Vizvezdenec активно поднял этот вопрос в чате TCEC, некий резонанс определенно появится.

Организаторы - простые люди, они занимаются маркетингом и продвижением, сомневаюсь что кто-либо из них хоть сколько нибудь разбирается в нейронных сетях и алгоритмах обучения. Поэтому до них сложно достучаться технической аргументацией.

Когда человеку нужно решить непривычную для него задачу, он как правило откладывает ее до последнего момента, предпочитая делать простые и понятные ему вещи.

[sovaz1997]

Ух ты, а это серьезно уже
Надо как-то протолкнуть это, чтобы больше людей увидело. На самом деле, тут реально так - чем больше людей знают, тем больше шанс, что TCEC пересмотрит правила.

[crem]

Тогда кстати TCEC 15 только начался, и я с самого им написал с таким смыслом что в TCEC 15 вы конечно накосячили, но давайте хотя бы к TCEC 16 сделаем нормальные правила и будем разумно их применять (было 3 месяца времени)!

Но в TCEC 16 не поменялось вообще ничего.

Я тогда озвучил такую позицию:
1. Я не против участия Allie где-либо.
2. Согласно текущим правилам TCEC, Allie не должен быть допущен к участию.
3. Я не против чтоб правила TCEC были изменены таким образом чтобы Allie мог участвовать (и вместе с тем например asmfish и Cfish), но для этого надо менять правила и сделать так чтоб все понимали, что в Allie оригинального а что нет.

CCCC например прямо заявляют что им пофиг клоны или нет, главное чтобы было интересно смотреть, к ним никаких претензий.
(почти; они бы могли хотя бы в списке авторов Leelenstein указать LCZero authors)

[sovaz1997]

По поводу TCEC: не знаю, сколько у них сейчас крутится средств, но выделить на зарплату разбирающимся, думаю, они смогут.

[Vizvezdenec]

Не думаю, если честно.
А по поводу жалобы ... "Пишите в дискорд, там может быть кто-нибудь прочтёт" - примерно так
Я в своё время поудалялся из всех этих дискордовых серверов, т.к. там контента, нужного мне, примерно 1% от общего числа. И добавляться заново, чтобы услышать "мы вас поняли, перезвоним" мне как-то не охота.

[sovaz1997]

Цитата: Сообщение от crem

Тогда кстати TCEC 15 только начался, и я с самого им написал с таким смыслом что в TCEC 15 вы конечно накосячили, но давайте хотя бы к TCEC 16 сделаем нормальные правила и будем разумно их применять (было 3 месяца времени)!

Но в TCEC 16 не поменялось вообще ничего.

Я тогда озвучил такую позицию:
1. Я не против участия Allie где-либо.
2. Согласно текущим правилам TCEC, Allie не должен быть допущен к участию.
3. Я не против чтоб правила TCEC были изменены таким образом чтобы Allie мог участвовать (и вместе с тем например asmfish и Cfish), но для этого надо менять правила и сделать так чтоб все понимали, что в Allie оригинального а что нет.

CCCC например прямо заявляют что им пофиг клоны или нет, главное чтобы было интересно смотреть, к ним никаких претензий.
(почти; они бы могли хотя бы в списке авторов Leelenstein указать LCZero authors)

Да с CCC понятно уже, что не позиционирует себя как серьезный, а чисто как развлекательный. TCEC же - совсем другое дело. Понятно, что он развлекательный. Но при этом имеет серьезные правила и на выходе выдает качественные партии с большим контролем. И тут, конечно, нельзя просто взять и дать клону играть. По правилам. Я ведь как только увидел Allie, сразу скептически отнесся к проекту.

[sovaz1997]

Цитата: Сообщение от Vizvezdenec

Не думаю, если честно.
А по поводу жалобы ... "Пишите в дискорд, там может быть кто-нибудь прочтёт" - примерно так
Я в своё время поудалялся из всех этих дискордовых серверов, т.к. там контента, нужного мне, примерно 1% от общего числа. И добавляться заново, чтобы услышать "мы вас поняли, перезвоним" мне как-то не охота.

В Discord нужен отдельный канал, как мне кажется (на том же TCEC) про обсуждение темы заимствования и т. д. Причем должен быть ограниченный доступ (разработчики движков TCEC, модераторы и люди, которые в этом действительно разбираются, на высоком уровне).

[crem]

Цитата: Сообщение от sovaz1997

По поводу TCEC: не знаю, сколько у них сейчас крутится средств, но выделить на зарплату разбирающимся, думаю, они смогут.

Я думаю, у них мало денег. Я уверен, что TCEC приносит гораздо больше расходов, чем доходов. Основная ставка у них на то, что оно повышает репутацию chessdom, то есть косвенно повышает доход.

И не обязательно кого-то нанимать, они могли бы просто перед своим пафосным объявлением новых движков спросить авторов Lc0 (когда есть подозрение что что-то позаимствовано оттуда) всё ли ок.


А то они верят авторам на слово и постоянно какие-то секреты делают.

- DeusX вначале сказал что его веса нейронной сети -- это самое важное, а поиск -- это просто глупый контейнер для проигрывания его весов.

- Allie потом наоборот заявил, что в движке главное поиск, а вот эта вся нейронная сеть -- штука стандартная, и зачем там что-то переписывать если всё и так есть.

[sovaz1997]

Кстати, никто не знает программ, которые могут исходники проверить на сходство в %-м соотношении и показать сходные части кода? А то ведь у Allie, по сути, только генератор ходов и базовый поиск MCTS свои. Здесь даже творчества особо нет, как, например, в поиске alpha-beta, где ты можешь тестированием и внесением изменений постепенно улучшать движок.

[Vizvezdenec]

Ну я вот поработал сам такой программой, 70% файлов с похожими названиями - 95%+ заимствование кода у Лилы. Ну, правда, не все файлы имеют сходные названия, появились какие-то новые, что-то таки отличается, да и не по всему коду я лазил. Но...

[sovaz1997]

Цитата: Сообщение от crem

Я думаю, у них мало денег. Я уверен, что TCEC приносит гораздо больше расходов, чем доходов. Основная ставка у них на то, что оно повышает репутацию chessdom, то есть косвенно повышает доход.

И не обязательно кого-то нанимать, они могли бы просто перед своим пафосным объявлением новых движков спросить авторов Lc0 (когда есть подозрение что что-то позаимствовано оттуда) всё ли ок.


А то они верят авторам на слово и постоянно какие-то секреты делают.

- DeusX вначале сказал что его веса нейронной сети -- это самое важное, а поиск -- это просто глупый контейнер для проигрывания его весов.

- Allie потом наоборот заявил, что в движке главное поиск, а вот эта вся нейронная сеть -- штука стандартная, и зачем там что-то переписывать если всё и так есть.

Т. е. автор Allie посчитал, что нейронная сеть - это стандартная библиотека в открытом доступе, и на этом сыграл))
А Deus X - вообще клоунада. Поначалу было интересно, до тех пор, пока не выяснилось, что это та же Лила, только в профиль. Насколько я понимаю, сейчас есть только 2, написанный с нуля (не считая AZ): Lc0 и Stoofvlees II. Все остальное - вероятные клоны.

[Vizvezdenec]

Ну ScorpioNN может и не быть клоном.
Я, честно говоря, не смотрел в его код. Просто подозрительно, что человек, который за 10+ лет не смог сделать программу, которая не крашится на 16 ядрах, тут делает нейросеть с нуля сам и она хорошо играет.

[sovaz1997]

Цитата: Сообщение от Vizvezdenec

Ну я вот поработал сам такой программой, 70% файлов с похожими названиями - 95%+ заимствование кода у Лилы. Ну, правда, не все файлы имеют сходные названия, появились какие-то новые, что-то таки отличается, да и не по всему коду я лазил. Но...

Мне что-то даже подсказывает, что генератор ходов тоже не свой))
Ну, не знаю. Если генератор ходов реально быстрый, то его не так уж и легко с нуля написать. Я генератор ходов сам писал, не смотрел последние техники и улучшения, но узнал про Magic-bitboards по одной статейке от, сгенерировал свои magic-числа, реализовал, протестировал. В общем, у меня 20 mnps получилось (в старой версии - меньше 10). У Xiphos там вообще под 200, я просто не представляю, какими усилиями этого можно было добиться

[sovaz1997]

Цитата: Сообщение от sovaz1997

Т. е. автор Allie посчитал, что нейронная сеть - это стандартная библиотека в открытом доступе, и на этом сыграл))
А Deus X - вообще клоунада. Поначалу было интересно, до тех пор, пока не выяснилось, что это та же Лила, только в профиль. Насколько я понимаю, сейчас есть только 2, написанный с нуля (не считая AZ): Lc0 и Stoofvlees II. Все остальное - вероятные клоны.

Я поэтому и написал - вероятные клоны. Нет уверенности в ScorpioNN, т. к. мы не видели код. Но... он сам сеть тренировал?

[crem]

Цитата: Сообщение от sovaz1997

Мне что-то даже подсказывает, что генератор ходов тоже не свой))
Ну, не знаю. Если генератор ходов реально быстрый, то его не так уж и легко с нуля написать. Я генератор ходов сам писал, не смотрел последние техники и улучшения, но узнал про Magic-bitboards по одной статейке от, сгенерировал свои magic-числа, реализовал, протестировал. В общем, у меня 20 mnps получилось (в старой версии - меньше 10). У Xiphos там вообще под 200, я просто не представляю, какими усилиями этого можно было добиться

Для MCTS не нужен быстрый генератор ходов.
Каких-нибудь 1Mnps (в 1000 раз медленней чем у стокфиша) достаточно.

В Lc0 я сделал вообще самый топорный из всех возможных генератор, и он никогда не был узким местом (он выдавал 15Mnps). Пару месяцев назад кто-то соптимизировал, добавил magic bitboards и т.д., но это просто потому что негоже шахматному движку иметь такой медленный генератор.

[sovaz1997]

Цитата: Сообщение от crem

Для MCTS не нужен быстрый генератор ходов.
Каких-нибудь 1Mnps (в 1000 раз медленней чем у стокфиша) достаточно.

В Lc0 я сделал вообще самый топорный из всех возможных генератор, и он никогда не был узким местом (он выдавал 15Mnps). Пару месяцев назад кто-то соптимизировал, добавил magic bitboards и т.д., но это просто потому что негоже шахматному движку иметь такой медленный генератор.

У меня 20 mnps в Perft выдает (с отменами ходов), а чисто если запускать многократно, 200))
Но если не является узким местом, то согласен - лишние оптимизации будут излишними . Уж луче пусть он будет понятным

[Alex_Zet]

Цитата: Сообщение от Vizvezdenec

Ну я вот поработал сам такой программой, 70% файлов с похожими названиями - 95%+ заимствование кода у Лилы. Ну, правда, не все файлы имеют сходные названия, появились какие-то новые, что-то таки отличается, да и не по всему коду я лазил. Но...

Это конечно здорово все . Вот только бы еще ссылку на играющую сейчас версию 0.5 Элли. А так да, в тот момент когда Стокфиш а тащат за уши в суперфинал несмотря на егомногочимленные крэши самое время отвлечь от разгорающегося скандала на тсес переведя стрелки на Элли и умело подстегивая эмоции авторов Лилы.
Одним словом, ту ли версию Элли взяли для тестироване на совпадение кода с Лилой и повторюсь ссылку в студию

[sovaz1997]

Цитата: Сообщение от Alex_Zet

Это конечно здорово все . Вот только бы еще ссылку на играющую сейчас версию 0.5 Элли. А так да, в тот момент когда Стокфиш а тащат за уши в суперфинал несмотря на егомногочимленные крэши самое время отвлечь от разгорающегося скандала на тсес переведя стрелки на Элли и умело подстегивая эмоции авторов Лилы.
Одним словом, ту ли версию Элли взяли для тестироване на совпадение кода с Лилой и повторюсь ссылку в студию

Взяли официальнейшую версию с Гитхаба.

[Омегазеро]

Цитата: Сообщение от Vizvezdenec

можно ли SF заменить библиотеку

Ну так что, Стокфишу поменяли подгузники?

[Alex_Zet]

Цитата: Сообщение от sovaz1997

Взяли официальнейшую версию с Гитхаба.

Напишите номер оф версии. И ссылку заодно