TCEC 16 - Чемпионат Мира среди шахматных движков

[sovaz1997]

TCEC 16 начнется 14 Июля 2019 года в 17:00 (по МСК) с участием сильнейших шахматных движков в мире. Впервые в истории движок с нейронной сетью, Leela Chess Zero (Lc0), будет защищать как титул лиги, так и Кубок.



TCEC 16 будет представлен в новом формате. Он сохранит известный Премьер-дивизион и Суперфинал, как и в предыдущих сезонах, но даст больше шансов движкам, чтобы подняться в рейтинге. По этой причине будут созданы три лиги из 16 движков. Мероприятие начнется с Квалификационной лиги, где будут представлены все новички, включая новые движки AB и движки, использующие нейронные сети. Лучшие 6 из Квалификационной лиги перейдут в Лигу 2 (также 6 перейдут в низшую лигу), а лучшие 4 из Лиги 2 перейдут в Лигу 1 (также 4 перейдут в низшую лигу). Наконец, лучшие 2 движка из Лиги 1 будут квалифицированы в Премьер-дивизион (также 2 будут переведены в низшую лигу).

Изменение структуры для TCEC необходимо из-за быстрого развития компьютерных шахмат. С новым форматом больше движков получат шанс подняться и получить шанс войти в элиту.

Вот список участников для Премьер-дивизиона и вновь образованных лиг. Посев двигателей полностью основан на TCEC 15.

Суперфинал (100 игр с контролем 120′+10″ – используется новая дебютная книга от Jeroen Noomen)

Развернуть для просмотра

1. 1-е место Премьер-дивизиона
2. 2-е место Премьер-дивизиона

[свернуть]

Премьер-дивизион (3x DRR с контролем 90′+5″ – используется новая 8-ходовая книга от Cato (Nelson Hernandez))

Развернуть для просмотра

1. Lc0 – текущий чемпион TCEC
2. Stockfish
3. Komodo
4. AllieStein
5. Houdini
6. Komodo MCTS
7. 1-е место из Лиги 1
8. 2-е место из Лиги 1

[свернуть]

Лига 1 (1x DRR с контролем 45+5 - используется 6-ходовая дебютная книга, рандомизированная)

Развернуть для просмотра

1. Ethereal
2. Fire
3. Xiphos
4. Laser
5. Andscacs
6. Fizbo
7. Jonny
8. Chiron
9. Ginkgo
10. ChessBrainVB
11. Booot
12. Rofchade
13. из Лиги 2
14. из Лиги 2
15. из Лиги 2
16. из Лиги 2

[свернуть]

Лига2 (1x DRR with time control 30+5 – using a 4 move book, рандомизированная)

Развернуть для просмотра

1. Fritz
2. Nirvana
3. Arasan
4. Texel
5. Vajolet
6. Gull
7. Pedone
8. Nemorino
9. Rubichess
10. Pirarucu
11. из квалификационного раунда
12. из квалификационного раунда
13. из квалификационного раунда
14. из квалификационного раунда
15. из квалификационного раунда
16. из квалификационного раунда

[свернуть]

Квалификация (1x DRR с контролем 30+5 – используется 2-ходовая дебютная книга, рандомизированная)

18 движков бьются за 6 квалификационных позиций. Это смесь движков из 4-го дивизиона и новых.

Развернуть для просмотра

1. Bagatur 1.7b
2. The Baron 3.44.1
3. Cheese 2.1
4. chess22k 1.12
5. ChessFighterNN v2.1-n8x128c_7411
6. Igel 1.8.0
7. Jumbo 0.6.117
8. Marvin 3.4.0
9. Minic 0.76
10. ScorpioNN v2.9.0-n_maddex_INT8
11. Stoofvlees II a10
12. Topple 0.7.2_dev
13. Tucano 7.07
14. Wasp 3.68
15. Winter 0.6
16. Asymptote 0.6.2
17. Rodent III
18. Lc0 CPU

[свернуть]

Промо-движок в полевых условиях
Многие движки в настоящее время используют NN, полностью используя графические процессоры. Тем не менее, чемпион Lc0 выпустил сильную версию, играющую только на CPU! Это не уникальный движок по критериям TCEC, но, безусловно, приятно видеть, как он играет против реальных конкурентов с силой, превышающей 3000 пунктов Эло. Таким образом, Lc0 CPU входит в TCEC в качестве промо-движка. Он будет играть в дивизионе, но в конце турнира все результаты движка будут аннулированы.

[Alex_Zet]

Когда Стокфиш начинает сливать в одну калитку, в ход идут разговор о железе.

[sovaz1997]

Цитата: Сообщение от Maratka

Ну железки конечно могут быть и разогнаны, но даже разгон в два раза все же не компенсирует отставания по ядрам почти втрое (даже с учетом 2 потока на каждом).
Плюс физически меньшее количество потоков должно бить по ширине поиска (мы с Вами видели, как наши восьмипоточные процессоры не в решают задачи, но если 40 потоков - то решают весьма быстро).

То, что 40 потоков где-то решают лучше задачу, не говорит об общей силе игры.

[alchemist888]

У меня Стокфиш на 1-м потоке некоторые задачи лучше решает, чем на 4-х. Это же не говорит о том, что однопоточный сильнее. К тому же, даже если многопоточность дает некоторую прибавку в Elo на тех же скоростях, то все равно обязано существовать некоторое разумное их количество, после которого прирост будет незначительным. В СССC у Стокфиша 90 быстрых потоков и Leela вместе с ее клонами вполне успешно играет с ним на железе чуть лучшем, чем у TCEC.
Кстати, я не видел ни одного теста, где пытаются вычислить преимущества количества потоков над скоростью.

[Alex_Zet]

Да, ТСЕС серьезно скопроментирован руководством во главе с Антоном. Но это не единственная же площадка в инете. По примеру ССС раскрутить по времени занимает год. Вот пусть Михайлов остается с кучкой любителей клонов которых выводят в сомнительные суперфиналы.

Ни один нормальный человек не примет победу в таком суперфинале. По хорошему надо весь Премьер 16 переиграть и провести аудит. Наверняка вксроются растраты. Поговаривают что Антон поигрывал на бирже но не совсем удачно и что бы залатать прорехи пошел на риск и скупил пакет акций Элли став алсновным акционером.

[sovaz1997]

Забавная ситуация: Redfish, Лила и Allie настаивали на 33 ... g5. Но Сток сыграл 33 ... Kg1. Ошибку увидели все, даже Redfish показал 0.00 -> -0.80.

[Alex_Zet]

Сток после недавних крешей сам не свой. Уже успел проиграть, в общем то на ровном месте. А теперь вот и такие ляпы, под атаку. Но не думаю что крупно проиграет. Все же сеть слабовата и пару партий Сток должен взять.

То то я смотрю тихо на форуме. Ни одного мечтателя. Думали что все, вчера то галдежь был, ветром сдувало. А Антон красавчик, все карты спутал.

[Alex_Zet]

Свеженькая табличка.

1 AllieStein v0.5-dev_7b41f8c-n11	4	2.5	0	1 [1/0]	0 [0/0]	3.75	3823	18 [3841]
2 Stockfish 19092522	                4	1.5	0	0 [0/0]	1 [0/1]	3.75	3892	-18 [3874]

Элли вырвалась вперед, Сток плетется в хвосте. Занял уже привычное, комфортное для него место.

[Alex_Zet]

S16 - Superfinal

AllieStein v0.5-dev_7b41f8c-n11 - Stockfish 19092522 1-0

1. d4 Nf6 2. c4 g6 3. Nc3 Bg7 4. e4 d6 5. Nf3 O-O 6. Be2 e5 7. O-O Nc6 8. d5 Ne7 9. Ne1 Nd7 10. b4 a5 11. bxa5 Rxa5 12. a4 Ra8 13. f3 f5 14. Nd3 Kh8 15. Bd2 b6 16. Ra3 Ng8 17. exf5 gxf5 18. f4 e4 19. Nb4 Ne7 20. Be3 Nc5 21. Qd2 Bd7 22. Rfa1 Qe8 23. R1a2 Bf6 24. Nb5 Qd8 25. Nc2 Nb7 26. g3 h6 27. Qd1 Kh7 28. Ncd4 Nc5 29. Kf1 Rg8 30. Bf2 Nb7 31. Kg2 Rc8 32. Kh1 Ra8 33. Be1 Qc8 34. Bd2 Na5 35. Bc3 Ng6 36. Qf1 Qd8 37. Qh3 Rf8 38. Ra1 Nb7 39. Bh5 Bxd4 40. Bxd4 Nc5 41. Be2 Rf7 42. Qf1 Rf8 43. Qf2 Ne7 44. h3 Rg8 45. Kh2 Ng6 46. Qe3 Nb7 47. Bc3 Ne7 48. Bh5 Ng6 49. Nd4 Na5 50. Be2 Qe7 51. Bb2 Qf7 52. Nb3 Nxb3 53. Qxb3 Ra5 54. Qd1 Rga8 55. Bc3 R5a7 56. Qd4 Ne7 57. R3a2 Qf8 58. a5 Be8 59. a6 Bg6 60. Ra3 Qf7 61. Bb2 Rc8 62. Rg1 Rg8 63. Kh1 Re8 64. g4 Rg8 65. Rg2 Qf8 66. Qe3 Be8 67. Qf2 c5 68. g5 Ra8 69. Bf6 Rg6 70. Qh4 Ng8 71. Bh5 Rxf6 72. gxf6 Qxf6 73. Qxf6 Nxf6 74. Bxe8 Rxe8 75. Rb2 Nd7 76. a7 Ra8 77. Kg1 Kg6 78. Ra6 Kf7 79. Rba2 Kg6 80. Rg2+ Kf7 81. h4 h5 82. Kf1 Nf8 83. Rb2 Nd7 84. Ke1 Ke7 1-0

[Alex_Zet]

Началась 5-я партия Элли - Сток.

1. e4 c5 2. Nf3 e6 3. d4 cxd4 4. Nxd4 Nc6 5. Nc3 Qc7 6. Be3 a6 7. a3 Nf6 8. f4 d6 9. Qf3 Be7 10. O-O-O

[svoitsl]

Цитата: Сообщение от Alex_Zet

. Видимо у него уже до начала была сломлена воля.

У него наверное презрение нулевое, вот играет осторожно

[Maratka]

Цитата: Сообщение от sovaz1997

То, что 40 потоков где-то решают лучше задачу, не говорит об общей силе игры.

Общая сила игры складывается из решенных задач на каждом ходу.

[Maratka]

1:1

[Alex_Zet]

Цитата: Сообщение от Maratka

1:1

Самое прикольное это то что весь сценарий суперфинала все уже отрепетировано еще на Премьер. Те три проигрыша Элли это три табии, которые будут даваться каждый раз с небольшими перестановками когда надо будет вытащить Стокфиш. Сейчас вот была табия номер 3, сработало безотказно. Тот же самый план и та же невразумительная игра черных. Прекрасная режиссура с заранее предсказуемым финалом. Можете проверить что каждый проигрвшь Элли будет связан с одной из трех расстановок из проиграных ею партий Стоку в Премьер. С одними и теми же планами, как было в этой только что слитой партии.
Конец здравому смыслу и парад абсурда. Михайлов переходит все рамки приличия.

Предлагаю команде Стокфиш добровольно сняться с турнира и не участвовать в спектакле. Хотябы совесть будет чиста.

[Alex_Lk]

Цитата: Сообщение от Alex_Zet

Элли вырвалась вперед, Сток плетется в хвосте. Занял уже привычное, комфортное для него место.

Неправильно освещаете события.
Сток гордо идет на втором месте.
А Элли предпоследний.

[sovaz1997]

У Allie не исправили тайм-менеджмент (она думала больше часа над ходом): https://www.tcec-chess.com/archive.h...&div=sf&game=8

[Alex_Zet]

Цитата: Сообщение от sovaz1997

У Allie не исправили тайм-менеджмент (она думала больше часа над ходом): https://www.tcec-chess.com/archive.h...&div=sf&game=8

1 час 02 мин 42 сек если быть точным. Ничего она не думала. Издевательски тянула время.

Сток по прежнему на втором месте. Зубами, как бульдог, повис на юбке и не разжимает челюстей.

[svoitsl]

Цитата: Сообщение от Alex_Zet

1 час 02 мин 42 сек если быть точным

Но вроде это не приводит к крашу, то есть либо лимит ОЗУ не достигнут либо это не совсем клон

[sovaz1997]

Вот, кстати, очередное доказательство несостоятельности мифа о том, что "Allie играет лучше против слабых движков". Пускай, это и не абсолютное доказательство, были другие:

Match: Comparison of Lc0 and Allie engines and networks, Part V
Subtitle: Is Allie really better at beating weaker engines? Answer: No.
Versions: Lc0.22.0, Allie_0.5dev_1359f44
Networks: T40B4-160 for Lc0, LS10 for Allie (divP networks)
Lc0 Options: option.MoveOverheadMs=100 option.NNCacheSize=2000000 option.CPuct=3.4 option.SyzygyPath="C:/tb"
Allie Options: --maxBatchSize=160 --treeSize=7168 --hash=7168 --cpuctInit=3.4 --syzygyPath=C:/tb" --moveOverhead=100" --useFP16=true
Time Control: See matches
Speed: about 20k nps for Leela
Hardware: AMD 2950X, RTX 2080
Book: Chad-16ply-10k_shuffled, random with reverse
Tablebases: 6-man Syzygy
Comment: At these time controls, both Allie and Leela perform as expected against two different "weak" engine configurations, with no obvious drawishness from Leela and no "damn the torpedos full steam ahead" from Allie. In each case, Allie wins less, loses more, and draws more.

Laser1.7 5s+0.5s, Threads=24 Hash=1024 BufferTime=100 SyzygyPath="C:/tb"
   # PLAYER                   :  RATING  ERROR  POINTS  PLAYED   (%)    W    L    D  CFS(%)
   1 lc0.net.T40B.4-160       :   240.4   28.3   317.0     400    79  243    9  148      96
   2 Allie.0.5dev.net.LS10    :   204.5   26.8   303.0     400    76  224   18  158     100
   3 Laser1.7                 :     0.0   ----   180.0     800    23   27  467  306     ---
   
SF8 10s+1s, Threads=24 Hash=1024 "Move Overhead"=100 SyzygyPath="C:/tb"
   # PLAYER                   :  RATING  ERROR  POINTS  PLAYED   (%)    W    L    D  CFS(%)
   1 lc0.net.T40B.4-160       :   134.1   32.6   136.0     200    68   81    9  110      99
   2 Allie.0.5dev.net.LS10    :    75.9   29.7   121.0     200    61   60   18  122     100
   3 SF8                      :     0.0   ----   143.0     400    36   27  141  232     ---

PGN

Предыдущие части:

Развернуть для просмотра

Part 4 (Движок Lc0, сети Lc0 и LS):

   # PLAYER                :  RATING  ERROR  POINTS  PLAYED   (%)    W    L    D  CFS(%)
   1 lc0.net.T40B.4-160    :     0.0   ----   421.0     800    53   95   53  652     100
   2 lc0.net.LS10          :   -18.7    9.5   379.0     800    47   53   95  652     ---

Part 3 (Движки Lc0 и Allie, сети LS):

   # PLAYER              :  RATING  ERROR  POINTS  PLAYED   (%)    W    L    D  CFS(%)
   1 lc0.net.LS10.1      :     0.0   ----   434.5     800    54  119   50  631     100
   2 Allie.net.LS10.1    :   -30.9   10.7   365.5     800    46   50  119  631     ---

Part 2 (Движки Lc0 и Allie, сети Lc0 и LS):

   # PLAYER                :  RATING  ERROR  POINTS  PLAYED   (%)    W    L    D  CFS(%)
   1 lc0.net.T40B.4-160    :     0.0   ----   455.0     800    57  161   51  588     100
   2 Allie.net.LS10.1      :   -49.0   11.7   345.0     800    43   51  161  588     ---

Part 1 (Движки Lc0 и Allie, сети Lc0):

   # PLAYER                  :  RATING  ERROR  POINTS  PLAYED   (%)    W    L    D  CFS(%)
   1 lc0.net.T40B.4-160      :     0.0   ----   423.5     800    53   89   42  669     100
   2 Allie.net.T40B.4-160    :   -20.9    9.6   376.5     800    47   42   89  669     ---

[свернуть]

[sovaz1997]

Цитата: Сообщение от svoitsl

Но вроде это не приводит к крашу, то есть либо лимит ОЗУ не достигнут либо это не совсем клон

Это не клон в прямом смысле этого слова. Но это движок, который по сути основан на Lc0. Сегодня автор это подтвердил, чтобы не нарушать лицензию GPL (до этого он ее, кстати, нарушал): https://github.com/manyoso/allie/com...63fc96408b01ba.

И даже если бы автор создал свой уникальный бинарник, его работа была бы все равно намного меньше, нежели работа сообщества по тренировке нейронной сети (включая человеко-часы часы работы GPU). И пускай себе развивается, но влезать в TCEC - не дело. По их же правилам.

Поэтому, давайте говорить объективно: без из-за AZ существует Lc0. Из-за Lc0 существует Allie. Но: DeepMind проделал огромную работу по изобретению алгоритма, Lc0 принес этот алгоритм в виде исходного кода для обычных ПК с видеокартами. И, кстати, по итогу это уже усовершенствованная и более сильная AZ. А что сделала Allie и принесла для развития компьютерных шахмат? Правильно, ничего.

[svoitsl]

Цитата: Сообщение от sovaz1997

Пускай, это и не абсолютное доказательство, были другие:

Довольно странны тесты (я не понял как сделалан вывод на их основе)
Наверное лучше запустить два теста,сперва слабые движки с Лилой, потом они же с Элли и тогда посмотрим
В качестве слабых движков можно взять последние версии например
Fire (кажется публично не доступна)
Etherial
Laser
Xiphos

[sovaz1997]

Цитата: Сообщение от svoitsl

Довольно странны тесты (я не понял как сделалан вывод на их основе)
Наверное лучше запустить два теста,сперва слабые движки с Лилой, потом они же с Элли и тогда посмотрим
В качестве слабых движков можно взять последние версии например
Fire (кажется публично не доступна)
Etherial
Laser
Xiphos

Это уже сделано: https://www.sp-cc.de/lc0-testing.htm
https://www.sp-cc.de/files/nn_programs.dat
По ним, кстати, Allie даже хуже, чем Lc0 с 32930.

P. S. Те тесты не странные: их просто надо расшифровать, я сейчас добавлю комментарий к ним.

P. P. S. Именно по этим причинам не стоит делать выводы по результатам TCEC. Тут 2 варианта: либо 1000 кругов запускайте в TCEC, либо не делайте каких-либо выводов.
Т. к. правда вот в чем: "И Элли, и Лила играют, как и ожидалось, против хвоста, без очевидной слабости со стороны Лилы и без "чертовски полного хода торпед" от Элли. В каждом случае Элли выигрывает меньше, проигрывает больше и делает ничью больше."

[svoitsl]

Цитата: Сообщение от sovaz1997

его работа была бы все равно намного меньше, нежели работа сообщества по тренировке нейронной сети

И всё таки поползновения ещё и сами игры запретить это не хорошо,это самое "сообщество" старается для всего общества

Цитата: Сообщение от sovaz1997

По их же правилам.

тут как то crem писал, что что бы движок был уникальным (для TCEC) у него должны быть уникальны 2 из 3
Код
Способы обучения
Игры для обучения
Если первые два будут уникальны то и для TCEC вполне сгодится

[sovaz1997]

Цитата: Сообщение от svoitsl

И всё таки поползновения ещё и сами игры запретить это не хорошо,это самое "сообщество" старается для всего общества


тут как то crem писал, что что бы движок был уникальным (для TCEC) у него должны быть уникальны 2 из 3
Код
Способы обучения
Игры для обучения
Если первые два будут уникальны то и для TCEC вполне сгодится

А кто сказал про запреты? Я такого не говорил.

Цитата: Сообщение от sovaz1997

И пускай себе развивается, но влезать в TCEC - не дело.

Далее - уникальность. У Allie ничего уникального нет от слова совсем. Пускай выполняет 2/3 пункта уникальности. Это почти нереально для одного человека, правда. Ну, свои скрипты для тренировки если напишет, а, также, напишет свой движок Allie (т. к. в данный момент Allie является производной от Leela по сути).

[svoitsl]

Цитата: Сообщение от sovaz1997

У Allie ничего уникального нет от слова совсем.

Я конечно не программист NN движков, но не уверен,что вообще можно создать полностью уникальный код, как кажется движки NN имеют большой процент обще математических библиотек (думаю, что не менее 50% всего кода), ведь там не никакой эвристики , как в ab.

[sovaz1997]

Цитата: Сообщение от svoitsl

Я конечно не программист NN движков, но не уверен,что вообще можно создать полностью уникальный код, как кажется движки NN имеют большой процент обще математических библиотек (думаю, что не менее 50% всего кода), ведь там не никакой эвристики , как в ab.

Когда код пишут разные люди, это практически со 100%-й вероятностью уникальный код. А у Allie же полно чисто скопированного кода. Речь идет не об алгоритмах, которые схожи, а о реализации. И повторюсь: он имеет право это делать по лицензии с указанием авторов Lc0. Но участие в TCEC под вопросом, если TCEC претендует на уникальность движков, которые в нем участвуют.

[svoitsl]

Цитата: Сообщение от sovaz1997

Далее - уникальность. У Allie ничего уникального нет от слова совсем.

Вы не хотите его видеть на TCEC не по причине не уникальности, даже если бы и бинарник был бы почти полностью свой и способы обучения свои, вам бы хотелось, и игры монополизировать.

[sovaz1997]

Цитата: Сообщение от svoitsl

Вы не хотите его видеть на TCEC не по причине не уникальности, даже если бы и бинарник был бы почти полностью свой и способы обучения свои, вам бы хотелось, и игры монополизировать.

А вот тут вы уже пытаетесь за меня что-то сказать, так делать не надо, т. к. вы очень ошибаетесь. Я был бы рад, если бы Stoofvless конкурировал за место в финал.
Поверьте, никто не хочет видеть ухудшенную Лилу от другого автора в финале.

[svoitsl]

Цитата: Сообщение от sovaz1997

вы очень ошибаетесь

Надеюсь, что так и есть...

Цитата: Сообщение от sovaz1997

Поверьте, никто не хочет видеть ухудшенную Лилу от другого автора в финале.

Но это турнир, при ограниченном числе игр выявляется не сильнейший, а просто победитель, и это увы, не одно и тоже.
Если бы не было бы Лилы, то и Элли тоже бы не было, поэтому победа Элли это и победа Лилы (но не на оборот )

[Rom77]

Цитата: Сообщение от sovaz1997

Т. к. правда вот в чем: "И Элли, и Лила играют, как и ожидалось, против хвоста, без очевидной слабости со стороны Лилы и без "чертовски полного хода торпед" от Элли. В каждом случае Элли выигрывает меньше, проигрывает больше и делает ничью больше."

Но тогда какой вывод? В чем причина неудач Лилы в последних крупных турнирах?

Если мы считаем, что Лила ощутимо сильнее в любых условиях и Элли и Лиленштейна и Стокфиша, тогда её шансы на выход в финал каждого из турниров последних месяцев (два ССС и один TCEC) составляли более 2/3 по отдельности в каждом случае. А всех турниров вместе, если допустим принять шансы 30% на невыход в финал в каждом отдельном случае, составили 0,3х0,3х0,3 = 2,7% ?

Верны ли расчеты? И если так, то какой вывод? Причина невыхода в финалы последних месяцев лежит в крупном невезении?

[sovaz1997]

Цитата: Сообщение от svoitsl

Надеюсь, что так и есть...


Но это турнир, при ограниченном числе игр выявляется не сильнейший, а просто победитель, и это увы, не одно и тоже.
Если бы не было бы Лилы, то и Элли тоже бы не было, поэтому победа Элли это и победа Лилы (но не на оборот )

Если бы просто победителем был бы не клон, вопросов бы не было.