TCEC 15 - чемпионат мира среди шахматных движков

[svoitsl]

Цитата: Сообщение от sovaz1997

AllieStein всех уничтожит.

Авторы конечно высокого мнения,хотят дойти до 1-го дивизиона, но версия только 0.1-n4, да и первый раз выступает,с у ScorpioNN уже 2.9.0 и второй раз уже,опыт есть :-), если б не краши он бы и на прошлом TCEC поборолся бы

[sovaz1997]

svoitsl, тут неважно, какой опыт - важно то, что Allie выступал хорошо (в CCCC), а ScorpioNN - плохо

[Vizvezdenec]

Цитата: Сообщение от sovaz1997

svoitsl, тут неважно, какой опыт - важно то, что Allie выступал хорошо (в CCCC), а ScorpioNN - плохо

Ну смотря что значит "хорошо".
Он не смог пройти квалификационный раунд с Ethereal/Fire/Andscacs/Laser, отстав от каждого.
Хотя до 1 дивизиона должен дойти, конечно.

[sovaz1997]

Vizvezdenec, ну, я сравниваю с текущим дивизионом))

[Vizvezdenec]

Цитата: Сообщение от sovaz1997

Vizvezdenec, ну, я сравниваю с текущим дивизионом))

Ну там несложно, но...
Учтите, что лиленштейн играет на уровне "чуть хуже Т30", т.е. это - серьёзный конкурент Комодо и Гудини с движком Lc0.
Его движок поменяли на Allie и он стал серьёзным конкурентом... Laser, что как бы не слишком впечатляет, если честно

[Alex_Zet]

Adam Treat


- Что такое Элли?
Adam Treat: - Allie - это новый оригинальный шахматный движок, основанный на оригинальной статье AlphaZero и проекте Lc0.

Как она связана с Лилой?
A. T. - Как и Лила, Элли основана на тех же концепциях и алгоритмах, которые были представлены Deepmind в статье (ах) AlphaZero, но ее код оригинален и содержит альтернативную реализацию этих идей. Вы можете думать об Элли как о молодой двоюродной сестре Лилы, которая использует те же сети, что и проект Lc0.

Это как Антифиш или Лиленштейн?
A. T. - Не совсем. AF и Stein являются (по-видимому, довольно успешными) экспериментами с процедурами обучения, которые входят в создание нейронной сети проекта Lc0. Тем не менее, они оба используют двоичный файл Lc0 в качестве фактического шахматного движка и просто загружают эти альтернативные сети. Элли другая. Она может использоваться в качестве полной замены двоичного файла Lc0 другим поиском, хэшем, генерацией ходов и т. Д. И т. Д. Это означает, что Элли можно использовать и в сетях AF или Stein.

Хорошо, так что детали. Чем она отличается?
A. T. - Ну, я был вдохновлен во время оригинального CCC, чтобы посмотреть, сможете ли вы соединить традиционный поиск AlphaBeta с NN. Это по-прежнему ее главная цель, и фокус направлен вперед. Однако в начальной предварительной версии используется тот же алгоритм MCTS, что и в Lc0, с некоторыми отличиями.

Ладно, насколько она сильна?
A. T. - Во-первых, ее ELO, очевидно, будет зависеть от того, какая сеть используется. Тем не менее, один на один, использующий ту же сеть на моем ограниченном оборудовании, она отстает на 50-100 очков.

Почему ты развивал ее, а не просто помогал Лиле?
A. T. - Пара причин. Во-первых, мое первоначальное вдохновение было посмотреть, смогу ли я реализовать альтернативный поиск, используя AlphaBeta, а не MCTS. Во-вторых, я хотел научить себя концепциям и алгоритмам AlphaZero, и это был лучший способ сделать это. В будущем я ожидаю, что Алли проведет поиск AB и оставит MCTS Лиле, но она еще не готова. Я провел много экспериментов с сетями AB и Lc0 и думаю, что я наткнулся на то, что может сработать, но сложно масштабировать NPS и оптимально использовать значения политики. Оставайтесь в курсе.

Итак, она использует сети Lc0. Почему бы вам не сделать свой собственный?
A. T. - Две причины. Во-первых, я не мог надеяться конкурировать с экспертами в области машинного обучения и искусственного интеллекта, которые участвуют в проекте Lc0. Во-вторых, для обучения новой сети потребовалось бы много вычислительных ресурсов, а у меня ее просто нет.

Что-нибудь еще?
Да, я хотел бы от всего сердца поблагодарить разработчиков проекта Lc0, которые делают Элли даже возможным. Только стоя на их плечах, Элли могла существовать. Я также хотел бы поблагодарить Deepmind за их работу над AlphaZero, которая начала всю NN для шахматной эры. Наконец, я хотел бы поблагодарить Эндрю Гранта, который написал движок Ethereal, чей код послужил источником вдохновения для написания Элли, а также для CCC и TCEC за включение этого движка в их турниры.

https://github.com/manyoso/allie

[Alex_Zet]

Цитата: Сообщение от svoitsl

1 Stockfish 090319  50 	33.5 	0 	18 [10/8] 	1 [0/1] 	552.75 	3521 	46 [3567]
2 Komodo 2286	    50 	16.5 	0 	1 [1/0] 	18 [8/10] 	552.75 	3512 	-46 [3466]

Можно сказать что 18:1
Что то сдал Комодо,даже как то неожиданно

Самое странное в этом то, что Комодо на 128 потоках до сих пор привлекают в роли эксперта на ТСЕС. Этакий свадебный генерал выпавший из обоймы. Возможно есть технические сложности, но куда интереснее было бы наблюдать за Лилой в роли эксперта.

[Alex_Zet]

5 AllieStein v0.1-n4 - - ScorpioNN 2.9.0

У обоих движков скорость в районе 20 knps. На этом совпадения заканчиваются. Что касаемо силы игры, то Элли явно посильнее. Чую что шороху она наведет.
На месте все ещё претендующих не известно на что, я бы уже начал беспокоится прямо сейчас.

Nightbot: ScorpioNN resigned, and it looked like a "crash". Admins investigating. Be patient.

[Alex_Zet]

ScorpioNN 2.9.0 - Stockfish1pct 190203

Двухходовая книга.

1. d4 Nf6 2. c4 e6 3. Nf3 b6 4. a3 Bb7 5. Nc3 d5 6. Bg5 Be7 7. e3 O-O 8. Bxf6 Bxf6 9. cxd5 exd5 10. g3 c5 11. Bg2 Na6 12. O-O Re8 13. Qb3 Rb8 14. Rad1 Nc7 15. Rfe1 Qd6 16. Qc2 Rbd8 17. dxc5 bxc5 18. Nd2 Qe7 19. Nb3 g6 20. Qc1 Bg7 21. e4 dxe4 22. Rxd8 Rxd8 23. Nxe4 Bxe4 24. Bxe4 Ne6 25. Na5 Nd4 26. Kf1 Rb8 27. Nc4 Qd7 28. Bg2 Qb5 29. Bd5 Rd8 30. Qg5 Qd7 31. Ne3 h6 32. Qf4 a5 33. Qe4 Kh7 34. Bc4 a4 35. Qd5 Qc8 36. Qg2 Rd7 37. h4 h5 38. g4 hxg4 39. Nxg4 Nb3 40. Kg1 Nd2 41. Be2 Qb7 42. h5 Qxg2+ 43. Kxg2 Bxb2 44. Bb5 Rd4 45. hxg6+ Kxg6 46. Ne5+ Kf6 47. Nd7+ Kg5 48. Re3 c4 49. Rg3+ Kf5 50. Bxa4 Rf4 51. Re3 Rg4+ 52. Kh3 Bd4 53. Ne5 Bxe3 54. Nxg4 Bc5 55. Nh6+ Kg6 56. Ng4 Kg5 57. Kg3 Bd6+ 58. Kh3 Kf4 59. Bb5 Bc5 60. a4 c3 61. Bd3 Nf3 62. Bb1 Nd2 63. Bd3 Nc4 64. Nf6 Ke5 65. Ng4+ Kd4 66. Bh7 Kd5 67. Nf6+ Ke5 68. Ne4 Bd4 69. Ng5 Kf6 70. Nf3 Bxf2 71. Kg2 Bb6 72. Kg3 Ke6 73. Ne1 Kd5 74. Nc2 Ke5 75. Kf3 Nb2 76. Ne1 Nxa4 77. Bc2 Nb2 78. Nd3+ Nxd3 79. Bxd3 0-1

[Alex_Zet]

Элли



Кто не помнит этого фильма. Столкновение с бездной

[Vizvezdenec]

По мнению многих людей, которых я уважаю, как шахматных программистов, скорпио - хлам.
С точки зрения чистоты кода и реализации идей.
Я не верю, что движок, который крашился 3 сезона подряд на любом количестве ядер от 8 до 43, сможет что-то интересное изобразить.
Скорее, будет опять крашиться.
Как сказал Andrew Grant - "перед тем, как писать гибрид NN и AB, неплохо бы сначала привести код в читаемый вид. А то выходит, что ты пытаешься приготовить лучшее блюдо в мире, используя грязный противень с годичным нагаром от прошлой готовки".

[Alex_Zet]

Есть такой опыт с крысами. Сажают крысу в лабиринт и в дальний конец кладут сыр. Крыса начинает искать, заходит в ответвление , там тупик, возвращается и действует пока не найдет правильный пут. Однажды попав в тупиковый коридор то больше ни разу в него не заходит.
Что заставляет человека постоянно ошибаться, эта тема мало освещена.
Меня же интересует другое. AllieStein начинала имея рейтинг 3200. Все это прекрасно помнят. Сыграв 2 игры и бац - 2727. Это наверное у Михайлова от усердия что бы всем угодить.

[Alex_Zet]

10	Bagatur 1.5f	2	0	0	0 [0/0]	2 [1/1]	0.00	2718	-3 [2715]

Шахматный движок Bagatur - один из самых сильных шахматных движков Java в мире. Он также доступен для Android через игру Chess Art For Kids, которая имеет собственный пользовательский интерфейс (демо video1, video2).
На CCRL 40/40 рейт =2525 ЭЛО.

Последний выпуск работает под всеми операционными системами, которые поддерживают платформу Java.
Downloads - https://github.com/bagaturchess/Baga...wnloads/Engine

Казалось бы ничего особенного. Но...

обзор
Проект LearningImpl использует инфраструктуру Neuroph Java для применения контролируемого машинного обучения и настройки функции оценки Bagatur. Это использует многослойный персептрон (MLP) искусственную нейронную сеть с прямой связью. Он имеет один слой со многими функциями, так как функция оценки становится слишком медленной для вычисления с большим количеством слоев и не может компенсировать лучшее качество, достигаемое большим количеством слоев.

Если вы хотите сначала запустить один из контролируемых основных классов обучения, вы должны сгенерировать тренировочные шахматные позиции с оценками, используя проект UCITracker, который сохраняет эти позиции в файл. Для этого вам понадобится сильный шахматный движок, такой как Stockfish, Komodo, Houdini, Rybka или другой. Затем используйте UCITracker для запуска игр с автоматическим воспроизведением на этом движке и отслеживания сыгранных позиций и их оценок, чтобы впоследствии можно было проводить контролируемое обучение.

http://bagaturchess.github.io/Bagatu.../LearningImpl/
https://github.com/bagaturchess/Bagatur

Лед не то что ли тронулся, но ледоход набирает силу и уже сносит ветхие мосты.

[Alex_Zet]

Ещё из любопытного.

Nightbot: http://tcecbonus.club/bonus.html testing Div4b engines vs Stockfish 1%, see !1pct

1	Stockfish1pct 190203	24	20	0	17 [9/8]	1 [1/0]	5.00	3588	-32 [3556]

Сток показал выдающийся результат играя но 1% своих ресурсов. +17 =6 -1

Кому проиграл Сток микроматч? Правильно - AllieStein v0.1-n4 1.5 1 ½, при этом и ScorpioNN умудрился сделать со Стоком ничью.
Это вам не какие то там ab движки.

И все же как это организаторы умудрились 1% выделить у Стока? И кто даст гарантии что было не целых 1.5%. При нынешней неразберихи на ТСЕС думаю никто особо и не заморачивался.
- ну сколько напишем?
-давай 5%
-а давай процент
- давай, все равно никто не проверит, а шума много.

[Alex_Zet]

В продолжение темы о Bagatur
Если у Wasp 3.59 в описание тех части значится: -

Protocol	uci
Hash	8192
Threads	43
SyzygyPath	C:/Syzygy/
SyzygyProbeDepth5	1
SyzygyProbeDepth6	2
MoveOverhead	100
OwnBook	false
Ponder	false
Contempt	0

То у Bagatur совсем кратенько : -

Protocol	uci
Search SMP [Threads count]	43
OwnBook	false
Ponder	false

У chess22k тоже про это самое - Сборка chessengine в Java, которая использует протокол UCI для связи с графическими интерфейсами. Улучшенный SMP. Из настроек указанно всего лишь : -

Protocol	uci
Hash	16384
Threads	43

У Bagatur поиск SMP и никакого Hash, а у chess22k и Hash есть и даже улучшенный SMP.

Ясно что мы имеем дело с не совсем обычным движком (Bagatur). Возможно что тут не обошлось без колдовства. И похоже у него второй крэш.
А ведь мы их предупреждали, добром это не кончится. Одумайтесь пока не поздно.

[Alex_Zet]

Ну вот, игру Marvin 20190228 - Bagatur 1.5f перезапустили. Мало того но у Bagatur даже все крэши убрали, а из настроек у него теперь видно лишь: -

Protocol	uci
OwnBook	false
Ponder	false

.

Все остальное засекретили, меньше знаешь лучше спишь. Да и надежнее так, сейчас каждый хочет что нибудь вынюхать да и в своих целях использовать.
А перерыв был долгим. Видимо никак не находили консенсус о порядке цифр. Ну вы понимаете о чем я.

И знаете что, пора бы уж запретить все эти эксперементы. Дурят простому обывателю голову. А результат то нулевой. Вон Сток, честно по миллиарду в секунду считает и ведь всего сам трудяга достиг.

И кстати скорость у Bagatur всего лишь 335 knps против 59 Mnps у Marvin.

[Alex_Zet]

Aloril42: No, Bagatur is 1 core as author proposed at testing when there was trouble starting it.

МодераторПодписчикAloril42: If it now has trouble, then it will be counter as crash

МодераторПодписчикAloril42: Same move by Marvin

МодераторПодписчикAloril42: @gonzochess75 yes, Bagatur failed to move on first 1 move, author had proposed to use 1 core version in testing and I went with 2+ version due to 8x success in testing.

МодераторПодписчикAloril42: So I think it's fair to just replay with 1 core version and continue using it. Same game anyway here.

Aloril42: chess22k Threads reduced to 16 unless authors says otherwise before it's next game.

МодераторПодписчикAloril42: In S14 chess22k earlier version used 16 threads

Aloril42: !updates

Nightbot: Chess22k (1.11 > 1.12), Pirarucu (2.7.4 > 2.9.5), ScorpioNN (2.8.9 > 2.9.0), Wasp (3.54 >3.59). Gaviota same version. New engines Bagatur, AllieStein, Jumbo, Marvin and Monolith.

Nightbot: ScorpioNN resigned, and it looked like a "crash". Not a "crash". No "strikes". Refresh. chess22k was allocated allocated 21min 51.643s thinking time and process still thinking with 3.8-4.1% of CPU usage was killed at 64min 17.678s. Counts as crash and 1 strike.

[svoitsl]

А ведь уже прошло треть дивизиона

N Engine             Rtng Pts Gm    SB X  Elo Perf Pi Ch Mo Wa Al Ma Sc Ga Ju Ba

 1 pirarucu 2.9.5     3116 6.5  7 24.50 0  +49 92.9 ·· 1  1  1  =  1  1  1       
 2 chess22k 1.12      2981 5.0  7 12.00 1  +49 71.4 0  ··    =  1  =     1  1  1 
 3 Monolith 1         2800 4.5  7  9.50 0  +48 64.3 0     ··    =  =  =  1  1  1 
 4 Wasp 3.59          3122 4.0  7 11.50 0  -26 57.1 0  =     ·· 1  =  =  =     1 
 5 AllieStein v0.1-n4 3200 4.0  7 10.50 0  -53 57.1 =  0  =  0  ··    1     1  1 
 6 Marvin 20190228    3000 4.0  7 10.00 0   -6 57.1 0  =  =  =     ··    1  =  1 
 7 ScorpioNN 2.9.0    2276 3.0  7  6.50 0  +87 42.9 0     =  =  0     ·· =  =  1 
 8 Gaviota 1.01       2745 2.0  7  5.00 0  -21 28.6 0  0  0  =     0  =  ·· 1    
 9 Jumbo 0.6.99.2     2600 1.5  7  3.75 0   -7 21.4    0  0     0  =  =  0  ·· = 
10 Bagatur 1.5f       3000 0.5  7  0.75 0 -120  7.1    0  0  0  0  0  0     =  ··

pirarucu 2.9.5 смотрится бодрячком, а ведь отсюда на 3-йдивизион попадет только один движок!

[Maratka]

Цитата: Сообщение от svoitsl

pirarucu 2.9.5 смотрится бодрячком, а ведь отсюда на 3-йдивизион попадет только один движок!

Может я чего-то и путаю, но итог партии 0:1 тут явно неверный:

[Vizvezdenec]

Ну тут проблемы с интернетом, похоже.
Думаю, это засчитают как победу белым.

[Alex_Lk]

Цитата: Сообщение от svoitsl

pirarucu 2.9.5 смотрится бодрячком, а ведь отсюда на 3-йдивизион попадет только один движок!

Там что-то было написано про стыковые матчи между 4a и 4b. Кто то разобрался ?

[Alex_Zet]

Nightbot:#32 According to logs AllieStein-chess22k was network disconnection. Game will be resumed later.
# 32 Согласно журналам AllieStein-chess22k было отключение сети. Игра будет возобновлена ​​позже.

4-й дивизион
Два первых движка из каждой группы выйдут в плей-офф которое определит два движка, продвигающихся к Div 3.

Как в футбол:
1 движек группы А - 2 движек группы В
2 движек группы А - 1 движек группы В
Ну и победители этих пар идут дальше

[Alex_Zet]

Видимо кое кому не хочется видеть сразу две сети в Премьер дивизионе
Поэтому пошли испробованным в суперфинале путем, умышленно делается сбой связи и игра переигрывается. Именно из за этого Лила и не стала чемпионом.
Конечно, сложно надеяться что бы что то вразумительное услышать в ответ. Ну разве что: - но ведь Лила играла на равных условиях со Стоком в той переигровке. Сразу вспоминается знаменитое: - Каждый движек играет один и тот же дебют и белым и черным цветом.

[Maratka]

Цитата: Сообщение от Alex_Zet

Именно из за этого Лила и не стала чемпионом.

Плохому танцору.... мешают.

LZ не стал чемпионом, потому что играет хуже.
Тому свидетель CCC, где LZ, получив бонус по железу против TCEC'овского в ~2.2 раза против 30% бонуса у SF'ша так и не может выйти вперед, более того - постоянно догоняет.

____
Если в этом году в TCEC не поменяют железки, этот турнир вообще рискует стать обычной посредственностью.

[Alex_Zet]

[QUOTE=Maratka;89304
Если в этом году в TCEC не поменяют железки, этот турнир вообще рискует стать обычной посредственностью.[/QUOTE]
Фраза не полная. В начале предложения не хватает слов - С моей точки зрения. Всё сообщение полностью полностью читается так
[QUOTE=Maratka;89304
С моей точки зрения, если в этом году в TCEC не поменяют железки, этот турнир вообще рискует стать обычной посредственностью.[/QUOTE]

А я вот не считаю что какой то там турнир на сссс лучше чем ТСЕС. У каждого свое мнение. Maratka, если можете помочь финансово для обновления железа, то так и напишите что мол готов к сотрудничеству.

[Alex_Zet]

Цитата: Сообщение от Maratka

Если в этом году в TCEC не поменяют железки, этот турнир вообще рискует стать обычной посредственностью.

Фраза явно не полная.

Цитата: Сообщение от Maratka

С моей точки зрения, если в этом году в TCEC не поменяют железки, этот турнир вообще рискует стать обычной посредственностью.

.
А я вот не считаю что сссс лучше чем ТСЕС, Говенный интерфейс, доска со спичечную головку. Информации ноль. В общем отстой. Но у каждого свое мнение.

[Maratka]

Цитата: Сообщение от Alex_Zet

А я вот не считаю что сссс лучше чем ТСЕС, Говенный интерфейс, доска со спичечную головку.

Монитор побольше купите.

_____
Лично меня интересует не интерфейс, а результат матча.

[Maratka]

Цитата: Сообщение от Alex_Zet

Фраза не полная. В начале предложения не хватает слов - С моей точки зрения.

Это с любой точки зрения, ибо оно объективная реальность: Вам не нравятся мои домашние тесты, но если на TCEC не поменяют железки, то мои домашние тесты года через три возможно уже будут идти на более быстром железе: после выхода Ryzen железо очень быстро прогрессирует в пользу многоядерности, где "много" - это не 4, и даже не 8, а значит сервер на 44 ядрах устаревает буквально на глазах.
Пустили бы на нем a-b движки хотя бы на 80 потоках - еще куда ни шло, но 43 потока, когда уже полгода можно купить 64-поточный Ryzen TR - это архимало.

[Alex_Zet]

Результат будет, уж будьте уверены.
Не зря Maratka о железе так беспокоится. Сейчас на сссс у Стокфиш скорость во всех партиях 100.0 М и более. А что, ещё чуть чуть и Сток сможет с дебюта сразу до таблиц считать. Вечный чемпион.

[Alex_Zet]

Почему на CCRL до сих пор тестируют на 4 CPU?
Потому что движек должен играть сам без анаболиков.
Увеличить железо что бы скорость у Стокфиш была 500.0 М и что тогда? Это будет означать что Сток лучше оптимизирован к железу чем допустим Комодо но к силе движка это не относится. Как раньше сливал Лиле 4 -16 так и будет сливать