TCEC 14 - чемпионат мира среди шахматных движков

[Vizvezdenec]

Собственно, пару слов о новых движках в 4 дивизионе.

KomodoMCTS - движок на базе Комодо от авторов того же Комодо, но вместо ABminimax там используется поиск Монте-Карло. В блице сила ~ Ethereal, но, говорят, скейлится плохо как со временем, так и с количеством ядер. Посмотрим.

Demolito - движок от Lucas Braesch с никнеймом lucasart, одного из старых соавторов Stockfish и недавнего соавтора Ethereal. Примерная сила в районе 3000 CCRL elo 40/4. https://github.com/lucasart/Demolito

Winter - движок от FM Jonathan Rosenthal с никнеймом makishima_shogo на твиче, что делает его движком, написанным одним из самых сильных в шахматном плане авторов. Движок, правда, достаточно слабый - 2600-2700. https://github.com/rosenthj/Winter

pirarucu - движок от Raoni Campos, написан на Kotlin, примерная сила тоже в районе 3000 CCRL elo. Интересный факт - в организации фреймворка для тестирования использовался код Openbench от Andrew Grant, автора Ethereal. https://github.com/ratosh/pirarucu

rofChade - движок от Ronald Friederich. Вроде бы был он 2800 по шкале 40/4 CCRL недавно, но в тестировании был высоко. Так что не думаю, что слабее 3000. http://rofchade.nl/

ScorpioNN - гибридный альфа-бета-нейросетевой движок от автора Scorpio. Но в тестировании выглядел очень слабо - 0,5 очков из 80+ партий. Пока что собственно нейросеть оставляет желать лучшего, т.к. у автора не было времени её натренировать. Ожидаю от него последнего места.

Schooner - движок от Dennis Sceviour, при этом занимает аж 11 место в CCRL 40/4, выше Laser и ниже Shredder. Но есть явная проблема с мультипроцессингом - скорость на 43 ядрах ниже, чем на 16, да и на 16 она равна 10-12 mnps при скорости на одном 2. Так что скейлинг явно оставляет желать лучшего, поэтому не выглядит он явным фаворитом.
https://sites.google.com/site/schoonerchess/

Также в дивизионе присутствуют уже старые знакомые Wasp, Nemorino, Rodent, Tucano и Chess 22k.

Ещё пару новостей - DeusX дисквалифицирован за отсутствие оригинальности. С этого сезона требуется, чтобы NN движок имел свой оригинальный движок для запуска нейросети, что автор DeusX отказался сделать. Поэтому выходит из последнего дивизиона в 3 3 программы. 4 дивизион стал площадкой для повышения и его размер теперь ограничен только фантазией организаторов.

Кубок TCEC по нокаут-системе (прошлосезонный победитель Stockfish) теперь тоже будет проводиться каждый сезон и туда выходит топ-8 движков из последнего дивизиона.

Если что ещё забыл - смотрите тут http://www.chessdom.com/tcec-season-...bSTMIfRkqgnJcs

[Vizvezdenec]

Цитата: Сообщение от Maratka

А что в этом невозможного? Хорошие идеи и грамотная реализация - вот тебе и 200 ELO. К тому же это было весьма давно, т.е. во времена, когда движки были еще молодыми и зелеными, а потому ELO давались относительно легко.

Засудили то Васика не за буквально копирование, а за использование в качестве базы опенсурсного движка. Укажи он, что Рыбка - это улучшенный Fruit, да выложи исходники - и никаких проблем! Но подобная модель распространения ПО по всей видимости не очень хорошо вписывалась в мысли о личном обогащении, потому было сделано то, что было сделано.

Да и не было у него никаких проблем.
История всё расставила по своим местам - рыбка - величайший движок своего времени и таким и останется навсегда, Crafty и Fruit сейчас - тир-50 движки, а сама организация, которая на Васика накладывала свои санкции, проводит только пиар-турнир для Комодо, куда не ездит ни один движок из топ-5 играть, помимо того самого Комодо. Из элитного турнира, где реально выявлялся лучший двиг, превратился этот турнир в тот, который и стыдно в портфолио движка указать, если ты его выиграл. Да и, серьёзно, операторы и 3д доски в играх движков в 2018 году?
Ну а что он там исходники тырил - доказательства невероятно сомнительные. Хотели развести на исходники движка, который был на голову всех сильнее, но не получилось.
Собственно, Гудини тоже в этом обвиняли, ну да а толку. Есть Гудини 6, который сейчас топ-3 движок даже через год отсутствия разработки, а все программы, авторы которых очень волновались по этому поводу, давно на свалке истории.
Вот команда стокфиша никого ни в чём не обвиняет, т.к. чёрт бы и с ним. Пока вы тырите наш код - мы его улучшаем.

[sovaz1997]

Тот факт, что Rybka была сильнее всех наголову, уже косвенно говорило о том, что Васик был лучшим шахматным программистом. А Crafty и Fruit так и стояли на месте.
А Komodo ведь до сих пор реально не обогнал Houdini, что интересно)

[Alex_Zet]

Цитата: Сообщение от sovaz1997

А Komodo ведь до сих пор реально не обогнал Houdini, что интересно)

О силе движка можно судить по результату. А как же выход Комодо в суперфинал 13?

N Engine            Rtng  Pts Gm      SB X Elo Perf St       Ko       Ho      

 1 Stockfish 010918 3519 39.0 56 1002.00 0 +45 69.6 ········ 1=1==010 =======1 
 2 Komodo 2121.01   3475 36.0 56  923.00 0 +66 64.3 0=0==101 ········ =0=0==1= 
 3 Houdini 6.03     3491 33.0 56  873.25 0 -73 58.9 =======0 =1=1==0= ········

Помнится вторую половину Премьер Дивизиона Комодо выиграл вчистую у всех. Случись суперфинал Комодо - Гудини тогда, я бы не поставил на Гудини.

PS. Комодо - движек со своим неповторимым стилем. Можно ещё привести пример таких уникальных движков:
Фритц, особенно 10-ый, им очень часто адвансеры пользовались раньше, находил то что другие движки не видели
Рыбка - уникальный движек своего времени. Есть Rybka 3 Human с человеческим стилем игры. https://rutracker.org/forum/viewtopic.php?t=2465614
Гудини - очень трудно описать стиль, также ни с кем не спутаешь
Стокфиш - без комментариев
Еще можно добавить Кинг, что в Чесмастере играет. Там можно играть против, Таля, Морфи, Алехина, Фишера, Карпова или Каспарова. Движек копирует стили различных мастеров шахматной эпохи. Но конечно же относительного топовых движков Кинг слабоват.

Все это вехи в истории шахматных движков. Думается что если бы захотели очень, то сделали бы из Комодо тактического монстра, но пропала бы изюминка человеческого стиля. А зачем ещё одна серенькая мышка?

[svoitsl]

Первая победы дивизиона

Chiron S14 победил Fritz 16.10

[sovaz1997]

Цитата: Сообщение от Alex_Zet

О силе движка можно судить по результату. А как же выход Комодо в суперфинал 13?

N Engine            Rtng  Pts Gm      SB X Elo Perf St       Ko       Ho      

 1 Stockfish 010918 3519 39.0 56 1002.00 0 +45 69.6 ········ 1=1==010 =======1 
 2 Komodo 2121.01   3475 36.0 56  923.00 0 +66 64.3 0=0==101 ········ =0=0==1= 
 3 Houdini 6.03     3491 33.0 56  873.25 0 -73 58.9 =======0 =1=1==0= ········

Помнится вторую половину Премьер Дивизиона Комодо выиграл вчистую у всех. Случись суперфинал Комодо - Гудини тогда, я бы не поставил на Гудини.

28 партий - маловато для каких-либо выводов.

[svoitsl]

Цитата: Сообщение от sovaz1997

28 партий - маловато для каких-либо выводов.

CCRL тоже считает что Комодо 11.3.1 64-bit недалеко ушел от Гудини, всего на примерно 5 Эло, при точности определения +/-15-20 Эло,но все равно с вероятностью более 50% можно утверждать что Комодо все же сильнее.

[Alex_Zet]

Немного о Рыбке

Rybka is a computer chess engine designed by International Master Vasik Rajlich. Around 2011 Rybka was one of the top-rated engines on chess engine rating lists and has won many computer chess tournaments. After Rybka won four consecutive World Computer Chess Championships from 2007 to 2010, it was stripped of these titles after the International Computer Games Association concluded in June 2011 that Rybka was plagiarized from both the Crafty and the Fruit chess engines and so failed to meet their originality requirements. The ICGA proceedings against Rybka were subsequently upheld by the FIDE Ethics Commission, saying “the ICGA has not violated the FIDE Code of Ethics, nor any other FIDE rule or general principle of law”. However, the same FIDE Ethics Commission ruled that banning Rajlich for life failed to have a clear statutory basis and sufficient procedural guarantees, and so they sanctioned ICGA with a warning. Rajlich has now agreed to underpin the Fritz brand of ChessBase, merging Rybka to produce Fritz 15 released in late 2015.

Рыбка - компьютерный шахматный движок, разработанный международным мастером Васиком Райлихом. Примерно в 2011 году Рыбка была одним из лучших игроков в рейтингах шахматных движков и выиграла множество компьютерных шахматных турниров. После того, как Рыбка выиграла четыре чемпионата мира по компьютерным шахматам подряд с 2007 по 2010 год, она была лишена этих титулов после того, как Международная ассоциация компьютерных игр в июне 2011 года заключила, что Рыбка была плагиатом из шахматных движков Crafty и Fruit и поэтому не смогла удовлетворить их оригинальность. требования. Судебный процесс ICGA против Рыбки был впоследствии поддержан Комиссией по этике ФИДЕ, заявив, что «ICGA не нарушила Кодекс этики ФИДЕ, ни какое-либо другое правило ФИДЕ или общий принцип права». Однако та же Комиссия по этике ФИДЕ постановила, что запрет на пожизненное запрещение Раджлиха не имел четкой законодательной базы и достаточных процессуальных гарантий, и поэтому они наложили санкции на ICGA с предупреждением. Rajlich теперь согласился поддержать бренд Fritz ChessBase, объединив Rybka для производства Fritz 15, выпущенного в конце 2015 года.

https://www.chesstutor.org/top-10-st...chess-engines/

Так что Рыбка жива. Но движковый шахматный мир в целом потерял 4 года молчания Васика. Кто знает каков бы был сейчас рейт у Rybka допустим 6 или 7.

PS. О движках и их стилях игры

Stockfish является производным от Glaurung, движка с открытым исходным кодом.

Шахматный комментатор и видеоаннотатор CM Трифон Гавриил сравнил стиль игры Гудини со стилем романтической эры шахмат, где доминировал атакующий, жертвенный стиль.

Автор Komodo Дон Дейли описал это так: «На позициях, в которых большинство двигателей, вероятно, будут бороться и не смогут добиться прогресса, Komodo спокойно готовит прорыв и в конечном итоге побеждает».

[Vizvezdenec]

Цитата: Сообщение от svoitsl

CCRL тоже считает что Комодо 11.3.1 64-bit недалеко ушел от Гудини, всего на примерно 5 Эло, при точности определения +/-15-20 Эло,но все равно с вероятностью более 50% можно утверждать что Комодо все же сильнее.

Да что вы так упёрлись в CCRL.
Есть же рейтинг листы с гораздо меньшей погрешностью, не с этими ужасными 15-30 эло, так они ещё и клоны стокфиша (Sugar и Shashchess) не тестируют.
http://fastgm.de/60min.html
http://fastgm.de/10min.html
http://fastgm.de/60-0.60.html
И вот по всем этим листам видно только то, что Комодо плох в блице.
А в TCEC он дважды прошёл в финал в основном за счёт того, что лучше вырубает хвост, т.к. у него задан высокий contempt, в отличие от Гудини.
Ну а что в финале он выглядит пободрее Гудини - это проблемы Гудини. Вообще по моим наблюдениям на очень длинном времени и большом количестве ядер Гудини у Стока просто перестаёт выигрывать. Комодо же на это способен, хотя и сливает тоже очень много. Чего стоят только финалы TCEC и 4c, где Гудини за 350 игр выиграл всего 6 партий (а слил 64).

[Alex_Zet]

Цитата: Сообщение от Vizvezdenec

А в TCEC он дважды прошёл в финал в основном за счёт того, что лучше вырубает хвост, т.к. у него задан высокий contempt, в отличие от Гудини.

В Премьер дивизионе ТСЕС 13 у Комодо Contempt=16, а у Гудини Contempt по умолчанию. А чему равен у Гудини Contempt по умолчанию?

[Vizvezdenec]

Ну там 2 (из 10), но там и имплементация другая.
Что значит contempt = 16 в Комодо, что 2 в Гудини и чем это отличается от 24 в Stockfish - это надо исходный код читать, которого, конечно же, нету
Но факт остаётся фактом - Комодо не выиграл ни одного 1х1 мини-матча у SF и Houdini в групповой стадии со времён выхода Гудини 5.

[svoitsl]

Цитата: Сообщение от Vizvezdenec

И вот по всем этим листам видно только то, что Комодо плох в блице.

Он был плох в блице, по моему до версии 12.1.1. включительно (или даже до 12.2, но это не точно), начиная с 12.2.2 у него с блицем все нормально (исправили древнющую ошибку), к тому же и bmi2 версию тоже починили.

Цитата: Сообщение от Alex_Zet

А чему равен у Гудини Contempt по умолчанию?

Вообще это все же новомодная фича, а Гудини уже как наверное полтора года не обновлялся почти (а после 6 версии исправлялись только ошибки), не удивлюсь что там его нет совсем
(IMHO)

[Vizvezdenec]

Цитата: Сообщение от svoitsl

Он был плох в блице, по моему до версии 12.1.1. включительно (или даже до 12.2, но это не точно), начиная с 12.2.2 у него с блицем все нормально (исправили древнющую ошибку), к тому же и bmi2 версию тоже починили.


Вообще это все же новомодная фича, а Гудини уже как наверное полтора года не обновлялся почти (а после 6 версии исправлялись только ошибки), не удивлюсь что там его нет совсем
(IMHO)

Contempt у Гудини есть, значение от -10 до 10.
http://www.cruxis.com/chess/manual/i...?game_play.htm

Древнючая ошибка на одном ядре не решала никак, поэтому и исправление её в блице на одном ядре ничего не дало.

[svoitsl]

Цитата: Сообщение от Vizvezdenec

Древнючая ошибка на одном ядре не решала никак, поэтому и исправление её в блице на одном ядре ничего не дало.

странно, проверил на одном ядре- вроде все нормально
(новая обыграла старую со счетом 4.5:0.5 при контроле 1'+1")

[Vizvezdenec]

Цитата: Сообщение от svoitsl

странно, проверил на одном ядре- вроде все нормально
(новая обыграла старую со счетом 4.5:0.5 при контроле 1'+1")

Ну сам факт был в том, что замедлялась скорость при мультипроцессинге на первые ходы, и чем короче временной контроль и больше ядер, тем хуже, вплоть до 30 ходов на 4c. Если же его не использовать, то движок стартовал с нормальной скоростью. Так что и фикс этой ошибки вообще ничего не должен давать на одном ядре.

[svoitsl]

Цитата: Сообщение от Vizvezdenec

Так что и фикс этой ошибки вообще ничего не должен давать на одном ядре

раньше я тоже не проверял на одном ядре, но на 2 и 4х действительно наблюдалось торможение, и нормальная игра была только при контроле 5'+6" (или что то вроде этого), но вот сейчас проверил, что и на одном ядре была та же проблема, чуть позже выложу результат всех 20 игр (сейчас пока 7:1)
Видно, что если новая набирает глубину 20,то старая всего 12 (хотя как ни странно,первая игра турнира шла на равных)
P.S. 18.5:1.5
Но есть подозрение что дело не в оценочной функции, проверю пока

[sovaz1997]

Цитата: Сообщение от svoitsl

CCRL тоже считает что Комодо 11.3.1 64-bit недалеко ушел от Гудини, всего на примерно 5 Эло, при точности определения +/-15-20 Эло,но все равно с вероятностью более 50% можно утверждать что Комодо все же сильнее.

По более точному тесту так не скажешь, хотя это на одном ядре. Не знаю, есть ли тесты с большим числом ядер и при этом с хорошей точностью.

Еще sp-cc:

4 Houdini 6 pext           : 3422    5    5 12000    66.3 %   3290   46.3 %
5 Komodo 12 bmi2           : 3391    5    5 11000    61.5 %   3299   47.7 %

На Ipman - тоже:

5 Houdini 6.03 Pro x64 bmi2      : 3376    4   4  22000    73.5 %   3199   35.6 %

6 Komodo 11.3.1 x64 bmi2         : 3334    4   4  22000    68.3 %   3200   38.2 %

7 Komodo 12.2.2 64bit bmi2       : 3332    4   4  22000    68.1 %   3201   38.6 %

CCCC (полностью):

# ENGINE              :  RATING       POINTS    PLAYED    (%)       
   1 Stockfish           :  3352(+65)    718       1035      69.4%     
   2 Houdini             :  3285(+170)   586       1032      56.8%     
   3 Komodo              :  3283(+57)    501       830       60.4%     
   4 Lc0                 :  3243(-57)    464.5     828       56.1%

Преимущества Komodo не видно в CCCC (здесь большие погрешности, конечно). Но 40-90 ядер не увеличило производительность Komodo, причем это не просто какой-то Komodo, это его последние dev-версии.
С другой стороны, преимущество Houdini с маленькими погрешностями имеется в различных рейтинг-листах.

Вывод такой: Komodo плох в блице, но преимущества с длинным контролем также не видно.

[sovaz1997]

Цитата: Сообщение от svoitsl

странно, проверил на одном ядре- вроде все нормально
(новая обыграла старую со счетом 4.5:0.5 при контроле 1'+1")

Когда у меня новая версия Zevra выигрывала старую со счетом 10-0, я не выключал тест и не делал обновление версии, где говорил, что она с подавляющим преимуществом опережает старую. Я спокойно ждал завершения SPRT-теста, после чего патч отклонил, т. к. он не принес улучшения

[sovaz1997]

Цитата: Сообщение от svoitsl

раньше я тоже не проверял на одном ядре, но на 2 и 4х действительно наблюдалось торможение, и нормальная игра была только при контроле 5'+6" (или что то вроде этого), но вот сейчас проверил, что и на одном ядре была та же проблема, чуть позже выложу результат всех 20 игр (сейчас пока 7:1)
Видно, что если новая набирает глубину 20,то старая всего 12 (хотя как ни странно,первая игра турнира шла на равных)
P.S. 18.5:1.5
Но есть подозрение что дело не в оценочной функции, проверю пока

У вас с Komodo явно что-то не то. На Ipman 12.2.2 отстает даже от Komodo 11.3.1 после 22000 партий:

5 Houdini 6.03 Pro x64 bmi2      : 3376    4   4  22000    73.5 %   3199   35.6 %

6 Komodo 11.3.1 x64 bmi2         : 3334    4   4  22000    68.3 %   3200   38.2 %

7 Komodo 12.2.2 64bit bmi2       : 3332    4   4  22000    68.1 %   3201   38.6 %

[svoitsl]

Цитата: Сообщение от sovaz1997

У вас с Komodo явно что-то не то.

Проверка всё же нашла причину, как я уже писал, первая игра шла более-мене нормально, а вот последующие - плохо, оказывается причина была в что, что я запускал движки в Арене и не перезапускал их каждую игру, а вот если перезапускать, то результат действительно другой.
Сейчас 6.5:3.5 (новый все же выигрывает)
И не было видно, что глубина поиска сильно отличается
Но все равно старая версия почему то на 1-2 , причем чаще на 2, менее "глубокая", чем новая, да и кеша искользует более чем на 200 Мб. меньше)

[sovaz1997]

100-300 партий пройдет - и примерно должны сравняться в итоге.
А зачем перезапускать? По идее, не должно быть проблем с этим. Просто если не лицензия, то результат каким угодно может оказаться, даже с перезапуском.

[svoitsl]

Вторая победа у Ginkgo 2.18b!

[sovaz1997]

Цитата: Сообщение от svoitsl

Вторая победа у Ginkgo 2.18b!

Первая)
После 11 партий только по 1 победе у Chiron и Ginkgo.

[Alex_Zet]

Два топовых аутсайдерами, как два ангела спустившиеся на землю вершить правосудие, кого куда, кто в расход а кто на перековку.

[Vizvezdenec]

Новые версии Комодо глубину зачастую больше стокфиша даже отображают.
Играть на его уровне это, правда, не помогает.

[Maratka]

Цитата: Сообщение от Vizvezdenec

История всё расставила по своим местам - рыбка - величайший движок своего времени и таким и останется навсегда, Crafty и Fruit сейчас - тир-50 движки, а сама организация, которая на Васика накладывала свои санкции, проводит только пиар-турнир для Комодо, куда не ездит ни один движок из топ-5 играть, помимо того самого Комодо.

Сложно сказать. Вот (факт однако) - Васик вернулся года три назад, теперь пишет свою Рыбку под лейбом "Fritz", и его движок находится где-то в районе между 10 и 20 в топе 50.

Чисто для сравнения: Гудини 4, не развиваясь 3 года, остался в топе 3.
Гудини 6 не развивается уже полтора года, и бодается за второе место (зависит от теста и методики).
А Рыбке хватило ~5 лет, чтобы провалиться в по сути нуль (по меркам топовых движков), ибо этот движок (судя по теперешнему TCEC) не претендует даже на высшие места в первом дивизионе. Т.е. его игра +/- на уровне SF8, а (скорее) даже SF7. Допускаю даже, что в личной встрече Рыбка (теперь уже Fritz) не обойдет даже и SF6 на заметную величину.

Вопросы:
1) Допустим у Васика были замечательные идеи по развитию Рыбка 4 > Рыбка 5. Могли ли они пропасть? IMHO, маловероятно, т.к. количество и качество идей не зависит от приговора суда.
2) Допустим, что идеи были, но пропали. Чем черт не шутит? Но как они ухитрились не заново выплыть за три года развития Рыбки под этикеткой "Fritz"?

А значит (не 100% понятно, но высоковероятно), что в Рыбке 4.x Васик уже реализовал все, на что ему его личных возможностей хватило, и теперь он просто шлифует движок с вполне прогнозируемым приростом в десяток ELO/год.

[Rom77]

Есть мнение (не моё), что Васик просто продал права на Рыбку Chessbase, а шлифует движок не он.

[Maratka]

То уже детали. Важно, что имея уровень игры на пару сотен ELO ниже, чем у Komodo, Рыбка (под каким названием она бы не выходила) растет не быстрее, хотя улучшать там явно есть больше чего, в сравнению с тем же Komodo.
По эмпирическим правилами, Рыбка должна расти быстрее, ибо чем меньше у тебя ELO, тем проще они даются, в реальности же Рыбка растет не быстрее (как бы не медленнее)!

[Vizvezdenec]

Цитата: Сообщение от Rom77

Есть мнение (не моё), что Васик просто продал права на Рыбку Chessbase, а шлифует движок не он.

Это распространённое мнение и, скорее всего, правдивое.
Васик сам по себе, видимо, окончательно отошёл от шахматного программирования (что вообще не факт,что хоть как-то связано со скандалами, в конце концов то же самое сделали и Вида, и автор Gull, и авторы Айвенго, да и команда стокфиша за последние 5 лет претерпела изряднейшие изменения, собственно, из активных участников проекта только Марко и остался, и то он код не пишет) и решил просто поторговать именем (ну а почему бы и нет).
А фритц покупают уже достаточно давно не для шахматной проги внутри, а для интерфейса.
Вообще если просто брать идеи из стокфиша и их зашивать в рыбку из 2010 (последнюю именно рыбку), то одной Countermove History Stats вполне хватит для того, чтобы догнать текущий фритц.
Эта идея из 2015 года и зашитая с нуля в Ethereal дала 35 эло или что-то такое, причём больше эло на большем временном контроле. (http://chess.grantnet.us/viewTest/315/ - и это уже на базе имеющегося патча countermove).
А сколько ещё таких идей найти-то можно. Было бы желание только улучшать рыбку, накинуть сотню-другую эло, написав минимум собственного кода и не использовав ни одной своей идеи, очень реально
Но, учитывая, что фриц 16 крашился на >8 процессорах весьма долго, человек, который его сейчас разрабатывает, видимо, не слишком в этом хорош (т.к. опять-таки, написать нормальный мультипроцессинг, имея перед глазами код Stockfish и Texel, несложно).

[svoitsl]

Третья победа у Chiron S14
(хотя кто то скажет что "первая" )

[svoitsl]

Насчет поражений тоже занятная ситуация,- у Fritz 16.10 уже два поражения