Komodo

[Гудвин]

Официальный сайт
http://komodochess.com/
Последняя версия Komodo 13.2

[Vizvezdenec]

Ну я видел партии Комодо в TCEC, к атакам на короля он по прежнему слеп, как крот. А Гудини в них неплох.

[Viktor]

Vizvezdenec, как Вы считаете: использовали Komodo и Houdini патчи Стокфиша?
Как известно у Стока открытый исходный код.

[Vizvezdenec]

Цитата: Сообщение от Viktor

Vizvezdenec, как Вы считаете: использовали Komodo и Houdini патчи Стокфиша?
Как известно у Стока открытый исходный код.

Так они сами не скрывали, что использовали.
Ларри говорил, что наработки стокфиша в LMR часто работают в Комодо.
Гударт говорил, что без стокфиша все топ движки были бы на 100 эло слабее.

[Viktor]

Цитата: Сообщение от Vizvezdenec

Так они сами не скрывали, что использовали.
Ларри говорил, что наработки стокфиша в LMR часто работают в Комодо.
Гударт говорил, что без стокфиша все топ движки были бы на 100 эло слабее.

И после этого есть ли моральное право "у некоторых товарищей" обвинять программистов Стокфиша, раз "жировали" эти платные движки за их счет?

[Vizvezdenec]

Цитата: Сообщение от Viktor

И после этого есть ли моральное право "у некоторых товарищей" обвинять программистов Стокфиша, раз "жировали" эти платные движки за их счет?

Я вообще не знаю, какое есть у кого моральное право обвинять программистов стокфиша в том, что они тратят своё время и силы на то, чтобы сделать лучший движок в истории, построенный на принципах альфабета минимакса, при этом с него не зарабатывая ни копейки (?).
Да, тот же LazySMP появился первым в Комодо, только вот кода открытого его не было. Фактически сейчас все концепции новые где-то с 2013 года примерно написаны сначала для стокфиша, а потом уже всеми раскопированы.
(LazySMP, поддержка syzygy таблиц, countermove history stats, caprure history, да даже такие патчи, как sliders on queen точно есть в Ethereal и laser, и что-то мне кажется, что ими список не ограничивается ).

[Viktor]

В своё время Васика обвинили в плагиате Рыбки. А как же тогда с Гудартом дело обстоит, если он только плагиатом и занимался? Если обвинять, то оба на одном "уровне".

[Vizvezdenec]

Цитата: Сообщение от Viktor

В своё время Васика обвинили в плагиате Рыбки. А как же тогда с Гудартом дело обстоит, если он только плагиатом и занимался? Если обвинять, то оба на одном "уровне".

Я считаю обвинения Васика глупостью и то же самое могу сказать и про Гудини.
Какие-то вещи (многие) он, конечно, заимствовал из стокфиша, но, тем не менее, то, что проходит для стокфиша, далеко не всегда работает для других движков (например, ни один мой патч не заработал в Ethereal). Поэтому написать движок уровня стокфиша, имея изначально другую кодовую базу и просто заимствуя идеи, физически невозможно.

[Кевин]

Цитата: Сообщение от Vizvezdenec

Я вообще не знаю, какое есть у кого моральное право обвинять программистов стокфиша в том, что они тратят своё время и силы на то, чтобы сделать лучший движок в истории, построенный на принципах альфабета минимакса, при этом с него не зарабатывая ни копейки (?).

Ну, справедливости ради на форуме совсем не о таких обвинениях речь шла

[EngMatch]

Цитата: Сообщение от Vizvezdenec

Да, тот же LazySMP появился первым в Комодо, только вот кода открытого его не было. Фактически сейчас все концепции новые где-то с 2013 года примерно написаны сначала для стокфиша, а потом уже всеми раскопированы.

Вторым после Komodo движком с Lazy SMP стал в том же 2013 году открытый Cheng, однако сила его игры не способствовала тому, чтобы на этот алгоритм параллельного поиска начали переходить еще тогда.
В Andscacs Lazy SMP появился раньше чем в Stockfish.
Handle Windows Processor Groups в Стоке из Texel.

[Rom77]

Цитата: Сообщение от EngMatch

Вторым после Komodo движком с Lazy SMP стал в том же 2013 году открытый Cheng,

Возможно Lazy SMP появился в Cheng даже раньше, чем в Комодо, а в EXchess Lazy SMP появился ещё раньше, чем в Cheng. По-видимому первоисточником для всех этих работ стал тред на Талкчесс, начатый Julien Marcel.

[EngMatch]

А то что у Komodo Lazy SMP стало известно далеко не сразу и сначала по косвенным признакам (хороший scaling на мощном железе, поведение в тестах), так как авторы это не афишировали.

[EngMatch]

Цитата: Сообщение от Rom77

Возможно Lazy SMP появился в Cheng даже раньше, чем в Комодо, а в EXchess Lazy SMP появился ещё раньше, чем в Cheng. По-видимому первоисточником для всех этих работ стал тред на Талкчесс, начатый Julien Marcel.

Cheng4 0.35 вышел 24.09.13, а Komodo 5.1 - 17.06.13.
Посмотрите скорость EXchess в архиве TCEC, не уверен, что там удачный Lazy SMP.
Julien Marcel выдвинул идею (возможно опираясь на старые идеи), которую теоретически оформил автор EXchess Daniel Homan.

[Rom77]

Цитата: Сообщение от EngMatch

Cheng4 0.35 вышел 24.09.13, а Komodo 5.1 - 17.06.13.
Посмотрите скорость EXchess в архиве TCEC, не уверен, что там удачный Lazy SMP.

Автор EXchess реализовал Lazy SMP в январе 2013 года. Причем очень удачно, совсем не теоретически. Я думаю именно его результаты сподвигли многих на попытку:
http://www.talkchess.com/forum3/viewtopic.php?t=46858

Цитата: Сообщение от EngMatch

Cheng4 0.35 вышел 24.09.13, а Komodo 5.1 - 17.06.13.

Сама по себе реализация мультипоточности совсем не означает, что в Комодо поначалу использовался именно LazySMP. Если посмотреть архив TCEC, и сравнить финалы TCEC 7 (вторая половина 2014 года) и TCEC 6, то видно, что в TCEC 7 скорости Комодо резко возрастают относительно Стокфиша. Возможно именно тогда и произошла смена реализации мультипоточности на LazySMP.

[Vizvezdenec]

Цитата: Сообщение от EngMatch

Вторым после Komodo движком с Lazy SMP стал в том же 2013 году открытый Cheng, однако сила его игры не способствовала тому, чтобы на этот алгоритм параллельного поиска начали переходить еще тогда.
В Andscacs Lazy SMP появился раньше чем в Stockfish.
Handle Windows Processor Groups в Стоке из Texel.

Это да, но пока он не появился в стокфише - никто и не почесался свои движки на него переводить Ну и я, если честно, не знаю, насколько хороши были те Lazy SMP, стокфишу удалось добиться того, чтобы на 3 ядрах он был не хуже YBWC, чего обычно не удавалось.
Насколько я знаю, написан он был не "с кого-то", а с нуля пользователем mbootsector, потом уже улучшен несколько раз.
Про процессорные группы - да, практически весь код использования процессорных групп всеми взят из Texel.
Правда, недавно выяснилось, что там где-то есть небольшой баг и все его дружно поправили

[EngMatch]

Цитата: Сообщение от Rom77

Сама по себе реализация мультипоточности совсем не означает, что в Комодо поначалу использовался именно LazySMP. Если посмотреть архив TCEC, и сравнить финалы TCEC 7 (вторая половина 2014 года) и TCEC 6, то видно, что в TCEC 7 скорости Комодо резко возрастают относительно Стокфиша. Возможно именно тогда и произошла смена реализации мультипоточности на LazySMP.

Mark Lefler: "We owe this to Don".
Мы обязаны этим Дону. Речь о Lazy SMP в Komodo. Смотрите второй абзац третьего сообщения в теме:
http://www.talkchess.com/forum3/view...hp?f=2&t=63903
А поскольку существенной разницы между SMP Komodo 5.1 и Komodo 6 не выявлено, то значит Lazy SMP был в этом движке изначально.

[Vizvezdenec]

Вообще вот смерть Дона Дайли хорошо показывает, что не все люди заменимы.
Комодо после его ухода в мир иной практически встал.
Ну набрал по инерции ещё полторы - две сотни эло, но заменить его всё-таки полностью у Марка Лефлера не вышло.

[sovaz1997]

Цитата: Сообщение от Vizvezdenec

Вообще вот смерть Дона Дайли хорошо показывает, что не все люди заменимы.
Комодо после его ухода в мир иной практически встал.
Ну набрал по инерции ещё полторы - две сотни эло, но заменить его всё-таки полностью у Марка Лефлера не вышло.

В свое время ведь даже Stockfish DD был выпущен в его честь. И как раз после его смерти Komodo, похоже, замедлил свое развитие.

[Vizvezdenec]

Цитата: Сообщение от sovaz1997

В свое время ведь даже Stockfish DD был выпущен в его честь. И как раз после его смерти Komodo, похоже, замедлил свое развитие.

Ну до 8 сезона TCEC он дотянул ещё, там обыграв стокфиш, имевший очень сырой мультипроцессинг.
Но потом был SF8, который Комодо драл и в хвост, и в гриву, а ещё временно вернулся Гударт... А теперь ещё и Лила есть, так что Комодо с тех пор не был даже движком номер 2 никогда.

[sovaz1997]

В 8-м сезоне была даже партия, где Сток >20 показывал, а потом в нули свалился. Там был действительно очень сырой мультипроцессинг. Но в то время я не знал о TCEC (хотя, не помню точно).
Думаю, был бы он жив, Komodo бы мог конкурировать со Стоком. Возможно, даже сейчас. А в итоге имеем Komodo MCTS, обернутый маркетингом со всех сторон.

[Vizvezdenec]

Цитата: Сообщение от sovaz1997

В 8-м сезоне была даже партия, где Сток >20 показывал, а потом в нули свалился. Там был действительно очень сырой мультипроцессинг. Но в то время я не знал о TCEC (хотя, не помню точно).
Думаю, был бы он жив, Komodo бы мог конкурировать со Стоком. Возможно, даже сейчас. А в итоге имеем Komodo MCTS, обернутый маркетингом со всех сторон.

Ну он там выграл 9-2, ну в реальности 9-3. Там не в мультипроцессинге дело, это очень редкий баг на больших глубинах, который, насколько я знаю, до сих пор реально не пофикшен.
Он дважды упускал победу в TCEC (1 раз вот эта игра против Комодо, 1 раз против Гудини был, где стокфиш видел вариант с +2,5, а потом вернулся к варианту ничейному с +1), коллизия хэша какая-то, возможно, что и проигрыш в кубке частично с этим связан.
Честно скажу, я в этом не понимаю вообще ничего, поэтому не знаю, как это править и что это такое вообще
Но стокфиш с 7 по 8 версию заимел нормально работающий LazySMP и 85 эло (за 9 месяцев), а Комодо стагнировал как раз примерно с того момента. В итоге имеем то, что имеем.
Что реально сейчас Комодо за 3 года набрал где-то 20 (?) эло, а стокфиш 150.

[sovaz1997]

Vizvezdenec, могу примерно описать, что это такое: правда, я точно не знаю, как реализован Хеш у Stockfish (слышал, что там более сложная реализация). Но как это выглядит обычно:

для каждой piece-cell-color (фигура-клетка-цвет), для каждой рокировки и для каждого поля взятия на проходе генерируется 64-битное случайное число. Далее, сам ключ хеш-таблицы складывается следующим образом: просто делаем xor или другую операцию (xor обычно, т. к. он дает меньше коллизий) по нашим ключам для конкретной позиции. Ну и инвертируем полученный ключ, если индексируем позицию для черных. Это позволяет достаточно быстро определить совпадение позиции и ячейки хеш-таблицы для поиска. Как хранится хеш-таблица (обычно): у нас есть массив из 2^x ячеек (число ячеек определяется задаваемым размером хеш-таблицы в UCI). И данные по позиции сохраняются в ячейку с номером, усеченным до x бит (берем только младшие x бит - это и будет индекс позиции). И тут возникают 2 коллизии:
1) можно попасть в ячейку с тем же индексом, но другим 64-ключом (полный ключ храним в ячейке для дополнительной проверке);
2) 64-битные ключи в ячейке тоже совпадают. Очень редкое явление, и, как я думаю, оно и привело к ошибке в TCEC. Возможно, это был какой-то pv узел, где эта оценка и вернулась в итоге (хотя оценка вообще по другой позиции).

[EngMatch]

Komodo 13.01 MCTS в FGRL 60 min + 15 sec (Complete list): 3223.
Это на 71 больше, чем у 12.3 MCTS, а до Komodo 13.01 осталось 61.

[Maratka]

Ну значит верно писал Vizvezdenec, когда писал месяца три назад, что dev-версия обошла 12.3 на ~60 ELO. Т.е. еще ~15 они наскребли за ~2 месяца. Это нормальный темп SF'ша в период, когда нет у него застоя по тем или иным причинам, так что вполне можно рассчитывать, что через полгода они выйдут на уровень a-b, а дальше очевидно могут уже бороться за право играть в финале против SF'ша, оттеснив LZ, который имеет колоссальные проблемы с хвостом. Правда финал этот будет насквозь предсказуемым. , но это уже другой вопрос.

[sovaz1997]

Цитата: Сообщение от Maratka

Ну значит верно писал Vizvezdenec, когда писал месяца три назад, что dev-версия обошла 12.3 на ~60 ELO. Т.е. еще ~15 они наскребли за ~2 месяца. Это нормальный темп SF'ша в период, когда нет у него застоя по тем или иным причинам, так что вполне можно рассчитывать, что через полгода они выйдут на уровень a-b, а дальше очевидно могут уже бороться за право играть в финале против SF'ша, оттеснив LZ, который имеет колоссальные проблемы с хвостом. Правда финал этот будет насквозь предсказуемым. , но это уже другой вопрос.

Прогноз невероятно сказочный, ИМХО.

1) KMCTS будет выходить в финал вместе со Стоком. Нуу, поверить в такое можно будет, если он обгонит хотя бы обычный Komodo;
2) Значит, KMCTS может оттеснить LZ. Хорошо. Но Вы опять нашли границу: "финал этот будет насквозь предсказуемым" - т. е. выйти на уровень LZ можно, а на уровень Stockfish - нет? Слишком однобокий вывод;
3) "LZ, который имеет колоссальные проблемы с хвостом" - здесь просто без комментариев. Вы делаете выводы по одному турнирчику с малым числом партий. Ведь только в нем LZ пока что отстает. Если взять CCC, то там все намного лучше. Ну и партий больше, конечно)

[Maratka]

Цитата: Сообщение от sovaz1997

3) "LZ, который имеет колоссальные проблемы с хвостом" - здесь просто без комментариев. Вы делаете выводы по одному турнирчику с малым числом партий. Ведь только в нем LZ пока что отстает. Если взять CCC, то там все намного лучше. Ну и партий больше, конечно)

Я делаю вывод по двум отборам в TCEC, двум в 3C, и двум финалам в 3C.
Сколько раз там SF взял не первое место? И это не какая-то древняя статистика, это буквально последние полгода.

Теперь к этим шести турнирам вполне можно добавить седьмой - вот тот самый бонус из игры чемпионов TCEC разных лет, где LZ борется за пятое место с Houdini (пессимистическая оценка), либо за четвертое со самым старым SF'шем за последний год (оптимистическая). Ничего выше ему извините уже не светит, это совершенно очевидно, т.к. до третьего места ему 4 очка, при этом LZ уже сыграл на партию больше.

[sovaz1997]

Цитата: Сообщение от Maratka

Я делаю вывод по двум отборам в TCEC, двум в 3C, и двум финалам в 3C.
Сколько раз там SF взял не первое место?

По финалам, где LZ играет со старой сетью, выводы делать не надо. Эта сеть слабее на 40 пунктов где-то. Все равно, что делать выводы на основании Stockfish пол-годичной давности. К слову, Лила тогда и не превосходила Сток, все говорили о том, что они примерно равны.

[Maratka]

Цитата: Сообщение от sovaz1997

По финалам, где LZ играет со старой сетью, выводы делать не надо. Эта сеть слабее на 40 пунктов где-то. Все равно, что делать выводы на основании Stockfish пол-годичной давности. К слову, Лила тогда и не превосходила Сток, все говорили о том, что они примерно равны.

Ну вот вывод на основе даже не полгугодичной давности SF, а версии которой далеко за год: SF-чемпион 11 сезона слабее версии, которая взяла приз в 14 сезоне не думаю, что на меньшее количество очков. 40 ELO разницы это скорее даже нижняя граница.
Это ему как-то мешает обойти LZ-чемпиона 15 сезона, который очень вероятно сильнее текущей уже dev-версии SF на 10-30 ELO?

Так что никак оно не коррелирует с рейтингом в дуэли: LZ обошел последний dev, но не может выиграть по круговой системе у версии, которой 15 месяцев, и которая отстает от него на добрые 70-80 ELO.

[sovaz1997]

Maratka, а в этом турнире у нас +-100 погрешность (что дает диапазон от -100 до +100). Ну, как бы, здесь вообще не важно, в каком порядке они окажутся - все, что угодно, может быть.

[Maratka]

Цитата: Сообщение от sovaz1997

Ну, как бы, здесь вообще не важно, в каком порядке они окажутся - все, что угодно, может быть.

Может быть все что угодно. Но есть то что есть.

[Maratka]

Цитата: Сообщение от sovaz1997

2) Значит, KMCTS может оттеснить LZ. Хорошо. Но Вы опять нашли границу: "финал этот будет насквозь предсказуемым" - т. е. выйти на уровень LZ можно, а на уровень Stockfish - нет? Слишком однобокий вывод;

Почему нельзя? Можно. Теми темпами, как растет Komodo MCTS - года через два, при условии, что SF вообще отстановится (как Houdini).
А вот набрать уровень Komodo a-b или того же Houdini, либо даже чуть превысить - реально, ибо Komodo a-b по сути не развивается, а Houdini строго не развивается.

Ну а все остальное зависит лишь от умения выносить хвосты: я вполне допускаю, что Komodo MCTS проиграет в отборе 2 из 2 LZ, но обойдет его по сумме очков как раз за счет хвоста.