Stockfish и его производные

[Харлампий]

Stockfish 14
Stockfish 14 для Android
https://ufile.io/f/8ardx
https://pixeldrain.com/l/ndVpnHXc#item=1

Архив предыдущих версий: https://www.dropbox.com/sh/75gzfgu7q...UfHbBr4r_RwhGa

Официальный сайт стокфиш

Обновления тестовых версий стокфиша: http://abrok.eu/stockfish/

Сборки Stockfish и CorChess от I. Ivec

Развитие движка http://tests.stockfishchess.org/tests

Stockfish_NNUE https://github.com/nodchip/Stockfish

Сети: https://www.comp.nus.edu.sg/~sergio-v/nnue/

AsmFish

Сборки от Maratka

Компиляции движков от ChessMan

Сборка Stockfish от Otodranik

Sugar от Marco Zerbinati

Shark и Orka

О Stockfish

Цитата:

Авторы движка
Двигатель Stockfish был разработан Tord Romstad, Marco Costalba и Joona Kiiski. В настоящее время он развивается и поддерживается сообществом Stockfish.

Авторы приложений
Stockfish для Mac был собран Daylen Yang. Stockfish для iOS был собран Tord Romstad.

История
Проект Stockfish начался с движка Glaurung с открытым исходным кодом, созданного Tord Romstad. В ноябре 2008 года Марко Косталба разветвил код Glaurung 2.1 и представил Stockfish 1.0. Торд и Джоона Кииски присоединились к проекту «Стилфиш», и проект «Гларунг» постепенно исчез. Тем временем, Stockfish быстро поднялся, чтобы стать самым сильным шахматным движком с открытым исходным кодом, с частыми обновлениями каждые несколько месяцев. Сегодня он остается одним из самых сильных двигателей в мире.

О GPL
Stockfish является бесплатным и распространяется в соответствии с GNU General Public License Version 3 (GPLv3). По сути, это означает, что вы можете делать практически все, что хотите, с программой, включая ее распространение среди своих друзей, делая ее доступной для загрузки с вашего веб-сайта, продавая ее (либо самостоятельно, либо как часть некоторого более крупного программного пакета ) или использовать его в качестве отправной точки для собственного программного проекта.

Единственное реальное ограничение заключается в том, что всякий раз, когда вы каким-либо образом распространяете Stockfish, вы всегда должны включать полный исходный код или ссылку на исходный код. Если вы внесете какие-либо изменения в исходный код, эти изменения также должны быть доступны в GPL.

Для получения полной информации прочитайте GPL.

[свернуть]

[Vizvezdenec]

А вообще это было весьма смешно, когда Сильвер выкатил свою статью, где игрался тест против 10 версии под предлогом того, что, мол, это последняя стабильная.
Как будто он сам в TCEC не участвовал...

[Vizvezdenec]

Кстати говоря, я же не рассказал вроде бы, что прошедшие патчи делают.
Ну про тюнинг эвристики нулевого хода говорить особо нечего - это просто изменение параметров, хоть и получено каким-то " Bayesian optimisation and sequential use of gaussian process
regressor and gaussian process classifier. The latter is used in lieu of ordinal
categorical modelling."
От sg патч достаточно любопытный, у нас есть futility pruning для тихих ходов, фактически означает, что если тихий ход достаточно глубоко в переборе ходов встречается и при этом статическая оценка существенно меньше alpha (нижней границы альфа-бета поиска), то его можно выкинуть.
Этот патч же не позволяет выкидывать такие ходы, если у них достаточно хорошая история.
Ну и мой патч - бонус к стороне, у которой лучше оценка в эндшпиле, за "проникновение" короля. Определяется так, что либо король белых, либо король чёрных перешёл середину доски. Фактически значит, что мы считаем, что в эндшпиле решает вторжение короля в лагерь противника обычно, ну или выгон короля противника в наш, чтобы ему мат поставить
А, ну и ещё последний патч - ускорение SEE, функции, которая проверяет размены в одной точке на предмет того, кто же там материал выигрывает. Я так понимаю, содрано с Cfish в основном.

[Кевин]

Author: Alain SAVARD
Date: Thu Jan 9 01:43:47 2020 +0100
Timestamp: 1578530627

Update lists of authors and contributors

Preparing for version 11 of Stockfish: update lists of authors,
contributors giving CPU time to the fishtest framework, etc.

No functional change

http://abrok.eu/stockfish/

Скоро версия 11 выйдет.

[Кевин]

Цитата: Сообщение от Кевин

http://tests.stockfishchess.org/test...fe5f83a67dd851

http://tests.stockfishchess.org/test...fe5f83a67dd84f

Регресс-тесты запущены.

В итоге ELO: 51.50 +-1.5 (95%) и ELO: 58.15 +-1.7 (95%) для одноядерного и многоядерного теста соответственно.

[OlegSergeyev]

Цитата: Сообщение от Vizvezdenec

Кстати говоря, я же не рассказал вроде бы, что прошедшие патчи делают.

Спасибо за Вашу работу над улучшением Стокфиша!

Поясните, пожалуйста, как ранжируются все патчи на abrok? По дате? А дата к чему относится? К дате выкладывания? Дате тестирования? Дате создания?

И может ли пользователь понять, наследуются ли в том или ином патче предыдущие улучшения от предыдущих патчей?

К примеру, Ваш последний патч от 7 января - включал ли он что-то из патчей, опубликованных ранее?

Спасибо.

[Vizvezdenec]

Цитата: Сообщение от OlegSergeyev

Спасибо за Вашу работу над улучшением Стокфиша!

Поясните, пожалуйста, как ранжируются все патчи на abrok? По дате? А дата к чему относится? К дате выкладывания? Дате тестирования? Дате создания?

И может ли пользователь понять, наследуются ли в том или ином патче предыдущие улучшения от предыдущих патчей?

К примеру, Ваш последний патч от 7 января - включал ли он что-то из патчей, опубликованных ранее?

Спасибо.

На аброке просто выкладывается последний мастер.
Каждый раз.
А последний мастер каждый раз - это тот, который вот тут https://github.com/official-stockfis...commits/master последний.
А сюда он уже попадает в порядке того, как мейнтейнер патчи принимает.
Каждый мастер на аброке включает все предыдущие патчи, разумеется.

[Vizvezdenec]

Кстати говоря, я нашёл сорс код какого-то победителя турнира по сёги 2019 года, т.е. тогда он был топ-1 движком.
Это же и правда поиск стокфиша, куда слили 3-4 разных файла, собственно search.cpp идёт где-то с 1000 строчки.
https://github.com/yaneurao/YaneuraO...aou-search.cpp
Причём самое смешное, что части кода, которые в принципе не имеют смысла (как с проходными пешками, т.к. нет в сёги проходных пешек в шахматном смысле), есть, просто закомменчены.
Как это является лучшим???

[Rom77]

Цитата: Сообщение от Vizvezdenec

Как это является лучшим???

В их программах оценочная функция оригинальная. Называется NNUE. Вчера нашел несколько её популярных описаний. На японском. На этих веб-страницах (с продолжениями):
http://qhapaq.hatenablog.com/entry/2018/06/02/221612
http://yaneuraou.yaneu.com/2019/01/29/

По второй ссылке, кстати, блог автора той самой программы, чемпиона последнего года.

Если я правильно понял по гуглопереводу, в качестве оценочной функции используется нейросеть. Но она небольшого размера, а потому относительно быстро исполняется даже на обычном процессоре. У сети всего три слоя (у Лилы свыше 48-ми), но сеть не сверточная, как у Лилы, а полносвязная, поэтому размер файла сети относительно велик (60 Мб).

Таким образом программы по сёги являются по-настоящему гибридными.

[Vizvezdenec]

Цитата: Сообщение от Rom77

В их программах оценочная функция оригинальная. Называется NNUE. Вчера нашел несколько её популярных описаний. На японском. На этих веб-страницах (с продолжениями):
http://qhapaq.hatenablog.com/entry/2018/06/02/221612
http://yaneuraou.yaneu.com/2019/01/29/

По второй ссылке, кстати, блог автора той самой программы, чемпиона последнего года.

Если я правильно понял, в качестве оценочной функции используется нейросеть. Но она небольшого размера, а потому относительно быстро исполняется даже на обычном процессоре. У сети всего три слоя (у Лилы свыше 48-ми), но сеть не сверточная, как у Лилы, а полносвязная, поэтому размер файла сети относительно велик (60 Мб).

Таким образом программы по сёги являются по-настоящему гибридными.

Да это понятно, но всё равно полностью делать копипасту поиска стокфиша странно очень.
А по поводу этой нейросети - я видел какой-то форк SF с ней от какого-то японца, но нигде не видел, чтобы он тестировался.
https://github.com/nodchip/Stockfish...c/evaluate.cpp
А из гибридных программ вроде бы есть Winter.

[Rom77]

Цитата: Сообщение от Vizvezdenec

Да это понятно, но всё равно полностью делать копипасту поиска стокфиша странно очень.

Ну значит Стокфиш не такой уж и "Knowledge based program", как утверждал Дип Майнд . Получается, что его алгоритмы достаточно универсальны, чтобы практически без изменений использоваться в лучшей программе по сёги. Значит не только АльфаЗеро может похвастаться, что играет в несколько игр сразу

[Vizvezdenec]

Цитата: Сообщение от Rom77

Ну значит Стокфиш не такой уж и "Knowledge based program", как утверждал Дип Майнд. Получается, что его алгоритмы достаточно универсальны, чтобы практически без изменений использоваться в лучшей программе по сёги. Значит не только АльфаЗеро может играть в несколько игр сразу

Я бы сказал скорее, что АльфаЗиро не настолько уж хорош в сёги, если программа с поиском стокфиша и оценкой в виде нейросети 3х(что-то там) играет на его уровне.
Ведь там реально поиск стокфиша, просто убраны некоторые вещи, которые не имеют смысла для сёги (extensions рокировок и проходных пешек, может быть и что-то ещё, но беглым взглядом пройдясь я только это подметил).
Я на 100% уверен, что это можно улучшить. Например, сделать отдельные эвристики в LMR и shallow depth pruning для выставления фигур (в шахматах вообще нету же такого типа хода).

[Rom77]

Цитата: Сообщение от Vizvezdenec

Ведь там реально поиск стокфиша, просто убраны некоторые вещи, которые не имеют смысла для сёги (extensions рокировок и проходных пешек, может быть и что-то ещё, но беглым взглядом пройдясь я только это подметил).

LMR есть? Читал когда-то в чате TCEC сообщения от noob 'а (но не поручусь, что правильно его понял), что в китайских шахматах сянци просто отрубают у Стока LMR и движок для сянци готов.

[Vizvezdenec]

Цитата: Сообщение от Rom77

LMR есть? Читал когда-то в чате TCEC сообщения от noob 'а (но не поручусь, что правильно его понял), что в китайских шахматах сянци просто отрубают у Стока LMR и движок для сянци готов.

Есть, строчка 2060
https://github.com/yaneurao/YaneuraO...aou-search.cpp
Причём LMR для тихих ходов вообще точно такой же (как он был 7 месяцев назад), для взятий там просто из reductions вычитается 1 и ограничивается сверху нулём (фактически r=std::max(r-1, 0), но написано как-то криво), т.е. почти всегда для взятий r-- и убраны все другие мини-эвристики LMR для взятий.
А для тихих ходов просто калька, даже StatScore считается точно так же.

[Rom77]

Цитата: Сообщение от Vizvezdenec

Я на 100% уверен, что это можно улучшить. Например, сделать отдельные эвристики в LMR и shallow depth pruning для выставления фигур (в шахматах вообще нету же такого типа хода).

Ну значит вы с японским автором оба уверены, что можете улучшить код друг друга. А если он тоже скептически настроен?

[Vizvezdenec]

Цитата: Сообщение от Rom77

Ну значит вы с японским автором оба уверены, что можете улучшить код друг друга. А если он тоже скептически настроен?

Ну я не утверждаю значения эло, которые улучшить можно
Более того, я не утверждаю, что это можно каким-то образом сделать без аналога фиштеста. Скорее уверен, что "интуитивно" тут ничего не получится.
У него же почему-то есть уверенность, что статистические тесты - ерунда.
А вообще я бы за это не взялся, всё-таки я больше по оценке специалист, тут нужен какой-нибудь Stefan Geschwentner, Vondele или VoyagerOne

[Rom77]

Цитата: Сообщение от Vizvezdenec

Я бы сказал скорее, что АльфаЗиро не настолько уж хорош в сёги, если программа с поиском стокфиша и оценкой в виде нейросети 3х(что-то там) играет на его уровне.

В сёги почти нет ничьих, поэтому, наверное, потолок у их программ будет повыше. А так, проги намного сильнее людей, причем обошли их ещё в "донейросетевые" времена. Но прогресс очень быстрый - матчи против людей проводились ещё совсем недавно:

http://kasparovchess.crestbook.com/t...12#post-668380

[Vizvezdenec]

Цитата: Сообщение от Rom77

В сёги почти нет ничьих, поэтому, наверное, потолок у их программ будет повыше. А так, проги намного сильнее людей, причем обошли их ещё в "донейросетевые" времена. Но прогресс очень быстрый - матчи против людей проводились ещё совсем недавно:

http://kasparovchess.crestbook.com/t...12#post-668380

Да не наверное, а точно будет повыше Ничьи в сёги таки есть, если фигуры все прошли до противоположной стороны доски и у противника тоже, то из-за того, что половина из них не ходит назад, на доске позиционная ничья. Но это большая редкость.
Но, формально говоря, возможно, что идеальные сёги всё равно ничья

[Maratka]

Цитата: Сообщение от Vizvezdenec

попробуйте что-нибудь типа d4 f5 или Пирца.

Краем уха слышал, что итальянку SF белыми против LZ играет тоже неважно (C54 и родственные, если не ошибаюсь).

Если это факт - просьба накидать дебютов для проверки.

______
Посмотрел у себя статистику - именно C54 действительно неважно, причем это годичной давности сети.
Сейчас вероятно стало еще хуже.

В общем, если факт - просьба дать pgn'ки на 2-4 хода.
Французская у меня закончится завтра утром, может днем. Результат в партиях будет не позже вечера.

[Кевин]

Author: joergoster
Date: Thu Jan 9 19:48:47 2020 +0100
Timestamp: 1578595727

50-moves rule improvement for transposition table

User "adentong" reported recently of a game where Stockfish blundered a game
in a tournament because during a search there was an hash-table issue for
positions inside the tree very close to the 50-moves draw rule. This is part
of a problem which is commonly referred to as the Graph History Interaction (GHI),
and is difficult to solve in computer chess because storing the 50-moves counter
in the hash-table loses Elo in general.

Links:
Issue 2451 : https://github.com/official-stockfis...sh/issues/2451
About the GHI : https://www.chessprogramming.org/Gra...ry_Interaction

This patch tries to address the issue in this particular game and similar
reported games: it prevents that values from the transposition table are
getting used when the 50-move counter is close to reaching 100 (). The idea
is that in such cases values from previous searches, with a much lower 50-move
count, become less and less reliable.

More precisely, the heuristic we use in this patch is that we don't take the
transposition table cutoff when we have reached a 45-moves limit, but let the
search continue doing its job. There is a possible slowdown involved, but it will
also help to find either a draw when it thought to be losing, or a way to avoid
the draw by 50-move rule. This heuristics probably will not fix all possible cases,
but seems to be working reasonably well in practice while not losing too much Elo.

Passed non-regression tests:
STC:
LLR: 2.95 (-2.94,2.94) [-3.00,1.00]
Total: 274452 W: 59700 L: 60075 D: 154677 Elo -0.47
http://tests.stockfishchess.org/test...32658fe9b451bf

LTC:
LLR: 2.95 (-2.94,2.94) [-3.00,1.00]
Total: 95235 W: 15297 L: 15292 D: 64646 Elo +0.02
http://tests.stockfishchess.org/test...32658fe9b4520e

Closes https://github.com/official-stockfis...fish/pull/2453

Bench: 4586187

http://abrok.eu/stockfish/

[Maratka]

Слава Богу, как раз на Рождество подарок!
Причем без падения ELO!

[Maratka]

Что хотелось бы понять:
почему
if (pos.rule50_count() < 90)
Т.е. 45 ходов?

Это выверенная величина, или это величина из понимая работы движка (а может и из пальца высосанная), но... весьма удачная, и если второе - то может быть есть смысл запустить калибровку вида 86/88/90/92/94...?

[svoitsl]

Цитата: Сообщение от Maratka

Слава Богу, как раз на Рождество подарок!

Значит можно ждать на Крещение ещё один - релиз Стокфиш 11 !!!

[Maratka]

Не успеет.
Но вскоре - вероятно.

p.s.
Для коммерческого ПО есть неписанное правило: откатать его на тестерах хотя бы недели 2-3, лучше - 2-3 месяца. Тогда получается вместе с выпуском этого ПО одновременно, первым же обновлением закрыть самые раздражающие проблемы: 2-3 недели форы зачастую достаточо, чтобы словить на добровольцах, коим "случайно" утекает RTM-версия самые горячие проблемы, исправить их, и проверить, что других проблем скорее всего после исправления не возникло. Тем более, 2-3 месяца.

А для опенсурса, который к тому же не продается и не пользуется поддержкой (исключение что-то вроде Линукс) оно вообще не суть, SF11 можно выпустить да хоть сегодня. Но реально все одно не успеют, я бы ставил число так на 15, при условии, что релиз вообще будет.

[Кевин]

Author: Stéphane Nicolet
Date: Thu Jan 9 21:57:21 2020 +0100
Timestamp: 1578603441

Assorted trivial cleanups January 2020

Assorted trivial cleanups.

No functional change

http://abrok.eu/stockfish/

[Maratka]

Цитата: Сообщение от Кевин

Author: Stéphane Nicolet
Date: Thu Jan 9 21:57:21 2020 +0100
Timestamp: 1578603441
Assorted trivial cleanups January 2020
Assorted trivial cleanups.
No functional change
http://abrok.eu/stockfish/
__________________
ICCF SIM 2531, International Arbiter, ICCF "Promotional Tournaments - Server" Organiser, RCCA Chess 960 Champion, ICCF 4th Chess 960 World Cup Final Winner.

misc.cpp
Поменять
const string Version = "";
на
const string Version = "11 Beta1";

Это то, что ждет 1-2 человека на форуме. Они неправы, но именно это изменение будет греть им душу

А остальные и так обойдутся...


________
Кстати по поводу разгрома AZ vs SF8 - если бы вышел за неделю до матча SF9... то счет бы был бы куда как более умеренный, и это с учетом всех остальных ухищрений Гугла.

Т.е. по мне - нет смысла в релизах как таковых, но есть в них смысл, как точки отсчета. Раз в квартал, а-ля Komodo - это и нашим, и вашим.

[Кевин]

Author: protonspring
Date: Fri Jan 10 01:58:27 2020 +0100
Timestamp: 1578617907

Rewrite initialization of PseudoMoves

This is a non-functional code style change. I believe master is a bit convoluted
here and propose this version for clarity.

No functional change

http://abrok.eu/stockfish/

[EngMatch]

Цитата: Сообщение от Vizvezdenec

А из гибридных программ вроде бы есть Winter.

Как оказалось, его опередил Fizbo.

[Кевин]

Author: Joost VandeVondele
Date: Fri Jan 10 03:31:44 2020 +0100
Timestamp: 1578623504

Update Elo estimates for terms in search

This updates estimates from 1.5 year ago, and adds missing terms. All estimates
from tests run on fishtest at 10+0.1 (STC), 20000 games, error bars +- 3 Elo,
see the original message in the pull request for the full list of tests.
Noteworthy changes are step 7 (futility pruning) going from ~30 to ~50 Elo
and step 13 (pruning at shallow depth) going from ~170 to ~200 Elo.

Full list of tests: https://github.com/official-stockfis...fish/pull/2401

@Rocky640 made the suggestion to look at time control dependence of these terms.
I picked two large terms (early futility pruning and singular extension), so with
small relative error. It turns out it is actually quite interesting (see figure 1).
Contrary to my expectation, the Elo gain for early futility pruning is pretty time
control sensitive, while singular extension gain is not.

Figure 1: TC dependence of two search terms

Going back to the old measurement of futility pruning (30 Elo vs today 50 Elo),
the code is actually identical but the margins have changed. It seems like a nice
example of how connected terms in search really are, i.e. the value of early futility
pruning increased significantly due to changes elsewhere in search.

No functional change

http://abrok.eu/stockfish/

[Maratka]

Итак, по французской с разными Contempt
1) +8
2) -24







Партии:
https://yadi.sk/d/R-tk5pvKZpq6oQ

Итого, предполагаю, что в дальнейшем ничейные можно выбросить, а результативные прогнать кругов в десять.
Тогда появится более подробная статистика именно по этим неудачным для SF дебютам.

Попробую разобраться, как это сделать...

[Maratka]

И да, похоже SF тут нет смысла заряжать белыми. Т.е. вопрос его выигрыша тут не стоит, главное чтобы меньше проигрывал.