Stockfish и его производные

[Харлампий]

Stockfish 14
Stockfish 14 для Android
https://ufile.io/f/8ardx
https://pixeldrain.com/l/ndVpnHXc#item=1

Архив предыдущих версий: https://www.dropbox.com/sh/75gzfgu7q...UfHbBr4r_RwhGa

Официальный сайт стокфиш

Обновления тестовых версий стокфиша: http://abrok.eu/stockfish/

Сборки Stockfish и CorChess от I. Ivec

Развитие движка http://tests.stockfishchess.org/tests

Stockfish_NNUE https://github.com/nodchip/Stockfish

Сети: https://www.comp.nus.edu.sg/~sergio-v/nnue/

AsmFish

Сборки от Maratka

Компиляции движков от ChessMan

Сборка Stockfish от Otodranik

Sugar от Marco Zerbinati

Shark и Orka

О Stockfish

Цитата:

Авторы движка
Двигатель Stockfish был разработан Tord Romstad, Marco Costalba и Joona Kiiski. В настоящее время он развивается и поддерживается сообществом Stockfish.

Авторы приложений
Stockfish для Mac был собран Daylen Yang. Stockfish для iOS был собран Tord Romstad.

История
Проект Stockfish начался с движка Glaurung с открытым исходным кодом, созданного Tord Romstad. В ноябре 2008 года Марко Косталба разветвил код Glaurung 2.1 и представил Stockfish 1.0. Торд и Джоона Кииски присоединились к проекту «Стилфиш», и проект «Гларунг» постепенно исчез. Тем временем, Stockfish быстро поднялся, чтобы стать самым сильным шахматным движком с открытым исходным кодом, с частыми обновлениями каждые несколько месяцев. Сегодня он остается одним из самых сильных двигателей в мире.

О GPL
Stockfish является бесплатным и распространяется в соответствии с GNU General Public License Version 3 (GPLv3). По сути, это означает, что вы можете делать практически все, что хотите, с программой, включая ее распространение среди своих друзей, делая ее доступной для загрузки с вашего веб-сайта, продавая ее (либо самостоятельно, либо как часть некоторого более крупного программного пакета ) или использовать его в качестве отправной точки для собственного программного проекта.

Единственное реальное ограничение заключается в том, что всякий раз, когда вы каким-либо образом распространяете Stockfish, вы всегда должны включать полный исходный код или ссылку на исходный код. Если вы внесете какие-либо изменения в исходный код, эти изменения также должны быть доступны в GPL.

Для получения полной информации прочитайте GPL.

[свернуть]

[Merkury]

Цитата: Сообщение от Maratka

BMI2, без AVX2

https://yadi.sk/d/lrSBh2nfDa6CFA

P.s.
В принципе, для проверки работоспособности на кластере достаточно любой версии, все что нужно - убедиться, что она работает быстрее, и достигает бОльшей глубины за то же время, что и на одиночном сервере.

Дальше думаю собрать более быстрые сборки Вам помогут.

Ещё раз спасибо!
Из Ваших сборок, самой быстрой оказалась с avx2.

[Maratka]

Ну вот предварительно на нее и завязывайтесь.
Эта сборка поддерживает и AVX2, и BMI2.
Собственно, все что там есть, можно увидеть в консоли: запустить движок, и набрать "compiler".

Являются ли мои именно что сборки самыми быстрыми?
Нет, на нужном оборудовании можно собрать и более быстрее. Для этого требуется т.н. "профилирование", что подразумевает запуск сборок, но на моем железе (AMD FX) нет поддержки BMI2 и AVX2, потому их профилировать я не смогу. Те, у кого есть это железо, могут дать плюсом 5-10% производительности к моим сборкам, но это как я понимаю - все потом, сейчас Вам важнее в принципе разобраться и настроить кластерную сборку так, чтобы она работала быстрее, чем одиночный сервер, т.е. тут ее хватит, ну а потом - будет потом.

В любом случае, ускорить первую сборку (она поддерживает только разные варианты SSE инструкций) я смогу, но она даже с учетом профилирования будет медленнее, чем AVX2/BMI2.

Так что думаю, на ближайшие время уже имеющихся сборок Вам хватит, а там и другие ребята помогут.

Удачи!

p.s.
Хотелось бы увидеть результаты тестов на скорость и глубину, когда Вы настроете кластер, в сравнении с одиночными серверами... Самому интересно, есть ли смысл в кластере (учитывая, что сервера связывает хорошо если 10 гигабит канал, а то и обычный гигабитный), который вполне может быть узким местом.

Сможете выложить результаты?

[Владимир001]

https://www.sp-cc.de/index.htm

[Maratka]

Цитата: Сообщение от Maratka

Нет, на нужном оборудовании можно собрать и более быстрее. Для этого требуется т.н. "профилирование", что подразумевает запуск сборок, но на моем железе (AMD FX) нет поддержки BMI2 и AVX2, потому их профилировать я не смогу.

Могу кстати сделать это добро на Вашем оборудовании, для максимальной производительности.
Вас нужно будет MS Visual Studio 2017 или выше (сегодня вроде бы 2019 последняя).
Сделать смогу или полностью удаленно (потребуется доступ к Вашей системе), или Вы по моим инструкциям.

При этом заметьте, что Студия загружается с серверов MS, активация - под вашу ответственность, если есть возможность - конечно же лучше не нарушать. В любом случае, есть бесплатные версии, но (возможно) там нет опции профилирования (т.е. Вы не получите те самые 5-10% производительности).

Для тех задач, для которых Вы себе пытаетесь задействовать кластер - оно непринципиально, т.к. 5-10% производительности при анализе ~5 часов на ход - это десятые, возможно даже сотые доли Elo, которые практически никак не влияют на силу игры движка и его анализ.

Но вот что могу обещать - что по просьбе от Вас могу собирать новую версию по мере изменения исходников, если согласны что не нужно профилирование - то просто вот тут пишите, хотя лучше в личные сообщения, так вернее.

[ChessMan]

Maratka,
Как собирали кластерный Стокфиш?
Без mpi=yes это обычный Сток...

=========
Вернее без -DUSE_MPI

[ChessMan]

Maratka,
Подключение MPI в Visual Studio
https://pro-prof.com/forums/topic/%D...-visual-studio

==============
Не так всё просто с кластерным Стокфишем

MinGW 10.2 :

[Maratka]

Чисто баловства ради прогнал два цикла обучения сети с нуля.

Против матсер-сети:









Против сети, основанной на обучении a-b движков с ручной оценкой, где "master" - это сеть на базе обучения игр SF с ручной оценкой:



Каждый цикл обучения - это 10 млн партий, на моей железке в 7 потоков из 8 - это часов восемь. Т.е. три сети в сутки. И это - пик, если не спать, не жрать, и ср**ь. Ну и на работу не ходить.

В общем, что могу предположить:
1) Оно будет до какой-то степени расти, потом менять параметры (какие)?
2) На первой итерации супротив чисто ручной оценки рост невысок (или наоборот - высок) - кто знает, то что я получил - это много или мало?
3) На 8 ядрах FX обучать сети - глупая затея, разве что только для собственного удовольствия, для выхлопа "выше мастера" - нужно под 100 ядер, иначе задача откладывается в бесконечность.

Вопрос: обученние сделано на фиксированную глубину 8.
1) Повысить глубину на (скажем) 10 - рост конечно будет, но.. когда?
2) Есть ли смысл повышать глубину по достижении стагнации роста Elo над собой, или есть еще другие параметры?
3) Учить сразу на глубину 10 наверное смысла нет? Но как на то, чтобы учить изначально на глубину 2-4-6, и только потом повысить до 8? Не ускорит ли это процесс, ну скажем достижения уровня SF-classic?
Или базовые 8 - это оптимально, как минимум для начала (см. п.1 в данном параграфе)?

[Merkury]

Maratke:
Спасибо Вам за предложенную помощь в сборке движка.
Кластер мы соберём, думаю не раньше середины января. Результаты конечно выложу. Предполагается извлечь максимальную производительность, т. е. сборка понадобится актуальная и быстрая. Пока что в декабре соберём виртуальный кластер, чтобы поэкспериментировать.

Цитата: Сообщение от ChessMan

Maratka,
Как собирали кластерный Стокфиш?
Без mpi=yes это обычный Сток...

=========
Вернее без -DUSE_MPI

И ещё, что скажете на это, а то говорят: "Царь-то ненастоящий!"?

[Maratka]

Возможно что-то упустил.
Проверю.

[Владимир001]

List updated:

http://ipmanchess.yolasite.com/i9-7980xe.php

[byan_mivv]

Cfish: Updated December, 23 2020.

For Windows, Android and Linux, NO MACOS!

https://chess.massimilianogoi.com/download/cfish/

[Владимир001]

Мы документируем ряд путей, которые можно использовать для использования шахматного движка Stockfish, вызывая сбои при попытке оценить следующий лучший ход или даже полностью обманом заставляя движок полагать, что у него нет правильных ходов (при сохранении иллюзии интерфейса, что ведется действительная игра
https://chess.resistant.tech/

[kruzh]

Author: Moez Jellouli
Date: Wed Dec 23 20:20:24 2020 +0100
Timestamp: 1608751224

Author: FauziAkram
Date: Wed Dec 23 20:17:57 2020 +0100
Timestamp: 1608751077


https://abrok.eu/stockfish/

[Владимир001]

Author: Vizvezdenec
Date: Fri Dec 25 10:21:00 2020 +0100
Timestamp: 1608888060

Do more LMR for captures

This patch enables LMR for all captures at allNodes that were not in PV.
Currently we do LMR for all captures at cutNodes so this is an expansion of this logic:
now we do LMR for all captures almost at all non-pv nodes,
excluding only allNodes that were in PV.

passed STC
https://tests.stockfishchess.org/tes...32f79192d3973c
LLR: 2.95 (-2.94,2.94) {-0.25,1.25}
Total: 83128 W: 7606 L: 7368 D: 68154 Elo +0.99
Ptnml(0-2): 292, 5905, 28939, 6129, 299

passed LTC
https://tests.stockfishchess.org/tes...32f79192d39744
LLR: 2.92 (-2.94,2.94) {0.25,1.25}
Total: 13968 W: 568 L: 466 D: 12934 Elo +2.54
Ptnml(0-2): 5, 418, 6043, 506, 12

closes https://github.com/official-stockfis...fish/pull/3273

Bench: 4194835

https://abrok.eu/stockfish/

[Vizvezdenec]

Собственно, это расширение старой идеи.
Мы делали LMR для взятий для всех cutNode.
Сейчас будем делать ещё и для тех позиций среди allNode (это как бы "зеркальное отражение" cutNode, поиск после cutNode - allNode и наоборот), которые не были в PV до этого.

[Maratka]

В отбор TCEC он попадет?

[Vizvezdenec]

По-моему не успел на несколько часов, но это не точно.

[Maratka]

Ну думается минимум второе место SF и так займет, просто хотелось бы так сказать "погром" посмотреть по выносу хвоста.

[Vizvezdenec]

Stockfish 20201225
51deae899814bbbfd9db5686b824f23105ca8a39 Do more LMR for captures
Full config at https://tcec-chess.com/engines/current_config.zip
Успели
Да, думаю, SF 1 место займёт.

[Maratka]

Цитата: Сообщение от Vizvezdenec

Да, думаю, SF 1 место займёт.

В отборе не особо сомневаюсь, в финале?
Выше чуть тесты сетей на фиксированном кол-ве узлов показывают ~15 Elo против той сети, что играла в прошлом финале, а это немало.
У SF же сеть застряла на месячной давности, а пачти - половина на рукописную оценку, т.е. попросту - работают в 10% случаев, в основном - добиванние, где и NN в общем-то сам справится.

Ваше мнение?

[Vizvezdenec]

Думаю, что всё будет неплохо.

[Владимир001]

NCM играет 20 000 раз каждый билд разработчиков Stockfish против Stockfish 7. Это дает приблизительную разницу Эло и вселяет уверенность в силе билдов разработчиков.

https://nextchessmove.com/dev-builds...24f23105ca8a39

[Владимир001]

Сеть IGN обучена с использованием данных Igel 2.6.0 (HCE) на 2.3b d8 и 500m d12,

https://github.com/vshcherbyna/igel/...ign-0-9b1937cc

[Maratka]

Слабенькая сеть, на уровне SF classic.

[Владимир001]

Я бы не сказал что уровень SF Classic слабый. По сравнению со SF NNUE да.

[kruzh]

Stockfish and CorChess development builds compiled by I. Ivec
December 25, 2020

[Владимир001]

Список обновляется с помощью сети Fisherman's и становится лидером

http://ipmanchess.yolasite.com/i9-7980xe.php

[Maratka]

Цитата: Сообщение от Владимир001

Список обновляется с помощью сети Fisherman's и становится лидером

https://tests.stockfishchess.org/tes...32f79192d39382

[Владимир001]

7000 games testrun of Stockfish 201225 finished:

https://www.sp-cc.de/

[byan_mivv]

Sting 25

https://pixeldrain.com/u/cBvFwWFS