Stockfish и его производные

[Харлампий]

Stockfish 14
Stockfish 14 для Android
https://ufile.io/f/8ardx
https://pixeldrain.com/l/ndVpnHXc#item=1

Архив предыдущих версий: https://www.dropbox.com/sh/75gzfgu7q...UfHbBr4r_RwhGa

Официальный сайт стокфиш

Обновления тестовых версий стокфиша: http://abrok.eu/stockfish/

Сборки Stockfish и CorChess от I. Ivec

Развитие движка http://tests.stockfishchess.org/tests

Stockfish_NNUE https://github.com/nodchip/Stockfish

Сети: https://www.comp.nus.edu.sg/~sergio-v/nnue/

AsmFish

Сборки от Maratka

Компиляции движков от ChessMan

Сборка Stockfish от Otodranik

Sugar от Marco Zerbinati

Shark и Orka

О Stockfish

Цитата:

Авторы движка
Двигатель Stockfish был разработан Tord Romstad, Marco Costalba и Joona Kiiski. В настоящее время он развивается и поддерживается сообществом Stockfish.

Авторы приложений
Stockfish для Mac был собран Daylen Yang. Stockfish для iOS был собран Tord Romstad.

История
Проект Stockfish начался с движка Glaurung с открытым исходным кодом, созданного Tord Romstad. В ноябре 2008 года Марко Косталба разветвил код Glaurung 2.1 и представил Stockfish 1.0. Торд и Джоона Кииски присоединились к проекту «Стилфиш», и проект «Гларунг» постепенно исчез. Тем временем, Stockfish быстро поднялся, чтобы стать самым сильным шахматным движком с открытым исходным кодом, с частыми обновлениями каждые несколько месяцев. Сегодня он остается одним из самых сильных двигателей в мире.

О GPL
Stockfish является бесплатным и распространяется в соответствии с GNU General Public License Version 3 (GPLv3). По сути, это означает, что вы можете делать практически все, что хотите, с программой, включая ее распространение среди своих друзей, делая ее доступной для загрузки с вашего веб-сайта, продавая ее (либо самостоятельно, либо как часть некоторого более крупного программного пакета ) или использовать его в качестве отправной точки для собственного программного проекта.

Единственное реальное ограничение заключается в том, что всякий раз, когда вы каким-либо образом распространяете Stockfish, вы всегда должны включать полный исходный код или ссылку на исходный код. Если вы внесете какие-либо изменения в исходный код, эти изменения также должны быть доступны в GPL.

Для получения полной информации прочитайте GPL.

[свернуть]

[Maratka]

Цитата: Сообщение от kruzh

Новая сеть Сержио прошла успешно минутный тест-контроль
https://tests.stockfishchess.org/htm...bdd7a0007e7775

Угу.
Т.е. где-то 10 Elo к SF 12, а к версии, которая сейчас играет в отборе - все 12-15.
Шансы на победу - ну пусть все считают сами.

Тут важно учесть что:
1) SF получил офигенный бонус в позиции, т.е. уже не будет сливать француженку или Пирка. Ну может, если дофига партий наиграть, выйдет 48:52, против 42:58 с классической оценкой. Но это - крайняк для SF.

2) При этом он совсем немного потерял тактически, да и то что потерял - частично просто в силу малой глубины, относительно версии с чисто ручной оценкой.

Т.е. по мере выхода новых железок (а в TCEC уже старая, хоть и дофигаядерная, и есть более новые, с поддержкой AVX-512 и выше) - SF получит бонус.

[ChessMan]

Цитата: Сообщение от Maratka

с поддержкой AVX-512 и выше

На большом количестве ядер AVX-512 медленнее чем AVX2

[Maratka]

Цитата: Сообщение от ChessMan

На большом количестве ядер AVX-512 медленнее чем AVX2

Зависит от...
Ну например - зафиксирована ли частота, или...

Те же настройки потребления процессора в BIOS по-умолчанию - Core как многие знают гонятся до предела TB на многих платах, хоть и в нарушение термопакета.

Опять же, охлаждение: ну очевидно же, что AVX-512 жрут больше, чем AVX-256, т.е. те, которые AVX-2, или широкий режим AVX-1.

Т.е. если получится отводить это тепло, возможно... что будет то что и должно быть, иначе зачем они, эти AVX-512?

[Vizvezdenec]

https://user-images.githubuserconten...21d83e3f6c.png
Я не согласен с "малой глубины".
Я тут скачал PGN.
Так вот, это данные из конца 18 года по глубине на фиштесте.
Что я сейчас вижу - 16-19 STC, 19 - 22 LTC на первых ходах.
Т.е. глубина, если что, выросла, даже с учётом замедления движка (я уже говорил, что на это было много эвристик? ).
Скачать, кстати, вы можете это и сами - открываете любой тест и жмёте слева на цифру "48" (или любую другую) - скачиваются PGN игр этого воркера, можете сами проверить.
Поэтому глубина средняя за то же время выросла по сравнению с 2018-19 годами, даже если учесть то, что движок замедлился - всё равно выросла даже так.
Агрессивные отсечения...

[kruzh]

Author: Sergio Vieri
Date: Tue Sep 15 07:21:04 2020 +0200
Timestamp: 1600147264

Update default net to nn-03744f8d56d8.nnue

Equivalent to 20200914-1520

closes https://github.com/official-stockfis...fish/pull/3123

Bench: 4222126
see source
+Author: mckx00
Date: Tue Sep 15 07:19:02 2020 +0200
Timestamp: 1600147142

Simplify StatSCore Initialization

No need to initialize StatScore at rootNode. Current Logic is redundant because at subsequent levels the grandchildren statScore is initialized to zero.

closes https://github.com/official-stockfis...fish/pull/3122

Non functional change.
https://abrok.eu/stockfish/

[AndreyZhivotkov]

Цитата: Сообщение от kruzh

Author: Sergio Vieri
Date: Tue Sep 15 07:21:04 2020 +0200
Timestamp: 1600147264

Update default net to nn-03744f8d56d8.nnue

Equivalent to 20200914-1520

closes https://github.com/official-stockfis...fish/pull/3123

Bench: 4222126
see source
+Author: mckx00
Date: Tue Sep 15 07:19:02 2020 +0200
Timestamp: 1600147142

Simplify StatSCore Initialization

No need to initialize StatScore at rootNode. Current Logic is redundant because at subsequent levels the grandchildren statScore is initialized to zero.

closes https://github.com/official-stockfis...fish/pull/3122

Non functional change.
https://abrok.eu/stockfish/

Почему-то не указали на аброке, насколько эло, сильнее предыдущей.

[Vizvezdenec]

vondele commented 2 hours ago

Unfortunately, I forgot to paste the test results in the commit message. Nice results, however!

[Aster]

   # PLAYER                        :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W     D     L  D(%)
   1 SF-NNUE-20200908-1733.bin     :    73.4   10.3   602.5    1000    60      79  222   761    17    76
   2 SF-NNUE-20200824-1705.bin     :    67.5    9.4   594.5    1000    59      85  213   763    24    76
   3 SF-NNUE-20200906-1046.bin     :    60.6   10.0   585.0    1000    58      54  203   764    33    76
   4 SF-NNUE-20200813-1010.bin     :    59.9   10.3   584.0    1000    58      54  208   752    40    75
   5 SF-NNUE-20200903-1739.bin     :    59.2   10.1   583.0    1000    58      52  205   756    39    76
   6 SF-NNUE-20200914-1520.bin     :    58.8    9.7   582.5    1000    58      98  188   789    23    79
   7 SF-NNUE-20200802-2257.bin     :    44.4    9.7   562.5    1000    56      66  162   801    37    80
   8 SF-NNUE-20200805-1512.bin     :    41.5    9.5   558.5    1000    56     100  160   797    43    80
   9 Stockfish 220720 64 POPCNT    :     0.0   ----  3347.5    8000    42     ---  256  6183  1561    77

White advantage = 30.30 +/- 1.81
Draw rate (equal opponents) = 84.46 % +/- 0.50

[Jeweller]

Цитата: Сообщение от Aster

   # PLAYER                        :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W     D     L  D(%)
   1 SF-NNUE-20200908-1733.bin     :    73.4   10.3   602.5    1000    60      79  222   761    17    76
   2 SF-NNUE-20200824-1705.bin     :    67.5    9.4   594.5    1000    59      85  213   763    24    76
   3 SF-NNUE-20200906-1046.bin     :    60.6   10.0   585.0    1000    58      54  203   764    33    76
   4 SF-NNUE-20200813-1010.bin     :    59.9   10.3   584.0    1000    58      54  208   752    40    75
   5 SF-NNUE-20200903-1739.bin     :    59.2   10.1   583.0    1000    58      52  205   756    39    76
   6 SF-NNUE-20200914-1520.bin     :    58.8    9.7   582.5    1000    58      98  188   789    23    79
   7 SF-NNUE-20200802-2257.bin     :    44.4    9.7   562.5    1000    56      66  162   801    37    80
   8 SF-NNUE-20200805-1512.bin     :    41.5    9.5   558.5    1000    56     100  160   797    43    80
   9 Stockfish 220720 64 POPCNT    :     0.0   ----  3347.5    8000    42     ---  256  6183  1561    77

White advantage = 30.30 +/- 1.81
Draw rate (equal opponents) = 84.46 % +/- 0.50

sp-cc.de

sv200813_1010          : 500 (+207,=263,- 30), 67.7 %
sv200805_1056          : 500 (+213,=244,- 43), 67.0 %
sv200814_1035          : 500 (+202,=266,- 32), 67.0 %
sv200805_0633          : 500 (+202,=266,- 32), 67.0 %
03744f8d56d8          *: 500 (+205,=259,- 36), 66.9 %
sv200812_1503          : 500 (+201,=267,- 32), 66.9 %
sv200813_1217          : 500 (+204,=258,- 38), 66.6 %
sv200903_1739          : 500 (+207,=251,- 42), 66.5 %

[Владимир001]

Cfish явно лучше на Stage1, список также обновлен с Stockfish 12 на Stage2
http://ipmanchess.yolasite.com/i9-7980xe.php

http://ipmanchess.yolasite.com/testings-i9-7980xe.php

[Владимир001]

766m fens at various depths with draws games (min D14) from FISHTEST 2019 :
https://mega.nz/file/mphnQJ7T#qIxn7o...5bmCMgg1aLeJIA

[Переяслав]

Match: Stockfish 150920 vs Stockfish 12
Hash: 128MB
Threads: 1 (only physical cores), concurrency=22
Hardware: 2x Intel(R) Xeon(R) CPU E5-2678v3 @ 2.50GHz (2.80GHz)
Time control: 2min+1sec
Book: Noomen4-moveTestsuite_2000.pgn
Tablebases: 6-men Syzygy for both GUI and engines
Adjudication: -draw movenumber=40 movecount=5 score=9, -resign movecount=3 score=450
Software: Banksia 0.37
Comments: Default settings and nets

Result:
------------------------------------------------------------------------------
  #  name              games    wins   draws  losses  score%    los%  elo+/-
  1. Stockfish 150920    500      37     436      27    51.0    89.4     6.9
  2. Stockfish 12        500      27     436      37    49.0    10.6    -6.9

Tech:
------------------------------------------------------------------------------

Tech (average nodes, depths, time/m per move, others per game), counted for computing moves only, ignored moves with zero nodes:
  #  name                nodes/m         NPS  depth/m   time/m    moves     time
  1. Stockfish 150920      2898K      972253     25.1      3.0     43.5    129.6
  2. Stockfish 12          2853K      954821     25.3      3.0     43.5    130.0
     all ---               2808K      963524     25.2      3.0     43.5    129.8

[Jeweller]

Цитата: Сообщение от SKY

Интересно бы было еще сформировать кривую нахождения нового хода в зависимости от глубины.
При малых глубинах часто находятся новые ходы,на глубине 40 очень редко появляются новые варианты,дальше вообще очень редко.Совместив потом теоретическую пользу от глубины "70" и вероятность смены предложенного хода на более мелких глубинах,будет примерно понятна реальная польза от сверхглубоком анализе.
Есть ощущение что из 10 партий с 70 глубиной,в семи партиях не будут найдены новые ходы вместо тех которые были найдены к глубине 40.

ниже простая модель на основе ~700 промеров в 20 партиях стока из последнего TCEC
в качестве платформы использовался - CiChess 200909 Pure sv200908-1733, Threads: 1, multiPV=3
смотрелась средняя частота v смены линии каждой из первых 3 линий, в зависимости от n - номера хода в партии и x - глубины БА

ниже на графике - средние частоты смены линии (в т.ч. первой) для 10, 30, 50 ходов в партии

линии (и оценки) стабилизируются медленно !, прыгают меняя номера линий туда-сюда с набором глубины
причины мне не ясны, публикую как есть
дело не в конкретной сети - фрагментарно проверял несколько других, картина такая же



добавлю, что конечно лучше было бы строить зависимость не от номера хода в партии, а от количества остающегося материала - но это намного сложнее промерять
картина и так прорисовывается - стабилизация плохая

[Alvir]

Цитата: Сообщение от Vizvezdenec

Скачать, кстати, вы можете это и сами - открываете любой тест и жмёте слева на цифру "48" (или любую другую) - скачиваются PGN игр этого воркера, можете сами проверить.

Где жать?:

Развернуть для просмотра

[свернуть]

[SKY]

Jeweller,
Огромное спасибо.
Очень полезная информация!

[byan_mivv]

CFish 15-09-20

https://pixeldrain.com/u/zCnM9SFv

[ChessMan]

Цитата: Сообщение от Alvir

Где жать?:

Развернуть для просмотра

[свернуть]

Немного ниже :

[Asunta]

Вставил несколько счётчиков в файле search.cpp, чтобы понять как часто дело доходит до реального анализа позиции FullSearch



05% --- предварительные проверки
08% --- анализ уже есть в хэш-таблицах
34% --- Futility pruning
12% --- Null move
02% --- ProbCut
61% --- суммарные "потери"

Из 61% можно исключить ( 8% про хэш ), т.к. здесь качество анализа не страдает...
Итого: 53% - неполный анализ / 8% - анализ уже есть в хэше / 39% - полный анализ

Самый жирный "вредитель", который чихвостит примерно 1/3 всех позиций - Futility pruning... Всего 5 строчек кода и какой эффект!
Речь идёт о мелких глубинах ( Depth < 8 ) и крайне высоких/низких оценках, т.е. на самых ранних стадиях как бы отсекается разная бредятина...
Если построить .ехе-шник без этой радости - получим небольшие потери в скорости и надежду на то, что полный анализ 34% позиций хотя бы
иногда будет себя оправдывать, т.к. некоторые супержертвы получат шанс на нормальный анализ...

Ещё один клиент с 12% - Null move... Попытка построить .exe-шник без этого фрагмента кода приводит к жуткой потере скорости...

[sergey1963]

Вообще отключал все- Razoring, Futility, NullMove, ProbCut, LazyThreshold- скорость конечно падала, но движок начинал видеть на 30 глубине, что раньше не видел на 50... в блиц- не поиграешь, но...
Насчет pruning- в стоке их 3- Razoring, Futility и от альфа-беты...

[Asunta]

1N4K1/1pp1p3/7k/2r3pP/p2pp1P1/P6N/8/2B5 w - - 0 1

Одна из самых неприятных для гибридных сетевых движков позиций, практически нерешаемая в 1-2-3 линии...
У белых всего 15 возможных ходов и ход 1. Nc6! притаился в районе 9-11 линий...

На рисунке показана динамика заезда на 1-ю линию при ( MultiPV: 15 ) и ( MultiPV: 3 )
[ 05:20 #07 ] означает, что глубина была достигнута за ( 5min 20sec ) и ход ( 1. Nc6! ) был на 7-й линии из 15
[ #__ ] означает, что ход ( 1. Nc6! ) не попал в первые 3 линии

[Владимир001]

Match: pure NNUE vs hybrid, at fixed nodes per move, to measure the effect of hybrid when time is not a concern
Binaries: custom build, ARCH=x86-64-avx2, CXXFLAGS=-march=znver2
Bench NPS (when idle, under bench 16 1 13 default depth NNUE): Pure: 1'735'317 NPS; hybrid: 2'032'634 NPS
Engine Options: Threads=1 Hash=256
Hardware: Ryzen Threadripper 3970X
Time control: unlimited time, 1 M nodes per move
Book: Balsa_v2724
Tablebases: 3-4-5-6-men, for engines and adjudication
Adjudication: -resign movecount=5 score=1000 -draw movenumber=40 movecount=5 score=10
Software: cutechess-cli
Comments: 10k games doesn't appear to be enough to distinguish the two, the score is pretty much equal

   # PLAYER    :  RATING  ERROR  POINTS  PLAYED    (%)  CFS(%)    W     D    L   D(%)
   1 Hybrid    :    0.00   ----  5013.0   10000  50.13      73  946  8134  920  81.34
   2 Pure      :   -0.92   2.93  4987.0   10000  49.87     ---  920  8134  946  81.34

White advantage = 27.89 +/- 1.50
Draw rate (equal opponents) = 82.81 % +/- 0.40
Engine                 Depth       Time   Games     Moves  Average Forfeit  Book Depth     MIDG   EARLY    ENDG    LATE
Pure                   24.03  133:00:31   10000    526618    0.91     0    85128  8.51    21.41 | 21.69 | 25.24 | 36.10
Hybrid                 23.86  120:47:40   10000    526585    0.83     0    85144  8.51    21.37 | 21.62 | 24.88 | 35.67

hybrid-vs-pure-nnue-fixed-nodes.tar.gz

[Vizvezdenec]

Ну вот хорошее доказательство того, что в реальных партиях гибрид вообще ничему не вредит.
Т.е. если убрать полностью его преимущество по скорости, выходит, что он не проигрывает "чистой" оценке (!). Считайте, 15% скорости просто за... ничего? Понятно, что, возможно, если натюнить поиск для "чистой" оценке, может быть и будет что-нибудь. А может быть и нет.
А по поводу futility pruning и т.д. - все эти эвристики работают только на то, что не является PvNode, вообще говоря. Т.е. отсекают они всякий бред в боковых ветках поиска, причём "боковых" в данном случае это всякие поиски в LMR и прочие интересности. Не уверен, что их убирание сильно поможет с жертвами, ну не всегда уже точно. Да и не особо это стоит потерь в 40-60 эло во всех позициях, где никаких жертв нет.
Но ведь это ещё не все эвристики, которые отсекают что-то.
Это - отсечение веток поиска, есть ещё multicut, а есть просто отсечение отдельных ходов - shallow depth pruning и LMR. Там тоже должно многое улетать (иначе не давали бы последние 2 по 200 эло).

[sergey1963]

да вы правы и даже не немного- брэнч-фактор, вот что убивает развитие, хоть тысячу ядер и видеокарт- но это не поможет в равной позиции против 4-ядерника, а то и 1-го ядра...

[Александр Руденко]

Так это что получается ? Имея современные движки и грибриды, ненадо баснословных вложений в мощный комп за поляма рублей? Сойдет обычный 4ядер 8 потоков или 6 ядер /12 и жизнь удалась ? (Все-таки айтишники правы , решает на деле качество сборки движка и его система прогромирования исходного кода, что типа на любом компе - 5 минут и 50я глубина пошла) ,(это кстати как Витя (Зункор) нахимичил и у него за пару секунд 80я глубина набирается, но качество хода Обычное

[Владимир001]

Live Stockfish 12 (080920) vs Lc0 26.2 (J92-145) (32 Threads) (TC=40/90m +30s, All moves in 30m+30s)

[Владимир001]

NCM играет каждую сборку Stockfish dev 20 000 раз против Stockfish 7. Это дает приблизительную разницу Elo и устанавливает уверенность в силе построений dev.

https://nextchessmove.com/dev-builds...43aab525e41e22

[Vizvezdenec]

Цитата: Сообщение от Александр Руденко

Так это что получается ? Имея современные движки и грибриды, ненадо баснословных вложений в мощный комп за поляма рублей? Сойдет обычный 4ядер 8 потоков или 6 ядер /12 и жизнь удалась ? (Все-таки айтишники правы , решает на деле качество сборки движка и его система прогромирования исходного кода, что типа на любом компе - 5 минут и 50я глубина пошла) ,(это кстати как Витя (Зункор) нахимичил и у него за пару секунд 80я глубина набирается, но качество хода Обычное

Ну чем сильнее движки, тем меньше даёт более хорошее железо на длинном анализе.
Насколько там "надо" или "не надо" - я лично судить не берусь, я не адвансер, но, безусловно, разница сейчас с временами пика рыбки колоссальная.
Да это видно и по очень растущему проценту ничьих в адвансе, на уровне 2550+ просто ни одной результативной партии в этом году и 4 в прошлой, т.е. 98% ничьих, но даже на уровне 2100-2400 % ничьих за последние 10 лет вырос на 20%, т.е. число результативных партий сократилось вдвое.

[byan_mivv]

Stockfish and CorChess development builds compiled by I. Ivec

September 15, 2020

NNUE networks
default: nn-03744f8d56d8

https://chess.ultimaiq.net/stockfish.html

[Cr@ck]

Cfish 12 для любых устройств со вшитой сеткой и без (всего 24 файла)
https://github.com/syzygy1/Cfish/releases/tag/cfish_12

[Владимир001]

Brainfish больше выпускаться не будет. Скорее всего будет разработано что-то новое, заменяющее Brainfish.
Развитие Cerebellum продолжится.
https://zipproth.de/Brainfish/download/