Stockfish и его производные

[Харлампий]

Stockfish 14
Stockfish 14 для Android
https://ufile.io/f/8ardx
https://pixeldrain.com/l/ndVpnHXc#item=1

Архив предыдущих версий: https://www.dropbox.com/sh/75gzfgu7q...UfHbBr4r_RwhGa

Официальный сайт стокфиш

Обновления тестовых версий стокфиша: http://abrok.eu/stockfish/

Сборки Stockfish и CorChess от I. Ivec

Развитие движка http://tests.stockfishchess.org/tests

Stockfish_NNUE https://github.com/nodchip/Stockfish

Сети: https://www.comp.nus.edu.sg/~sergio-v/nnue/

AsmFish

Сборки от Maratka

Компиляции движков от ChessMan

Сборка Stockfish от Otodranik

Sugar от Marco Zerbinati

Shark и Orka

О Stockfish

Цитата:

Авторы движка
Двигатель Stockfish был разработан Tord Romstad, Marco Costalba и Joona Kiiski. В настоящее время он развивается и поддерживается сообществом Stockfish.

Авторы приложений
Stockfish для Mac был собран Daylen Yang. Stockfish для iOS был собран Tord Romstad.

История
Проект Stockfish начался с движка Glaurung с открытым исходным кодом, созданного Tord Romstad. В ноябре 2008 года Марко Косталба разветвил код Glaurung 2.1 и представил Stockfish 1.0. Торд и Джоона Кииски присоединились к проекту «Стилфиш», и проект «Гларунг» постепенно исчез. Тем временем, Stockfish быстро поднялся, чтобы стать самым сильным шахматным движком с открытым исходным кодом, с частыми обновлениями каждые несколько месяцев. Сегодня он остается одним из самых сильных двигателей в мире.

О GPL
Stockfish является бесплатным и распространяется в соответствии с GNU General Public License Version 3 (GPLv3). По сути, это означает, что вы можете делать практически все, что хотите, с программой, включая ее распространение среди своих друзей, делая ее доступной для загрузки с вашего веб-сайта, продавая ее (либо самостоятельно, либо как часть некоторого более крупного программного пакета ) или использовать его в качестве отправной точки для собственного программного проекта.

Единственное реальное ограничение заключается в том, что всякий раз, когда вы каким-либо образом распространяете Stockfish, вы всегда должны включать полный исходный код или ссылку на исходный код. Если вы внесете какие-либо изменения в исходный код, эти изменения также должны быть доступны в GPL.

Для получения полной информации прочитайте GPL.

[свернуть]

[Vizvezdenec]

Я так скажу - я всё это введение Contempt наблюдал и поддерживал.
И пока что я не видел, чтобы тесты против слабых стокфишей разнились с тем, что реально потом получалось против других движков.
Единственное, что меня в данном вопросе волнует - как оно будет против Лилы? Я не знаю. И не знаю, как это протестировать через фиштест

[Maratka]

Смоделировать несложно.
Так само, разные значения contempt, и несколько тысяч партий. Играется за ночь при контроле минута плюс .1 секунда, правда придется на одном ядре.

[Maratka]

Цитата: Сообщение от Vizvezdenec

Единственное, что меня в данном вопросе волнует - как оно будет против Лилы? Я не знаю. И не знаю, как это протестировать через фиштест

Читайте мои сообщения чаще. ;)

У мну последние месяц-полтора на контроле от часа (недавно перешел на 75 минут +20 секунд) еженощно играются турниры SF vs LZ. Другие движки не использую, т.к. уровень A-B движков и варианты предложенных ими ходов в общем-то близки, а LZ - это очень сильно другая система анализа, как всем известно.
Но тут другая проблема -уровень сети LZ не растет. Т.е. играет старая сеть двухмесячной давности, а вот SF все же дает свои 3-5 ELO в месяц. Т.е. как очередной турнир заканчивается (~50 партий) - я запускаю против той же сети LZ (разве что с другим движком, но это вообще копейки) последний SF.

С другой стороны - у LZ пополняется книга. Учитывая, что она строится только на партиях LZ, +50 партий в неделю, когда их всего 150 - это мощно. Для книги SF же, основанной на 100+ тыс. партий эти лишние 50 партий - вообще ни о чем.

[sovaz1997]

Я сейчас пробую смоделировать Komodo/Houdini с помощью Fire. Есть ли какие-то варианты, как это лучше сделать по числу узлов на ход? Я сейчас по-разному пробую, подобрать непросто. Может, у кого-то уже есть опыт?

P. S. Пробовал с Лилой, но она все партии проигрывала в 60+0.6

[Vizvezdenec]

Нууу...
Учетверение времени - где-то 70 эло в блиц, если судить по CCRL.
Т.е. Комодо/Гудини можно смоделировать, дав Fire x6 по времени.
Но вообще можно сделать круговичок из Fire x6, Fire x4, Fire x1 и двух стокфишей с разными Contempt, что-нибудь такое, наверное.

[sovaz1997]

Короткий блиц - наверное, у меня сейчас что-то более быстрое: у Fire 1M узлов, у SF - 100K (в 10 раз меньше). Результаты не очень для Fire: 18 - 5 - 8 [0.710] 31. Поэкспериментирую еще и круговик запущу.

Все-таки, у Fire скорость немного другая. Так что время и число узлов немного отличаются.

[Maratka]

Цитата: Сообщение от sovaz1997

у 60+0.6 100

Это на какой оболочке?
Даже в Fritz - 100 партий - на 3-4 часа. С другой стороны, тут можно использовать столько ядер, сколько хочется.

Если же оболочка а-ля LittleBlitzer, то там во-первых не все и не так просто настроить, а во-вторых, если тестить по-умолчанию, т.е. SF - на одном ядре, то это явная фора для LZ. Но количество партий- больше во столько раз, сколько у Вас ядер. Это с одной стороны.
С другой, нужно понимать разницу производительности. У Вас GTX 660 вроде (если за последние месяца три не меняли), а какой процессор? Скажем любой четырехядерный i5 - это сильно жирно в сравнении с относительно небыстрой GTX 660 (даже в режиме CUDA), в особенности, если это i5 поколений Haswell или выше.

Это я все к чему: нужно подобрать количество потоков для процессора так, чтобы матч с LZ на GPU шел более-менее ровно, без явного перевеса одной из сторон. И только после этого - тестировать разные значения contempt.

[sovaz1997]

Maratka, в cutechess-cli, там можно параллельно заставить играть (но если Лила не играет, конечно). На больших контролях Lc0 нормально играет против 7 потоков SF. Но я против одного запускал))

[Maratka]

Цитата: Сообщение от sovaz1997

На больших контролях Lc0 нормально играет против 7 потоков SF. Но я против одного запускал

Повторюсь: нужно подобрать такое значение потоков SF, чтобы результаты относительно длинного матча не были с явным перекосом в одну из сторон. Иначе тестирование contempt теряет смысл: +46=20-5 или +49=18-4 - не имеет никакого практического смысла.

[Maratka]

Цитата: Сообщение от Maratka

Читайте мои сообщения чаще. ;)

Последний турнир, еще играется:



До этого было три сухаря или почти сухаря от SF (два матча, когда я подключил к движкам семифигурки)
Сейчас вроде бы ситуация выравнивается (LZ пользует свою книгу по своим партиям).

______
Уточнение: в книгу для LZ не идут партии, где LZ проигрывает одним дурацким ходом. Это явный шум в ничейной партии, потому обучать книгу на нем я не планирую.

[Maratka]

Цитата: Сообщение от Vizvezdenec

Учетверение времени - где-то 70 эло в блиц, если судить по CCRL.

Кстати, интересный вопрос: в оболочках ChessBase можно задать неравное время для движков?

[Maratka]

Цитата: Сообщение от Maratka

Кстати, в ответке, если LZ не зевнет, как он это умеет делать в эндшпилях, то будет ничья: SF явно сушит, и последние 15 ходов рисует себе нули (всего в партии сделано 27 ходов).

В общем, ничья. LZ как водится считает, что у него больше, но это фирменная его ошибка. Кстати хотелось бы видеть правку оценочной функции LZ в эндшпилях.




Что странно, так это то, что LZ не использует таблицы (хотя к нему подключены полные 3-6, и часть семифигурок.

[Rom77]

Цитата: Сообщение от Maratka

Кстати, интересный вопрос: в оболочках ChessBase можно задать неравное время для движков?

Во Фрице можно выставить соотношение по времени максимум 1 к 3, а в ChessBase по моему вообще нельзя создать матч движков. Так что почти без вариантов - либо Аквариум, если контроль больше минуты на партию. Либо, если нужно меньше, то только cutechess-cli в консольном режиме.

[Maratka]

Еще хотелось бы обратить внимание на показатель:


Очевидно, что чем ближе движки, тем больше показатель стремится к 100%
(оболочка Fritz 15)

[Maratka]

Партии:

Первая:


[Event "Marat-PC, Slow 75m+20s"]
[Site "Marat-PC"]
[Date "2018.10.06"]
[Round "1"]
[White "Stockfish 250918 64 POPCNT"]
[Black "Lc0 v0.18.0-rc2"]
[Result "0-1"]
[ECO "A90"]
[Annotator "0.89;0.43"]
[PlyCount "144"]
[TimeControl "4500+20"]

{AMD FX-8370 Eight-Core Processor 4013 MHz W=30.9 plies; 7*971kN/s;
33*233*358 TBAs B=15.8 plies; 4kN/s} 1. d4 f5 2. g3 Nf6 3. Bg2 d5 4. Nf3 e6 5.
c4 Bd6 6. O-O c6 7. Nc3 O-O 8. Qc2 Ne4 9. Nxe4 dxe4 10. Bg5 exf3 11. Bxd8 fxg2
12. Kxg2 Rxd8 {Both last book move} 13. Rad1 {0.89/33 237} Rf8 {0.43/9 75 (Bd7)
} 14. f3 {0.91/28 137} f4 {0.37/9 66 (c5)} 15. a3 {1.21/27 96 (Qb3)} Nd7 {
0.16/9 98 (Na6)} 16. Rd3 {0.60/33 799} Nf6 {0.04/10 101 (a5)} 17. Qd2 {0.73/29
26} Nh5 {-0.06/12 102 (b5)} 18. g4 {0.76/30 82} Nf6 {-0.03/11 54} 19. a4 {
0.36/33 154 (Rc1)} a5 {-0.11/11 154} 20. Kh1 {0.29/33 338 (Rb3)} Nd7 {-0.28/10
200} 21. h4 {0.44/32 150} Bb4 {-0.37/13 103 (b6)} 22. Qc2 {0.00/36 317 (Qc1)}
Nf6 {-0.48/14 106 (Be7)} 23. b3 {0.00/32 82} Bd7 {-0.49/18 103 (b5)} 24. Rfd1 {
0.00/39 144 (Qc1)} h6 {-0.74/10 163 (c5)} 25. Qc1 {0.36/28 60 (Rg1)} Nh7 {
-0.98/11 128 (Be8)} 26. Kg2 {-0.20/32 190} Rae8 {-1.00/13 105 (Rf7)} 27. e3 {
-0.62/34 184 (e4)} fxe3 {-1.07/15 108} 28. Rxe3 {-0.82/32 111} Rf7 {-1.06/17 66
} 29. Re4 {-0.62/35 517 (Re5)} Bd6 {-1.25/18 172} 30. Qc3 {-0.90/34 136} Ref8 {
-1.24/16 297 (Ra8)} 31. Re3 {-1.05/33 171} Bb4 {-1.23/14 13 (Ra8)} 32. Qd3 {
-0.69/31 49} Be7 {-1.22/13 158 (Rf4)} 33. Rh1 {-0.83/28 64} Nf6 {-1.24/13 56
(Rf4)} 34. Rhe1 {-0.89/36 206} Bd8 {-1.25/12 55 (Nh7)} 35. Qd2 {-1.25/34 341
(Re5)} Ne8 {-1.60/12 137} 36. R1e2 {-1.45/31 100} Bxh4 {-1.67/16 102 (c5)} 37.
Qxa5 {-1.14/27 36} Nf6 {-1.67/19 2} 38. b4 {-1.01/31 74 (Qb6)} Nh7 {-1.55/16
157} 39. Qe5 {-1.12/31 38 (Qc5)} Bg5 {-1.60/15 141} 40. Rd3 {-1.40/33 180} Rc8
{-1.64/12 194 (Ra8)} 41. Re1 {-0.95/29 104 (Kh1)} Nf8 {-1.66/12 125} 42. Kh1 {
-0.80/29 30} Ng6 {-1.68/15 47} 43. Qc5 {-0.90/28 22} Rcf8 {-1.71/13 46 (Nf4)}
44. a5 {-0.59/26 16} Be7 {-1.79/13 73 (Bh4)} 45. Qb6 {-0.71/28 65} Bc8 {
-1.79/16 73} 46. Rb3 {-1.02/31 79} Nh4 {-1.68/20 164} 47. d5 {-0.69/29 31} cxd5
{-1.58/25 54} 48. cxd5 {-1.63/30 29} e5 {-1.78/24 46} 49. Rxe5 {-1.61/30 16}
Bg5 {-1.78/16 2} 50. d6 {-1.57/29 12} Bd7 {-1.50/29 110 (Bxg4)} 51. Rbe3 {
-0.57/28 37 (Re7)} Bc6 {-1.88/19 145} 52. Rxg5 {-1.75/29 22} hxg5 {-1.96/26 68}
53. Qc5 {-1.76/32 22} Rc8 {-2.06/26 53} 54. Kh2 {-1.96/32 23} Nxf3+ {-2.12/25
44} 55. Kh3 {-2.01/34 13} Nd2 {-2.16/25 36} 56. Qxg5 {-2.01/35 21} Ne4 {
-2.17/23 16} 57. Rxe4 {-2.69/31 64} Bxe4 {-2.20/22 40} 58. Kh4 {-3.11/29 33
(b5)} Bh1 {-2.51/19 292} 59. b5 {-3.38/30 22 (Qe5)} Rd7 {-3.66/13 103} 60. Qe5
{-4.09/27 19 (Qd2)} Rcd8 {-3.75/14 81} 61. a6 {-4.69/29 21} bxa6 {-3.72/13 39}
62. bxa6 {-5.02/30 20} Rxd6 {-3.71/12 33 (Bc6)} 63. a7 {-5.38/29 20} Ba8 {
-3.76/11 118 (Bc6)} 64. Kg3 {-5.73/28 20 (Qb5)} R6d7 {-4.17/9 96 (Rf6)} 65. Qc5
{-10.24/24 20 (Qa5)} Bd5 {-5.28/12 70 (Re8)} 66. Qb6 {-6.50/27 20 (Qd4)} Ra8 {
-6.62/12 71} 67. Qb8+ {-8.79/26 17} Kh7 {-6.83/12 39} 68. Qe5 {-14.78/26 24} g6
{-6.91/14 49} 69. Kf2 {-4.61/24 17 (Kh4)} Raxa7 {-7.67/12 73} 70. Qh2+ {
-62.45/25 15} Kg7 {-6.99/13 153} 71. Qe5+ {-153.73/45 27} Kg8 {-6.78/13 86
(Kh6)} 72. Qb8+ {-153.72/50 20} Kh7 {-6.52/12 50 (Kg7)} 0-1

[Vizvezdenec]

Эта позиция вообще очень непроста для разыгрывания альфабетой.
Более того, результаты очень разные. Просто у меня есть знакомый, который на ней тестирует, результаты против Комодо какие-то странные, то стокфиш начинает пачками клепать победы, то пачками проигрывает за сторону ферзя, при этом не очень понятно, от чего это зависит.

[Maratka]

Ну мне не заржавеет запустить матч скажем из 24 партий только по этому дебюту между SF и LZ.
Авось найдутся закономерности?

____
Но сначала хотелось бы понимать, есть ли смысл, т.е. если дебют по определению скользкий для A-B движков, то возможно тут и править нечего. Просто когда-то через год накопительная масса патчей с общим весом в ~50 ELO скажет свое слово.

Но с другой стороны, и LZ может самообучиться....

[Vizvezdenec]

Ну вообще любое поражение теоретически может привести к каким-то идеям.
Никогда нет проблемы с излишним количеством поражений.
Но вообще эта позиция достаточно редка... А основной прогресс в такого рода позах у стокфиша был связан с патчами, которые были не особо как-то на самом деле связаны с ними. В Qvs3m основной прогресс связан с патчами SlidersOnQueen и KnightOnQueen, которые никак вообще на самом деле не были связаны с разбором проигрышей.

[Алексей]

Мне порой кажется что Stockfish слишком любит ходить ферзем, если кто помнит , то была партия где стокфишь проиграл Lc-0 ( если не ошибаюсь у SF был ферзь+ладья с пешками у Lc-0 2ладьи+слон и 2лишнии пешки

[Vizvezdenec]

Ну это очень сложно как-то обработать.
2 сильных патча было по поводу того, чтобы не подставляться под потенциальные атаки коней, ладей и слонов... Но с тех пор особо ничего.

[Maratka]

Цитата: Сообщение от Vizvezdenec

Эта позиция вообще очень непроста для разыгрывания альфабетой.

Идея правки проста, как веревка.
Но написать сам не умею.

Что нужно:
изменить веса фигур при данном дисбалансе (ферзь против трех легких фигур)

Константы задаются в types.h

  PawnValueMg   = 142,   PawnValueEg   = 207,
  KnightValueMg = 784,   KnightValueEg = 868,
  BishopValueMg = 828,   BishopValueEg = 916,
  RookValueMg   = 1286,  RookValueEg   = 1378,
  QueenValueMg  = 2528,  QueenValueEg  = 2698,

Если выполняется условие вида "у нас лишний ферзь, у них - лишние три легкие фигуры", и при этом материал по остальным фигурам равен, то вполне достаточно будет скинуть вес ферзя на 30 пунктов и поднять вес легких фигур на 5-10 пунктов.

Но вот написать я не могу.... Нет квалификации: в types.h не знаю как подсчитать фигуры, а в material.c не выходит переопределить веса.

Результатом будут ничьи в данном дисбалансе, и отсутствие просади на всех остальных партиях (очевидно, что проверка условия наличия материала занимает какие-то сотые доли процента расчетов, и значимо влиять на позиии, где нет данного перекоса не может).

_____
проверено на матчах SF vs Komodo год назад, на именно этой позиции.
Правда там константы весов фигур перебивались тупо, а потому влияли на абсолютно все другие партии.
Потому нужен точечный патч.

[Vizvezdenec]

Это делалось через таблицы материала в material.cpp (где находятся квадратичные таблицы дисбаланса материала), но даже близко к тому, чтобы пройти, не приблизилось - все STC завершались красными и очень быстро.

[Maratka]

Сделайте как я описал.
Сможете?

[Vizvezdenec]

Ну не без помощи
Но это уже делалось - я не вижу смысла. Конечно, я могу написать что-то вроде "
constexpr Q3m = (30,30)
(if pos.count.material(Us) - pos.count.material(Them)== QueenValueMg-BishopValueMg-2*KnightValueMg) || (if pos.count.material(Us) - pos.count.material(Them)== QueenValueMg-2*BishopValueMg-KnightValueMg)
score -= Q3m;
"
Но это уже вроде как достаточно недавно пробовалось.
Если у меня совсем кончатся идеи по поводу того, что делать, попробую
Потому что это вроде бы надо делать в material.cpp, но я не знаю, как там, поэтому могу это сделать только в evaluate.cpp в каком-то относительно случайном месте... Это не так просто, как кажется, и будет корявенько )

[Maratka]

Цитата: Сообщение от Maratka

Но вот написать я не могу.... Нет квалификации: в types.h не знаю как подсчитать фигуры, а в material.c не выходит переопределить веса.

поиск по профильным форумам показал, что переопределить значения в 'enum' в лоб не дано....
Возможно придется вместо enum использовать некую другую структуру. Это поняно что непросто, но... если получится- то будет... гм... неплохо.
В конце концов, даже базовый код не есть неприкасаемый, и если его замена дает прирост - то почему бы и нет?

_____
На FishTest потребуется две проверки:
1) На позициях с данным перекосом материала
2) Общий регресс на привычном 2_movies

Признаком фикса будет являться серьезный прогресс по (1), и равенство в пределах погрешности для (2).

[Maratka]

Цитата: Сообщение от Vizvezdenec

Это не так просто, как кажется, и будет корявенько

Принцип развития Рыбки: если код вам не нравится, но дает ELO, значит это правильный код!

[Maratka]

Vizvezdenec, как насчет 24 партий в данном дебюте (само собой, что со сменой сторон)?
Займет 3-4 суток. Ну может 5, если LZ станет делать то, что Вам не нравится (что впрочем вряд-ли вообще кому-то нравится) - тянуть ничейный эндшпиль на 200 ходов?

[Vizvezdenec]

ну его проще остановить ручками будет.
Как я и говорю - данные НИКОГДА не будут лишними.
Но гарантировать, что они будут полезными, я тоже не могу.
Решать Вам в общем и целом.
Я так скажу - я уже написал 700 патчей для стокфиша, из которых прошло 2. КПД не зашкаливает, но я стараюсь

[Maratka]

Цитата: Сообщение от Maratka

Где ошибка SF в первой партии? Или это набор ошибок?
Можно ли пофиксить? Если да - кто-то возьмется? Может есть смысл выложить партию на форум SF, и если да - кто сделает?
Если кто-то выложит, просьба уточнить в комментарии к партии, что это тот же дебют, что игрался в качестве бонусных партий в конце прошлого года в TCEC, и тогда SF проиграл Komodo.

Хотелось бы ясности....
Мой инглиш не позволяет... Читать еще могу, но писать....
Хватило года срочной службы в армии, где таджики (пол роты) орали строевую песню по принципу "че слышу, то и пою".
И второй год (служил уже на "независимой" Украине), где я ее вовсе не пел (на вопрос ротного "а что так?", ответил честно "я не знаю этого языка").

Потому - не хочу коверкать английский язык...

[Maratka]

Цитата: Сообщение от Vizvezdenec

Я так скажу - я уже написал 700 патчей для стокфиша, из которых прошло 2. КПД не зашкаливает, но я стараюсь

:D