Stockfish и его производные

[Харлампий]

Stockfish 14
Stockfish 14 для Android
https://ufile.io/f/8ardx
https://pixeldrain.com/l/ndVpnHXc#item=1

Архив предыдущих версий: https://www.dropbox.com/sh/75gzfgu7q...UfHbBr4r_RwhGa

Официальный сайт стокфиш

Обновления тестовых версий стокфиша: http://abrok.eu/stockfish/

Сборки Stockfish и CorChess от I. Ivec

Развитие движка http://tests.stockfishchess.org/tests

Stockfish_NNUE https://github.com/nodchip/Stockfish

Сети: https://www.comp.nus.edu.sg/~sergio-v/nnue/

AsmFish

Сборки от Maratka

Компиляции движков от ChessMan

Сборка Stockfish от Otodranik

Sugar от Marco Zerbinati

Shark и Orka

О Stockfish

Цитата:

Авторы движка
Двигатель Stockfish был разработан Tord Romstad, Marco Costalba и Joona Kiiski. В настоящее время он развивается и поддерживается сообществом Stockfish.

Авторы приложений
Stockfish для Mac был собран Daylen Yang. Stockfish для iOS был собран Tord Romstad.

История
Проект Stockfish начался с движка Glaurung с открытым исходным кодом, созданного Tord Romstad. В ноябре 2008 года Марко Косталба разветвил код Glaurung 2.1 и представил Stockfish 1.0. Торд и Джоона Кииски присоединились к проекту «Стилфиш», и проект «Гларунг» постепенно исчез. Тем временем, Stockfish быстро поднялся, чтобы стать самым сильным шахматным движком с открытым исходным кодом, с частыми обновлениями каждые несколько месяцев. Сегодня он остается одним из самых сильных двигателей в мире.

О GPL
Stockfish является бесплатным и распространяется в соответствии с GNU General Public License Version 3 (GPLv3). По сути, это означает, что вы можете делать практически все, что хотите, с программой, включая ее распространение среди своих друзей, делая ее доступной для загрузки с вашего веб-сайта, продавая ее (либо самостоятельно, либо как часть некоторого более крупного программного пакета ) или использовать его в качестве отправной точки для собственного программного проекта.

Единственное реальное ограничение заключается в том, что всякий раз, когда вы каким-либо образом распространяете Stockfish, вы всегда должны включать полный исходный код или ссылку на исходный код. Если вы внесете какие-либо изменения в исходный код, эти изменения также должны быть доступны в GPL.

Для получения полной информации прочитайте GPL.

[свернуть]

[Maratka]

Цитата: Сообщение от sergey1963

Да, Выдвиженец с Мараткой- правы. Сегодня такая же ситуация, как при переходе на "ленивый поиск" (все повторяется в этом бренном мире)- пришло время умирать- родилось новое чудо...

Я вот лично сомневаюсь, что "классике" пора умирать, и по прежнему уверен, что ручками можно написать любую эвристику, сколь угодно тонкую, дающую заведомо ну скажем 0,04 Elo. Вопрос лишь в наличии 100 тыс, а может и миллиона ядер для проверки, ибо партий потребуется не как сейчас в районе 50 тыс, а на пару порядков больше, скорее даже на три - четыре.

Но (с другой стороны) учитывая взрывной рост количества ядер в современных CPU после инновации AMD с чиплетами - вполне реально ожидать сервера на ~1000 ядер, и домашние машинки на 32 где-то через 2-3 года, т.е. миллиона ядер конечно не будет, но под 100 тыс. наскрести получится лет через пять, по мере ухода старой техники (вроде моей и Вашей), и прихода новой. Да, эти 100 тыс. ядер наверное все же маловато для провода патчей на 0,04 Elo, но для 0,15-0,2 - хватит, а ведь таковыми являются по сути все желтые, т.е. 3/4 патчей, которые в принципе потенциально дающие Elo.

А к тому времени неизвестно, куда вывезет "сетевая дорога", это сейчас она кажется перспективной, но прогресс любит ходить по спирали.

[Maratka]

Цитата: Сообщение от sergey1963

А вот и нет- статистика- это сегодняшнее представление об обьекте... Какова ваша вероятность сегодняшней встречи с динозавром?

100%, я их ежедневно сотнями вижу, голуби, воробьи, чайки в приморских городах.
На ужин - курочку ем... Вся разница в том, что обмельчали они, и только.

[Vizvezdenec]

Цитата: Сообщение от Maratka

Vizvezdenec, прошел еще один Ваш патч.

https://tests.stockfishchess.org/htm...a5c3c63d8f5412
Что он делает? ;)

Делает отсечение по большому количеству ходов в qsearch.
А по поводу оценки - ну, блин, не нужно быть 3000 эло, чтобы выиграть позицию с лишним ферзём у кого угодно.
А классическая оценка поболее будет, чем 3000 эло

[Maratka]

Тем не менее, не понятно, зачем она нужна, если есть гораздо более лучшая сетевая.
Что мешает выиграть позицию с лишним ферзём с ее помощью?

_______
Да и фиг бы на нее, если бы она отключалась, пусть себе будет опцией, но этого то и нет!

[sergey1963]

А что тут гадать? Большое видится на расстоянии- посмотрите на период 2000-20гг, значит будет такой же плюс в периоде 2020-40гг...
Процессоры перейдут от плоскости в пространство- кубик или... кубит- 6 плат в сборе- посредине- шины обмена данными с кэшами и ОЗУ, диски не нужны от слова совсем- уже подобрались к сети 100тбс- это на милллион человек по 100мбс...

[Maratka]

Цитата: Сообщение от Vizvezdenec

Делает отсечение по большому количеству ходов в qsearch.

А... по-русски?

[Maratka]

Цитата: Сообщение от sergey1963

А что тут гадать? Большое видится на расстоянии- посмотрите на период 2000-20гг, значит будет такой же плюс в периоде 2020-40гг...
Процессоры перейдут от плоскости в пространство- кубик или... кубит- 6 плат в сборе- посредине- шины обмена данными с кэшам и ОЗУ, диски не нужны от слова совсем- уже подобрались к сети 00тбс- это на милллион человек по 100мбс...

Ну гадать всегда полезно... Вашу схему например непросто будет охлаждать, хотя для серверов - пойдет, кидай его в сосуд с дистиллятом (дистиллят - дабы КЗ не было), и всех дел... Но для дома такая схема все же сложновата...

[sergey1963]

дома нужен будет... телефон- чтобы связаться с таким сервером и вывести изображение на ТВ...
уже сейчас количество ПК можно запросто сократить вдвое- 24 часа- спим 8 + нужды без ПК...

[Maratka]

Цитата: Сообщение от sergey1963

уже сейчас количество ПК можно запросто сократить вдвое- 24 часа- спим 8 + нужды без ПК...

Знаете, до сих пор пользуюсь трубками за ~1000 рублей, и не приемлю этих "умных лаптей", которые не в каждый карман влезут.

А вот стационарные ПК и ноуты (что суть одно и то же) - использую. И даже подключаю иногда к ТВ (да, именно для того, чтобы был большой экран, на котором удобно поиграться). К тому же, он у меня всего-то HD, т.е. еще и FPS растет почти вдвое, а всякие эти "лесенки", на наклонных линиях за 5 метров не видны уже.

Так что ПК еще долго-долго жить будут... а вот смарты - типичный пример узкой специализации: они хороши за пределами дома, а вот в квартире - уже банально неудобны хотя бы тем, что их заряжать нужно 2-3 раза в неделю (а при активном использовании - и на 16 часов "не сна" не хватит.

[sergey1963]

ну-ну... посмотрим через 20 лет, некто Билл Гейц говорил- памяти в 64кб хватит навсегда...
вы так и не поняли- железа в доме не будет- только экран, все остальное через тлф (не для его работы- а для связи с "кубиком"- который и будет выполнять ваши хотелки) или вообще через проц в руке-голове... чуть попозже- и пожрать- в виде таблетки...

[Hendry]

Цитата: Сообщение от Maratka

Знаете, до сих пор пользуюсь трубками за ~1000 рублей, и не приемлю этих "умных лаптей", которые не в каждый карман влезут.
Так что ПК еще долго-долго жить будут... а вот смарты - типичный пример узкой специализации: они хороши за пределами дома, а вот в квартире - уже банально неудобны хотя бы тем, что их заряжать нужно 2-3 раза в неделю (а при активном использовании - и на 16 часов "не сна" не хватит.

я лет 5 назад тоже так думал, зачем они нужны если есть ноут и ПК, а знаете, удобно. это нужно самому оценить.

[sergey1963]

Да- мне вот смешно, когда узнал, что Эпл- на 1 месте в мире с 2трлн уе, но посмотрите кто на остальных трех, которые более 1,5трлн... Бюджет России на год и 10% бюджета Штатов или Европы... против одной компании, а их не за горами- десяток...

[Vizvezdenec]

Цитата: Сообщение от Maratka

Тем не менее, не понятно, зачем она нужна, если есть гораздо более лучшая сетевая.
Что мешает выиграть позицию с лишним ферзём с ее помощью?

_______
Да и фиг бы на нее, если бы она отключалась, пусть себе будет опцией, но этого то и нет!

Мешает то, что альфабета по своей логике ищет таки крайне много очень "левых" позиций, которые легко выиграны не то что стокфишем, но и мной.
И оценивать их более тяжёлой оценкой, когда там "лишняя ладья без компенсации" - просто тратить время.
Тут же вопрос не в том, чтобы выиграть, когда оценка уже +5. Вопрос в том, чтобы всякий бред из серии "противник подставил ферзя, а мы его забрали" оценивать быстро, т.к. зачем его оценивать медленно? Лучше потратить более тяжёлую нейросетевую оценку на что-то более полезное, там, где это реально надо, а не там, где это будет +7 вместо +6 (или наоборот).
Точно так же в классической оценке работал LazyEvaluation.

[Maratka]

Цитата: Сообщение от Vizvezdenec

Тут же вопрос не в том, чтобы выиграть, когда оценка уже +5. Вопрос в том, чтобы всякий бред из серии "противник подставил ферзя, а мы его забрали" оценивать быстро, т.к. зачем его оценивать медленно?

Согласен, но что такое "быстро", если даже на SSE3 мой FX дает ~50% nps от классИка, AVX2 уже 60 (это можете у себя проверить), AVX512- все 70-75%, а VNNI (и их аналог от AMD, который будет в ближайший год - под 100, а то может и поболее), к сожалению, не видел бенчей на этих Xeon'ах, но явно будет поболее, чем у AVX512, иначе зачем нужна их поддержка движком, если любой процессор с VNNI умеет и AVX512?

____
Данный источник подтвердил, что процессоры Van Gogh получат графику Navi 2 (RDNA 2), поддержку памяти типа LPDDR5 и LPDDR4x, а также новый набор команд CVML, направленный на ускорение работы с компьютерным зрением и машинным обучением.
https://3dnews.ru/1018873

Ну а у Intel это уже есть:
https://en.wikipedia.org/wiki/AVX-512#4FMAPS_and_4VNNIW

[ChessMan]

Цитата: Сообщение от Maratka

а VNNI (и их аналог от AMD, который будет в ближайший год - под 100

Цифра из воздуха.

[ChessMan]

https://github.com/official-stockfis...ment-678426702

vondele commented 2 days ago
@mstembera I ran again on a C5.24x (cascade lake server), I ran on 1, 24, 48, 96 threads, the system has 48 cores. The nps is of course not so accurate with SMP, but it is depth 24 bench, so rather long to average out things.

single threaded this more or less confirms the previous results. Multithreaded this seems to suggest vnni512 is best, except possibly for a hyperthreaded setup, but that's possibly even noisier. In the threaded setup, avx512 is always below avx2.

Given this is not a clear speedup, I would be reluctant to add it at this point, unless we have data to the contrary.


run 1
Threads 1

target	classical	NNUE	ratio
vnni256	2123054	      1641679	77.33
vnni512	2117734	      1743617	82.33
avx512	2114925	      1673548	79.13
avx2	2099396	      1620707	77.20
modern	2106267	      1360994	64.62

Threads 24

target	classical	NNUE	ratio
vnni256	45151424      34203305	75.75
vnni512	45558831      35613563	78.17
avx512	45885694      34617140	75.44
avx2	44380058      34329424	77.35
modern	44937714      30376697	67.60

[ChessMan]

Threads 48

target	classical	NNUE	ratio
vnni256	80545725	60851867	75.55
vnni512	81568812	63521147	77.87
avx512	80366567	57585780	71.65
avx2	82875804	61028620	73.64
modern	80839329	55705129	68.91

[ChessMan]

Threads 96

target	classical	NNUE	ratio
vnni256	115622431	88035600	76.14
vnni512	111416135	84058168	75.45
avx512	114993672	81662594	71.01
avx2	109322603	89912658	82.25
modern	114027742	73336453	64.31

[Maratka]

Цитата: Сообщение от ChessMan

Цифра из воздуха.

Не из воздуха, а из реальных вариантов их применения: на кой йух оно надо, если без них оно быстрее (а значит и играет сильнее)?

Применительно к серьезным задачам (какое-нить там моделирование лечения болезни на основе показаний тысяч пациентов, и десятка лекарств, которые им даются с учетом возраста, патологий и т.д)- тем более?

[Владимир001]

Match Stockfish vs. NetRunner and Stockfish vs. my AllN (always NNUE) mod.
Tournament: same 200 openings: 400 games each match
Binaries: Stockfish_20081820_x64_avx2 (abrok), NetRunner-200816-avx2 (gcc 9.2);
Stockfish_20082021_x64_avx2 (abrok), Stockfish-200820-AllN-avx2 (my mod., gcc 9.2)
Engine Options: 1 Gh; No Syzygy; Use NNUE=true; NetRunner NNUE_Scale=250, -AllN- only Slow Mover=84
Hardware: Ryzen 7 2700X 16 SMT threads
Time control: G/2m+1s 5th/engine (x3)
Book: noob_4moves
Tablebases: none
Net: nn-82215d0fd0df.nnue
Adjudication: draw @ 35. 3x 0.08, resign 3x 9.00
Software: Cute Chess GUI 1.0.0, Bayeselo (adv.=0)
Comments: NetRunner was vs. a newer Stockfish, my 'all NNUE' mod. did okay.
Both might to better on newer CPU's: mine is only SfNNUE 65% of classical nps.
Elo +- games score LOS data


1 Stockfish_20081820_x64_avx2 0 12 207.0/400 52% 75% +28 -14 =358
2 NetRunner-200816-NS250-avx2 -8 12 193.0/400 48% 25% draws 90%

Same openings:

Elo +- games score LOS data
1 Stockfish_20082021_x64_avx2 0 12 203.0/400 51% 61% +18 -12 =370
2 Stockfish-200820-AllN-sm84-avx2 -4 12 197.0/400 49% 39% draws 93%

[Владимир001]

Match: Stockfish 200820 nn-82215d0fd0df vs Stockfish 11
Binaries: stockfish_20082021_x64_modern (abrok), sf11
Network: nn-82215d0fd0df
Engine Options: Default
Threads: 1
Hash: stockfish_20082021_x64_modern (hash = 16), sf11 (hash=32)
Hardware: Intel(R) Core(TM) i3-3217U CPU @ 1.80GHz
Time control: 1m+1s
Book: SuperGM_4mvs_500
Tablebases: 5-Men Syzygy
Adjudication: 5-Men Syzygy, -draw movenumber=40 movecount=10 score=15, -resign movecount=5 score=500
Software: Cutechess-cli, Bayeselo
timemargin: 1000

[Владимир001]

SUPREMACY GRAND FINAL

Стокфиш - Лила

https://www.twitch.tv/navratil25

[Jeweller]

Цитата: Сообщение от Vizvezdenec

А зачем с помощью нейросети оценивать позицию, где оценка +5?
Ну кроме крепостей, хотя как раз в них граница ползёт вверх с правилом 50 ходов?

уже писал, что отличия чисто сетевой и гибридной оценками происходят не в 30% случаев, и не при достижении +5, а практически каждый ход
гибридизация убивает сток как аналитический инструмент, серьезно нарушает "сетевой" стиль, его чистоту и последовательность, невозможно смотреть динамику изменения оценок с набором глубины и др. моменты

только что сделал - CFish 200818 Pure против CFish 200818 Hybrid, на 1 ядре из начальной позиции с multiPV=5, по 15-20с на каждый ход

и сравниваем первые 25 ходов

1. оценка - разная в 25/25 - в 100% случаев, при том что она ни в один момент не выходила на пределы 0,5 пешки
2. первая линия - разная в 11/25 - в 44% случаев !!
3. разные три первые линии или разная очередность первых трех линий - 18/25 - в 72% случаев

[Maratka]

Я про то же.

SF_NN как инструмент для анализа хорош тем, что имея сетевую оценку (пусть и практически наверняка худшую, чем у LZ), он таки оценивает позицию сильно лучше, чем "классика", а благодаря шикарному поиску - и вовсе идет в открыв, коль уж LZ не мог за два года завоевать твердое первое место, и всегда бодался за него против классического SF, причем с так себе успехом, по сути - равенство вышло.

Теперь есть по сути тот же поиск, но гораздо лучшая оценка - на кой ляд нужна оценка от классики? Ну пусть кому-то нужна! Так он и поставит на анализ классический SF, а не сетевой!

[Jeweller]

1 ядро, multiPV=5, минута анализа

бессмертная Каспарова

2kr3r/1b1nqp1p/p1pp1npQ/1p6/3pP3/PNN2P2/1PP3PP/1K1R1B1R w - - 0 15

причем сетевой увидел сразу

[Jeweller]

1 ядро, multiPV=5, минута анализа

АльфаЗеро - СтокФиш 8 (10-я партия)

rn3rq1/p5k1/2p2bp1/1p4p1/8/2P1B1PQ/5PK1/3R3R w - - 2 32

[Asunta]

Всего две результативных партии из 90...

2020.08.23 SF11 nnue ONLY - 2020.08.23 SF11 abrok [ 1 : 0 ] --- https://lichess.org/ZmrepG2c
1. e4 e6 2. d4 d5 3. Nc3 Nf6 4. e5 Nfd7 5. f4 c5 6. Nf3 Nc6 7. Be3 Qb6 8. Na4 Qc7 9. Nxc5 Nxd4 10. Nxd4 Nxc5 11. c4 Qa5+
12. Bd2 Qd8 13. cxd5 Qxd5 14. Be3 Be7 15. Nb5 Qc6 16. Nd6+ Bxd6 17. exd6 Ne4 18. Be2 Nxd6 19. O-O Nf5 20. Bf2 O-O
21. Rc1 Qd7 22. Bf3 a6 23. b3 Rb8 24. Ba7 Ra8 25. Bc5 Re8 26. Qxd7 Bxd7 27. Bxb7 Rab8 28. Bxa6 Ra8 29. Bc4 Rxa2 30. b4 Raa8
31. b5 h6 32. b6 Bc6 33. Rfd1 Reb8 34. g4 Nh4 35. Rd6 Be4 36. Kf2 Ra5 37. Bb4 Ra4 38. Bc5 Ra5 39. Be3 h5 40. h3 Ng2
41. Bd2 Ra3 42. Rd4 Ba8 43. Rd3 Rxd3 44. Bxd3 Rd8 45. Rc3 hxg4 46. hxg4 Bb7 47. Bc1 Rd6 48. Rb3 Rc6 49. Be4 Rxb6
50. Rxb6 Bxe4 51. Rb8+ 1-0

2020.08.23 SF11 nnue ONLY - 2020.08.23 CLOWN [ 0 : 1 ] --- https://lichess.org/WwkumDZG
1. d4 Nf6 2. c4 e6 3. Nc3 Bb4 4. e3 O-O 5. Nf3 Bxc3+ 6. bxc3 d6 7. Bd3 e5 8. Nd2 Re8 9. Bc2 e4 10. h3 Bf5 11. f4 h5 12. Qe2 g6
13. Nf1 Kg7 14. Ng3 Bd7 15. Qf2 Nc6 16. f5 h4 17. Ne2 Rh8 18. Rb1 Bxf5 19. Rxb7 Bc8 20. Rb5 Ba6 21. O-O Qe7 22. Bb3 Bxb5
23. cxb5 Na5 24. Bb2 Rh5 25. d5 Rf5 26. Qxh4 Rxf1+ 27. Kxf1 Nxb3 28. axb3 Qe5 29. Nd4 Qh5 30. Qe1 Kg8 31. c4 Nd7 32. Ne2 Qg5
33. Nf4 Ne5 34. Qa5 Re8 35. Bd4 Nd3 36. Nxd3 exd3 37. Qd2 Qf5+ 38. Ke1 Kf8 39. Qc3 Qg5 40. Kd2 Qxg2+ 41. Kxd3 f5
42. Bg7+ Kg8 43. Bh6 Qe4+ 44. Kd2 Qe7 45. h4 f4 46. Bxf4 Qxh4 47. Qa1 g5 48. Qg1 g4 49. Kc3 Rb8 50. Kd2 Rf8 51. Kc3 Rf7
52. Kb4 Rxf4 53. exf4 g3 54. f5 Qg5 55. Qg2 Kg7 56. b6 axb6 0-1

2020.08.23 SF11 abrok ---------- https://abrok.eu/stockfish/
2020.08.23 CLOWN -------------- https://ru.files.fm/u/6cpu3j5h
2020.08.23 SF11 nnue ONLY ---- https://ru.files.fm/u/8vr4upbz

[sergey1963]

Цитата: Сообщение от Jeweller

1 ядро, multiPV=5, минута анализа

2kr3r/1b1nqp1p/p1pp1npQ/1p6/3pP3/PNN2P2/1PP3PP/1K1R1B1R w - - 0 15

причем сетевой увидел сразу

Цитата: Сообщение от Jeweller

1 ядро, multiPV=5, минута анализа
АльфаЗеро - СтокФиш 8 (10-я партия)

rn3rq1/p5k1/2p2bp1/1p4p1/8/2P1B1PQ/5PK1/3R3R w - - 2 32

оно же 4 ядра Pure-
info depth 34 seldepth 51 multipv 1 score cp 23 upperbound nodes 298832784 nps 5524119 hashfull 289 tbhits 3 time 54096 pv d1d4 c6c5
info depth 35 seldepth 64 multipv 1 score cp 199 upperbound nodes 388191362 nps 6667777 hashfull 321 tbhits 20028 time 58219 pv c3c4 f8e8
info depth 32 seldepth 39 multipv 1 score cp 611 upperbound nodes 393817035 nps 6248187 hashfull 330 tbhits 1582 time 63029 pv d3e2 a1c1
3-ья позиция как бы намекает- можно выиграть по-разному...

[Jeweller]

1 ядро, multiPV=5, минута анализа

Хеннинг - Юнге (1940)

2kr3r/bpq2p2/p3p2p/1P2P3/P1p2QP1/3b1R2/1B1N2KP/R7 b - - 0 22

[Vizvezdenec]

Цитата: Сообщение от Maratka

Я про то же.

SF_NN как инструмент для анализа хорош тем, что имея сетевую оценку (пусть и практически наверняка худшую, чем у LZ), он таки оценивает позицию сильно лучше, чем "классика", а благодаря шикарному поиску - и вовсе идет в открыв, коль уж LZ не мог за два года завоевать твердое первое место, и всегда бодался за него против классического SF, причем с так себе успехом, по сути - равенство вышло.

Теперь есть по сути тот же поиск, но гораздо лучшая оценка - на кой ляд нужна оценка от классики? Ну пусть кому-то нужна! Так он и поставит на анализ классический SF, а не сетевой!

По сути мы делаем движок, который будет играть как можно сильнее.
И нет, в нём не будет 500 разных опций для отключения чего-то там, потому что кому-то хочется их включать и отключать.
Я так тоже могу сказать - да отсечение по нулевому ходу ерунда, цугцванги хреново решаются из-за этого, зачем оно вообще нужно, если движок и так очень сильный?
Ну... Даёт 40 эло, а так да, цугцванги и правда хуже решаются.
Так и тут - оценка от классики нужна для того, чтобы быстрее оценивать в основном выигранные позиции, и, соответственно, больше оставлять времени на то, чтобы более точная оценка оценивала то, что нужно.
А то, что там разные оценки и очерёдности - ну, замечательно. Значит, оно таки что-то и правда делает.
Ведь что в альфабете на что повлияет - совершенно непонятно, бывает, что тактическая задача время решения меняет с 10 минут на 3 секунды, хотя прошёл патч на проходные... А никаких проходных на доске-то и нет.
Все "шибко навороченные" выключатели-включатели всего на свете всегда оставлялись на откуп клонам. У нас будет то, что будет наиболее сильно играть в нашем тестировании.