Stockfish и его производные

[Харлампий]

Stockfish 14
Stockfish 14 для Android
https://ufile.io/f/8ardx
https://pixeldrain.com/l/ndVpnHXc#item=1

Архив предыдущих версий: https://www.dropbox.com/sh/75gzfgu7q...UfHbBr4r_RwhGa

Официальный сайт стокфиш

Обновления тестовых версий стокфиша: http://abrok.eu/stockfish/

Сборки Stockfish и CorChess от I. Ivec

Развитие движка http://tests.stockfishchess.org/tests

Stockfish_NNUE https://github.com/nodchip/Stockfish

Сети: https://www.comp.nus.edu.sg/~sergio-v/nnue/

AsmFish

Сборки от Maratka

Компиляции движков от ChessMan

Сборка Stockfish от Otodranik

Sugar от Marco Zerbinati

Shark и Orka

О Stockfish

Цитата:

Авторы движка
Двигатель Stockfish был разработан Tord Romstad, Marco Costalba и Joona Kiiski. В настоящее время он развивается и поддерживается сообществом Stockfish.

Авторы приложений
Stockfish для Mac был собран Daylen Yang. Stockfish для iOS был собран Tord Romstad.

История
Проект Stockfish начался с движка Glaurung с открытым исходным кодом, созданного Tord Romstad. В ноябре 2008 года Марко Косталба разветвил код Glaurung 2.1 и представил Stockfish 1.0. Торд и Джоона Кииски присоединились к проекту «Стилфиш», и проект «Гларунг» постепенно исчез. Тем временем, Stockfish быстро поднялся, чтобы стать самым сильным шахматным движком с открытым исходным кодом, с частыми обновлениями каждые несколько месяцев. Сегодня он остается одним из самых сильных двигателей в мире.

О GPL
Stockfish является бесплатным и распространяется в соответствии с GNU General Public License Version 3 (GPLv3). По сути, это означает, что вы можете делать практически все, что хотите, с программой, включая ее распространение среди своих друзей, делая ее доступной для загрузки с вашего веб-сайта, продавая ее (либо самостоятельно, либо как часть некоторого более крупного программного пакета ) или использовать его в качестве отправной точки для собственного программного проекта.

Единственное реальное ограничение заключается в том, что всякий раз, когда вы каким-либо образом распространяете Stockfish, вы всегда должны включать полный исходный код или ссылку на исходный код. Если вы внесете какие-либо изменения в исходный код, эти изменения также должны быть доступны в GPL.

Для получения полной информации прочитайте GPL.

[свернуть]

[alchemist888]

Цитата: Сообщение от Кевин

Что ж, после недавних патчей даже на глаз в анализе есть изменения. В одной мирной позиции Сток теперь стал показывать дикие планы с жертвами качества. Пока не разобрался, хорошо это или плохо.

Стокфиш стал в разы лучше решать эту позицию на одном потоке.
4rb2/1p1q1ppk/p1n1p2p/2p1Pn2/3PNR2/2P2K2/P2QBP2/6R1 w - - 0 1
Раньше частенько и за минуту справиться не мог, а сейчас за 2-4 секунды стабильно решает.
Правда при тесте на 2-3 потока стабильно решает за 12-16 секунд

[Кевин]

Цитата: Сообщение от Vizvezdenec

Несколько раз уже такое было

Кстати, а что патч делает?

[Кевин]

Цитата: Сообщение от Vizvezdenec

Прошёл тест не мультипроцессинг, причём сразу в 2 вариантах.
Теперь осталось разобрать, что из этого лучше
http://tests.stockfishchess.org/tests/user/vdv

http://tests.stockfishchess.org/test...bc5925cf0aeb00

breadcrumb3PR (Introduce coordination between searching threads) - я так понимаю, как раз подошли к решающему тестированию патча. Аж на 30-ти потоках, ещё и высокий приоритет установлен.

[Vizvezdenec]

https://github.com/official-stockfis...fish/pull/2204

[Vizvezdenec]

Цитата: Сообщение от Кевин

Кстати, а что патч делает?

Даёт бонус за двойные атаки на пешку, которая не защищена своей пешкой
Это один из патчей, которые потом уходят, на самом деле, но крохи эло даёт (вроде бы так, я сильно подробно не смотрел).
Почему уходят? Потому что поиску достаточно 1-2 полуходов, чтобы увидеть, что пешку можно забрать
Это несколько сокращает такие вещи, но с дальнейшим усилением движка почти всегда становятся бесполезными.

[Кевин]

Цитата: Сообщение от Vizvezdenec

https://github.com/official-stockfis...fish/pull/2204

Пока не очень дела идут. В тесте с 30 потоками вылетел на данный момент ниже 95% LOS, а в тесте при 4 потоках вероятнее всего в минус уйдёт эло.

[Vizvezdenec]

Я вообще не очень понимаю, что Марко надеется увидеть в тесте на 4 потоках.
Там и так условно-идеальный скейлинг, особенно если дать движку подумать, за 20к игр улучшения там поймать, кмк, нереально.
А на 30 - ну опять-таки, он заползает-вылезает из 95% LOS, по-хорошему тут надо SPRT, хотя я почти уверен, что после 20к игр он покажет 95+%.
Я, конечно, тот ещё спец в мультипроцессинге, но тут я не вижу ничего такого, то мешало бы этот патч добавить в мастер.
Не, ну лишнее тестирование, конечно, никогда не повредит, но я лично смысла в оном в данном случае не вижу и немного выразил своё недовольство таким использованием ресурсов, особенно учитывая, что там мой LTC тест крутится в районе 1 LLR

[ChessMan]

https://github.com/official-stockfis...sh/issues/2203

Cfish-dev is about 35% faster than Stockfish-dev using 20 threads #2203

http://talkchess.com/forum3/viewtopic.php?f=7&t=71027

http://talkchess.com/forum3/viewtopic.php?f=2&t=71013

У кого есть подходящее железо, можете проверить у себя?
Желательно на Windows и с выключенными LP.

[Aster]

На линуксе примерно такая же фигня, bench 4096 40 18 cF ~60mnps, sF ~50mnps

[Кевин]

http://tests.stockfishchess.org/test...bc5925cf0af3fd

[EngMatch]

Возможно Stockfish не помешало бы иметь NUMA aware memory allocation.

syzygy:
"SF does not have any real NUMA code.
A patch was applied not too long ago that made SF do better on NUMA hardware, but that patch simply turned one 4MB shared table into many 4MB per-thread tables. It does not look into how many nodes the system has, etc.
Asmfish and Cfish bind threads to nodes and let the threads on one node share a 4MB per-node table.
Cfish also makes sure that per-thread memory is allocated on the node on which the thread will run. (And I'm 99.9% certain that asmfish does the same.)
I guess what *really* hurts on a NUMA machine is shared data structures that are written to heavily from different nodes. So in that sense the SF patch may have solved most of the NUMA problems ..."
Lucas Cimiotti:
"True.
asmFish does not only bind threads to nodes, but binds threads to certain cores to make best use of hyperthreading.
Btw. not supporting NUMA in dual-socket systems doesn't hurt much as today's Xeons have large L3 caches."
http://rybkaforum.net/cgi-bin/rybkaf...tid=31725;pg=2

[Vizvezdenec]

С тех пор прошло 3 года и у SF давным давно есть NUMA aware memory allocation, протестировано, например, на 4с, когда там было всё на винде

[Vizvezdenec]

Цитата: Сообщение от Кевин

http://tests.stockfishchess.org/test...bc5925cf0af3fd

Да, вчера прошло, было много испробовано вариантов "посложнее и пологичнее", а прошло в итоге то, что тупее всего
Даёт небольшой штраф за атаки противника в область, которая считается нашим "пространством".
Последняя определяется таким образом:
берём пешки от c до f, отступаем от них назад 3 клетки (например, для пешки на e6 будет e6,e5,e4,e3), оставляем те клетки, которые находятся на рядах от 2 до 4 и не атакованы пешкой противника - вот так эта область формируется.
8/3p4/2pPp3/2P5/8/4Pp2/5P2/8 w - -
Например, для такой пешечной структуры область будет
c2 c3 c4 d4 e3 f2
Вот, теперь за атаки на неё будет даваться небольшой бонус
С шахматной точки зрения должно несколько способствовать тому, чтобы движок занимался фланговыми контратаками по центру противника, если тот далеко надвинут, ну и сам тоже аккуратнее его надвигал.

[ChessMan]

Цитата: Сообщение от Vizvezdenec

С тех пор прошло 3 года и у SF давным давно есть NUMA aware memory allocation, протестировано, например, на 4с, когда там было всё на винде

НУМА код действительно добавляли в Стокфиш, но потом его очень сильно упростили. Возможно это играет роль. Но ещё, возможно, что-то произошло с самим СиФишем - раньше (пол года - год назад) не было такой огромной разницы в скорости, Рональд что-то менял в NUMA.c и NUMA.h, я не очень вникал что именно.

[Vizvezdenec]

NUMA вообще функциональна только под виндой и только от 64 потоков.
На 20 потоках эффект от неё равен 0. Поэтому тут дело точно не в этом

[ChessMan]

Цитата: Сообщение от Vizvezdenec

NUMA вообще функциональна только под виндой и только от 64 потоков.
На 20 потоках эффект от неё равен 0. Поэтому тут дело точно не в этом

Боюсь владельцы Линукс машин с Вами не согласятся.

https://www.kernel.org/doc/html/latest/vm/numa.html

Да и про 64 потока это не совсем верно.

[ChessMan]

Возможно, NUMA не имеет к этому никакого отношения:

Ryzen 7 1700X, СиФиш скомпилирован с выключенными LP.

[Vizvezdenec]

Не знаю, абсолютно все, кто её программировал вообще в шахматных движках, говорили мне это.
Тут надо сравнивать разницу в скорости с разницей в скорости на 1 ядре, например.
До того, как в SF появился работающий NUMA код, после 63 процессоров под Win скорость просто не прирастала

[byan_mivv]

cfish19625

http://s000.tinyupload.com/?file_id=...25539994498546

[Кевин]

Цитата: Сообщение от Vizvezdenec

Я вообще не очень понимаю, что Марко надеется увидеть в тесте на 4 потоках.

Тест закончен:


http://tests.stockfishchess.org/test...bc5925cf0af49e


Надеюсь, из-за него не забракуют патч.


ELO: -0.83 +-2.6 (95%) LOS: 26.3%
Total: 20000 W: 2849 L: 2897 D: 14254


Я тоже не вижу ничего страшного в таком исходе и согласен, что прирост на куда большем числе потоков важнее. Тот же тест на 30-ти потоках демонстрирует отличные результаты.


Однако, если судить по тому, что запущены для теста новые редакции патча, скорых новостей о судьбе этой идеи ждать не стоит.

[Vizvezdenec]

Нет, они запущены не против мастера, а против прошедшего теста.
Т.е. vondele пытается улучшить результат уже тот, что есть, беря прошедший тест за базу.

[Кевин]

Цитата: Сообщение от Кевин

Тот же тест на 30-ти потоках демонстрирует отличные результаты.

http://tests.stockfishchess.org/test...bc5925cf0aeb00

breadcrumb3PR
ELO: 4.01 +-2.5 (95%) LOS: 99.9%
Total: 20000 W: 2890 L: 2659 D: 14451
20000 @ 20+0.2 th 30

[Maratka]

Итого, на 8 потоках плюс, и по мере увеличения потоков плюс растет.
На 4-х небольшой минус (т.е. похоже, что если потоков мало, то польза от их лучшей работы съедается сложностью обработки и как следствие - замедлением движка).
При этом на 1-м вообще не должно быть изменений.
Т.е. минус похоже в диапазоне от 2 до 5-6 потоков.

Интересно, а две ветки написать: если более 6 потоков, то новый код, иначе - старый?
Ну и пусть оно так побудет неделю или месяц... А там глядишь и более ровный вариант появится.

[EngMatch]

Цитата: Сообщение от Vizvezdenec

С тех пор прошло 3 года и у SF давным давно есть NUMA aware memory allocation, протестировано, например, на 4с, когда там было всё на винде

NUMA и процессорные группы Windows - разные "вещи", хотя Microsoft и обозвал свое детище "NUMA".

[Vizvezdenec]

Цитата: Сообщение от Maratka

Итого, на 8 потоках плюс, и по мере увеличения потоков плюс растет.
На 4-х небольшой минус (т.е. похоже, что если потоков мало, то польза от их лучшей работы съедается сложностью обработки и как следствие - замедлением движка).
При этом на 1-м вообще не должно быть изменений.
Т.е. минус похоже в диапазоне от 2 до 5-6 потоков.

Интересно, а две ветки написать: если более 6 потоков, то новый код, иначе - старый?
Ну и пусть оно так побудет неделю или месяц... А там глядишь и более ровный вариант появится.

Я бы не интерпретировал -0,8 +/- 2,5 эло как "небольшой минус".
Это вполне себе ноль.

[Кевин]

Цитата: Сообщение от Vizvezdenec

Нет, они запущены не против мастера, а против прошедшего теста.
Т.е. vondele пытается улучшить результат уже тот, что есть, беря прошедший тест за базу.

Ну раз уж фактически решено, что патч будет одобрен, почему бы и сразу было его не добавить в мастер, а потом уже и тестировать? Ну и народ успел бы на своих компах погонять и посмотреть, что да как, есть ли баги и какие нюансы.

Там, кстати, все запущенные поверх прошедшего патча тесты провалились, кроме одного, который пока в процессе.

[Vizvezdenec]

Цитата: Сообщение от Кевин

Ну раз уж фактически решено, что патч будет одобрен, почему бы и сразу было его не добавить в мастер, а потом уже и тестировать? Ну и народ успел бы на своих компах погонять и посмотреть, что да как, есть ли баги и какие нюансы.

Там, кстати, все запущенные поверх прошедшего патча тесты провалились, кроме одного, который пока в процессе.

Потому что пока мейнтейнер не имеет времени этого сделать.
Тут же как, ты тестируешь тест -> он проходит -> создаётся pull request -> его добавляет в мастер мейнтейнер.
Между 3 и 4 может пройти до 5 дней в зависимости от реальной занятости последнего (если патч не "спорный").
Пока эти 5 дней идут, можно тестировать возможные улучшения поверх этого патча и если что-то пройдёт, создать ещё один pull request.

[Кевин]

Цитата: Сообщение от Vizvezdenec

Потому что пока мейнтейнер не имеет времени этого сделать.

Теперь понятно, почему Maratka предлагал увеличить число мейнтейнеров.

[Vizvezdenec]

Цитата: Сообщение от Кевин

Теперь понятно, почему Maratka предлагал увеличить число мейнтейнеров.

Ну мейнтейнер - это тот, кто имеет решающее слово.
Всю историю проекта он был один и только с этого года их 2 - snicolet и Марко.
Если их будет больше - уже будут какие-то внутренние споры. Должен быть кто-то, кто принимает окончательные решения в спорных ситуациях и таких людей не должно быть много.
Да и кому на самом деле плохо от того, что патч выйдет в мастер на 2-5 дней позже?

[sovaz1997]

Мейетейнер - президент;
Патч - законопроект, который подписывает президент. Голосование за законопроект - это тестирование патча;

Ещё не хватает выборов в мейнтейнеры путем голосования