Stockfish и его производные

[Харлампий]

Stockfish 14
Stockfish 14 для Android
https://ufile.io/f/8ardx
https://pixeldrain.com/l/ndVpnHXc#item=1

Архив предыдущих версий: https://www.dropbox.com/sh/75gzfgu7q...UfHbBr4r_RwhGa

Официальный сайт стокфиш

Обновления тестовых версий стокфиша: http://abrok.eu/stockfish/

Сборки Stockfish и CorChess от I. Ivec

Развитие движка http://tests.stockfishchess.org/tests

Stockfish_NNUE https://github.com/nodchip/Stockfish

Сети: https://www.comp.nus.edu.sg/~sergio-v/nnue/

AsmFish

Сборки от Maratka

Компиляции движков от ChessMan

Сборка Stockfish от Otodranik

Sugar от Marco Zerbinati

Shark и Orka

О Stockfish

Цитата:

Авторы движка
Двигатель Stockfish был разработан Tord Romstad, Marco Costalba и Joona Kiiski. В настоящее время он развивается и поддерживается сообществом Stockfish.

Авторы приложений
Stockfish для Mac был собран Daylen Yang. Stockfish для iOS был собран Tord Romstad.

История
Проект Stockfish начался с движка Glaurung с открытым исходным кодом, созданного Tord Romstad. В ноябре 2008 года Марко Косталба разветвил код Glaurung 2.1 и представил Stockfish 1.0. Торд и Джоона Кииски присоединились к проекту «Стилфиш», и проект «Гларунг» постепенно исчез. Тем временем, Stockfish быстро поднялся, чтобы стать самым сильным шахматным движком с открытым исходным кодом, с частыми обновлениями каждые несколько месяцев. Сегодня он остается одним из самых сильных двигателей в мире.

О GPL
Stockfish является бесплатным и распространяется в соответствии с GNU General Public License Version 3 (GPLv3). По сути, это означает, что вы можете делать практически все, что хотите, с программой, включая ее распространение среди своих друзей, делая ее доступной для загрузки с вашего веб-сайта, продавая ее (либо самостоятельно, либо как часть некоторого более крупного программного пакета ) или использовать его в качестве отправной точки для собственного программного проекта.

Единственное реальное ограничение заключается в том, что всякий раз, когда вы каким-либо образом распространяете Stockfish, вы всегда должны включать полный исходный код или ссылку на исходный код. Если вы внесете какие-либо изменения в исходный код, эти изменения также должны быть доступны в GPL.

Для получения полной информации прочитайте GPL.

[свернуть]

[Vizvezdenec]

Я спрашивал у Sopel и Aloril, которые соответственно автор архитектур для NNUE и хэд админ TCEC
Насколько их понял - настолько и сказал.

[Владимир001]

cfish_ 12-8-2021 x86-64-modern

https://wetransfer.com/downloads/6f9...2125507/ebb4b3

[Asunta]

К ячейкам хэша используют укороченные ключи...
Раньше или позже появятся 2 ячейки с одинаковым ключом...

Всё равно не понятно, т.к. в моём примере всё происходит на первых 7% хэша, которые для ( 3400MB ... 4000MB )
должны "оформляться" одинаково... Даже если будет глюк с совпадением ключей - он должен быть везде...

Только, если пустые места для записи раздаются не подряд, а случайным образом, возможна ситуация, когда
при разном размере хэша совпадение ключей произойдёт в зонах [ 3800 ... 4000 ] / [ 3600 ... 3800 ] / [ 3400 ... 3600 ]
После этого все 4 линии перестанут совпадать... Видимо, после глубины D24 такие 3 совпадения ключей успевают "произойти" : )

Вроде как подряд... Функция:

[Burcontovk]

Цитата: Сообщение от sergey1963

Не так, Сток использует до половины имеющейся памяти, но другая половина не пуста- она уже на четверть-треть занята Виндой и рабочими прилижениями... Да, сток- почем зря засирает "свою память" лепит от всех потоков в разные места и уже при 10% заполненности начинает тормозить, при 50%- сильно, при 100%- нам приходит привет от ОЗУ...

Интересно а есть разница ECC-память или обычная?

[sergey1963]

Отвечу словами Выдвиженца- я не настолько силен в програмировании...
Но уже пару-тройку лет не использую большие страницы в "серьезном многочасовом анализе ручками" и не ставлю максимум потоков даже на бывшем 4-ядернике без НТ, а вот вывод "больших вариантов" Стока совсем не повредит.
Но это долго и нудно, с использованием баз и сделанных по ним книг и после определения не играет ли соперник Лилой (к этому уже другой подход). Ну как бы игра на нюансах и ловушках...сильные и слабые стороны движков, многоядерников... и ОЗУ.
К моему удивлению использование 4кб страниц совсем не засирает память, а вот 2мб страниц даже на партию не хватает... Так что увеличение скорости на 10% при LP- это показуха... и замануха, как и НТ...

[Maratka]

А я бы на его месте пришел бы, и сделал "правильно".
Оно и для проекта полезно, и для резюме того самого программиста.

Сам сейчас устраиваюсь (пусть и как тестер), но вопросы "умеешь ли писать и на чем" - были. И лишний проект - только в бонус будет!

[Maratka]

Цитата: Сообщение от Burcontovk

Интересно а есть разница ECC-память или обычная?

ECC на 2-3% медленнее при той же частоте и таймингах, но несравненно стабильнее, по стабильности там разница на порядки (не в разы!).
Т.е. там, где условная железка на обычной памяти работает без зависона месяцы, то сервер на ECC скорее всего раньше спишут по устареванию, чем он зависнет.
Собственно, сервера так и работают... перезагрузка сервера в серьезной конторе - дело нетривиальное, вида пишутся письма сотрудникам, типа "сегодня с 11 до 13 будут выполняться технические работы на... потому просьба отнестись с вниманием: скорость доставки писем (ну скажем в случае почтового сервера) может упасть с типовых 2-3 секунды до минуты".

Остальное - тупое следование спецификации, вида "частота выше - быстрее".

[svoitsl]

Цитата: Сообщение от Maratka

А я бы на его месте пришел бы, и сделал "правильно".

Это только на его взгляд "правильно", а на самом деле может быть восвсе не так.
Я за то, что бы современные функции использовать по-минимуму, если известно, что система достаточно закрытая и никаких вторжений быть не может, то не надо огород городить,а надо использовать максимально компактный и быстрые функции, их недостатки (потенциально низкая защищенность) - это их достоинство (быстрота и компактность)

[Maratka]

Цитата: Сообщение от svoitsl

Это только на его взгляд "правильно", а на самом деле может быть восвсе не так.

Ну вообще говоря это был сарказм.
У Сережи как мы все помним и GTX 1060 fp16 в Лиле считает с удвоенным относительно fp32 темпом.
Все думаю Vizvezdenec написать, пусть себе мод на своей 1080 сделает, глядишь - и Лила ему станет больше нравиться, да и обычные 3D-игры (где в современных fp16 вполне себе используется) быстрее пойдут

Но если таки действительно есть некий чел, который нашел некую весьма серьезную ошибку - да любой квалифицированный программист посчитал бы вполне приличным делом о ней отписать, а не Сереже на ухо нашептать, т.к. да, это действительно полезно для резюме. Ничего личного, просто для будущей зарплаты полезно! :D

Ну вот по части того, что я на работу устраиваюсь (тьфу, тьфу!):
У мну есть чем похвалиться. Код, который я писал практически любительский, но я ведь на тестера, а не менеджера проекта устраиваюсь! Там - пойдет, ибо оценивается не язык, и не код как таковой, а образ мышления, т.е. в принципе - сечешь условно говоря некий алгоритм (да хоть и на vb.script), или нет.

Т.е. без того проекта, который я самолично затеял, и до сих пор веду - мои шансы на трудоустройство будут меньше.

[otodranik]

Как это замануха использование HT? Якобы скорость не растёт. Смотря как архитектура конкретного процессора реализована, да код был оптимизирован и соответствовал железу. Были бы блоки исполнительные, а считать что - найдётся.

[sergey1963]

Дети! Вы бы хоть иногда архитектурой процессора интересовались бы...
НТ- это не дополнительные ядра, а блоки одного и того же ядра- их как было 2-4-8-16 так и осталось. НО в средних задачах до трети мощности можно на этих же блоках запустить 2-ой поток, пока идет обработка сложных процессов, блоки легких- простаивают. Получаем из воздуха удвоение ядер. Опять НО- в средних задачах!
В тяжелых- ну запустили 2-ой поток и он начинает ждать когда закончится 1-ый, а обращение к памяти идет и не только ОЗУ, но и кэшам процессора... В итоге получается белиберда и мешанина, причем 8 потоков работают на 75% мощности и еще 8- на 25%, а память жрут одинаково...
Ну это как слон азиатский- весит 2 тонны, срет- 3 и кому нужен такой засранец??? В архиваторах- милое дело, в подобных прогах- также- аудио, видео, фото... Но в шахматах?- нонсенс, здесь вам не тут! Да получили аж +14эло (в отличии от реального удвоения ядер на +45эло), но это при 10с на ход и с удвоенным ОЗУ.... А при часе на ход и при диком нагреве процессора? Причем еще и частота самого процессора неизбежно снижается... улучшение ухудшением...
Теперь по поводу бесплатности Стока (и Линукса также)- вы хоть понимаете, что мы уже все и всем заплатили- покупкой самого железа? А разработчики еще идут дальше- мешанина и запутанность програмного обеспечения закладывается специально... И бац!!!- уже 2-4 ядер мало, надо 6-8, но это пока, а завтра 10-12... Не могут оптимизировать работу с памятью?- кому они гонят, посмотрите внимательно где работает "верхушка Стока"... И вот уже ОЗУ 4гб перешло на 8, затем 16, ну и 32гб- не за горами...
Как-то показывал пример "их работы"- что-то придумали в фотообработке новое- в итоге- потребовалось железо в 2 раза мощнее, но напоролись на умного мужика, тот сам переделал код, оказалось не надо увеличивать в 2 раза, а можно смело уменьшить на столько же!!! Жулье на 400%...
Это как на базаре, только в роли продавцов-жуликов программисты-хмурики...

[Владимир001]

Компиляции от Skynet:

Cfish 120821

https://pixeldrain.com/u/PPE2n3yx

[Maratka]

Цитата: Сообщение от sergey1963

вы хоть понимаете, что мы уже все и всем заплатили- покупкой самого железа? А разработчики еще идут дальше- мешанина и запутанность програмного обеспечения закладывается специально... И бац!!!- уже 2-4 ядер мало, надо 6-8, но это пока, а завтра 10-12... Не могут оптимизировать работу с памятью?- кому они гонят, посмотрите внимательно где работает "верхушка Стока"... И вот уже ОЗУ 4гб перешло на 8, затем 16, ну и 32гб- не за горами...

Используйте в анализе (или где Вы там движки используете) Рыбку 2.32
Она официально бесплатна, к тому же - топ десятилетней давности! И память не жрет, и на одном ядре работает, ибо написана под то еще железо!

[Maratka]

Цитата: Сообщение от otodranik

Как это замануха использование HT? Якобы скорость не растёт. Смотря как архитектура конкретного процессора реализована, да код был оптимизирован и соответствовал железу. Были бы блоки исполнительные, а считать что - найдётся.

Разумеется!
Ведь все именно от архитектуры и зависит!

Чем больше потенциальная производительность ядра (попросту - количество выполняемых инструкций на такт, 2 в поколении Pentium/Pentium MMX, 3 (Athlon/Phenom, Pentium III, 4 (у старых Core, начиная с Core2Duo, и все ZEN) нынче уже 5 инструкций на такт у последних Core) - тем сложнее ее развить, ибо нужно строить неимоверно сложные схемы по переупорядочиванию инструкций, внеочередному их выполнению... А тут вдруг Спекрты/Мельтдоны завелись, которые как раз на этом и пасутся! Т.е. либо тебе "безопасный процессор", с производительностью в полтора раза меньше, либо "опасный", но да, быстрый!

Вот и получается, что 2 потока на одноядерный CPU- это способ задействовать то, что простаивает, и иначе - простаивать всегда будет!

SF оценивает позицию векторами, т.е. FPU? Да!, именно так и делает!
А что же тогда собственно ядро процессора в это время делает? Стоять ему что ли? Да нет! Поиск то на 95% - это целочисленка! Нехай один поток на ядре ищет, а второй - на FPU оценивает! Очень грубо конечно, но и так оно вообще говоря в бонус выходит, чисто аппаратно даже, без привлечения программистов.
А если привлечь, и специальный код написать, то еще жирнее прибавка будет!

[sergey1963]

Ну да- где-то так. НО ведь никто этого делать не будет, поставлена задача усложнить и сделать бардак- вот он и делается. Сети не 10, а 20мб, сегодня уже и 50, вангую- минимум через год перейдем на 100мб. Сегодня уже 4 ядер маловато, будет и 8 мало... 4гб выделенного ОЗУ под сток?- а вот в дышло вам- 8-16 и даже 32-64гб. Да еще на LP, да без оптимизации работы с памятью... Красота!- гребем бабло лопатой, чудики и так схавают наш "бесплатный продукт". Один к одному как Чесбейс и Фриц- по обновлению в неделю плюс новая версия ежегодно...
Ау!- лохи- мы вас ждем "за бесплатно".

[Vizvezdenec]

Вообще не понимаю, о чём разговор, если NNUE сильнее, чем классика, на пне 2-3, причём сильно, у нас люди проверяли.
Да, оно очень медленное, но даже так всё равно сильнее.
Так что можете не обновлять железо с пентиума 3, ЛЮБОЙ движок на нём будет всё равно играть слабее, чем последний сток.
Конец.

[otodranik]

Пень третий - вполне себе буржуйская машинка даже сейчас, особенно последних ревизий на 1-1.4 герца (Туалатины). Мой первый проц на 1 герц туалатин. Сборка Формозы в ноябре 2001. 360p-480p (за 480 не уверен из-за тяжеловесности браузеров, хотя скорее-всего) на ютубе вполне сдюжит. У него ipc неплохой даже по сегодняшним меркам. Core 2 - это усовершенствование технологии пентиума 3 туалатина. Считай на новый техпроцесс перевели, повысили частоты, добавили инструкций, обновили конвейер, добавили многоядерность и x64 итд. Пень 4 был полнейшим тупиком. Главное оперативки не меньше гига иметь.

[byan_mivv]

Stockfish and CorChess development builds compiled by I. Ivec

August 5, 2021

https://chess.ultimaiq.net/stockfish.html

[Vizvezdenec]

Цитата: Сообщение от byan_mivv

Stockfish and CorChess development builds compiled by I. Ivec

August 5, 2021

https://chess.ultimaiq.net/stockfish.html

Заметьте.
Человеку просто написал Sopel и тот сделал всё, чтобы напрямую выложить исходный код прямо на странице скачки и т.д. - всё, что нужно для соблюдения лицензии стокфиша.
Не стал истерично верещать про то, что он-де 3 года этим хобби занимался, а его злые обладатели копирайта стока, с которого он всё равно драл 100% патчей, настигли, ну и прочие прикольные вещи. А просто спокойно сделал всё, что требует лицензия, ни слова про это не написав.
Возможно, как-то связано с тем, что Иван и в мастере патчи имеет, не то что бесполезный автор еман, и может оценить масштаб работы, который он использует абсолютно бесплатно.

[Maratka]

Причем по хорошему, там достаточно было только исходников CorChess

[ChessMan]

Vizvezdenec,
есть идея на счет одного патча

https://github.com/official-stockfis...luate.cpp#L593

- if (kingDanger > 100)
+ if (kingDanger > 0)

Можете запустить на тест?
Я не умею. Да и лень разбираться.

Когда-то эта строка была kingDanger > 0, потом изменили.
Возможно пора вернуть назад?

[Vasilievich]

Цитата: Сообщение от Vasilievich

Пожалуйста вставьте движок
для 4 ядерного компа - модерн
Заранее очень благодарен!

Цитата: Сообщение от byan_mivv

Stockfish and CorChess development builds compiled by I. Ivec

August 5, 2021

https://chess.ultimaiq.net/stockfish.html

А модерн?
Заранее большое спасибо!

[byan_mivv]

А там только простейшие Сток и Кор ( Модерна нет).
Хасвелл и Райзен Вам не подходят...

[Vizvezdenec]

Цитата: Сообщение от ChessMan

Vizvezdenec,
есть идея на счет одного патча

https://github.com/official-stockfis...luate.cpp#L593

- if (kingDanger > 100)
+ if (kingDanger > 0)

Можете запустить на тест?
Я не умею. Да и лень разбираться.

Когда-то эта строка была kingDanger > 0, потом изменили.
Возможно пора вернуть назад?

Да я вообще не знаю, нужна ли нам классическая оценка.
Она вся целиком даёт какие-то единицы эло...
Поэтому патчи на неё тестировать мне крайне не хочется.

[Maratka]

Пошли тесты регресса
~10 Elo к SF14, может и 11 наберется.

https://tests.stockfishchess.org/tes...77aa1525c9c746

[Maratka]

Цитата: Сообщение от Vizvezdenec

Да я вообще не знаю, нужна ли нам классическая оценка.
Она вся целиком даёт какие-то единицы эло...
Поэтому патчи на неё тестировать мне крайне не хочется.

Никто ее не пишет, потому и не нужна
А не было NNUE? ;)

[Vizvezdenec]

Я тут посчитал.
Отношение выигрышей / поражений без учёта дебютов, которые закончились 1-0 1-0 (или 0-1 0-1), т.е. только в тех дебютах, где было 1-0 0,5-0,5 или две победы.
Для 30+0.3 8 потоков у меня вышло (652 + 12 * 2) / (376 + 2 * 2) = 1,779
А для 60+0.6 1 потока (1398 + 35 * 2) / (812 + 8 * 2) = 1,773
Не находите, что эти цифры подозрительно одинаковы?
Похоже, вот это и есть инвариант практически, и весь "плохой скейлинг" именно в том, что просто при большем количестве времени более слабая версия клепает ничьи в равных дебютах лучше, и ЗАОДНО лучше выигрывает мусорные позиции за сильную сторону.

[dew]

@ChessMan Ну зачем удалять? Ну раз игнор на личку

[ChessMan]

Цитата: Сообщение от dew

@ChessMan Ну зачем удалять? Ну раз игнор на личку

Удалил Ваше сообщение как провокацию.

[Владимир001]

Author: Tomasz Sobczyk
Date: Sun Aug 15 12:05:43 2021 +0200

Новая архитектура и сеть NNUE

Развернуть для просмотра

Timestamp: 1629021943

New NNUE architecture and net

Introduces a new NNUE network architecture and associated network parameters

The summary of the changes:

* Position for each perspective mirrored such that the king is on e..h files. Cuts the feature transformer size in half, while preserving enough knowledge to be good. See https://docs.google.com/document/d/1...h.b40q4rb1w7on.
* The number of neurons after the feature transformer increased two-fold, to 1024x2. This is possibly mostly due to the now very optimized feature transformer update code.
* The number of neurons after the second layer is reduced from 16 to 8, to reduce the speed impact. This, perhaps surprisingly, doesn't harm the strength much. See https://docs.google.com/document/d/1...h.6qkocr97fezq

The AffineTransform code did not work out-of-the box with the smaller number of neurons after the second layer, so some temporary changes have been made to add a special case for InputDimensions == 8. Also additional 0 padding is added to the output for some archs that cannot process inputs by <=8 (SSE2, NEON). VNNI uses an implementation that can keep all outputs in the registers while reducing the number of loads by 3 for each 16 inputs, thanks to the reduced number of output neurons. However GCC is particularily bad at optimization here (and perhaps why the current way the affine transform is done even passed sprt) (see https://docs.google.com/document/d/1...vNqqMkAY/edit# for details) and more work will be done on this in the following days. I expect the current VNNI implementation to be improved and extended to other architectures.

The network was trained with a slightly modified version of the pytorch trainer (https://github.com/glinscott/nnue-pytorch); the changes are in https://github.com/glinscott/nnue-pytorch/pull/143

The training utilized 2 datasets.

dataset A - https://drive.google.com/file/d/1Vlh...ew?usp=sharing
dataset B - as described in https://github.com/official-stockfis...a632a57c6e67bc

The training process was as following:

train on dataset A for 350 epochs, take the best net in terms of elo at 20k nodes per move (it's fine to take anything from later stages of training).
convert the .ckpt to .pt
--resume-from-model from the .pt file, train on dataset B for <600 epochs, take the best net. Lambda=0.8, applied before the loss function.

The first training command:

python3 train.py \
../nnue-pytorch-training/data/large_gensfen_multipvdiff_100_d9.binpack \
../nnue-pytorch-training/data/large_gensfen_multipvdiff_100_d9.binpack \
--gpus "$3," \
--threads 1 \
--num-workers 1 \
--batch-size 16384 \
--progress_bar_refresh_rate 20 \
--smart-fen-skipping \
--random-fen-skipping 3 \
--features=HalfKAv2_hm^ \
--lambda=1.0 \
--max_epochs=600 \
--default_root_dir ../nnue-pytorch-training/experiment_$1/run_$2

The second training command:

python3 serialize.py \
--features=HalfKAv2_hm^ \
../nnue-pytorch-training/experiment_131/run_6/default/version_0/checkpoints/epoch-499.ckpt \
../nnue-pytorch-training/experiment_$1/base/base.pt

python3 train.py \
../nnue-pytorch-training/data/michael_commit_b94a65.binpack \
../nnue-pytorch-training/data/michael_commit_b94a65.binpack \
--gpus "$3," \
--threads 1 \
--num-workers 1 \
--batch-size 16384 \
--progress_bar_refresh_rate 20 \
--smart-fen-skipping \
--random-fen-skipping 3 \
--features=HalfKAv2_hm^ \
--lambda=0.8 \
--max_epochs=600 \
--resume-from-model ../nnue-pytorch-training/experiment_$1/base/base.pt \
--default_root_dir ../nnue-pytorch-training/experiment_$1/run_$2

STC: https://tests.stockfishchess.org/tes...8a49ac5be798c4

LLR: 2.97 (-2.94,2.94) <-0.50,2.50>
Total: 22480 W: 2434 L: 2251 D: 17795 Elo +2.83
Ptnml(0-2): 101, 1736, 7410, 1865, 128

LTC: https://tests.stockfishchess.org/tes...8a49ac5be798ea

LLR: 2.93 (-2.94,2.94) <0.50,3.50>
Total: 9776 W: 442 L: 333 D: 9001 Elo +3.87
Ptnml(0-2): 5, 295, 4180, 402, 6

closes https://github.com/official-stockfis...fish/pull/3646

bench: 5189338

[свернуть]

https://abrok.eu/stockfish/