Stockfish и его производные

[Харлампий]

Stockfish 14
Stockfish 14 для Android
https://ufile.io/f/8ardx
https://pixeldrain.com/l/ndVpnHXc#item=1

Архив предыдущих версий: https://www.dropbox.com/sh/75gzfgu7q...UfHbBr4r_RwhGa

Официальный сайт стокфиш

Обновления тестовых версий стокфиша: http://abrok.eu/stockfish/

Сборки Stockfish и CorChess от I. Ivec

Развитие движка http://tests.stockfishchess.org/tests

Stockfish_NNUE https://github.com/nodchip/Stockfish

Сети: https://www.comp.nus.edu.sg/~sergio-v/nnue/

AsmFish

Сборки от Maratka

Компиляции движков от ChessMan

Сборка Stockfish от Otodranik

Sugar от Marco Zerbinati

Shark и Orka

О Stockfish

Цитата:

Авторы движка
Двигатель Stockfish был разработан Tord Romstad, Marco Costalba и Joona Kiiski. В настоящее время он развивается и поддерживается сообществом Stockfish.

Авторы приложений
Stockfish для Mac был собран Daylen Yang. Stockfish для iOS был собран Tord Romstad.

История
Проект Stockfish начался с движка Glaurung с открытым исходным кодом, созданного Tord Romstad. В ноябре 2008 года Марко Косталба разветвил код Glaurung 2.1 и представил Stockfish 1.0. Торд и Джоона Кииски присоединились к проекту «Стилфиш», и проект «Гларунг» постепенно исчез. Тем временем, Stockfish быстро поднялся, чтобы стать самым сильным шахматным движком с открытым исходным кодом, с частыми обновлениями каждые несколько месяцев. Сегодня он остается одним из самых сильных двигателей в мире.

О GPL
Stockfish является бесплатным и распространяется в соответствии с GNU General Public License Version 3 (GPLv3). По сути, это означает, что вы можете делать практически все, что хотите, с программой, включая ее распространение среди своих друзей, делая ее доступной для загрузки с вашего веб-сайта, продавая ее (либо самостоятельно, либо как часть некоторого более крупного программного пакета ) или использовать его в качестве отправной точки для собственного программного проекта.

Единственное реальное ограничение заключается в том, что всякий раз, когда вы каким-либо образом распространяете Stockfish, вы всегда должны включать полный исходный код или ссылку на исходный код. Если вы внесете какие-либо изменения в исходный код, эти изменения также должны быть доступны в GPL.

Для получения полной информации прочитайте GPL.

[свернуть]

[Maratka]

Цитата: Сообщение от dew

Как у вас говорится? Не попадает в аварии тот, кто не водит автомобиль?

"Не ошибается тот, кто ничего не делает" - это скорее больше похоже на то, что имеем на FishTest.

Удочку по моим замечанием можете кинуть тем, кто на FishTest'е рулит?
Авось посчитают разумным?

Кстати, есть ведь и обратная сторона: если мастер медленный, т.е. медленнее тестируемого патча на те самые 0,3%, то пройдет патч, дающий всего 0.75 Elo (исхожу из того, что граница между зеленым и желтым - 1 Elo).

Т.е. за счет банальной дельты скоростей мы можем и резать зеленые патчи, и проводить желтые.

[dew]

Цитата: Сообщение от Maratka

В смысле - условно говоря троян, прошитый в шахматный движок?

Совершенно верно.. И еще нужно понимать, что мейнтенеры самомого Стокфиша и Фиштеста - люди по сути разные.. И последнии, в последнее время, более склонны ко всяким новаторским авантюрам (мое личное мнение они навредили фиштесту последнии полтора года - начиная от того, что мой парк простаивающих Widows 2003 Sever больше не может принимать участия в тестировании в принципе)

[dew]

Цитата: Сообщение от Maratka

Удочку по моим замечанием можете кинуть тем, кто на FishTest'е рулит

У меня с ними крайне напряженные отношения, ввиду того, что я крайне харизматичный и действительно конфликтный человек. Так что сам ;-)

[Maratka]

Ну посмотрим. Я не стану, у меня и английский через Гугл, да и сам я пожалуй более конфликтный, как минимум по отношению к явным придуркам: мне не заржавеет назвать придурка придурком, и позвать админов его забанить в матерной форме. В результате - мне предлагают уйти с форума, ибо я нарушаю правила форума (матерюсь, типа никто этого языка не знает, он какой-то особый, не русский, и не используемый в русском), а известный многим тут человек - не нарушает. Вот такие порядки. :D


Но это все оффтотоп.
По теме: может Vizvezdenec что-то сообразит, прочитав нашу беседу?

[dew]

Цитата: Сообщение от Maratka

у меня и английский через Гугл

Это не страшно. Я сам всю жизнь изучал немецкий и русский. Если что-то хочется даже через Гугл смело можно тут (и все так делают, особенно индусы):

https://groups.google.com/forum/?fro...um/fishcooking

Ну да могут в ответ подстебнуть, в том числе и я - но обращать на это внимание, стоит лишь в позитиве (понять что не так, и всему научишься краще многих). И нормально ты ишью ка-то раз создал в стокфише, просто у тебя на том момент не было понимания про консерватизм разработчиков - а это вообще другая история (не про языковой барьер).

[Maratka]

Цитата: Сообщение от dew

Ну да могут в ответ подстебнуть, в том числе и я - но обращать на это внимание, стоит лишь в позитиве (понять что не так, и всему научишься краще многих). И нормально ты ишью ка-то раз создал в стокфише, просто у тебя на том момент не было понимания про консерватизм разработчиков - а это вообще другая история (не про языковой барьер).

Я создавал вроде-то три...

Один - что SF жужжит в явной позиции условно 10% от имеющегося у него времени.
Вторую помню - не собирался у меня бинарь на днях, после того, как добавили новые модули (их у меня банально в проекте не было, пришлось добавить вручную, естественно после этого все заработало).
Третий - падение SF при недостатке стековой памяти (проявлялось на зверски высоких глубинах, которые редко бывают даже в эндшпилях). Нашел с подсказки разработчиков нужный флаг - все с тех пор шикарно, но это оказалось было уже задокументировано. Но эту багу создавал Vizvezdenec по моему описанию, я потом уже подключился...

Что до английского - перевод был явно топорный, чтобы он стал нормальным, пришлось обходится т.н. "Basic Russian" (по аналогии с "Basic English", на котором написана например Библия для всяких там туземцев).

________
Кстати читал ее... действительно читается относительно легко (по всей видимости, что-то около Basic English я таки владею).


____
Какую ты имеешь в виду?

[dew]

Цитата: Сообщение от Maratka

да и сам я пожалуй более конфликтный, как минимум по отношению к явным придуркам

Если что, на самом деле - мейнтенеры фиштеста - обычные нормальные люди.. А отношения между нами (как всегда вышли на личностный характер)) Они несколько раз меня заставили поноситься(как проститука через дорогу) по туевой хуче серверов все перенастраивая - получив от меня фидбэк в неадекватной форме.. Мы не ссоримся, но каждый раз в разговоре идет подстеб кто кого как назвал и куда отправил )

[Vizvezdenec]

Там делается измерение скорости и соответственно подстраивается временной контроль. У меня, например, длинный временной контроль не 60+0.6, а типа 48+0.48, т.к. мои машины быстрее, чем 1,5 mnps на ядро.
Партии играются на вашей машине, причём друг против друга играются на одном и том же ядре, так что даже если оно просело по скорости - просядут оба движка. Единственное что - если сильно просело, то будут проигрыши по времени, но тогда сильно упадёт % ничьих и эта машина просто забракуется в тесте - там есть параметр residual, если он будет больше 5 - машина автоматически выкидывается из теста, как только он закончится.
Ну кстати ещё могу сказать, что там прямо в рекомендациях написано - машину, которую вы кидаете на фиштест, левыми задачами лучше не грузить, ну и если дать бинарю поставить настройки на автомате, у меня 2-4 ядерные машины закидывают соответственно 1 и 3 ядра, чтобы оставалось одно под другие задачи.
А по поводу того, что админы фиштеста испортили - я не согласен. Да, конечно, печально, что на вин сервер 2003 в 2020 году фиштест не запустить, зато:
Допилили интерфейс, очень много нужных кнопок удобных появилось, как то "стандартный STC, стандартный LTC, стандартные короткие длинные SMP", границы SPRT появились по кнопкам, так что их не надо вводить руками, тюнинг теперь не лагает, когда там тюнится 200 параметров на 200 ядрах - раньше фиштест просто вис в случае, если ему грузили такую задачу, теперь стресс тест делали на 30000 ядер - сервер их тянет без лагов, в то время как раньше после 5000 вис намертво и отказывался обновлять страницу и применять новые тесты и т.д.
Прибавили опции сортировки, в общем как разработчику стало гораздо удобнее всем этим пользоваться, прямо в разы, потому что раньше 2 дней не проходило, чтобы кто-то не перепутал границы SPRT/временной контроль/количество ядер/инкремент/хэш и бог знает что ещё, ну а что при попытке китайца разгрузить очередь, добавив машин, сервер просто ложился на 12 + часов, вы сами видели не раз, а найти, допустим, какой-нибудь жёлтый LTC тест недельной давности было задачей на полчаса
Поэтому оставьте мейнтейнеров фиштеста в покое, они очень много классных вещей сделали, ну что мы лишились 20-50 старых ядер - это, конечно, печально, но не смертельно.

[Maratka]

Цитата: Сообщение от Vizvezdenec

Там делается измерение скорости и соответственно подстраивается временной контроль. У меня, например, длинный временной контроль не 60+0.6, а типа 48+0.48, т.к. мои машины быстрее, чем 1,5 mnps на ядро.

Разово, на данном железе, или при каждом запуске ядер?

Разница принципиальная.
Я уж молчу что термоинтерфейс сохнет, чип греется, и частоты падают.

Главное - кол-во ядер, которые выделяются на тест.

Скажем Вы выделяете сегодня одно ядро, а завтра - три.
А у Вас ноутбук. Т.е. (ну всем в общем-то известно), что частота на одном потоке будет выше, чем на трех.

И это без учета "моих" 0,3%, ибо они тут вообще мусор, в описанном случае однопоточная производительность на каждый матч может плясать на добрых 30%, ибо у Вас процессор на одном потоке будет пахать где-то в районе 4 Ghz, а на трех потоках - около 3 GHz.

Цитата: Сообщение от Vizvezdenec

они очень много классных вещей сделали, ну что мы лишились 20-50 старых ядер - это, конечно, печально, но не смертельно.

Тут не нужно путать - старые ядра, и вполне достаточные архитектурно ядра на старой ОС. IMHO...
Понятно, что на 2003 сервере недоступны AVX+, но... а чистый x64 тогда для кого собирают?

[Maratka]

Цитата: Сообщение от Maratka

И это без учета "моих" 0,3%, ибо они тут вообще мусор, в описанном случае однопоточная производительность на каждый матч может плясать на добрых 30%, ибо у Вас процессор на одном потоке будет пахать где-то в районе 4 Ghz, а на трех потоках - около 3 GHz.

Скажем, если привлечь мой FX - то все будет очень гладко: минимальная частота 4.0, пиковая на одном ядре, которая бывает редко - 4,3, типовая - 4,1.

А вот на ноутах пляска частот в зависимости от кол-ва нагруженых ядер зверская, ибо там очень большой упор в систему охлаждения, которая физически не может обрасти килограммовым радиатором... :(

[dew]

Цитата: Сообщение от Vizvezdenec

Поэтому оставьте мейнтейнеров фиштеста в покое, они очень много классных вещей сделали, ну что мы лишились 20-50 старых ядер - это, конечно, печально, но не смертельно.

А я вроде как даже и не стал публично бомбить по этому поводу? Ток все улучшения - это в веб-интерфейсе (фронтэнд). А вот что лучше стало на бэкеде - там где питон-не-понятно-какой-версии-рекомендован - что там стало-то лучше хоть на грамм, кроме ограничений? И не вижу такой тесной связи между фронт-энд и бэк-энд именно в рамках фиштест.

[dew]

Цитата: Сообщение от Maratka

"Basic Russian" (по аналогии с "Basic English", на котором написана например Библия для всяких там туземцев).

Basic English - я про него узнал от китайцев - и понял, что это крутая тема..
Касательно туземцев - нормальное слово - в своей стране ты туземец, а в местности которой живешь - еще и абориген )

[Maratka]

[Maratka]

Цитата: Сообщение от dew

Basic English - я про него узнал от китайцев - и понял, что это крутая тема..

Реально крутая!
Фактически - урезанный до минимума диалект английского.
https://ru.wikipedia.org/wiki/%D0%91...BB%D0%B8%D1%88

Сравнение на основе Библии:

[dew]

О Windows 2003 в 2020 году.. А что тогда молчать о с++11 в 2020?

[Vizvezdenec]

Цитата: Сообщение от dew

А я вроде как даже и не стал публично бомбить по этому поводу? Ток все улучшения - это в веб-интерфейсе (фронтэнд). А вот что лучше стало на бэкеде - там где питон-не-понятно-какой-версии-рекомендован - что там стало-то лучше хоть на грамм, кроме ограничений? И не вижу такой тесной связи между фронт-энд и бэк-энд именно в рамках фиштест.

Сервер держит 30000 ядер без лагов, хотя раньше намертво вис на 5 - не знаю, может быть на старой версии питона это было невозможно? Совершенно не спец, но...
Кстати, раньше ещё сервер стабильно раз в месяц ложился из-за того, что перегружался кэш и что-то там, сейчас такого нет... Я как бы в питоне просто бревно бревном, улучшения вижу как пользователь, мне нормально

[dew]

Цитата: Сообщение от Maratka

Фактически - урезанный до минимума диалект английского.

Проще общаться между не нейтив-спикерами - друг друга понимаем на раз два..

Вот смотрел тут как-то Матрицу на английском.. От агента сминта - "Ю вонт!" Перевожу в мозгах как "ты хочешь"... Чего хочешь? К чему это? Плохо сплю, просыпаюсь и понимаю - что это было "You wan't" == "You will not!!!"

[dew]

Цитата: Сообщение от Vizvezdenec

Сервер держит 30000 ядер без лагов, хотя раньше намертво вис на 5 - не знаю, может быть на старой версии питона это было невозможно? Совершенно не спец, но...
Кстати, раньше ещё сервер стабильно раз в месяц ложился из-за того, что перегружался кэш и что-то там, сейчас такого нет... Я как бы в питоне просто бревно бревном, улучшения вижу как пользователь, мне нормально

Да я не спорю про сервер, я про воркеров - воркеры и сервер существуют в рамках в фиштест самостоятельно.. И вообще сервер хоть на ява напиши со всеми припамбасами которые ты описал, мой клиент-воркер на том же питоне - его вообще как-то касается кроме протокола, чтобы так ломать?

[Maratka]

Тут как бы... а может просто ядер/памяти добавить?
Я не против программной оптимизации, более того - всецело за, но если она обходится дорого, а поменять условные 8 ядер Xeon на 16 Ryzen обойдется дешевле - то почему бы и не вариант?

[dew]

Цитата: Сообщение от Maratka

Тут как бы... а может просто ядер/памяти добавить?
Я не против программной оптимизации, более того - всецело за, но если она обходится дорого, а поменять условные 8 ядер Xeon на 16 Ryzen обойдется дешевле - то почему бы и не вариант?

Я так скажу, я фиштесту отдаю устаревшие сервера, нагрузки на которые нет, так как они "легаси" - но они останутся такими как есть (без всякого апгрейда), так как они все равно обслуживают мои обязательства перед клиентами.. Нормальные(современные) сервера в фиштест не отдаются - они зарабатывают деньги, ибо мне тоже нужно есть гречку и я ее люблю (она полна клетчаткой)

[Maratka]

Т.е. таки "дурной" код?
Тогда да, Vizvezdenec прав: без его правки не то что 20-30 тыс. ядер не вышло бы задействовать, а и 2-3 тысячи: в целом бы работало, но на пике (одновременно скажем 200 результатов партий в минуту), которые нужно раскидать по... могло бы и захлебнуться. Это чисто условно, как пример "бутылочного горлышка", когда все вроде бы и работает в среднем и в целом, но иногда (раз в неделю) падает.

_____
offtop, но таки... на моем ПО было падение стабильное раз в 2,5 дня.
Нашел, запустив программу под отладчиком, обычное переполнение а-ля "int".
Решил сбрасыванием регистра в предыдущий максимум, если он чрезмерно большой (он отвечал за всплывающее в трее сообщение, по принципу раз в 30 минут, потом в 60, потом в 120... и т.д по прогрессии).
Ну т.е. чтобы оно и не надоедало, и таки напоминало потребителю. Вышло так, что через 2-3 дня оно переполнялось. А по уму, раз в 2-3 дня напомнить -это и не сильно вроде бы надоедать, и пользователь таки уведомлен.

[dew]

Цитата: Сообщение от Maratka

Т.е. таки "дурной" код?
Тогда да, Vizvezdenec прав: без его правки не то что 20-30 тыс. ядер не вышло бы задействовать, а и 2-3 тысячи: в целом бы работало, но на пике (одновременно скажем 300 результатов партий в секунду) - могло бы и захлебнуться. Это чисто условно, как пример "бутылочного горлышка", когда все вроде бы и работает в среднем и в целом, но иногда (раз в неделю) падает.

Вот и ты не понимаешь... Ну сделали сервер супер-пупер (спору нет).. Он дежит нагрузку.. Но для клиентской части увеличили требования, которые никак не влияют на удержания нагрузки серверной части.. Это вообще два разных мира - но почему-то получается: каша, мед, говно и пчелы..

[dew]

Да и если китаец найдет бизнес-применение своим ядрам - нужно будет еще поискать их (кроме флотилий не особо то прибавляется количество воркеров из года в год)

[Maratka]

Цитата: Сообщение от dew

Вот и ты не понимаешь... Ну сделали сервер супер-пупер (спору нет).. Он дежит нагрузку.. Но для клиентской части увеличили требования, которые никак не влияют на удержания нагрузки серверной части.. Это вообще два разных мира - но почему-то получается: каша, мед, говно и пчелы..

Ну почему не понимаю?
Там предельно ясно: для учета партий движка SF это считается нормально, а для прогона патчей - не очень.

Откуда оно тоже вроде бы понятно: на сервере 2003 не может быть Core на архитектуре Skylake, и даже ниже - Haswell маловероятен. А то что там было (уровень Athlon x2/x4 либо Core 2 Duo/Quad - оно малоактуально, ибо.. ну кто им пользуется на сегодня? В реальных шахматах, не в гипотетических 1 на 300 потребителей?

Т.е. на Вашем оборудовании невозможно не то что BMI2, а и POPCNT инструкции проверить, а "голый" x64 на сегодня малоинтересен, ибо железа такого уже и не осталось то...

[dew]

@Maratka все-же, не понимаешь.. Смотри могу показать высокопроизводительный сервер 64-bit, но уже и фиштест на нем не запустится.. Да, потому что я его обновлять не буду.. Но все же потрудись и пойми почему, не запустится, а мог бы(и еще как) - если бы не "политка" фиштест:

$ ldd /home/dew/fishtest/worker/testing/cutechess-cli
/home/dew/fishtest/worker/testing/cutechess-cli: /lib64/libc.so.6: version `GLIBC_2.16' not found (required by /home/dew/fishtest/worker/testing/cutechess-cli)
/home/dew/fishtest/worker/testing/cutechess-cli: /lib64/libc.so.6: version `GLIBC_2.17' not found (required by /home/dew/fishtest/worker/testing/cutechess-cli)
        linux-vdso.so.1 (0x00007fff63fff000)
        libz.so.1 => /lib64/libz.so.1 (0x00007f56e0566000)
        libdl.so.2 => /lib64/libdl.so.2 (0x00007f56e0362000)
        libglib-2.0.so.0 => /usr/lib64/libglib-2.0.so.0 (0x00007f56e0026000)
        libpthread.so.0 => /lib64/libpthread.so.0 (0x00007f56dfe09000)
        libstdc++.so.6 => /usr/lib/gcc/x86_64-pc-linux-gnu/4.9.3/libstdc++.so.6 (0x00007f56dfaf5000)
        libm.so.6 => /lib64/libm.so.6 (0x00007f56df7ff000)
        libgcc_s.so.1 => /lib64/libgcc_s.so.1 (0x00007f56df5e8000)
        libc.so.6 => /lib64/libc.so.6 (0x00007f56df23e000)
        /lib64/ld-linux-x86-64.so.2 (0x00007f56e077d000)
        librt.so.1 => /lib64/librt.so.1 (0x00007f56df035000)

И такие сервера уходят.. Но ничего не поделаешь.. Так просто объясню - не смотря на то, что фиштест (как и сам стокфиш) строятся на юпенсурсь, но именно cutechess они деплоят нагло в качестве бинарей..

[Maratka]

В общем, имею чисто технический вопрос к Vizvezdenec:
как обрабатываются нюансы при компиляции тестовых сборок против мастера по части скорости?
Ну 0,03% это наверное все же пик, но 0,01 - 0,015 - обычное дело.

Калибруется ли на FishTest перед запуском теста каждый раз, или только разово, при ее вхождении под неким nik_name (т.е. если этот nik_name поменял железку, то... что будет)?

Как он калибруется от частоты одного и того же процессора в зависимости от количества потоков на нем (общий принцип - чем больше потоков, тем меньше частота, это я описал выше).

Как они калибруются в зависимости от архитектуры ( на AMD FX в топе 8 ядер (16 у сервера), но только 4 FPU (8 у серверного Opteron)), т.е. любой AMD FX покажет очень сильно разную скорость в зависимости от кол-ва потоков, и %% использования FPU, вплоть до 30-40% снижения скорости при переходе от 4 к 8 потоков на 8-ядерном процессоре, если FPU используется действительно сильно.

[Maratka]

Цитата: Сообщение от dew

@Maratka все-же, не понимаешь.. Смотри могу показать высокопроизводительный сервер 64-bit, но уже и фиштест на нем не запустится.. Да, потому что я его обновлять не буду.. Но все же потрудись и пойми почему, не запустится, а мог бы(и еще как) - если бы не "политка" фиштест

Не разбираюсь в этом, извини!

Желудком чувствую, что лучше проверить нативный код x64 против него же, чем отбрасывать его просто потому, что он "устарел".
Да и если устарел - то ну на кой собирать ветку x86, которая заведомо устарела еще больше?

Но видать есть так какие-то причины.
Какие? Все же тебе лучше попытаться плавно, потихоньку, и с минимальным уровнем ругателства узнать. Как ты понимаешь, я туда вообще не влезу, и вообще - мало кто влезет.

[dew]

@Maratka Я понимаю так, обрати внимание на реакцию Виза, что отлетела куча машин - хер бы с ним.. В отличае от мейнтейнеров Стокфиша, фиштест мейнтейнеры поступают более жестко - они на протяжении месяцев разрабатываю "гениальный" код без тестирования.. Потом когда его в гордости деплоят - осознают что не все так гладко - но исправлять это дело уже не будут (создан гениальный код на своем современном железе - и теперь что? к разбитому корыту и заново? Нет.. они потратили свое время и значит так и будет)

[Maratka]

Цитата: Сообщение от dew

@Maratka Я понимаю так, обрати внимание на реакцию Виза, что отлетела куча машин - хер бы с ним..

Не так.
У него свое мнение, у тебя - свое. Докажи свою правоту (или как минимум- неправоту оппонента).
Рычаги у тебя есть есть: если ты уберешь свои машины вовсе, то FishTest захлебнется без китайца (nob вроде ник)?
А сможет ли он это компенсировать - не факт, ибо если бы мог, всегда бы держал свои ~700 ядер (или сколько там есть без твоих)?
Видать таки не может, т.е. у него запросто с одной стороны выдать 20 тысяч, но пиково, на несколько часов в день, т.е ~30 часов в неделю (т.е фактически один день в неделю). А с другой стороны, постоянно он не может поддерживать и 2000 (возможно ошибаюсь, кто знаком со статистикой - поправьте пожалуйста).

Хватит ли этого, чтобы разгребать "текучку"? Посмотрим - узнаем!

И да, это не шантаж, это простая просьба "объясните, чем мои ядра вам не нравятся"?

[dew]

Цитата: Сообщение от Maratka

Рычаги у тебя есть есть: если ты уберешь свои машины вовсе, то FishTest захлебнется без китайца (nob вроде ник)?

Ты сейчас смеешься? Я О-малое от этого китайца, к тому же он, реально уважаемый человек, который один из многих в этом мире сделал открытия для шахмат в мировом маштабе..