Stockfish и его производные

[Харлампий]

Stockfish 14
Stockfish 14 для Android
https://ufile.io/f/8ardx
https://pixeldrain.com/l/ndVpnHXc#item=1

Архив предыдущих версий: https://www.dropbox.com/sh/75gzfgu7q...UfHbBr4r_RwhGa

Официальный сайт стокфиш

Обновления тестовых версий стокфиша: http://abrok.eu/stockfish/

Сборки Stockfish и CorChess от I. Ivec

Развитие движка http://tests.stockfishchess.org/tests

Stockfish_NNUE https://github.com/nodchip/Stockfish

Сети: https://www.comp.nus.edu.sg/~sergio-v/nnue/

AsmFish

Сборки от Maratka

Компиляции движков от ChessMan

Сборка Stockfish от Otodranik

Sugar от Marco Zerbinati

Shark и Orka

О Stockfish

Цитата:

Авторы движка
Двигатель Stockfish был разработан Tord Romstad, Marco Costalba и Joona Kiiski. В настоящее время он развивается и поддерживается сообществом Stockfish.

Авторы приложений
Stockfish для Mac был собран Daylen Yang. Stockfish для iOS был собран Tord Romstad.

История
Проект Stockfish начался с движка Glaurung с открытым исходным кодом, созданного Tord Romstad. В ноябре 2008 года Марко Косталба разветвил код Glaurung 2.1 и представил Stockfish 1.0. Торд и Джоона Кииски присоединились к проекту «Стилфиш», и проект «Гларунг» постепенно исчез. Тем временем, Stockfish быстро поднялся, чтобы стать самым сильным шахматным движком с открытым исходным кодом, с частыми обновлениями каждые несколько месяцев. Сегодня он остается одним из самых сильных двигателей в мире.

О GPL
Stockfish является бесплатным и распространяется в соответствии с GNU General Public License Version 3 (GPLv3). По сути, это означает, что вы можете делать практически все, что хотите, с программой, включая ее распространение среди своих друзей, делая ее доступной для загрузки с вашего веб-сайта, продавая ее (либо самостоятельно, либо как часть некоторого более крупного программного пакета ) или использовать его в качестве отправной точки для собственного программного проекта.

Единственное реальное ограничение заключается в том, что всякий раз, когда вы каким-либо образом распространяете Stockfish, вы всегда должны включать полный исходный код или ссылку на исходный код. Если вы внесете какие-либо изменения в исходный код, эти изменения также должны быть доступны в GPL.

Для получения полной информации прочитайте GPL.

[свернуть]

[Vizvezdenec]

Цитата: Сообщение от Maratka

А на длинных контролях, от минуты?
Может и шут с ними, с этими 10-20 секунд, понятно, что если сеть умнее, но движок с ней работает медленнее, то возможны накладки именно что на коротких контролях. LZ тут отличный пример, размерности сетей растут, сила движка - растет, но видно это только на фиксированных количествах узлов, либо относительно больших контролях, да и там - при наличии приличного уровня железа. А пулять на минуте и меньше - 128*10 без особых вариантов

Это 8-ядерный тест, т.е. эффективный временной контроль тут где-то 120 секунд на партию
10 секунд он прошёл с +15 эло, минуту с +6.
Но проблемы некоторые есть, не очень понятно, с чем связанные.

[Maratka]

Цитата: Сообщение от Vizvezdenec

Это 8-ядерный тест, т.е. эффективный временной контроль тут где-то 120 секунд на партию

Вряд-ли так линейно. Понятно, что эквивалент на 8 ядрах будет более 20 секунд, но вряд-ли во столько раз более.

Другое дело, что валится почему-то именно мультипроцессорный вариант теста, а на одном ядре все шикарно получается, т.е. накладки возникают на самом важном в реальной эксплуатации движка варианте.

[Vizvezdenec]

Цитата: Сообщение от Maratka

Вряд-ли так линейно. Понятно, что эквивалент на 8 ядрах будет более 20 секунд, но вряд-ли во столько раз более.

Другое дело, что валится почему-то именно мультипроцессорный вариант теста, а на одном ядре все шикарно получается, т.е. накладки возникают на самом важном в реальной эксплуатации движка варианте.

20 * 80 = 160, я беру с учётом ослабления силы при мультипроцессинге по сравнению с прямым ускорением.
И нет, не шикарно.
Оригинальный тест был такой -
https://tests.stockfishchess.org/tes...e7f1852abd2f69
https://tests.stockfishchess.org/tes...e7f1852abd2f6f
как мы можем заметить, скейлинг так себе
В текущем тесте тоже 15 эло превратились в 5, а при ещё двукратном увеличении - в -1.
Тест просто на 8 ядер делается, т.к. если делать 180-360 секунд большинство машин не вытянут по хешу, там всего 2 гига памяти на 90% машин фиштеста.

[sergey1963]

Цитата: Сообщение от Vizvezdenec

Это 8-ядерный тест, т.е. эффективный временной контроль тут где-то 120 секунд на партию. 10 секунд он прошёл с +15 эло, минуту с +6. Но проблемы некоторые есть, не очень понятно, с чем связанные.

Я фигею, дорогая редакция... Неясно кому??? Если 8 не могут забодать одного- тут и ребенку понятно- дело в несогласованности своих действий! Вы еще 64 ядра поставьте- они молотят одно и тоже, надо уходить от ленивого поиска- переходить на согласованный- пара ядер отслеживают тактику, пара- на обычном поиске, пара- нацелена на поиск "изюминок"- крепостей, слонов Горвица, защищенных и отдаленных проходных, открытых вертикалей и т.п...
Если не заметили- уже в ноутбуках нет менее 4 ядер, а в домашнем ПК- 6, вместе с НТ это дает 8-12 потоков- и это МИНИМУМ... Посмотрите как идет согласование ядер в играх- каждой паре ядер- свои задачи.
If node was already researched at depth >= current depth and failed low there" which is more logical than the previous version and takes less space + allows to not recompute it every time during move loop- вот здесь вы просто молодца, но этого не замечали лет 10...

[Vizvezdenec]

Хватит нести фигню уже.
Если тест на 10 секундах показывает 15 эло, а на минуте 5, а на 8 ядрах по 20 секунд -1,5, то дело тут не в мультипроцессинге, а в масштабировании на бОльшие времена/глубины игр. Более чем уверен, что на 360+3.6 он тоже в минус пойдёт, просто на фиштесте это сложно проверить, т.к. у 90% машин не хватит оперативной памяти, т.к. они собраны по минимальной комплектации в датацентре noobpwnftw.
Нет, надо обязательно вылезти со своими слонами горвица и прочей фигнёй.
И да, к чему последнее утверждение? Я упростил и сделал несколько более логичным СВОЙ ЖЕ патч, который написан был 2 месяца назад.
Как можно было его 10 лет не замечать, если его и в помине в коде не было ещё в этом январе, м?
Поражает вот это вот желание, не разбираясь в сути совсем, строить какие-то утверждения в стиле "ну вы тупые, а я один тут умный, всё знаю, а вы меня не слушаете".
Напоминает тут кое-кого, кто прекратил тесты лилы против стока делать, как только у неё стали вылазить результаты не в пользу последней.

[sergey1963]

Если это был ваш патч-2-месячной давности- значит вы вообще- "вредитель Стока"...
Теперь посерьезнее- время и ядра- это одно и тоже... Да-да, в идеале в отлаженном механизме 2-кратное ускорение приводит к 2-кратному уменьшению времени. В нашем случае- 8 ядер при 1с на ход дожны быть равны 4 ядрам при 2с на ход. Но это в идеале, если не так- то понятно где собака зарыта- там и нужно искать.
И еще- я здесь не "самый умный", а умнейший и величайший- чего и вам желаю, если вы с таким же настроем будете "патчить Сток"- то успехи будут не за горами... Для примера- самое напрашивающееся- протестируйте 2 ядра по 0,1с на ход против 1 ядра по 0,2с на ход и посмотрите в чем дело, почему нет масштабирования... Ну далее- думаю понятно что делать 2-4-8-16 ядер...
Да и насчет слонов Горвица- 2 разряд здесь бы мгновенно нашел ход, а за сколько его найдет Стокфиш на 1 ядре или на 8 ядрах это будет в 8 раз быстрее?

rnb2rk1/1pq1bppp/p3p3/2npP1P1/3N1P2/2NBB3/PPP4P/R2QK2R w KQ - 0 1

[ChessMan]

Цитата: Сообщение от Vizvezdenec

20 * 80 = 160, я беру с учётом ослабления силы при мультипроцессинге по сравнению с прямым ускорением.
И нет, не шикарно.
Оригинальный тест был такой -
https://tests.stockfishchess.org/tes...e7f1852abd2f69
https://tests.stockfishchess.org/tes...e7f1852abd2f6f
как мы можем заметить, скейлинг так себе
В текущем тесте тоже 15 эло превратились в 5, а при ещё двукратном увеличении - в -1.
Тест просто на 8 ядер делается, т.к. если делать 180-360 секунд большинство машин не вытянут по хешу, там всего 2 гига памяти на 90% машин фиштеста.

А не пробовали уйти от тестирования типа X+Y и перейти к тестированию X секунд на ход?
Машины на фиштесте разные, соответственно не на всех воркерах партия длится 60+0,6... на некоторых 50+0,5 а на некоторых 70+0,7 (на FX-8150 - 90+0.9)
При фиксированном контроле привязка к нодесам будет соблюдаться более строго.
Тайм менеджмент будет вносить меньше рандомности.

[Владимир001]

Педоне 3.1 сделал хороший прыжок +99.

STAGE 1: 10s+1s (Last update 07-05-2021)

253.000 games (Clean List update 07-05-2021) Total: 1.705.000 games

[Vizvezdenec]

Цитата: Сообщение от ChessMan

А не пробовали уйти от тестирования типа X+Y и перейти к тестированию X секунд на ход?
Машины на фиштесте разные, соответственно не на всех воркерах партия длится 60+0,6... на некоторых 50+0,5 а на некоторых 70+0,7 (на FX-8150 - 90+0.9)
При фиксированном контроле привязка к нодесам будет соблюдаться более строго.
Тайм менеджмент будет вносить меньше рандомности.

Так сейчас никто и не играет 60+0.6 фактическое, и давно не играл
Делается пробный прокат для каждой машины, считается скорость, сравнивается с базой (сейчас это 1,2 mnps) и в зависимости от этого ставится разный временной контроль.
На моих машинах, когда я на фиштест их ставил ещё, LTC было 45+0.45, на каких-то древних пентиумах и до 120+1.2 доходило, как раз чтобы выравнивать "эффективный" временной контроль и не зависеть от этого.

[ChessMan]

Цитата: Сообщение от Vizvezdenec

Так сейчас никто и не играет 60+0.6 фактическое, и давно не играл
Делается пробный прокат для каждой машины, считается скорость, сравнивается с базой (сейчас это 1,2 mnps) и в зависимости от этого ставится разный временной контроль.
На моих машинах, когда я на фиштест их ставил ещё, LTC было 45+0.45, на каких-то древних пентиумах и до 120+1.2 доходило, как раз чтобы выравнивать "эффективный" временной контроль и не зависеть от этого.

Вот об этом я и написал выше.
Чтобы компенсировать разность производительности ПК, а также минимизировать влияние тайм-менеджмента на результаты теста нужно уходить от контроля времени с добавлением.
К тому же, скейлиться будет более предсказуемо.

[ChessMan]

Цитата: Сообщение от Vizvezdenec

На моих машинах, когда я на фиштест их ставил ещё, LTC было 45+0.45

У меня сейчас вот так:
CPU factor : 0.5076994740656532 - tc adjusted to 30.462+0.305

Правда не понятно почему сборки AVX512-VNNI?
У меня они медленнее чем просто AVX512...
что-то не то в коде Стокфиша, СиФиш AVX512_VNNI значительно быстрее чем просто AVX512

ЦП: 11th Gen Intel(R) Core(TM) i5-11400F @ 2.60GHz


=================
А нет, пардон - это VNNI 256 сборки... но они тоже медленнее чем AVX512... возможно даже медленнее чем просто BMI2

[ChessMan]

Цитата: Сообщение от ChessMan

возможно даже медленнее чем просто BMI2

Таки медленнее:

[Maratka]

Прошли еще два патча на новую сеть:
https://tests.stockfishchess.org/htm...e7f1852abd3016
https://tests.stockfishchess.org/htm...e7f1852abd3042

Код пересекается, так что похоже придется принимать какой-то один?

[ChessMan]

Vizvezdenec,

Worker started in C:\Users\User\Downloads\worker-setup-master\worker-setup-master\worker ...

Memory: 34189570048
Found g++ version 10.3
Worker version 98 connecting to https://tests.stockfishchess.org:443
UUID: 83ad22f3-18b0-4319-8f2a-1903da5c48f9
Start heartbeat
Fetch task...
API call rate limits: {'limit': 60, 'remaining': 60, 'reset': 1620402920, 'used': 0, 'resource': 'core'}
Worker version checked successfully in 0.200622s
Task requested in 0.464726s
Build uses default net: nn-62ef826d1a6d.nnue
Available Makefile architecture targets: ['x86-64-vnni512', 'x86-64-vnni256', 'x86-64-avx512', 'x86-64-bmi2', 'x86-64-avx2', 'x86-64-sse41-popcnt', 'x86-64-modern', 'x86-64-ssse3', 'x86-64-sse3-popcnt', 'x86-64', 'x86-32-sse41-popcnt', 'x86-32-sse2', 'x86-32', 'ppc-64', 'ppc-32', 'armv7', 'armv7-neon', 'armv8', 'apple-silicon', 'general-64', 'general-32']
Available g++/cpu properties: {'flags': ['-m128bit-long-double', '-m64', '-m80387', '-mabm', '-maccumulate-outgoing-args', '-madx', '-maes', '-malign-double', '-malign-stringops', '-mavx', '-mavx2', '-mavx256-split-unaligned-load', '-mavx256-split-unaligned-store', '-mavx512bitalg', '-mavx512bw', '-mavx512cd', '-mavx512dq', '-mavx512f', '-mavx512ifma', '-mavx512vbmi', '-mavx512vbmi2', '-mavx512vl', '-mavx512vnni', '-mavx512vpopcntdq', '-mbmi', '-mbmi2', '-mclflushopt', '-mcx16', '-mf16c', '-mfancy-math-387', '-mfentry', '-mfma', '-mfp-ret-in-387', '-mfsgsbase', '-mfxsr', '-mgfni', '-mhard-float', '-mhle', '-mieee-fp', '-mlong-double-80', '-mlzcnt', '-mmmx', '-mmovbe', '-mms-bitfields', '-mpclmul', '-mpe-aligned-commons', '-mpopcnt', '-mprfchw', '-mpush-args', '-mrdpid', '-mrdrnd', '-mrdseed', '-mred-zone', '-msahf', '-msha', '-msse', '-msse2', '-msse3', '-msse4', '-msse4.1', '-msse4.2', '-mssse3', '-mstack-arg-probe', '-mstackrealign', '-mvaes', '-mvpclmulqdq', '-mvzeroupper', '-mxsave', '-mxsavec', '-mxsaveopt', '-mxsaves'], 'arch': 'icelake-client'}
Determined the best architecture to be x86-64-vnni256

Интересно, как определяется оптимальная архитектура?

[Vizvezdenec]

По поводу архитектуры - понятия не имею.
По поводу тестов - ничего пока приниматься не будет.
Очевиден регресс на длинном временном контроле.
Мы исключили почти все возможности по всяким скейлингам всего, остаётся только вариант того, что данные по обучению низкоглубинные. Есть варианты получить более глубокие данные и обучить сеть на них, посмотреть, сравнить и т.д.
Что видно сейчас - потенциал в новой архитектуре есть. Теперь надо сделать так, чтобы это работало не только на 60+0.6.
А по поводу тайм менеджмента - как говорится, а кому он мешает? Стокфиш же не только анализирует, но и турниры играет, улучшения тайм менеджмента случаются периодически, без него тестировать было бы неправильно. Сейчас машины калибруются так, чтобы примерно всё поровну было на всех. Идеала, разумеется, достичь не удастся, но это достаточно близко.

[sergey1963]

Вот об этом я и говорю- глубина тестирования никакая. Увеличьте время на ход с 1с до 10с- получите и "более продвинутую" сеть- да ресурсов потребуется много. Но вы не одни- если не хватает китаез, поможем и мы... Сам готов отдать свои 5 ядер из 6 хоть на месяц, хоть на полгода... как в былые времена, где то там и мой миллион партий-тестов игрался на 3 ядрах...

[Владимир001]

Dragon 2 сыграл свои 22.000 игр ,все обновляется в Интернете

http://ipmanchess.yolasite.com/i9-7980xe.php

https://docs.google.com/spreadsheets...#gid=935994403

Dragon 2 avx2 получает здесь +8Elo ,Ordo +9Elo выше Dragon avx2
В то же время Dragon 2 avx2 MCTS запускает свои игры, в которых будет хороший прыжок, который можно увидеть!

[svoitsl]

Цитата: Сообщение от Владимир001

в которых будет хороший прыжок, который можно увидеть!

Интересно бы тот прыжок увидеть , хотя бы относительно обычного Дракона или хоть Стокфиша.
А то почему то его разработчики любят сравнивать с Комодо 14.1

[kruzh]

Author: EntityFX
Date: Tue May 11 19:45:14 2021 +0200
Timestamp: 1620755114

Author: Tomasz Sobczyk

Date: Tue May 11 19:36:11 2021 +0200
Timestamp: 1620754571

Author: bmc4
Date: Tue May 11 19:37:39 2021 +0200
Timestamp: 1620754659

Author: bmc4
Date: Tue May 11 19:41:44 2021 +0200
Timestamp: 1620754904

https://abrok.eu/stockfish/

[Maratka]

Цитата: Сообщение от kruzh

Author: EntityFX
Date: Tue May 11 19:45:14 2021 +0200

added support for MCST Elbrus 2000 CPU architecture
!!!

[Vizvezdenec]

Цитата: Сообщение от Maratka

added support for MCST Elbrus 2000 CPU architecture
!!!

Да, нашёлся энтузиаст какой-то Прилично быстрее на эльбрусе стал сток вроде как.

[Переяслав]

чото застопорились

[Переяслав]

Застой походу повсеместный...

[byan_mivv]

Author: bmc4
Date: Wed May 12 17:13:52 2021

https://abrok.eu/stockfish/

[StenR]

Если застой, то нужен Боря Ельцин.. Миш Горбачёвых у стока хватает

[Maratka]

Калибровку запустили, авось что-то выйдет!

[Владимир001]

https://nextchessmove.com/dev-builds...ba9673d5094c10

[Vizvezdenec]

Короче говоря, одна сеть прошла 20+0.2 на 8 ядрах, сейчас делаем 60+0.6.
А вообще для анализа, наверное, лучше использовать их обе - % ничьих между ними очень низкий, типа 89% на длинном и 91,5 на 20+0.2, в мастере 93 и 94,5% соответственно, т.е. новая сеть часть видит то, чего не видела старая, и наоборот.

[Rom77]

Цитата: Сообщение от Vizvezdenec

А вообще для анализа, наверное, лучше использовать их обе - % ничьих между ними очень низкий, типа 89% на длинном и 91,5 на 20+0.2, в мастере 93 и 94,5% соответственно, т.е. новая сеть часть видит то, чего не видела старая, и наоборот.

Похоже это вещь достаточно обычная. Ещё осенью заметил, что как правило у сетей заметно больший процент ничьих в тестах против самих себя, чем в тестах против других сетей.

[Владимир001]

https://youtu.be/4oIdm9tmf5E

Stockfish 13 NNUE (3716) vs Stockfish 12 NNUE(3696)