Stockfish и его производные

[Харлампий]

Stockfish 14
Stockfish 14 для Android
https://ufile.io/f/8ardx
https://pixeldrain.com/l/ndVpnHXc#item=1

Архив предыдущих версий: https://www.dropbox.com/sh/75gzfgu7q...UfHbBr4r_RwhGa

Официальный сайт стокфиш

Обновления тестовых версий стокфиша: http://abrok.eu/stockfish/

Сборки Stockfish и CorChess от I. Ivec

Развитие движка http://tests.stockfishchess.org/tests

Stockfish_NNUE https://github.com/nodchip/Stockfish

Сети: https://www.comp.nus.edu.sg/~sergio-v/nnue/

AsmFish

Сборки от Maratka

Компиляции движков от ChessMan

Сборка Stockfish от Otodranik

Sugar от Marco Zerbinati

Shark и Orka

О Stockfish

Цитата:

Авторы движка
Двигатель Stockfish был разработан Tord Romstad, Marco Costalba и Joona Kiiski. В настоящее время он развивается и поддерживается сообществом Stockfish.

Авторы приложений
Stockfish для Mac был собран Daylen Yang. Stockfish для iOS был собран Tord Romstad.

История
Проект Stockfish начался с движка Glaurung с открытым исходным кодом, созданного Tord Romstad. В ноябре 2008 года Марко Косталба разветвил код Glaurung 2.1 и представил Stockfish 1.0. Торд и Джоона Кииски присоединились к проекту «Стилфиш», и проект «Гларунг» постепенно исчез. Тем временем, Stockfish быстро поднялся, чтобы стать самым сильным шахматным движком с открытым исходным кодом, с частыми обновлениями каждые несколько месяцев. Сегодня он остается одним из самых сильных двигателей в мире.

О GPL
Stockfish является бесплатным и распространяется в соответствии с GNU General Public License Version 3 (GPLv3). По сути, это означает, что вы можете делать практически все, что хотите, с программой, включая ее распространение среди своих друзей, делая ее доступной для загрузки с вашего веб-сайта, продавая ее (либо самостоятельно, либо как часть некоторого более крупного программного пакета ) или использовать его в качестве отправной точки для собственного программного проекта.

Единственное реальное ограничение заключается в том, что всякий раз, когда вы каким-либо образом распространяете Stockfish, вы всегда должны включать полный исходный код или ссылку на исходный код. Если вы внесете какие-либо изменения в исходный код, эти изменения также должны быть доступны в GPL.

Для получения полной информации прочитайте GPL.

[свернуть]

[Vizvezdenec]

http://tests.stockfishchess.org/test...661e2e6a340d75
А вот обратный патч

[Maratka]

Мда... т.е. если убрать новый код, то "не хуже", а если добавить - оказывается лучше :(

Действительно что-то не так с самой системой, и нужен откат до старых правил, либо даже чуть более жестких.
Надеюсь, получится это продавить!


_____
Кстати, с год назад тоже правила менялись, в надежде на ~100 ELO в год.
Они не могут также влиять?

[Vizvezdenec]

http://www.fastgm.de/h2h3600.html
Stockfish 10 нанёс 11 больше поражений, чем 9 сильнейших не-SF движков, вместе взятые.

[Maratka]

Цитата: Сообщение от Vizvezdenec

Stockfish 10 нанёс 11 больше поражений, чем 9 сильнейших не-SF движков, вместе взятые.

Ну тесту еще месяц-три длиться...
Процент очков - у SF10 -77.8%, у SF11 74.2%, т.е. понятно, что 11-й против "хвостов" не играл, да это и по списку оппонентов видно.

[Maratka]

Прошли еще два теста:
http://tests.stockfishchess.org/test...661e2e6a342555
http://tests.stockfishchess.org/test...661e2e6a34254c

Их "упрощение" есть?

[Rom77]

В общем, по итогам тестирования мне думается, что для новых элогейнеров нужно и уменьшать доверительный интервал, и вводить третью ступень проверки - аналогичную проверкой упрощающим патчем, но только с более жесткими интервалами.

Конкретно по цифрам мне видятся следующие диапазоны. Для LTC изменить диапазон на {0.00, 1.40} , чтобы проходили патчи свыше +0,7 эло, а не как сейчас при превышении +1,0 эло. Количество партий не слишком возрастет. Надежность не изменится, но появится больше возможностей для улучшений. При прохождении LTC, патч становится кандидатом.

И третья ступень, с упрощающим патчем {-0.80, 0.00} . Диапазон жесткий, партий много, но это не так важно поскольку патчей-кандидатов, после двух предыдущих ступеней, останется считанные единицы. В то же время критерий прохождения патча снизится до всего лишь +0,4 эло, что позволит не снижать существенно шансы патчей прошедших LTC, если они реальные элогейнеры.

P.S. Или можно взять интервалы немного жестче. Например {0.20, 1.20} для LTC и {-0.70, -0.10} для третьей ступени. Надежность повысится, но соответственно и возрастет необходимое количество партий для теста.

[Alex_Zet]

Цитата: Сообщение от Rom77

уменьшать доверительный интервал, и вводить третью ступень проверки

Сладкие речи из вражеского стана. И все это накануне Премьер, Суперфинала и нового чемпионства Стока. Не знаю не знаю... Ну давайте по пять раз станем одно и тоже перепроверять, терять время на пустом, вместо того что бы двадцать, тридцать новых патчей. Мое мнение, вообще ничего не проверять, брать все подряд. Насколько больше пользы будет от 300 - 500 упрощающих патчей, чем от одного проверяного, тут и гадать нечего.
Да и потом, взял стоковский экзешник, ровно половину кода удалил, и все равно Сток у меня всех чешет. Архив скину позже.
Так что рано, рано вы хороните.

[Viktor]

Alex_Zet, если вы специалист, то занимайтесь, а если простое трепло, то лучше помолчите и не мешайте другим.

[Vizvezdenec]

As a result I propose:

standard STC {-0.5, 1.5} -> 50% pass rate at 0.5 Elo (100k games), 1% pass rate at -1.0 Elo
standard LTC {0.25, 1.75} -> 50% pass rate at 1.0 Elo (137k games), 0.3% pass rate at -0.5 Elo
simplification STC/LTC {-1.5, 0.5} unmodified.

Ну вот что vondele предлагает.

[Rom77]

Цитата: Сообщение от Vizvezdenec

standard LTC {0.25, 1.75} -> 50% pass rate at 1.0 Elo (137k games), 0.3% pass rate at -0.5 Elo

Жаль, что патчи с реальной прибавкой +0,6...+0,8 эло теперь будут реже проходить тест.

[Vizvezdenec]

Ну тут уже ничего не сделаешь как бы.
Разве что сужать границы, но тогда патчи будут очень долго сходиться.

[Rom77]

Цитата: Сообщение от Vizvezdenec

Ну тут уже ничего не сделаешь как бы.

Я предлагал решение выше. Трехступенчатую систему. Она тем более выгоднее, что со временем доля "малоприбавляющих" патчей будет увеличиваться.

[Maratka]

А откат кода сделали?
Вот сейчас пройдет патч поверх непойми чего, его куда добавят?
И что будет считаться хорошим итогом этого патча - отсутствие минуса в регрессе? ;)

IMHO, откатить разумнее. А там уже разбираться с каждым отдельно, т.е. по сути - перетестировать против SF11, и если пройдет - то следующий тестировать против SF11 плюс предыдущий патч, в том порядке, как они и шли после релиза 11-й версии.

[Vizvezdenec]

PR на откат есть, заапрувят вечером.

[Vizvezdenec]

http://tests.stockfishchess.org/test...e1ecae66ec2aab
Кстати говоря, вот ещё упрощение патча прошло одного.

[Омегазеро]

Цитата: Сообщение от Rom77

уменьшать доверительный интервал

Вы поймите наконец, что те цифры, которые вы называете доверительным интервалом, на самом деле им не являются

Для тестирования по линейной матрице нужно строить новую вероятностную модель для определения этого интервала

Либо тестировать по прямоугольной матрице, но для нее тоже нужно строить свою вероятностную модель

[Омегазеро]

Цитата: Сообщение от Viktor

простое трепло

Скажите пожалуйста, а как можно вести дискуссию, если люди не только не знают, но даже не хотят знать, как правильно определяется ошибка Эло?

И когда это вскрывается, продолжают упорствовать?

Их даже не удивляло отсутствие аддитивности Эло для патчей, пока не подкрался пушистый зверек

[Maratka]

Цитата: Сообщение от Омегазеро

Их даже не удивляло отсутствие аддитивности Эло для патчей, пока не подкрался пушистый зверек

А кто сказал, что не удивляло?

Я уже добрый год после чуть ли не каждого регресса пишу, что "мало", не могут пять подряд регрессов идти с +2, при сумме патчей в +8. Понятно, что каждый патч - это диапазон, да и он лишь с 95% вероятностью, но так чтобы +2 ELO за пять регрессов подряд, по ~5 патчей по ~2 ELO в каждом - не может быть!
Ну т.е. конечно может, но это настолько маловероятно, что на жизни даже сотни поколений людей шанс выпасть - один!

А по весне оно вообще ребром стало, и не писал про эту "странность" только самый ленивый, а таковых у нас тут ни души нет.

[Vizvezdenec]

Зачем с Вами о чём-то дискутировать, если все ваши "предложения" - тестировать патчи на выборке в 30 игр со стартовой позиции?
Alayant делал тест, где он натюнил текущие параметры стокфиша на +100 эло во французской, т.е., считайте, в стартовой позиции.
Ну так вот если давать что угодно, кроме неё - это сильный регресс. Зато в ней +100 эло.
Примерно аналогично работают и всякие тактические версии, которые классно решают тестпозиции, зато во всём остальном играют гораздо хуже, поэтому и в сумме как для анализа, так и для реальной игры пригодны хуже.

[Maratka]

Цитата: Сообщение от Vizvezdenec

Зачем с Вами о чём-то дискутировать, если все ваши "предложения" - тестировать патчи на выборке в 30 игр со стартовой позиции?

Ну это... я не предлагал такого!

[Омегазеро]

Цитата: Сообщение от Vizvezdenec

Зачем с Вами о чём-то дискутировать, если все ваши "предложения" - тестировать патчи на выборке в 30 игр со стартовой позиции

Скажите, как с вами дискутировать, если вы врете?

Я предлагала тестировать патчи с прямоугольной матрицей - 400 дебютов по 100 игр каждый или 200 дебютов по 200 игр каждый

Я предлагала в дополнение к тесту с дебютами второй тест - без них

Я предлагала тестировать не только Стокфиш против Стокфиша, но и Стокфиш против Лилы

Вот это были настоящие предложения. В ответ начались рассуждения, что видеокарты нельзя поставить в стойку, что большинство тестировщиков - серверы, что по ночам Стокфиш тестируют полинезийские рыбаки и т.п.

То есть был явный троллинг вместо обсуждения предложений. И сейчас тоже.

[Vizvezdenec]

Цитата: Сообщение от Maratka

Ну это... я не предлагал такого!

А я и не про Вас
А ещё забавно, но факт.
Лила на 1 узле/ход в блиц способна обыгрывать человека с 2300 эло (проверяли).
Человек с 2300 эло легко обыгрывает в блиц 2000 альфабета движок.
Который легко обыгрывает Лилу на 1 узле/ход.
Теперь делаем из каждого из них патч и по кругу пускаем - эло растёт в бесконечность, ведь у нас суммируются прибавки эло в каждом случае, как рассказывает нам омегазиро.

Почему-то у Лилы на сетях 30 (по-моему) селфплей эло выросло на 3000, а реальное эло выросло на 0 в своё время. Тоже прибавки эло просуммировались? А ведь там даже набор дебютов был одинаковый в каждом случае, такие вот дела.

[Maratka]

Цитата: Сообщение от Vizvezdenec

А я и не про Вас

He, ну потом я задним числом понял..., открыл закрытие сообщения барышни, но хорошо бы цитировать сообщение, на который ответ... иначе того... непонятки

[Maratka]

Цитата: Сообщение от Vizvezdenec

Лила на 1 узле/ход в блиц способна обыгрывать человека с 2300 эло (проверяли).
Человек с 2300 эло легко обыгрывает в блиц 2000 альфабета движок.
Который легко обыгрывает Лилу на 1 узле/ход.
Теперь делаем из каждого из них патч и по кругу пускаем - эло растёт в бесконечность, ведь у нас суммируются прибавки эло в каждом случае, как рассказывает нам омегазиро.

Ну это классика, "A" имеет "B", который в свою очередь "С", а "C" без проблем осиливает "A".

[Vizvezdenec]

Я тут пока попробую потрогать новые границы SPRT (ну по крайней мере те, что vondele предложил) с вроде бы перспективной идеей.
https://github.com/Vizvezdenec/Stock...8855...825092e

[Maratka]

Цитата: Сообщение от Омегазеро

Я предлагала тестировать патчи с прямоугольной матрицей - 400 дебютов по 100 игр каждый или 200 дебютов по 200 игр каждый

SF как я понял, учится играть "не дебюты", а "шахматы". Т.е. для него идеально было бы 4-6, а то и 8 ходов со всеми возможными вариантами.

Ну вот так вот... Главным разработчикам интересно именно это.
Кто считает, что это неверно - ну может тестировать по Вашей методике, получит сначала клон, а спустя некоторое время - параллельную ветку развития SF'ша.

Кто прав: можно узнать по матчу-дуэли через год-два после разделения веток. Мне бы оно даже интересно было бы!

[Владимир001]

Author: Joost VandeVondele
Date: Fri Jan 31 19:48:44 2020 +0100
Timestamp: 1580496524

Отменить 5 последних исправлений

Вернуть 5 патчей, которые были объединены, но привести к регрессионному тесту, который показал отрицательный прирост Elo:

http://tests.stockfishchess.org/test...2d69d58394fdb9

Это было подробно обсуждено в:

https://github.com/official-stockfis...sh/issues/2531

Каждый патч был удален и протестирован как упрощение, полный список ниже, а также вся комбинация.

После отката регрессионный тест показал нейтральный результат:

http://tests.stockfishchess.org/test...8b13464ceea33c

В результате этого опыта границы тестирования SPRT будут сделаны более строгими.

Откатить патчи:

1 динамическая сложность 6d0eabd5fe2961551477820ab7619e2c31e01ffd :

STC 10+0.1 https://tests.stockfishchess.org/tes...661e2e6a340d08 :
НЛИ: 2.97 (-2.94,2.94) {-1.50,0.50}
Итого: 38130 Вт: 7326 Л: 7189 Д: 23615 Эло +1.25
Ptnml(0-2): 677, 4346, 8843, 4545, 646

LTC 60+0.6 https://tests.stockfishchess.org/tes...661e2e6a340d73 :
НЛИ: 2.94 (-2.94,2.94) {-1.50,0.50}
Итого: 38675 Вт: 4941 Л: 4866 Д: 28868 Эло +0.67
Ptnml(0-2): 270, 3556, 11429, 3584, 291

Еще 3 бонуса для bestMoves на прошлых узлах PV 71e0b5385e2717679a57c6b77d8c7ac5fff3b89f :

STC 10+0.1 https://tests.stockfishchess.org/tes...661e2e6a340d10 :
НЛИ: 2.95 (-2.94,2.94) {-1.50,0.50}
Итого: 46100 Вт: 8853 Л: 8727 Д: 28520 Эло +0.95
Ptnml(0-2): 796, 5297, 10749, 5387, 813

LTC 60+0.6 https://tests.stockfishchess.org/tes...661e2e6a340d71 :
НЛИ: 2.96 (-2.94,2.94) {-1.50,0.50}
Итого: 16920 Вт: 2161 Л: 2055 Д: 12704 Эло +2.18
Ptnml(0-2): 115, 1498, 5006, 1569, 130

4 твик ограничен сдельно-премиальная 0ae00454ba6928d181b46103e5c83e6d58fcebe5 :

STC 10+0.1 https://tests.stockfishchess.org/tes...661e2e6a340d15 :
НЛИ: 2.94 (-2.94,2.94) {-1.50,0.50}
Итого: 88328 Вт: 17060 Л: 16997 Д: 54271 Эло +0.25
Ptnml(0-2): 1536, 10446, 20169, 10422, 1581

LTC 60+0.6 https://tests.stockfishchess.org/tes...661e2e6a340d6f :
НЛИ: 2.95 (-2.94,2.94) {-1.50,0.50}
Итого: 34784 Вт: 4551 Л: 4466 Д: 25767 Эло +0.85
Ptnml(0-2): 255, 3279, 10061, 3345, 262

5 обновление истории для обрезанных захватов 01b6088af39902001d2d6844561b6a2faa549282 :

STC 10+0.1 https://tests.stockfishchess.org/tes...661e2e6a340d1a :
НЛИ: 2.94 (-2.94,2.94) {-1.50,0.50}
Итого: 29541 Вт: 5735 Л: 5588 Д: 18218 Эло +1.73
Ptnml(0-2): 483, 3445, 6820, 3469, 545

LTC 60+0.6 https://tests.stockfishchess.org/tes...661e2e6a340d75 :
НЛИ: 2.94 (-2.94,2.94) {-1.50,0.50}
Итого: 22177 Вт: 2854 Л: 2757 Д: 16566 Эло +1.52
Ptnml(0-2): 143, 2005, 6555, 2055, 164

6 твик пойманная ладья штраф 18fc21eba0368fd5e3c4c4b8ee1000c9ac445425 :

STC 10+0.1 https://tests.stockfishchess.org/tes...661e2e6a340d1c :
НЛИ: 2.95 (-2.94,2.94) {-1.50,0.50}
Итого: 24476 Вт: 4727 Л: 4569 Д: 15180 Эло +2.24
Ptnml(0-2): 390, 2834, 5659, 2933, 417

LTC 60+0.6 https://tests.stockfishchess.org/tes...661e2e6a340d77 :
НЛИ: 2.95 (-2.94,2.94) {-1.50,0.50}
Итого: 97332 Вт: 12492 Л: 12466 Д: 72374 Эло +0.09
Ptnml(0-2): 690, 9107, 28738, 9034, 720

Все 5 как одно упрощение :
LTC 60+0.6 https://tests.stockfishchess.org/tes...8b13464ceea330 :
НЛИ: 2.94 (-2.94,2.94) {-1.50,0.50}
Итого: 7829 Вт: 1079 Л: 964 Д: 5786 Эло +5.10
Ptnml(0-2): 52, 690, 2281, 781, 65

Bench: 5153165
http://abrok.eu/stockfish/

[Vizvezdenec]

Это имеет некоторый смысл, но лично мне кажется, что даже 400 дебютов - это весьма мало.
В конце концов даже g4 Bg2 имеет какое-то право на жизнь в играх до 2500 эло людей (кстати говоря в d4 g5 стокфиш чёрными обыграл Glaurung, с которого он пошёл).
Да и не всегда надо тестировать после даже 800 игр, если счёт типа 200-600, то явно патч лажа
По поводу тестирования - были какие-то идеи сделать некий аналог "температуры" лилы, чтобы играть со стартовой позиции, но разные варианты, но в общем и целом это заглохло где-то на стадии обсуждений.
Я, собственно, мало принимаю участия в разработке именно методики тестирования, конкретно тут просто так вышло, что я интуитивно угадал, где была проблема, потому что мне казалось, что там она есть, ещё до подтверждения фактического.
Мне больше интересно идеи генерировать и тестировать, нежели заниматься разработкой того, как их тестировать.
Но, я думаю, если Вы в ладах с английским, можете спокойно писать в обсуждение границ SPRT и прочие связанные темы на гитхаб фиштеста - Вас там вполне себе выслушают.
А меня обвинять в продвижении чего-то тут не следует, подобная методология тестирования была принята примерно за 5 лет до того, как я присоединился к проекту. Обвиняйте Gary Linscott
Но, кстати, в нашем регресс-тесте (книге для него), если мне память не изменяет, всего 800 дебютов или около того.
При этом результат после 4к игр и после 40к игр зачастую на 5-8 эло отличается. Не слишком совпадает с тем, что Вы обычно говорите.

[Maratka]

Цитата: Сообщение от Vizvezdenec

Это имеет некоторый смысл, но лично мне кажется, что даже 400 дебютов - это весьма мало.

Именно.
Это в пределе приведет к тому, что SF начнет "зубрить" дебюты, и станет меньше сливать LZ в партиях с начальной позиции (в пределе может даже выигрывать начнет), но растеряет свой стиль, его собственную "изюминку".

[Vizvezdenec]

Да я бы даже не про стиль беспокоился, а про то, что в некоторых корявых вариантах он будет просто откровенно плох.
В конце концов я считаю, что и корявые варианты уметь играть тоже надо.