Stockfish и его производные

[Харлампий]

Stockfish 14
Stockfish 14 для Android
https://ufile.io/f/8ardx
https://pixeldrain.com/l/ndVpnHXc#item=1

Архив предыдущих версий: https://www.dropbox.com/sh/75gzfgu7q...UfHbBr4r_RwhGa

Официальный сайт стокфиш

Обновления тестовых версий стокфиша: http://abrok.eu/stockfish/

Сборки Stockfish и CorChess от I. Ivec

Развитие движка http://tests.stockfishchess.org/tests

Stockfish_NNUE https://github.com/nodchip/Stockfish

Сети: https://www.comp.nus.edu.sg/~sergio-v/nnue/

AsmFish

Сборки от Maratka

Компиляции движков от ChessMan

Сборка Stockfish от Otodranik

Sugar от Marco Zerbinati

Shark и Orka

О Stockfish

Цитата:

Авторы движка
Двигатель Stockfish был разработан Tord Romstad, Marco Costalba и Joona Kiiski. В настоящее время он развивается и поддерживается сообществом Stockfish.

Авторы приложений
Stockfish для Mac был собран Daylen Yang. Stockfish для iOS был собран Tord Romstad.

История
Проект Stockfish начался с движка Glaurung с открытым исходным кодом, созданного Tord Romstad. В ноябре 2008 года Марко Косталба разветвил код Glaurung 2.1 и представил Stockfish 1.0. Торд и Джоона Кииски присоединились к проекту «Стилфиш», и проект «Гларунг» постепенно исчез. Тем временем, Stockfish быстро поднялся, чтобы стать самым сильным шахматным движком с открытым исходным кодом, с частыми обновлениями каждые несколько месяцев. Сегодня он остается одним из самых сильных двигателей в мире.

О GPL
Stockfish является бесплатным и распространяется в соответствии с GNU General Public License Version 3 (GPLv3). По сути, это означает, что вы можете делать практически все, что хотите, с программой, включая ее распространение среди своих друзей, делая ее доступной для загрузки с вашего веб-сайта, продавая ее (либо самостоятельно, либо как часть некоторого более крупного программного пакета ) или использовать его в качестве отправной точки для собственного программного проекта.

Единственное реальное ограничение заключается в том, что всякий раз, когда вы каким-либо образом распространяете Stockfish, вы всегда должны включать полный исходный код или ссылку на исходный код. Если вы внесете какие-либо изменения в исходный код, эти изменения также должны быть доступны в GPL.

Для получения полной информации прочитайте GPL.

[свернуть]

[klf]

Цитата: Сообщение от Maratka

если кинуть монетку три раза, то одна из сторон гарантированно наберет в два раза больше очков, чем вторая.

75% соотношение 2:1
25% соотношение 3:0

[kruzh]

Author: Joost VandeVondele
Date: Tue Nov 10 18:29:03 2020 +0100
Timestamp: 1605029343

Increase reduction at root

when the best move does not change frequently

STC:
LLR: 2.94 (-2.94,2.94) {-0.25,1.25}
Total: 51320 W: 5159 L: 4956 D: 41205 Elo +1.37
Ptnml(0-2): 215, 3897, 17242, 4082, 224
https://tests.stockfishchess.org/tes...cbf42301d6a767

LTC:
LLR: 2.98 (-2.94,2.94) {0.25,1.25}
Total: 15952 W: 762 L: 642 D: 14548 Elo +2.61
Ptnml(0-2): 8, 561, 6725, 667, 15
https://tests.stockfishchess.org/tes...cbf42301d6a794

closes https://github.com/official-stockfis...fish/pull/3225

Bench: 3954692
+еще 1
https://abrok.eu/stockfish/

[Maratka]

Цитата: Сообщение от kruzh

Bench: 3954692
+еще 1

Ну по сути он всего один, патч не успел толком выйти, как его уже улучшили.

[Maratka]

Цитата: Сообщение от Владимир001

С сетями Сержио получалось

Ничего там не получалось.
Просто несколько раз совпало. На 100 партиях погрешность 50 Elo, т.е. на таком количестве партий нереально даже поймать достоверную разницу между SF12 и последней версией.

[Vizvezdenec]

Цитата: Сообщение от Maratka

Ничего там не получалось.
Просто несколько раз совпало. На 100 партиях погрешность 50 Elo, т.е. на таком количестве партий нереально даже поймать достоверную разницу между SF12 и последней версией.

Так и есть.
Ну точнее не совсем так, т.к. поймать разницу между 12 и dev таки можно - помогает огромный % ничьих.
https://tests.stockfishchess.org/tes...2c112b60691e39
Вот тут у dev версии нет ни одного проигранного мини-матча в каждом наборе по 200 игр, на 100 они будут, но их будет немного.
По поводу патчей - логичная в общем-то идея.
Если у нас очень стабилен лучший ход, можно подбавить reductions.

[Maratka]

Цитата: Сообщение от Vizvezdenec

Вот тут у dev версии нет ни одного проигранного мини-матча в каждом наборе по 200 игр, на 100 они будут, но их будет немного.

Ну так и должно быть, на 200 партий погрешность где-то 30-35 Elo, т.е. при измеренной разнице в 28 можно говорить, что разница N при погрешности N, отсюда и небольшое количество таки выигранных миниматчей. А на сотне партий погрешность много больше разницы... Конечно, если зарядить не 60 тыс. партий, а скажем 200 тыс, то найдутся миниматчи и по 100, которые будут выигрываться 12-й версией.

[byan_mivv]

Stockfish and CorChess development builds compiled by I. Ivec

November 10, 2020

Сеть - та же: nn-c3ca321c51c9

https://chess.ultimaiq.net/stockfish.html

[Переяслав]

Result:
------------------------------------------------------------------------------
  #  name              games    wins   draws  losses   score    los%  elo+/-
  1. Stockfish 101120   4000     906    2707     387  2259.5   100.0    45.3
  2. Stockfish 12       4000     387    2707     906  1740.5     0.0   -45.3

Tech:
------------------------------------------------------------------------------

Tech (average nodes, depths, time/m per move, others per game):
  #  name                nodes/m         NPS  depth/m   time/m    moves     time
  1. Stockfish 101120       236K      628652     18.7      0.4     49.5     18.6
  2. Stockfish 12           214K      561661     18.0      0.4     49.5     18.9

TC=40/10"+0.1"
Threads=1
Concurrency=46
Hash=16
Noomen4moves.pgn
4000 games

[Rom77]

Vizvezdenec, в вашем мультипоточном тесте процент ничьих около 94%:
https://tests.stockfishchess.org/htm...cbf42301d6a7dc

Не так давно vondele предлагал при достижении 93% снижать порог прохождения патчей:
https://github.com/official-stockfis...ment-717724170

Возможно для тестов на мультипоточном LTC самое время для таких изменений. Иначе можно забыть об улучшениях мультипотока.

[Переяслав]

------------------------------------------------------------------------------
  #  name              games    wins   draws  losses   score    los%  elo+/-
  1. Stockfish 101120   2000     299    1594     107  1096.0   100.0    33.5
  2. Stockfish 12       2000     107    1594     299   904.0     0.0   -33.5

Tech:
------------------------------------------------------------------------------

Tech (average nodes, depths, time/m per move, others per game):
  #  name                nodes/m         NPS  depth/m   time/m    moves     time
  1. Stockfish 101120       977K      619181     23.7      1.6     50.3     79.3
  2. Stockfish 12           862K      544677     22.6      1.6     50.3     79.6

TC=60sec+0.6sec
Threads=1
Concurrency=46
Noomen4moves.pgn

[Vizvezdenec]

Цитата: Сообщение от Rom77

Vizvezdenec, в вашем мультипоточном тесте процент ничьих около 94%:
https://tests.stockfishchess.org/htm...cbf42301d6a7dc

Не так давно vondele предлагал при достижении 93% снижать порог прохождения патчей:
https://github.com/official-stockfis...ment-717724170

Возможно для тестов на мультипоточном LTC самое время для таких изменений. Иначе можно забыть об улучшениях мультипотока.

Ну то, что он предлагал - конечно, замечательно, но пока что никуда это не прошло-то

[Vizvezdenec]

В общем я тут обсудил, может быть, будем опять править границы SPRT.
А то уж совсем уныло как-то иметь 6% игр не ничьих на 20+0.2 и 8 потоках... Пока что стал собирать статистику.

[Переяслав]

Цитата: Сообщение от Переяслав

------------------------------------------------------------------------------
  #  name              games    wins   draws  losses   score    los%  elo+/-
  1. Stockfish 101120   2000     299    1594     107  1096.0   100.0    33.5
  2. Stockfish 12       2000     107    1594     299   904.0     0.0   -33.5

Tech:
------------------------------------------------------------------------------

Tech (average nodes, depths, time/m per move, others per game):
  #  name                nodes/m         NPS  depth/m   time/m    moves     time
  1. Stockfish 101120       977K      619181     23.7      1.6     50.3     79.3
  2. Stockfish 12           862K      544677     22.6      1.6     50.3     79.6

TC=60sec+0.6sec
Threads=1
Concurrency=46
Noomen4moves.pgn

------------------------------------------------------------------------------
  #  name              games    wins   draws  losses   score    los%  elo+/-
  1. Stockfish 101120   2000     213    1687     100  1056.5   100.0    19.7
  2. Stockfish 12       2000     100    1687     213   943.5     0.0   -19.7

Tech:
------------------------------------------------------------------------------

Tech (average nodes, depths, time/m per move, others per game), counted for computing moves only, ignored moves with zero nodes:
  #  name                nodes/m         NPS  depth/m   time/m    moves     time
  1. Stockfish 101120      1110K      697641     24.6      1.6     48.6     77.3
  2. Stockfish 12           970K      612416     23.3      1.6     48.6     77.0

TC=60sec+0.6sec
Threads=1
Concurrency=40
Noomen4moves.pgn
NNUE=nn-c3ca321c51c9.nnue для обоих движков

[Vizvezdenec]

ну так то неплохо, 20 эло чисто с поиска
Ну не совсем, там ещё у ускорений немало.

[Переяслав]

Result:
----------------------------------------------------------------------------------
  #  name                  games    wins   draws  losses   score    los%  elo+/-
  1. Cfish 081120 64 BMI2   2000     168    1670     162  1003.0    62.9     1.0
  2. Stockfish 101120       2000     162    1670     168   997.0    37.1    -1.0

Tech:
----------------------------------------------------------------------------------

Tech (average nodes, depths, time/m per move, others per game):
  #  name                    nodes/m         NPS  depth/m   time/m    moves     time
  1. Cfish 081120 64 BMI2       626K      773131     21.7      0.8     49.0     39.7
  2. Stockfish 101120           549K      684741     21.8      0.8     49.0     39.3

TC=30sec+0.3sec
Threads=1
Concurrency=40
Noomen4moves.pgn

А вот неожиданно сифиш еле-еле одолел

[Maratka]

https://tests.stockfishchess.org/htm...cbf42301d6a74f

Патч на ручную оценку.

[Владимир001]

Vizvezdenec

https://tests.stockfishchess.org/htm...cbf42301d6a9b6

LLR > 2 with 25000 games LTC

[SKY]

"Максимальная сила обычных нейросетей (используемых в Лиле) ограничена достижением определенного уровня, а движки с технологией NNUE могут усиливаться бесконечно" https://zen.yandex.ru/media/chessmas...affe6f3b72bed9
Это о чем(бесконечно)?

[Vizvezdenec]

Ну, похоже, я нашёл ещё одну классную идею, которая совершенно не скейлится.

[Vizvezdenec]

Цитата: Сообщение от SKY

"Максимальная сила обычных нейросетей (используемых в Лиле) ограничена достижением определенного уровня, а движки с технологией NNUE могут усиливаться бесконечно" https://zen.yandex.ru/media/chessmas...affe6f3b72bed9
Это о чем(бесконечно)?

Это ниочём в общем и целом.
Может быть имеется в виду, что, дескать, лила после определённого числа узлов не играет сильнее? Чёрт его знает.

[Владимир001]

Raubfisch: Updated November, 14 2020

Отныне опция «Самообучение» по умолчанию отключена. Установите соответствующий флажок, чтобы включить его. Если вы не хотите использовать «Самообучение» и у вас уже есть большая обучающая база данных: experience.bin, вы можете просто включить опцию «Experience Read_only». После этого ваш движок сможет использовать «Experience Read_only», чтобы улучшить свой стиль игры.
По словам AMENOPHIS, версия X более агрессивна и эффективна в анализе.

Raubfisch - это двигатель, созданный на основе Stockfish и Torpedo 1.1 XJR (частный двигатель AMENOPHIS). В этом выпуске есть функция самообучения.

https://chess.massimilianogoi.com/download/raubfisch/

[Владимир001]

Новый алгоритм обеспечивает глубокое обучение в 50 раз быстрее

Развернуть для просмотра

Используя алгоритмы, полученные из нейробиологии, исследовательская компания Numenta в области искусственного интеллекта добилась значительного повышения производительности в сетях глубокого обучения без потери точности. Их прорыв также значительно более энергоэффективен.

Сегодняшние сети глубокого обучения достигли многого, но сталкиваются с фундаментальными ограничениями, включая потребность в огромных вычислительных мощностях. Обучение и запуск большой сложной модели может стоить миллионы долларов, а требуемая мощность растет с экспоненциальной скоростью. Новые алгоритмы необходимы для преодоления этого узкого места в производительности.

На этой неделе калифорнийская компания Numenta объявила о крупном прорыве, основанном на принципе работы мозга под названием разреженность. Исследователи компании разработали новый алгоритм, сравнивая «разреженные» и «плотные» сети (проиллюстрированные выше) для задачи распознавания речи с использованием набора данных Google Speech Commands (GSC). Команда запускала свои программы через программируемые пользователем вентильные матрицы (FPGA), тип интегральной схемы, предназначенной для настройки заказчиком или разработчиком после изготовления, поставляемой Xilinx.

Исходя из метрики слов, обрабатываемых в секунду, разреженные сети дают более чем в 50 раз ускорение по сравнению с плотными сетями на печатной плате Xilinx Alveo. Кроме того, Numenta продемонстрировала свою сеть, работающую на Xilinx Zynq - чипе меньшего размера, в котором плотные сети слишком велики для работы, - что позволило создать новый набор приложений, основанных на недорогих решениях с низким энергопотреблением. В результате, если измерять количество слов в секунду на ватт, Numenta показала экономию энергии на 2600%.

Эта экспериментальная демонстрация подтверждает, что разреженность может обеспечить значительное ускорение и энергоэффективность для различных платформ глубокого обучения и сетевых конфигураций при сохранении конкурентоспособной точности. Он обеспечивает экспоненциальное улучшение с точки зрения более крупных и сложных сетей, использующих те же ресурсы.
«Новые алгоритмические и аппаратные подходы необходимы для развития машинного интеллекта», - объясняет Приядаршини Панда, доцент кафедры электротехники Йельского университета. «Мозг предлагает лучшее руководство для достижения этих достижений в будущем. Результаты, объявленные Numenta, демонстрируют большие перспективы, применяя свою корковую теорию для достижения значительных улучшений производительности».

В последние годы команда Numenta выдвинула новую идею, чтобы объяснить работу неокортекса - шестиуровневой и доминирующей области мозга, участвующей в функциях более высокого порядка, таких как сенсорное восприятие, познание, двигательные команды, пространственное мышление и язык. . Новая книга, которая будет опубликована в марте 2021 года, более подробно исследует их концепцию. Теория интеллекта Тысячи мозговпредполагает, что вместо изучения одной большой модели объекта или концепции мозг создает множество различных моделей каждого объекта. Каждая модель построена с использованием разных входов, будь то от немного разных частей датчика (например, разных пальцев на руке) или от разных датчиков в целом (глаза или кожа). Модели «голосуют» вместе, чтобы достичь консенсуса в отношении того, что они ощущают, и голосование консенсуса - это то, что мы воспринимаем. Другими словами, это похоже на то, что ваш мозг на самом деле представляет собой тысячи мозгов, работающих одновременно и параллельно. Это показано на диаграмме ниже с полными моделями объектов, уже существующих на каждом уровне иерархии коры головного мозга, которые могут быть улучшены за счет дальних связей между столбцами. Статья Numenta стала одной из самых загружаемых на BioRxiv в 2018 году.

«Разреженность - основа работы мозга и ключ к огромным улучшениям производительности машинного обучения сегодня», - сказал Субутай Ахмад, вице-президент Numenta по исследованиям и разработкам. «В дальнейшем исследования Numenta в области нейробиологии позволили разработать план создания машинного интеллекта, который обеспечит не менее впечатляющие улучшения в надежности, непрерывном обучении, обучении без учителя и сенсомоторной интеграции».

«Теперь мы видим четкую дорожную карту по применению этих концепций для создания эффективных интеллектуальных машин», - поясняет команда в официальном документе . «Мы предлагаем начальную точку использования разреженности для значительного повышения производительности сетей глубокого обучения. Продолжая внедрять все больше и больше теории тысячи мозгов в алгоритмы, мы уверены, что наконец-то находимся на пути к машинному интеллекту».

[свернуть]

https://www.futuretimeline.net/blog/...-algorithm.htm

[Jeweller]

Цитата: Сообщение от SKY

Это о чем(бесконечно)?

это фактическая ошибка

[svoitsl]

Цитата: Сообщение от Jeweller

это фактическая ошибка

Было бы интересно взять какую нибудь небольшую сеть (к сожалению 2х16 может не работать на fp16, а может уже работает?) и при разных GPU проверить скейлинг

на можно и на https://github.com/dkappe/leela-ches...tag/evilgyal-6 попробовать

Цитата: Сообщение от Владимир001

Новый алгоритм обеспечивает глубокое обучение в 50 раз быстрее

Пора учить сеть что то типа 34х512,за квартал можно научить

[Jeweller]

я сейчас ссылок не найду, но по памяти:
--- когда то Васик смотрел предел силы - получил в районе 4500 ccrl
--- потом Дон Дейли через несколько лет точнее смотрел - получил предел силы в районе 4850 ccrl

с появлением gpu-сетей, или nnue-сетей он не поднялся/опустился и не может подняться/опуститься (тем более "расти бесконечно"), какие бы сети или методы в будущем не появились - это естественный предел, заложенный правилами

без изменения правил и модификации игры потолок силы не изменить, никак

[Jeweller]

а вот нашел одну ссылку, Laskos считал

Цитата:

Laskos:
Итак, я получаю 4877 Elo по шкале CCRL для идеального двигателя, аналогично тому, что, как я помню, Дон получил некоторое время назад.

[SKY]

Цитата: Сообщение от Jeweller

Итак, я получаю 4877 Elo по шкале CCRL для идеального двигателя

То есть если представить устройство которое с первого хода просчитывает без ошибок партию до конца,то движок с эло 4877 будет равным ему?

[Jeweller]

Цитата: Сообщение от SKY

То есть если представить устройство которое с первого хода просчитывает без ошибок партию до конца,то движок с эло 4877 будет равным ему?

"идеальный движок" - движок, относительно которого нельзя создать более сильный движок

предположу, но это только гипотеза, что можно создать более чем один идеальный движок, т.е. N>1 идеальных движков, играющих не абсолютно идентично друг другу, однако с абсолютно идентичной предельной силой, т.е. равно-идеальных в пределе силы

[Vizvezdenec]

Это очевидно так.
В большинстве произвольных 6-7 фигурных эндшпилей ходы, которые не меняют объективного результата, наличествуют в количестве больше 1.
А это значит, что алгоритмов, которые будут играть их "идеально", т.е. всегда выигрывать выигранные и делать ничью в ничейных, может быть сколько угодно в общем-то. Один будет ходить по кратчайшему DTZ, второй будет ходить по длиннейшему DTZ, которое меньше 50, например.
Не вижу, чем 32-фигурная таблица (идеальный движок) будет отличаться от этого.
Конечно, это не является строгим доказательством. Но это должно быть так.

[SKY]

Цитата: Сообщение от Jeweller

играющих не абсолютно идентично друг другу, однако с абсолютно идентичной предельной силой

Тогда следует принять что имеется не один лучших ход,а несколько.Но тогда выбор из них будет случайным,а значит говорить о не идентичной игре будет нельзя.Да и не очень верится что несколько ходов могут быть лучшими.
Просто как-то уж очень небольшой показалась цифра в 4877,близка она к нынешней силе движков,а они ведь как и железо очень далеки от идеала.