LCZero

[Vizvezdenec]

Ну там красиво, если я правильно помню, у CCRL 4 прям вообще дохлых ядра, а напротив аж 2080. Я вообще удивлён, что SF в этом списке каким-то образом второй. Видимо то, что он там сносит комодо и гудини, очень сильно помогает.

[Омегазеро]

Цитата: Сообщение от Vizvezdenec

Ну там красиво, если я правильно помню, у CCRL 4 прям вообще дохлых ядра, а напротив аж 2080

Я бы не назвала эти ядра дохлыми. На восьми потоках хороший результат дают

Хотя очевидно, что против них нужно брать GTX 1650 Super или GTX 1660

[Омегазеро]

Цитата: Сообщение от alchemist888

Уже жду статью на chessbase, со ссылкой на CCRL 40/4, где будет сказано, что Fat Fritz уже превзошел Stockfish и LCZero в блиц!
А может и просто превзошел. Чего уж стесняться.

alchemist888!
От Лилы там играет сеть 49921. Она слабая, отстаёт даже от последних 42xxx сетей, не говоря уже о сетях Jhortosa

Поэтому по факту тут мелкое шулерство

[alchemist888]

Цитата: Сообщение от Омегазеро

Я бы не назвала эти ядра дохлыми. На восьми потоках хороший результат дают

Там AB движки вроде с этими процессорами играют - Athlon 64 X2 4600+ (2.4 GHz).

Цитата: Сообщение от Омегазеро

От Лилы там играет сеть 49921. Она слабая, отстаёт даже от последних 42xxx сетей, не говоря уже о сетях Jhortosa

Да знаю я Мой предыдущий пост был сарказмом.

[Омегазеро]

Цитата: Сообщение от alchemist888

Там AB движки вроде с этими процессорами играют - Athlon 64 X2 4600+ (2.4 GHz)

Я верю тому, что написано

Цитата:

Games played on an RTX2080 in an Intel Core i7-6700K machine

Что касается Атлона, то на нём ничего не играется
Он используется как "стандартная линейка" для расчета контроля времени

Цитата:

Time control: Equivalent to 40 moves in 4 minutes on Athlon 64 X2 4600+ (2.4 GHz), about 1.5 minutes on a modern CPU

[alchemist888]

Скорее всего Вы правы. Раньше я думал, что нейронные сети играют на одной машине, а AB движки на другой, но наверняка теперь все игры между NNs и ABs проходят именно на этом оборудовании: RTX2080 in an Intel Core i7-6700K.
Cпасибо!
Однако, когда играют AB движки между собой, то используется именно этот проц: Athlon 64 X2 4600+ (2.4 GHz).

[Rom77]

Graham Banks тестирует для CCRL на Intel i5 Quad:
http://talkchess.com/forum3/viewtopic.php?f=6&t=72277

Честно говоря, плохо представляю, как они согласовывают столь разное железо. С корректировкой времени между ab-движками более менее понятно. Но как они согласуют всё это с видеокартой?

[crem]

Цитата: Сообщение от alchemist888

Уже жду статью на chessbase, со ссылкой на CCRL 40/4, где будет сказано, что Fat Fritz уже превзошел Stockfish и LCZero в блиц!
А может и просто превзошел. Чего уж стесняться.

Как в воду глядел. https://en.chessbase.com/post/optimizing-fat-fritz

[Maratka]

Цитата: Сообщение от alchemist888

Там AB движки вроде с этими процессорами играют - Athlon 64 X2 4600+ (2.4 GHz).

Не совсем так.. Ну даже теоритически - ПК с таким процессором весьма вероятно уже остался без матерники, ибо ей лет 10-15, и не факт, что выжила.

Да и сами они пишут замысловато:

Time control: Equivalent to 40 moves in 40 minutes on Athlon 64 X2 4600+ (2.4 GHz), about 15 minutes on a modern CPU.

Т.е. там вероятно уже какая-то другая железка, которая явно побыстрее, и на ней нормируют время исходя из ее скорости.

[alchemist888]

Цитата: Сообщение от crem

Как в воду глядел. https://en.chessbase.com/post/optimizing-fat-fritz

Я польщен Хотя, думаю, что большинство тех "кто в теме", допускали это с высокой вероятностью.
Маркетинг, что с него взять...

Цитата: Сообщение от alchemist888

Однако, когда играют AB движки между собой, то используется именно этот проц: Athlon 64 X2 4600+ (2.4 GHz).

Цитата: Сообщение от Maratka

Не совсем так.. Ну даже теоритически - ПК с таким процессором весьма вероятно уже остался без матерники, ибо ей лет 10-15, и не факт, что выжила.
Да и сами они пишут замысловато:
Time control: Equivalent to 40 moves in 40 minutes on Athlon 64 X2 4600+ (2.4 GHz), about 15 minutes on a modern CPU.
Т.е. там вероятно уже какая-то другая железка, которая явно побыстрее, и на ней нормируют время исходя из ее скорости.

Да, согласен. Скорее всего там много железок, и время каждому движку калибруется по Athlon 64 X2 4600+ (2.4 GHz) 40/40. Но как именно - неясно.

[crem]

Кстати если посмотреть на игры, то Lc0 выиграла в играх и против FF (42-39), и против SF(30-28).
FF залез так высоко потому что он избил Allie 50-28.

[Омегазеро]

Вот мои результаты
Сеть T40B.4-260 против последнего Стокфиша
Контроль 3min+1.5sec
Дебютные наборы от Noomen (100 с переменой цвета)
Поражение -800 сантипешек 8 ходов подряд, ничья 8 сантипешек 8 ходов после 64 хода либо присуждение по 5-фигурным таблицам

Score of lc0-T40B.4-260 : vs stockfish_19111809_x64_bmi2: 34 - 26 - 140 [0.520]
Elo difference: 13.9

Четырехядерник против GTX1650, отношение скоростей в начальной позиции 1:1500

Как видим, в этих условиях сеть Хортоса до сих пор немного сильнее Стокфиша

Игры прилагаются
Дебютный набор прилагается

[Омегазеро]

А вот результаты тестирования 60-х сетей
Сеть 61245 против последнего Стокфиша

Контроль 2min+1sec
Дебютные наборы от Noomen (100 с переменой цвета)
Поражение -800 сантипешек 8 ходов подряд, ничья 8 сантипешек 8 ходов после 64 хода либо присуждение по 5-фигурным таблицам

Score of lc0-61245 : vs stockfish_19111809_x64_bmi2: 11 - 78 - 111[0.333]
Elo difference: -121.1

Четырехядерник против GTX1650, отношение скоростей в начальной позиции 1:3000 (более ёмкие сети в два раза медленнее)

Как видим, пока 60-е сети слабоваты

Игры прилагаются
Дебютный набор тот же

[Maratka]

Цитата: Сообщение от Омегазеро

Сеть 61245 против последнего Стокфиша

..
более ёмкие сети в два раза медленнее
....
Контроль 2min+1sec

Цитата: Сообщение от Омегазеро

Сеть T40B.4-260 против последнего Стокфиша
Контроль 3min+1.5sec

Вроде бы очевидно, что для потенциально более умных, но заведомо более медленных сетей контроль для порядка нужно увеличить, ну скажем до 5+2 а не уменьшить. Ну как минимум - оставить тем же?

Ну или для корректности сравнения, если хочется увидеть разницу сетей при коротких контролях, и только коротких - контроль должен быть равным.

Но уменьшить контроль для больших и медленных сетей - это что такое было?

[Vizvezdenec]

Заметил, что 60 сеть против SF dev вышли на 4с в сицилианку, а не каталон. Хоть что-то новое

[Омегазеро]

Цитата: Сообщение от Maratka

Вроде бы очевидно, что для потенциально более умных, но заведомо более медленных сетей контроль для порядка нужно увеличить, ну скажем до 5+2

На более длинном контроле и немного с другими дебютами тестирует mattblanches https://docs.google.com/spreadsheets...#gid=207181789

Мне кажется, было бы интересно сравнить более короткий и более длинный

У него 66 Эло разницы между 60-ми сетями и 10-м Стокфишем

Мне кажется, это близко к 121 Эло разницы с последним Стокфишем

Я тестирую для сравнения с mattblanches, мне интересно, как влияют более короткие контроли и двухходовый набор дебютов (у него - не двухходовый)

[alchemist888]

Цитата: Сообщение от Maratka

Вроде бы очевидно, что для потенциально более умных, но заведомо более медленных сетей контроль для порядка нужно увеличить, ну скажем до 5+2 а не уменьшить. Ну как минимум - оставить тем же?
Ну или для корректности сравнения, если хочется увидеть разницу сетей при коротких контролях, и только коротких - контроль должен быть равным.

Именно так. Если у вас нет супержелеза, типа 3x2080Ti, то контроль 2+1 будет очень неудачным.
Посмотрим на процент поражений, в матче представленном Омегазеро. Он составляет 39%. Что очень много для движка уровня SF9+

Score of lc0-61245 : vs stockfish_19111809_x64_bmi2: 11 - 78 - 111[0.333]
Elo difference: -121.1

А теперь давайте взглянем на картинку от DeepMind:



Показатели скорости AlphaZero ~ 63 Kn/s, SF8 - 58 Mn/s. Speed ratio 1:900.

Мы видим, что на низких значениях nodes/move Стокфиш выступает значительно лучше. На значениях 6500 n/move AlphaZero уступает SF8 ~ 55 Elo, но уже при значениях 65000 n/move, превосходит его ~ на 32 Elo.
AlhpaZero, это конечно не совсем LCZero, да и SF8 это не SFdev, но вероятность соблюдения принципа очень велика.
Что это значит на практике?
Омегазеро, скорее всего, в Вашем матче T60 - SFdev среднее время на ход составляло примерно 2.5 секунды, или около 6.5 Kn/move. Оптимальное значение, как видим по графику, больше 650 Kn/move. Естественно, на слабом оборудовании такие цифры получить почти невозможно.
Поэтому, при тестировании сетей 24х320 (30b) я просто рекомендую Вам удваивать время, которое Вы используете для тестов 20х256 (20b) cетей. Например, если для 20b сетей делаете 5+2, то для 30b рекомендую ставить 10+5.

[Rom77]

Цитата: Сообщение от alchemist888

А теперь давайте взглянем на картинку от DeepMind:

Этот график некорректен. По мне так его нельзя использовать для каких-либо сравнений. Не зря он исчез из окончательного варианта статьи Дип Майнд, опубликованного в Сайнс год спустя.

В первую очередь обращает на себя внимание то, что график рисует практически полное отсутствие прибавки у Стокфиша при контроле свыше 1 сек/ход. Это прямо противоречит результатам опубликованным в Сайнс (см. табл. S5).

Кроме того, график АльфаЗеро не очень согласуется с рисунком 2 (B) статьи в Сайнс. Рисунок 2b свидетельствует о низком приросте результатов АльфаЗеро при увеличении контроля.

[Vizvezdenec]

Таки да. Я думаю, что увеличение времени на ход с 1 секунды до 100 для SF даст несколько отличную от 60 эло цифру (или сколько из этого графика выйдет, 80?). Да чего уж тут, 60 эло это более-менее нормально для удвоения временного контроля с секунды на ход до 2, но никак не для х100.

[alchemist888]

Цитата: Сообщение от Rom77

В первую очередь обращает на себя внимание то, что график рисует практически полное отсутствие прибавки у Стокфиша при контроле свыше 1 сек/ход. Это прямо противоречит результатам опубликованным в Сайнс (см. табл. S5).
Кроме того, график АльфаЗеро не очень согласуется с рисунком 2 (B) статьи в Сайнс. Рисунок 2b свидетельствует о низком приросте результатов АльфаЗеро при увеличении контроля.

Спасибо, не знал. Мое внимание было приковано к значениям графика до 1 секунды на ход включительно.
Вспомнил о нем благодаря последней статье на Chessbase о превосходстве Fat Fritz над всеми движками

Цитата: Сообщение от Vizvezdenec

Таки да. Я думаю, что увеличение времени на ход с 1 секунды до 100 для SF даст несколько отличную от 60 эло цифру (или сколько из этого графика выйдет, 80?). Да чего уж тут, 60 эло это более-менее нормально для удвоения временного контроля с секунды на ход до 2, но никак не для х100.

Ну там не понятно, что идет после 10^1, дальше разметку не сделали Но очевидно, что между 10^0 до 10^1 будет куда больше, чем 37 Elo. Надеюсь, что хоть при меньших значениях он более-менее соответствует действительности.

[Rom77]

Цитата: Сообщение от alchemist888

Ну там не понятно, что идет после 10^1, дальше разметку не сделали

Хотя график и некорректный, но в принципе, при желании точки на горизонтальной оси можно вычислить. Читаем в тексте превью, страницей ранее:

Цитата:

Figure 2 shows the scalability of each player with respect to thinking time, measured on an Elo scale, relative to Stockfish or Elmo with 40ms thinking time.

Партии Альфы и Стока игрались против Стока запущенного на контроле 0,04 сек/ход. Таким образом нуль-точка горизонтальной оси стартует из 0,04 секунды. Шаг тестов составляет 4х по времени, что очевидно по местоположению точек излома кривых. Эти точки излома и есть контроли при которых проводились тесты. А значит тесты, составившие основу кривых, проводились при контролях 0,04 - 0,16 - 0,64 - 2,56 - 10,24 - 40,96 секунд на ход. Таким образом правый край графика соответствует контролю 41 сек/ход против Стока 0,04 сек/ход.

Ещё хотелось бы отметить, что точки излома графиков соединены прямыми линиями. Но по логике они должны быть кривыми, поскольку предполагается, что график должен быть плавным. Таким образом промежуточные значения следует снимать с графика с некоторым превышением.

[Кевин]

v0.23.0-rc2

Цитата:

Fixes in nps and time reporting during search.
Introduced DNNL BLAS build for modern CPUs in addition to OpenBLAS.
Build fixes on MacOS without OpenCL.
Fixed smart pruning and KLDGain trying to stop search in go infinite mode.
OpenCL package now has check_opencl tool to find computation behaves sanely.
Fixed a bug in interoperation of shortsighteness and certainty propagation.

https://github.com/LeelaChessZero/lc0/releases

[Yard]

Leelenstein - это движок нейронной сети на основе Lc0.
Но вместо самостоятельной игры он использует сеть, обученную на некоторых высокоуровневых играх с движком («контролируемое обучение»). Это обучение также включало в себя такие техники, как сжатие возбуждения и планировщики скорости обучения. Leelenstein также включает ненулевые улучшения в двоичном коде Lc0, такие как штраф за торговлю и подсчет очков.https://rapidu.net/5948357583/Leelenstein-925.7z

[svoitsl]

Цитата: Сообщение от Yard

Leelenstein - это движок нейронной сети на основе Lc0.

Но несмотря на все свои ухищрения,он почему то не прям уж очень сильно превосходит Стокфиш, да и L0 тоже,но то что его совершенствуют и не опускают руки это хорошо.

[Maratka]

Цитата: Сообщение от Yard

Leelenstein - это движок нейронной сети на основе Lc0.
Но вместо самостоятельной игры он использует сеть, обученную на некоторых высокоуровневых играх с движком («контролируемое обучение»). Это обучение также включало в себя такие техники, как сжатие возбуждения и планировщики скорости обучения. Leelenstein также включает ненулевые улучшения в двоичном коде Lc0, такие как штраф за торговлю и подсчет очков.https://rapidu.net/5948357583/Leelenstein-925.7z

А теперь все то же, но на русском можно?

[Yard]

Maratka, самомнение у вас выше плинтуса не нравится-не читайте
Leelenstein is a neural-network engine based on Lc0.
But instead of self-play, it uses a net trained on select high-level engine games (“supervised learning”). It's training also included techniques such as squeeze excitation and learning rate schedulers. Leelenstein also includes non-Zero enhancements to the Lc0 binary, such as a trade penalty and mate scoring.
переводи по русски

[svoitsl]

Интересно, кто нибудь может подтвердить (или опровергнуть) гипотезу,о том, что новые сети теста 58 по силе превосходят LD2?

[Yard]

Leelenstein is a neural-network engine based on Lc0.
But instead of self-play, it uses a net trained on select high-level engine games (“supervised learning”). It's training also included techniques such as squeeze excitation and learning rate schedulers. Leelenstein also includes non-Zero enhancements to the Lc0 binary, such as a trade penalty and mate scoring.
переводи сам по русски умник

[Viktor]

Цитата: Сообщение от svoitsl

Интересно, кто нибудь может подтвердить (или опровергнуть) гипотезу,о том, что новые сети теста 58 по силе превосходят LD2?

а где этот тест 58? Или это сети 58, но я о таких не слышал.
Что касается LD2, то эти сети у меня в турнире 26 движков были наравне с MateFinder 060819 и заняли 25 и 26 место с результатом в 2 раза ниже, чем лидеры.

[svoitsl]

Цитата: Сообщение от Viktor

а где этот тест 58?

так в общем то там же где и все, на сервере crem (если я не ошибаюсь)

Цитата: Сообщение от Viktor

Или это сети 58, но я о таких не слышал

Это сети семейства 58,кажется я о них тут писал месяца полтора назад

Цитата: Сообщение от Viktor

результатом в 2 раза ниже, чем лидеры.

не может быть, он один из лидеров для размера сети 10х128 (возможно уже был)
Лучшие сети такого размера мне пока не известны