LCZero

[Омегазеро]

Цитата: Сообщение от Vizvezdenec

У меня сейчас вот патч на фиштесте идёт
Total: 44 W: 11 L: 4 D: 29
Думаю пулл реквест создавать, в конце концов перформанс +56 эло.

Это особенность тестов аб-движков, о которой все знают

[Vizvezdenec]

Нету никакой "особенности тестов АВ-движков".
Нету и быть не может.
Есть статистически значимые результаты, а есть "серию из 20 игр провёл хуже - значит хуже".
И неважно, АВ это движок, нейросеть или он переворачивает доску во время игры.

[sovaz1997]

Цитата: Сообщение от Омегазеро

Вот только в тесте mattblaches у сети 42802 после 23 игр ни одной победы и два поражения...
При этом я верю, что на скорости 10 узлов/ход сеть может лидировать
Даже у Карлсена скорость 30 узлов/ход

После 23 игр вообще не надо ничего сравнивать. И после 50. И после 100. Слишком мало партий. 10 узлов/ход и 4000 партий хотя бы как-то отражают действительность. Надо запустить с большим числом узлов на ход и сравнить.
Это статистика и +- просто взять и убрать нельзя. А если кажется, что 23 игр достаточно для определения сильнейшего, то это всего лишь переоценка маленькой выборки: https://en.m.wikipedia.org/wiki/Inse...to_sample_size

[Maratka]

Цитата: Сообщение от Омегазеро

Конечно!
Сеть 42731 после 25 игры выигрывала 6:1

Я же выкладывал эмулятор бросания монетки:
https://yadi.sk/d/t1tXoyl0lWzWYQ

400 партий, результат случайный, по алгоритму вида:

Randomize Timer

Dim i, a, b, z As Single

For i = 1 To 400
z = Rnd 

If z < 0.5 Then
a = a + 1
Else
b = b + 1

Next


Dim aa, bb As String
aa = a
bb = b

MsgBox aa + "/" + bb

В итоге, каждая 10-15 партия 180/220 или даже 175/225. Ну либо 220/180. А 200/200 бывает вообще очень редко.

[Maratka]

Чуть модифицировал, теперь можно ввести любое разумное количество:

https://yadi.sk/d/mgg0Jaxy1IDwqg

Сравните типичное отклонение в процентах от половины введенного числа при 100 партиях и 100 тыс. партиях.

[Vizvezdenec]

Я и без модели могу сказать, что оно обратно пропорционально корню из числа партий, университетский курс теорвера я ещё не забыл.

[Maratka]

Ну "пощупать" то всегда интереснее
А то вдруг в теории ошибка :D

[svoitsl]

кстати всего за неделю обучили 55 сеть и начали учить 56-ю.
Работа не останавливается не на минуту :-)

Начался тест новой сети- рост впечатляет!!!

[Kesandr]

Ух как после 42832 до 42842 на данний момент последняя самоело Лили сети взлетело.https://lczero.org

[Омегазеро]

Цитата: Сообщение от Vizvezdenec

И неважно, АВ это движок, нейросеть или он переворачивает доску во время игры.

Почему ваша ненависть направлена именно против Лилы?
Ненавидьте Брейнфиш!
Он уже на 45 Эло опережает Стокфиш https://forchess.ru/showpost.php?p=101216&postcount=49

Пишите, что это наглый клон, что 45 Эло ошибка статистики

А иначе получается, что Брейнфиш лучший в мире движок, которого незаконно не допускают до соревнований!

[Vizvezdenec]

Моя ненависть?
Что?
Моя ненависть направлена на тех, кто делает с невероятным апломбом утверждения на базе 40 партий. Делали бы их про Комодо или SF - было бы то же самое.
Причём эти утверждения уже бились фактами не раз и не два и не только мной, но каждый раз как заново.

[sovaz1997]

Вообще, есть много хороших тестов: тот же sp-cc (в данный момент там 3000 партий на движок наигрывается). Зачем смотреть на тесты mattblachess из 100 партий? Это простая трата ресурсов без особого смысла.

Есть один тестер, который выступает против всех тестеров с оборудованием, которое хуже, чем у него (2950x, 2080 Ti): mwyoung. Свои же тесты из 42 партий на движок считает нормальными. А ведь на подобном оборудовании можно нормально параллельно тестировать, как sp-cc, не каждую 5-ю сеть, а каждую 50-100-ю, причем делать это в несколько раз быстрее для разного контроля времени.

--------

Еще одна ошибка - выбирать тесты с лучшим результатом из нескольких. Это будет статистически неверно.

[Vizvezdenec]

Ну Stefan Pohl уже понабивал шишек с короткими тестами, поэтому что-то знает про то, как обманчиво они выглядят зачастую.
Но Лила привлекла очень много людей, которые не только не имеют опыта, но ещё и отрицают весь опыт других людей, т.к. "это у нас нейросеть, а не какая-то там альфабета, новый подход, а вы все - узколобые ретрограды и несёте чушь".
Ну а потом получается то, что получается.

[sovaz1997]

Цитата: Сообщение от Vizvezdenec

Ну Stefan Pohl уже понабивал шишек с короткими тестами, поэтому что-то знает про то, как обманчиво они выглядят зачастую.
Но Лила привлекла очень много людей, которые не только не имеют опыта, но ещё и отрицают весь опыт других людей, т.к. "это у нас нейросеть, а не какая-то там альфабета, новый подход, а вы все - узколобые ретрограды и несёте чушь".
Ну а потом получается то, что получается.

Вообще да, ощущение, что сейчас раз в 10 больше любителей именно компьютерных шахмат появилось)
Кстати, у меня тоже было такое очень давно: я запустил Komodo против Stockfish, Komodo выиграл +2 -0 =8)) Я тогда думал, что Komodo сильнее))
Потом, когда своим движком занялся, тестировал его, все изменилось, конечно.

[Rom77]

Цитата: Сообщение от sovaz1997

Кстати, у меня тоже было такое очень давно: я запустил Komodo против Stockfish, Komodo выиграл +2 -0 =8)) Я тогда думал, что Komodo сильнее))

Я начинал с шестнадцати партий Рыбки 2.3.2 против Хиаркс

[Maratka]

Цитата: Сообщение от Vizvezdenec

Моя ненависть направлена на тех, кто делает с невероятным апломбом утверждения на базе 40 партий. Делали бы их про Комодо или SF - было бы то же самое.
Причём эти утверждения уже бились фактами не раз и не два и не только мной, но каждый раз как заново.

Кстати, SF по весне проиграл в полуфинале кубка Houdini. Вывод очевидный: Houdini сильнее

[Neofelis]

Этот день настал.

Цитата:

Test40: Has stopped.
Test60: Starting with these parameters.
model:
filters: 320
residual_blocks: 24
se_ratio: 10

[Maratka]

Ну собственно уже достаточно давно было понятно, что 20*256 на пределе.
А та, которую сейчас запустили тренироваться будет раза в два медленнее. Учитывая, что 4xx "училась" более полугода, новой потребуется год для игры на +/- том же уровне.

Теперь что важно - найти лучшую из 4xx, ибо она - надолго.

[sovaz1997]

Maratka, на том же уровне, возможно, и меньше времени (думаю, месяца за 4-5).

[Maratka]

Не-а.
Тут особенность то в чем: сырой интеллект сети - это одно, а сила практической игры, с учетом конечности скорости вычислений - другое. Потому новую сеть нужно прокачать до уровня заметно выше, чем 4xx, дабы в реальности она хотя бы не уступала, т.к. с новой сетью вычисления будут идти заметно медленнее.

[Neofelis]

Там поменялось абсолютно все: размер сети, архитектура сети, параметры обучения, параметры генерации тренировочных партий и т.д.
Сейчас обучение идет намного быстрее.

[Maratka]

Ну посмотрим...

[Vizvezdenec]

Цитата: Сообщение от sovaz1997

Вообще да, ощущение, что сейчас раз в 10 больше любителей именно компьютерных шахмат появилось)
Кстати, у меня тоже было такое очень давно: я запустил Komodo против Stockfish, Komodo выиграл +2 -0 =8)) Я тогда думал, что Komodo сильнее))
Потом, когда своим движком занялся, тестировал его, все изменилось, конечно.

Я ещё веселее помню, кто-то писал что-то вроде "запустил Стокфиш 9 против Стокфиша 8, 2 партии сыграли, обе ничьи, так и не понял, где же он лучше".

[svoitsl]

Цитата: Сообщение от Maratka

Ну посмотрим...

на отличия в переводе Гугла

Цитата:

Остаточный размер башни составляет 320х24 (24 блока, 320 фильтров).
Глава политики - в стиле AlphaZero (8 × 8 × 73 вместо простого вектора 1858 года).
Значение головы WDL.
Вместо того, чтобы использовать фиксированные узлы для каждого движения во время обучения, вместо этого используется порог KLD (думайте меньше в очевидных случаях, думайте больше в сложных случаях, но в среднем он остается примерно таким же, как был).
Нелегальные шаги скрываются от главы политики, поэтому нейронной сети не нужно учиться обнаруживать легальные шаги самостоятельно.
Вместо того, чтобы тренировать ценность, голова только на исходе игры {-1; 0; 1}, часть значения Q дерева после добавления хода.
Использование разных FPU в корне против остального дерева.

авторство Crem
Если кому то и без Гугла все ясно,то блог

[svoitsl]

Несмотря на то,что эра закончилась, в ней нам жить ещё минимум полгода

Однако думается, что попытки усиления игры на этом не остановятся.
И сеть наверное усилят (для чего то ведь тестировали 49 сеть) на дебютах
И может и будет время заняться движком.
Да и много других вариантов может появиться.

[Corrs]

Всё, можно уверенно юзать вместо 32930?

[Maratka]

Цитата: Сообщение от Corrs

Всё, можно уверенно юзать вместо 32930?

Ее уже месяца три как можно использовать.

[svoitsl]

Цитата: Сообщение от Corrs

можно уверенно юзать вместо 32930?

вот только не известно конкретно какую сеть, да и наверняка будет и посильнее скоро (на 10-15 Эло).

А юзать уже можно было начиная с 610, вместо 32930,она кажется на 25 Эло была сильнее (или даже на 40,сейчас точно не помню)

фраза из блога

Цитата:

Если мы обнаружим улучшения во время обучения test60, вполне вероятно, что они будут включены в середине процесса обучения.

кажется косвенно свидетельствует,что все что можно сделать для обучения сети в этот раз будет сделано.
Интересно, кто как думает, насколько сильнее она окажется 40 сети (и текущего движка)
Моё предположение, что на 100-150 Эло

[Maratka]

Цитата: Сообщение от svoitsl

Моё предположение, что на 100-150 Эло

Важнее не на сколько, а как скоро: с практической точки зрения пользы от сети с +150, которая появится через три года меньше, чем от +30 через шесть месяцев.

[sovaz1997]

svoitsl, а я тоже хотел предположить. Тоже 100-150, думаю)