LCZero

[Alex_Zet]

Маратка готов часами рассказывать о Стокфише даже ночью, а ведь это движок уступает Лиле во всех тестах и турнирах..

[Омегазеро]

Цитата: Сообщение от Vizvezdenec

судя по постам, в статистике я понимаю чуть-чуть больше. И в силу того, что получал соответствующее образование, и в силу того, что немало с ней имею дело

В таком случае вы должны понимать, что два стандартных отклонения, которые вы используете - это цифра, показывающая, насколько сила игры в конкретной партии выборки может отклониться от матожидания (рейтинга) в 95% случаев

Никакой погрешности матожидания (рейтинга) на данной выборке быть не может - эта величина всегда вычисляется точно

То, о чем вы говорите (так называемая "погрешность"), совсем другая величина и правила ее вычисления формулируются так

Насколько велика должна быть выборка, чтобы при ее дальнейшем увеличении матожидание силы игры (рейтинг) не отклонялись от вычисленного на данной выборке более чем на N Эло

И это не два стандартных отклонения, это гораздо меньше

Для примера. svoitsl выкладывал результаты тестов gblchess64. В последнем тесте, после того, как выборка достигла 5 тысяч игр, матожидание (рейтинг) начал колебаться между 20,5 и 21,5

Из этого следует, что для такой выборки отклонение матожидания при дальнейшем росте имеет полуширину порядка 0,5 Эло

При этом два стандартных отклонения, которые вы абсурдно называете "погрешностью", в 10 (ДЕСЯТЬ) раз выше. Иными словами, вы водите всех за нос, в 10 раз занижая точность

Если такое соотношение между колебаниями матожидания и двумя стандартными отклонениями наблюдается и в более мелких выборках, то для выборки в 30 игр колебания (при дальнейшем тестировании) будут составлять порядка 10 Эло. Данный вывод объясняет, почему лидирующая на 30 партиях программа будет с высокой вероятностью лидировать и при дальнейшем увеличении выборки (если разрыв в рейтинге хотя бы 15 Эло)

[Maratka]

Цитата: Сообщение от Alex_Zet

Маратка готов часами рассказывать о Стокфише даже ночью, а ведь это движок уступает Лиле во всех тестах и турнирах..

Уступал. Не во всех турнирах, и с не очень то и большой разницей.
Сейчас, после последнего пачта уже не будет: патч дал 5-7 ELO при минуте, очень похоже, что будет 12-14 при трех, и весьма вероятно, что рост сохранится и при бОльших контролях, на TCEC'овском вполне охотно поверю, что может выйти и около 20, а то может и несколько больше (другое дело, что его не измерить даже на 1000 ядрах, хотя и реально наиграть тысячи три-пять партий).

Кстати, возможно Vizvezdenec посодействует в запуске... ну не два часа конечно, но скажем 360 секунд: если рост продолжится, и выйдет еще 2-3 ELO сверх того, что есть тут (http://tests.stockfishchess.org/test...bc5925cf0fe4c4), то в общем-то этого будет достаточно, чтобы нарисовать более-менее достоверный граф зависимости роста ELO от контроля по трем известным точкам.

[Vizvezdenec]

Не посодействую, это очень дорого в плане ресурсов.
Динамика понятна Лучше за эти ресурсы ещё раз затюнить всё, если честно

[Maratka]

А так:

Достаточно быстро можно пробежать 30+0.3

[Maratka]

Vizvezdenec, а можете популярно объяснить, как так выходит, что при единицах секунд на партию мы видим падение в десятки ELO, около 20 секунд - уже +/- паритет, а дальше - рост?
Ведь нового кода (и значит новых эвристиков!) не добавилось, просто изменились константы в имеющемся коде. Откуда такая бешеная динамика?

[svoitsl]

Цитата: Сообщение от Омегазеро

Никакой погрешности матожидания (рейтинга)

Кажется я понял в чем дело, дело в понятии рейтинга и матожидания рейтинга, это два разных понятия
Эти понятия совпадают абсолютно точно только при бесконечной выборке, в ином случае где находится рейтинг точно никто не знает, можно только предположить, что с 95% вероятностью он находится где то в диапазоне матожидание +/- погрешность (но все равно есть 5% случаев, когда он может выйти за этот диапазон).

Цитата: Сообщение от Омегазеро

Для примера. svoitsl выкладывал результаты тестов gblchess64. В последнем тесте, после того, как выборка достигла 5 тысяч игр, матожидание (рейтинг) начал колебаться между 20,5 и 21,5

Не думаю, что имеет смысл вводить себя в заблуждение, хотя и не могу отрицать, что многие любят жить иллюзиями.

[Омегазеро]

Цитата: Сообщение от svoitsl

можно только предположить, что с 95% вероятностью он находится где то в диапазоне матожидание +/- погрешность (на все равно есть 5% случаев, когда он может выйти за этот диапазон)

У матожидания нет погрешности!
И та величина, которая называется ERROR - это не погрешность!
Вы посмотрите на цифры теста gblchess64, которые сами выкладывали (ERROR в скобках)

4015 игр - 18.7 (7.8)
4885 игр - 21.2 (7.1)
7424 игр - 21.3 (5.6)
9424 игр - 21.5 (5.1)
11503 игр - 21.3 (4.7)
13452 игр - 20.5 (4.2)
17781 игр - 20.9 (3.8)

Если бы ERROR был погрешностью, то Эло у нас колебалось бы с размахом порядка этой цифры. То есть от 15 до 25

А на самом деле Эло начиная с 4500 игр колеблется с размахом 0,5 Эло

Вот этот размах и есть настоящее отклонение матожидания, которое вам нужно

А ERROR - это величина, на которую сила движка с 95%-й вероятностью отклонится от матожидания (рейтинга) в ОДНОЙ конкретной партии

Именно поэтому движок может вдруг в 26 ходов проиграть - его сила может сильно скакнуть: с вероятностью 5% больше чем на 7 Эло для выборки в 5 тысяч партий

[sovaz1997]

Так оно и понятно, разброс результатов же не равномерный будет по погрешности, а более близкий к реальному рейтингу (который неизвестен).

[sovaz1997]

У меня так вообще было: сначала движок показывал прирост и погрешности перекрывались, но в итоге тест новая версия не прошла. А если бы я отключил тест на 30 партиях, ошибся бы. Т. к. попал в пресловутые 5%.

[sovaz1997]

Также нельзя забывать, что мы искаженно воспринимаем понятие вероятности. Это свойство мозга, с этим ничего нельзя сделать. Поэтому надо просто верить цифрам и не додумывать лишнего.

[Омегазеро]

Цитата: Сообщение от sovaz1997

Так оно и понятно, разброс результатов же не равномерный будет по погрешности, а более близкий к реальному рейтингу (который неизвестен).

Более близкий насколько?
Какова вероятность того, что, стреляя с погрешностью 7 сантиметров, вы 10 тысяч раз попадете в круг радиусом 0,5 сантиметров?

А в данном тесте так и получилось. И в шести предыдущих тестах gblchess64

Потому что ERROR - никакая не погрешность. Это ошибка тупого перевода. А настоящая точность в данном случае как раз 0,5 Эло

[Alex_Zet]

Цитата: Сообщение от Maratka

Уступал. Не во всех турнирах, и с не очень то и большой разницей.
Сейчас, после последнего пачта уже не будет: патч дал 5-7 ELO при минуте, очень похоже, что будет 12-14 при трех, и весьма вероятно, что рост сохранится и при бОльших контролях, на TCEC'овском вполне охотно поверю, что может выйти и около 20, а то может и несколько больше (другое дело, что его не измерить даже на 1000 ядрах, хотя и реально наиграть

А допустим если случись, чисто гипотетически, провести тест с контролем 5 000 минут, то ведь наверняка патч дал бы в районе 500 - 800 эло прибавки.
Я бы посоветовал приостановить тестирование на пол годика, так как последним патчем Лила отброшена на годы.

[svoitsl]

Сеть LD2 (little demon 2) стала доступна
Можно пробовать....

[Омегазеро]

Цитата: Сообщение от Alex_Zet

последним патчем Лила отброшена на годы.

Каким патчем?

Вот Лила с сетью хортоса T40B.1-106 борется с самым последним Стокфишем (stockfish_19080109_x64_bmi2.exe) на отношении скоростей 1:2200

Сто игр с контролем 1,5 мин / 1,5 сек, хэш Стокфиша 256, Лилы 3000000, игра белыми и черными на сокращенных двухходовках Noomen от gblchess64, поражение -10 пешек, ничья 0,08 и сизигийные пятифигурки

Смотрим, как менялся счет на отрезках в десять партий. Очень гладко, правда?

=======10= 1:1
=1===01=== 3:2
=1======== 4:2
01=0====== 5:4
==0=1==010 7:7
========== 7:7
==10=01=10 10:10
0===0=1=1= 12:12
========== 12:12
=========1 13:12

И в последней партии после 20 ничьих Лила вырывает победу! Прямо Каспаров с Карповым

Тест продолжается, игры прилагаются

[Vizvezdenec]

Цитата: Сообщение от Maratka

Vizvezdenec, а можете популярно объяснить, как так выходит, что при единицах секунд на партию мы видим падение в десятки ELO, около 20 секунд - уже +/- паритет, а дальше - рост?
Ведь нового кода (и значит новых эвристиков!) не добавилось, просто изменились константы в имеющемся коде. Откуда такая бешеная динамика?

Это магия
Я сам впервые такое вижу.

[Vizvezdenec]

А в суперфинале TCEC 14 было очень гладкое 6-1, потом очень гладкое 7-8, потом очень гладкое 10-9.
Хотя временной контроль и железо вроде как подлиннее.

[svoitsl]

Nibbler- GUI для Лилы удалось зарелизить на версии 1.0.1

[Кевин]

v0.22.0 вышла.

https://github.com/LeelaChessZero/lc0/releases

Цитата:

No change from v0.22.0-rc1 other than version number.

[svoitsl]

все таки +0.4 Эло.... даже при погрешности +/- 3.5 Эло все таки лучше чем -0.4 Эло

Это столько принесли последние 1 млн игр.

[Омегазеро]

Цитата: Сообщение от svoitsl

все таки +0.4 Эло.... даже при погрешности +/- 3.5

3.5 - это не погрешность!

это число показывает, насколько силы игры в одной партии может в данной выборке отклониться от рейтинга (который есть матожидание силы игры)

Сам рейтинг рассчитан абсолютно точно, без погрешности

Вы вправе поставить вопрос, насколько этот рейтинг на данной выборке может отклоняться от рейтинга на бесконечной выборке

Ответ тоже известен - порядка 0,5 Эло. Можете считать эту величину погрешностью

[Омегазеро]

Цитата: Сообщение от svoitsl

все таки +0.4 Эло

Здесь хорошо видно, что после выборки в 6 тысяч партий рейтинг колеблется на 0,5 Эло при тестировании всех сетей

То есть нет смысла больше 6 тысяч прогонять - мы все равно не сможем узнать рейтинг точнее

[ChessMan]

Цитата: Сообщение от Омегазеро

3.5 - это не погрешность!

это число показывает, насколько силы игры в одной партии может в данной выборке отклониться от рейтинга (который есть матожидание силы игры)

Сам рейтинг рассчитан абсолютно точно, без погрешности

Вы вправе поставить вопрос, насколько этот рейтинг на данной выборке может отклоняться от рейтинга на бесконечной выборке

Ответ тоже известен - порядка 0,5 Эло. Можете считать эту величину погрешностью

На самом деле, при ещё одном запуске этого же теста, ЭЛО может запросто изменится на величину +/-3,5. Проверено на Стокфишах.

[svoitsl]

Рост тестовой сети 60 к сожалению приостановился,
Провел, как и обещал, небольшой оценочный тест с Рыбкой 4.1 х64 SSE42 4CPU (её рейтинг порядка 3100),так вот она оказалась сильнее сети 60135 на целых 241 Эло (33-3-14), таким образом сеть 60135 добралася до уровня 3100-240=2860 Эло
То есть рост не превысил погрешность
Так и завис на уровне ЧМ

[Neofelis]

Не знаю, как вы тестировали, но все другие тесты говорят, что рост набирает обороты.

[svoitsl]

Буду рад ошибиться, сегодня вечером попробую убедиться, что я ошибся, если сыграет с Рыбкой 4.1 на равных то и хорошо

[alchemist888]

Фиолетовый уже похоже дрогнул, а он по силе близок к Рыбке 4.1.
60148 сеть с 10 kn/s сейчас играет на этом стриме
https://www.twitch.tv/edosani

[svoitsl]

Для теста на 1-м узле
рекомендуют также установить следующие параметры
Threads 1
MinibatchSize 1
SmartPruningFactor 0.0
Возможно,это будет способствовать более точной игре на 1-узле
У меня получилось, что нижняя граница уровня игры lc0 0.22 и 42850 не опускается ниже 2000 Эло (причем уже с учетом немалой ошибки)

[svoitsl]

Цитата: Сообщение от Neofelis

Не знаю, как вы тестировали

Ну это можно....
Tc 10"+1"
Книжка Balsa_Top25, syzygy 5,
I5-4670k, RTX2060 fp32
Рыбка4.1 всё равно выигрывает 173 Эло (30-7-13) даже у сети 60150!

[svoitsl]

Тест из 100 игр дал такой результат
Рыбка4.1 оказалась сильнее на 190 Эло
(62-12-26)
То есть Лила 0.22-60150 имеет примерно 3050-190=2860 Эло
То есть пока в пределах погрешности и роста особого нет.
Пожалуй времена , когда рост был на 100 Эло в день уже прошли.
И я уже сомневаюсь, что ранее выходных Лила сравняется с Рыбкой 4.1