04.08.2019, 03:47 | #4411 |
Эксперт
ТС
Регистрация: 01.12.2016
Сообщений: 5,696
Сказал(а) спасибо: 264
Поблагодарили 1,517 раз(а) в 1,153 сообщениях
Записей в дневнике: 15
|
Re: LCZero
Маратка готов часами рассказывать о Стокфише даже ночью, а ведь это движок уступает Лиле во всех тестах и турнирах..
__________________
10 оттенков https://www.youtube.com/playlist?lis...7RKv2pEmatnOBs |
04.08.2019, 12:02 | #4412 |
Гроссмейстер
Регистрация: 20.01.2019
Сообщений: 1,067
Сказал(а) спасибо: 2
Поблагодарили 701 раз(а) в 343 сообщениях
Репутация: 92
|
Re: LCZero
Цитата: Сообщение от Vizvezdenec
судя по постам, в статистике я понимаю чуть-чуть больше. И в силу того, что получал соответствующее образование, и в силу того, что немало с ней имею дело
Никакой погрешности матожидания (рейтинга) на данной выборке быть не может - эта величина всегда вычисляется точно То, о чем вы говорите (так называемая "погрешность"), совсем другая величина и правила ее вычисления формулируются так Насколько велика должна быть выборка, чтобы при ее дальнейшем увеличении матожидание силы игры (рейтинг) не отклонялись от вычисленного на данной выборке более чем на N Эло И это не два стандартных отклонения, это гораздо меньше Для примера. svoitsl выкладывал результаты тестов gblchess64. В последнем тесте, после того, как выборка достигла 5 тысяч игр, матожидание (рейтинг) начал колебаться между 20,5 и 21,5 Из этого следует, что для такой выборки отклонение матожидания при дальнейшем росте имеет полуширину порядка 0,5 Эло При этом два стандартных отклонения, которые вы абсурдно называете "погрешностью", в 10 (ДЕСЯТЬ) раз выше. Иными словами, вы водите всех за нос, в 10 раз занижая точность Если такое соотношение между колебаниями матожидания и двумя стандартными отклонениями наблюдается и в более мелких выборках, то для выборки в 30 игр колебания (при дальнейшем тестировании) будут составлять порядка 10 Эло. Данный вывод объясняет, почему лидирующая на 30 партиях программа будет с высокой вероятностью лидировать и при дальнейшем увеличении выборки (если разрыв в рейтинге хотя бы 15 Эло) |
04.08.2019, 12:28 | #4413 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: LCZero
Цитата: Сообщение от Alex_Zet
Маратка готов часами рассказывать о Стокфише даже ночью, а ведь это движок уступает Лиле во всех тестах и турнирах..
Сейчас, после последнего пачта уже не будет: патч дал 5-7 ELO при минуте, очень похоже, что будет 12-14 при трех, и весьма вероятно, что рост сохранится и при бОльших контролях, на TCEC'овском вполне охотно поверю, что может выйти и около 20, а то может и несколько больше (другое дело, что его не измерить даже на 1000 ядрах, хотя и реально наиграть тысячи три-пять партий). Кстати, возможно Vizvezdenec посодействует в запуске... ну не два часа конечно, но скажем 360 секунд: если рост продолжится, и выйдет еще 2-3 ELO сверх того, что есть тут (http://tests.stockfishchess.org/test...bc5925cf0fe4c4), то в общем-то этого будет достаточно, чтобы нарисовать более-менее достоверный граф зависимости роста ELO от контроля по трем известным точкам. |
04.08.2019, 12:38 | #4414 |
Гроссмейстер
Регистрация: 30.05.2018
Адрес: Севастополь
Сообщений: 4,022
Сказал(а) спасибо: 56
Поблагодарили 5,294 раз(а) в 2,673 сообщениях
Репутация: 216
|
Re: LCZero
Не посодействую, это очень дорого в плане ресурсов.
Динамика понятна Лучше за эти ресурсы ещё раз затюнить всё, если честно |
Пользователь сказал cпасибо: | Maratka (04.08.2019) |
04.08.2019, 12:42 | #4416 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: LCZero
Vizvezdenec, а можете популярно объяснить, как так выходит, что при единицах секунд на партию мы видим падение в десятки ELO, около 20 секунд - уже +/- паритет, а дальше - рост?
Ведь нового кода (и значит новых эвристиков!) не добавилось, просто изменились константы в имеющемся коде. Откуда такая бешеная динамика? |
04.08.2019, 12:48 | #4417 |
Гроссмейстер
Регистрация: 19.04.2017
Сообщений: 4,734
Сказал(а) спасибо: 1,204
Поблагодарили 2,853 раз(а) в 1,885 сообщениях
Репутация: 159
|
Re: LCZero
Цитата: Сообщение от Омегазеро
Никакой погрешности матожидания (рейтинга)
Эти понятия совпадают абсолютно точно только при бесконечной выборке, в ином случае где находится рейтинг точно никто не знает, можно только предположить, что с 95% вероятностью он находится где то в диапазоне матожидание +/- погрешность (но все равно есть 5% случаев, когда он может выйти за этот диапазон). Цитата: Сообщение от Омегазеро
Для примера. svoitsl выкладывал результаты тестов gblchess64. В последнем тесте, после того, как выборка достигла 5 тысяч игр, матожидание (рейтинг) начал колебаться между 20,5 и 21,5
Последний раз редактировалось svoitsl; 04.08.2019 в 13:19. |
Пользователь сказал cпасибо: | sovaz1997 (04.08.2019) |
04.08.2019, 13:17 | #4418 |
Гроссмейстер
Регистрация: 20.01.2019
Сообщений: 1,067
Сказал(а) спасибо: 2
Поблагодарили 701 раз(а) в 343 сообщениях
Репутация: 92
|
Re: LCZero
Цитата: Сообщение от svoitsl
можно только предположить, что с 95% вероятностью он находится где то в диапазоне матожидание +/- погрешность (на все равно есть 5% случаев, когда он может выйти за этот диапазон)
И та величина, которая называется ERROR - это не погрешность! Вы посмотрите на цифры теста gblchess64, которые сами выкладывали (ERROR в скобках) 4015 игр - 18.7 (7.8) 4885 игр - 21.2 (7.1) 7424 игр - 21.3 (5.6) 9424 игр - 21.5 (5.1) 11503 игр - 21.3 (4.7) 13452 игр - 20.5 (4.2) 17781 игр - 20.9 (3.8) Если бы ERROR был погрешностью, то Эло у нас колебалось бы с размахом порядка этой цифры. То есть от 15 до 25 А на самом деле Эло начиная с 4500 игр колеблется с размахом 0,5 Эло Вот этот размах и есть настоящее отклонение матожидания, которое вам нужно А ERROR - это величина, на которую сила движка с 95%-й вероятностью отклонится от матожидания (рейтинга) в ОДНОЙ конкретной партии Именно поэтому движок может вдруг в 26 ходов проиграть - его сила может сильно скакнуть: с вероятностью 5% больше чем на 7 Эло для выборки в 5 тысяч партий |
04.08.2019, 13:34 | #4419 |
Гроссмейстер
Регистрация: 27.09.2017
Адрес: Москва
Сообщений: 4,142
Сказал(а) спасибо: 2,297
Поблагодарили 2,510 раз(а) в 1,635 сообщениях
Репутация: 92
|
Re: LCZero
Так оно и понятно, разброс результатов же не равномерный будет по погрешности, а более близкий к реальному рейтингу (который неизвестен).
|
04.08.2019, 13:35 | #4420 |
Гроссмейстер
Регистрация: 27.09.2017
Адрес: Москва
Сообщений: 4,142
Сказал(а) спасибо: 2,297
Поблагодарили 2,510 раз(а) в 1,635 сообщениях
Репутация: 92
|
Re: LCZero
У меня так вообще было: сначала движок показывал прирост и погрешности перекрывались, но в итоге тест новая версия не прошла. А если бы я отключил тест на 30 партиях, ошибся бы. Т. к. попал в пресловутые 5%.
|
04.08.2019, 13:37 | #4421 |
Гроссмейстер
Регистрация: 27.09.2017
Адрес: Москва
Сообщений: 4,142
Сказал(а) спасибо: 2,297
Поблагодарили 2,510 раз(а) в 1,635 сообщениях
Репутация: 92
|
Re: LCZero
Также нельзя забывать, что мы искаженно воспринимаем понятие вероятности. Это свойство мозга, с этим ничего нельзя сделать. Поэтому надо просто верить цифрам и не додумывать лишнего.
|
04.08.2019, 13:47 | #4422 |
Гроссмейстер
Регистрация: 20.01.2019
Сообщений: 1,067
Сказал(а) спасибо: 2
Поблагодарили 701 раз(а) в 343 сообщениях
Репутация: 92
|
Re: LCZero
Цитата: Сообщение от sovaz1997
Так оно и понятно, разброс результатов же не равномерный будет по погрешности, а более близкий к реальному рейтингу (который неизвестен).
Какова вероятность того, что, стреляя с погрешностью 7 сантиметров, вы 10 тысяч раз попадете в круг радиусом 0,5 сантиметров? А в данном тесте так и получилось. И в шести предыдущих тестах gblchess64 Потому что ERROR - никакая не погрешность. Это ошибка тупого перевода. А настоящая точность в данном случае как раз 0,5 Эло |
04.08.2019, 13:49 | #4423 |
Эксперт
ТС
Регистрация: 01.12.2016
Сообщений: 5,696
Сказал(а) спасибо: 264
Поблагодарили 1,517 раз(а) в 1,153 сообщениях
Записей в дневнике: 15
|
Re: LCZero
Цитата: Сообщение от Maratka
Уступал. Не во всех турнирах, и с не очень то и большой разницей.
Сейчас, после последнего пачта уже не будет: патч дал 5-7 ELO при минуте, очень похоже, что будет 12-14 при трех, и весьма вероятно, что рост сохранится и при бОльших контролях, на TCEC'овском вполне охотно поверю, что может выйти и около 20, а то может и несколько больше (другое дело, что его не измерить даже на 1000 ядрах, хотя и реально наиграть Я бы посоветовал приостановить тестирование на пол годика, так как последним патчем Лила отброшена на годы.
__________________
10 оттенков https://www.youtube.com/playlist?lis...7RKv2pEmatnOBs |
04.08.2019, 15:11 | #4425 |
Гроссмейстер
Регистрация: 20.01.2019
Сообщений: 1,067
Сказал(а) спасибо: 2
Поблагодарили 701 раз(а) в 343 сообщениях
Репутация: 92
|
Re: LCZero
Цитата: Сообщение от Alex_Zet
последним патчем Лила отброшена на годы.
Вот Лила с сетью хортоса T40B.1-106 борется с самым последним Стокфишем (stockfish_19080109_x64_bmi2.exe) на отношении скоростей 1:2200 Сто игр с контролем 1,5 мин / 1,5 сек, хэш Стокфиша 256, Лилы 3000000, игра белыми и черными на сокращенных двухходовках Noomen от gblchess64, поражение -10 пешек, ничья 0,08 и сизигийные пятифигурки Смотрим, как менялся счет на отрезках в десять партий. Очень гладко, правда? =======10= 1:1 =1===01=== 3:2 =1======== 4:2 01=0====== 5:4 ==0=1==010 7:7 ========== 7:7 ==10=01=10 10:10 0===0=1=1= 12:12 ========== 12:12 =========1 13:12 И в последней партии после 20 ничьих Лила вырывает победу! Прямо Каспаров с Карповым Тест продолжается, игры прилагаются Последний раз редактировалось Омегазеро; 04.08.2019 в 15:49. |
04.08.2019, 16:57 | #4426 |
Гроссмейстер
Регистрация: 30.05.2018
Адрес: Севастополь
Сообщений: 4,022
Сказал(а) спасибо: 56
Поблагодарили 5,294 раз(а) в 2,673 сообщениях
Репутация: 216
|
Re: LCZero
Цитата: Сообщение от Maratka
Vizvezdenec, а можете популярно объяснить, как так выходит, что при единицах секунд на партию мы видим падение в десятки ELO, около 20 секунд - уже +/- паритет, а дальше - рост?
Ведь нового кода (и значит новых эвристиков!) не добавилось, просто изменились константы в имеющемся коде. Откуда такая бешеная динамика? Я сам впервые такое вижу. |
Пользователь сказал cпасибо: | Maratka (04.08.2019) |
04.08.2019, 16:59 | #4427 |
Гроссмейстер
Регистрация: 30.05.2018
Адрес: Севастополь
Сообщений: 4,022
Сказал(а) спасибо: 56
Поблагодарили 5,294 раз(а) в 2,673 сообщениях
Репутация: 216
|
Re: LCZero
А в суперфинале TCEC 14 было очень гладкое 6-1, потом очень гладкое 7-8, потом очень гладкое 10-9.
Хотя временной контроль и железо вроде как подлиннее. |
05.08.2019, 13:37 | #4429 |
Гроссмейстер
Регистрация: 02.07.2016
Адрес: Сахалин
Сообщений: 4,792
Сказал(а) спасибо: 5,116
Поблагодарили 14,196 раз(а) в 4,064 сообщениях
Записей в дневнике: 251
|
Re: LCZero
v0.22.0 вышла.
https://github.com/LeelaChessZero/lc0/releases Цитата:
No change from v0.22.0-rc1 other than version number.
__________________
ICCF SIM 2547, International Arbiter, ICCF "Promotional Tournaments - Server" Organiser, RCCA Chess 960 Champion, ICCF 4th Chess 960 World Cup Final Winner. |
05.08.2019, 20:32 | #4431 |
Гроссмейстер
Регистрация: 20.01.2019
Сообщений: 1,067
Сказал(а) спасибо: 2
Поблагодарили 701 раз(а) в 343 сообщениях
Репутация: 92
|
Re: LCZero
Цитата: Сообщение от svoitsl
все таки +0.4 Эло.... даже при погрешности +/- 3.5
это число показывает, насколько силы игры в одной партии может в данной выборке отклониться от рейтинга (который есть матожидание силы игры) Сам рейтинг рассчитан абсолютно точно, без погрешности Вы вправе поставить вопрос, насколько этот рейтинг на данной выборке может отклоняться от рейтинга на бесконечной выборке Ответ тоже известен - порядка 0,5 Эло. Можете считать эту величину погрешностью |
05.08.2019, 20:38 | #4432 |
Гроссмейстер
Регистрация: 20.01.2019
Сообщений: 1,067
Сказал(а) спасибо: 2
Поблагодарили 701 раз(а) в 343 сообщениях
Репутация: 92
|
Re: LCZero
Цитата: Сообщение от svoitsl
все таки +0.4 Эло
То есть нет смысла больше 6 тысяч прогонять - мы все равно не сможем узнать рейтинг точнее |
05.08.2019, 20:50 | #4433 |
Super Moderator
Регистрация: 04.01.2017
Сообщений: 3,629
Сказал(а) спасибо: 2,879
Поблагодарили 6,463 раз(а) в 2,331 сообщениях
Репутация: 354
|
Re: LCZero
Цитата: Сообщение от Омегазеро
3.5 - это не погрешность!
это число показывает, насколько силы игры в одной партии может в данной выборке отклониться от рейтинга (который есть матожидание силы игры) Сам рейтинг рассчитан абсолютно точно, без погрешности Вы вправе поставить вопрос, насколько этот рейтинг на данной выборке может отклоняться от рейтинга на бесконечной выборке Ответ тоже известен - порядка 0,5 Эло. Можете считать эту величину погрешностью |
Пользователь сказал cпасибо: | svoitsl (05.08.2019) |
05.08.2019, 21:12 | #4434 |
Гроссмейстер
Регистрация: 19.04.2017
Сообщений: 4,734
Сказал(а) спасибо: 1,204
Поблагодарили 2,853 раз(а) в 1,885 сообщениях
Репутация: 159
|
Re: LCZero
Рост тестовой сети 60 к сожалению приостановился,
Провел, как и обещал, небольшой оценочный тест с Рыбкой 4.1 х64 SSE42 4CPU (её рейтинг порядка 3100),так вот она оказалась сильнее сети 60135 на целых 241 Эло (33-3-14), таким образом сеть 60135 добралася до уровня 3100-240=2860 Эло То есть рост не превысил погрешность Так и завис на уровне ЧМ |
06.08.2019, 15:33 | #4437 |
КМС
Регистрация: 25.04.2019
Сообщений: 674
Сказал(а) спасибо: 293
Поблагодарили 641 раз(а) в 345 сообщениях
Репутация: 61
|
Re: LCZero
Фиолетовый уже похоже дрогнул, а он по силе близок к Рыбке 4.1.
60148 сеть с 10 kn/s сейчас играет на этом стриме https://www.twitch.tv/edosani |
06.08.2019, 20:46 | #4438 |
Гроссмейстер
Регистрация: 19.04.2017
Сообщений: 4,734
Сказал(а) спасибо: 1,204
Поблагодарили 2,853 раз(а) в 1,885 сообщениях
Репутация: 159
|
Re: LCZero
Для теста на 1-м узле
рекомендуют также установить следующие параметры Threads 1 MinibatchSize 1 SmartPruningFactor 0.0 Возможно,это будет способствовать более точной игре на 1-узле У меня получилось, что нижняя граница уровня игры lc0 0.22 и 42850 не опускается ниже 2000 Эло (причем уже с учетом немалой ошибки) |
06.08.2019, 20:52 | #4439 |
Гроссмейстер
Регистрация: 19.04.2017
Сообщений: 4,734
Сказал(а) спасибо: 1,204
Поблагодарили 2,853 раз(а) в 1,885 сообщениях
Репутация: 159
|
Re: LCZero
Цитата: Сообщение от Neofelis
Не знаю, как вы тестировали
Tc 10"+1" Книжка Balsa_Top25, syzygy 5, I5-4670k, RTX2060 fp32 Рыбка4.1 всё равно выигрывает 173 Эло (30-7-13) даже у сети 60150! |
06.08.2019, 23:58 | #4440 |
Гроссмейстер
Регистрация: 19.04.2017
Сообщений: 4,734
Сказал(а) спасибо: 1,204
Поблагодарили 2,853 раз(а) в 1,885 сообщениях
Репутация: 159
|
Re: LCZero
Тест из 100 игр дал такой результат
Рыбка4.1 оказалась сильнее на 190 Эло (62-12-26) То есть Лила 0.22-60150 имеет примерно 3050-190=2860 Эло То есть пока в пределах погрешности и роста особого нет. Пожалуй времена , когда рост был на 100 Эло в день уже прошли. И я уже сомневаюсь, что ранее выходных Лила сравняется с Рыбкой 4.1 |
Здесь присутствуют: 4 (пользователей: 0 , гостей: 4) | |
|
|