19.11.2020, 19:37 | #2 |
2 разряд
ТС
Регистрация: 24.01.2018
Сообщений: 351
Сказал(а) спасибо: 481
Поблагодарили 311 раз(а) в 153 сообщениях
Репутация: 56
|
Re: Специальные опыты
схема следующей серии тестов
последовательно делаются прогоны на разных книгах, для каждой из которых - на трех парах сетей, для каждой из пар сетей - на множестве временных контролей книги: 1--- SedatCanbaz - Balsa_Top50_(50_positions) 2--- StefanPohl - SuperGM_4mvs_50_(50_positions) (получена из SuperGM_4mvs_500_(500_positions)) 3--- Noomen - 4move-50_(50_positions) (получена из Noomen-4move_(2000_positions)) 4--- SF - 8moves_v3-50_(50_positions) (получена из SF-8moves_v3_(34700_positions)) 5--- Noomen - TCEC-SuFi-19_(50_positions) 6 7 8 9 10--- Asunta - M100_(+0.80)_(50_positions) для увеличение точности используются книги из 50 позиций (это обеспечивает идентичные наборы позиций для каждой пары и каждого временного контроля), полученные из больших основных книг, способом последовательного отбора позиций с шагом 1/50 длины основной книги сравнительные тесты показывают близость характеристик основной и короткой (50 позиций) книг пары сетей: sv+sf200929-baeb -- sv200722-2141 (sv+sf200929-baeb - сеть SF в TCEC-SuFi-19) sv200813-1010 -- sv200725-1313 sv200824-1705 -- Night Nurse 0.3 используется CiChess, режим Pure (огромная благодарность ChessMan'у) временные контроли идут с увеличением в 1,4142 раза (2 замера на удвоение времени): 6,13s+0,11s - 500 партий * 3 прогона (один прогон на каждую пару сетей) 9,00s+0,15s - 300 * 3 12,86s+0,21s - 300 * 3 18,00s+0,30s - 200 * 3 25,71s+0,42s - 100 * 3 36,00s+0,60s - 100 * 3 50,82s+0,85s - 100 * 3 72,00s+1,20s - 100 * 3 101,65s+1,70s - 100 * 3 всего 1800 партий для каждой пары сетей, 5400 партий на книгу CuteChess 1.2.0 / Threads: 1 / Concurrency=2 / Hash: 64Mb / 5-men Syzygy Engine: CiChess_201004 / Use NNUE: Pure / Contempt: 0 / Move Overhead=10 / MinThinkTime=20 / Slow Mover=100 Adjudication: Resign mc=3 sc=700, Draw mn=40 mc=10 sc=20, 5-men Syzygy |
Пользователь сказал cпасибо: | Arikchess (21.11.2020) |
19.11.2020, 20:26 | #3 |
2 разряд
ТС
Регистрация: 24.01.2018
Сообщений: 351
Сказал(а) спасибо: 481
Поблагодарили 311 раз(а) в 153 сообщениях
Репутация: 56
|
Re: Специальные опыты
здесь статистика использования книг в тестах CCRL - https://ccrl.chessdom.com/ccrl/404/history_book.html
качество списка CCRL - удовлетворительное масштабирование шкалы Elo (центральный момент), близкое к человеческому преимущество белого цвета - обеспечивается характеристиками используемых книг анализ активно используемых книг позволяет выделить две примерно равные группы: 1--- книги группы "Perfect" 2--- книги группы "StefanPohl+" - короткие книги Pohl_SuperGM4moves + Pohl_IM4moves и совсем немного других книги с характеристиками, близкими книгам CCRL из обеих групп есть в проводимой серии тестов: 1--- Balsa_Top50 из группы "Perfect" 2--- SuperGM_4mvs_50 из группы коротких книг "StefanPohl+" ввожу понятие CCRL.book.standart - как среднее характеристик двух книг: Balsa_Top50 и SuperGM_4mvs_50 CCRL.book.standart = (Balsa_Top50 + SuperGM_4mvs_50) / 2 относительно CCRL.book.standart будет рассчитываться часть характеристик всех книг теста |
Пользователь сказал cпасибо: | Arikchess (21.11.2020) |
21.11.2020, 15:31 | #4 |
2 разряд
ТС
Регистрация: 24.01.2018
Сообщений: 351
Сказал(а) спасибо: 481
Поблагодарили 311 раз(а) в 153 сообщениях
Репутация: 56
|
Re: Специальные опыты
ввожу определение величин:
EloDifference - разница в силе в пунктах Elo KProgression(EloDifference) - коэффициент прогрессии величины EloDifference при удвоении времени (в частном случае, при значении <1, аналогичен распространенному понятию "компрессия Elo"). определяет, во сколько раз изменяется EloDifference RezultRatio - доля результативных партий в %, равна 100-DrawRatio, где DrawRatio - доля ничейных партий ErrorBar-1000 - величина доверительного интервала 2σ в пересчете на 1000 партий в пунктах Elo KProgression(ErrorBar-1000) - коэффициент прогрессии величины ErrorBar-1000 при удвоении времени. определяет, во сколько раз изменяется ErrorBar-1000 EffectiveLength - эффективная длина теста - минимальная длина теста, при которой начинает выполняться неравенство EloDifference > 3,5σ, что соответствует достижению цели теста - определению сильнейшего с вероятностью ~100% KProgression(EffectiveLength) - коэффициент прогрессии величины EffectiveLength при удвоении времени. определяет, во сколько раз изменяется EffectiveLength WhiteScore - % очков, набранных белыми KProgression(WhiteScore) - коэффициент прогрессии величины WhiteScore при удвоении времени. определяет, на сколько изменяется WhiteScore (аппроксимация для данной величины линейная, что не так в пределе точности, но в первом приближении лучше) WhiteAdvantage - преимущество белых в пунктах Elo |
Пользователь сказал cпасибо: | Arikchess (21.11.2020) |
21.11.2020, 15:57 | #5 | ||||||||||||||||||||||||||||||||||||||||||||
2 разряд
ТС
Регистрация: 24.01.2018
Сообщений: 351
Сказал(а) спасибо: 481
Поблагодарили 311 раз(а) в 153 сообщениях
Репутация: 56
|
Re: Специальные опыты
CCRL.book.standart
6s+0,1s (значения функций экстраполяции для контроля 6s+0,1s)
60s+1s (значения функций экстраполяции для контроля 60s+1s)
60m+1m (значения функций экстраполяции для контроля 60m+1m, эквивалентного контролю TCEC на 1 ядре)
|
||||||||||||||||||||||||||||||||||||||||||||
Пользователь сказал cпасибо: | Arikchess (21.11.2020) |
22.11.2020, 21:09 | #6 |
2 разряд
ТС
Регистрация: 24.01.2018
Сообщений: 351
Сказал(а) спасибо: 481
Поблагодарили 311 раз(а) в 153 сообщениях
Репутация: 56
|
Re: Специальные опыты
ввожу величины относительного сравнения с CCRL.book.standart - относительные индексы (RI-relative index)
RI-EloZoom - отношение EloDifference данной книги к EloDifference CCRL.book.standart если RI-EloZoom > 1 - данная книга расширяет масштаб шкалы elo-ccrl, для приведения полученного результата к масштабу elo-ccrl, его нужно разделить на RI-EloZoom если RI-EloZoom < 1 - данная книга сжимает масштаб шкалы elo-ccrl, для приведения полученного результата к масштабу elo-ccrl, его нужно умножить на RI-EloZoom EloDifference, полученный на разных книгах, буду обозначать к единицах 'elo', т.к. с одной стороны - он получен по формуле Elo, с другой стороны - его масштаб индивидуален, определяется особенностями книги (при сравнении книг), и в общем случае не совпадает с масштабом elo-ccrl, пока не приведен к нему KProgression(RI-EloZoom) - коэффициент прогрессии величины RI-EloZoom при удвоении времени. определяет, во сколько раз изменяется RI-EloZoom RI-RezultZoom - отношение RezultRatio данной книги к RezultRatio CCRL.book.standart если RI-RezultZoom > 1 - данная книга увеличивает долю результативных партий, если < 1 - уменьшает KProgression(RI-RezultZoom) - коэффициент прогрессии величины RI-RezultZoom при удвоении времени. определяет, во сколько раз изменяется RI-RezultZoom RI-EffectiveZoom - отношение EffectiveLength CCRL.book.standart к EffectiveLength данной книги если RI-EffectiveZoom > 1 - эффективность данной книги выше эффективности CCRL.book.standart (данная книга уменьшает эффективную длину теста относительно длины теста на CCRL.book.standart), если < 1 - наоборот, эффективность данной книги ниже KProgression(RI-EffectiveZoom) - коэффициент прогрессии величины RI-EffectiveZoom при удвоении времени. определяет, во сколько раз изменяется RI-EffectiveZoom |
23.11.2020, 16:03 | #7 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
2 разряд
ТС
Регистрация: 24.01.2018
Сообщений: 351
Сказал(а) спасибо: 481
Поблагодарили 311 раз(а) в 153 сообщениях
Репутация: 56
|
Re: Специальные опыты
Balsa_Top50 (Sedat Canbaz)
книги Balsa здесь
6s+0,1s (значения функций экстраполяции для контроля 6s+0,1s)
60s+1s (значения функций экстраполяции для контроля 60s+1s)
60m+1m (значения функций экстраполяции для контроля 60m+1m, эквивалентного контролю TCEC на 1 ядре)
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||
23.11.2020, 16:14 | #8 | ||||||||||||||||||||||||
2 разряд
ТС
Регистрация: 24.01.2018
Сообщений: 351
Сказал(а) спасибо: 481
Поблагодарили 311 раз(а) в 153 сообщениях
Репутация: 56
|
Re: Специальные опыты
относительные индексы
6s+0,1s
60s+1s
60m+1m
|
||||||||||||||||||||||||
25.11.2020, 16:54 | #10 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
2 разряд
ТС
Регистрация: 24.01.2018
Сообщений: 351
Сказал(а) спасибо: 481
Поблагодарили 311 раз(а) в 153 сообщениях
Репутация: 56
|
Re: Специальные опыты
SuperGM_4mvs-(50) (Stefan Pohl)
эту книгу сделал из книги SuperGM_4mvs_500.pgn - выбор позиций с шагом 1/50 ее длины книги этой серии можно скачать здесь (SuperGM_4mvs, IM_4mvs и другие) сделаны на основе BigDatabase 2018, для SuperGM отбор партий с 2600+ Elo позиции отобраны с помощью Komodo 11.2.2 в интервале оценок [-0.40;+0.60]
6s+0,1s (значения функций экстраполяции для контроля 6s+0,1s)
60s+1s (значения функций экстраполяции для контроля 60s+1s)
60m+1m (значения функций экстраполяции для контроля 60m+1m, эквивалентного контролю TCEC на 1 ядре)
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||
Пользователь сказал cпасибо: | SergeyMZ (25.11.2020) |
25.11.2020, 16:58 | #11 | ||||||||||||||||||||||||
2 разряд
ТС
Регистрация: 24.01.2018
Сообщений: 351
Сказал(а) спасибо: 481
Поблагодарили 311 раз(а) в 153 сообщениях
Репутация: 56
|
Re: Специальные опыты
относительные индексы
6s+0,1s
60s+1s
60m+1m
|
||||||||||||||||||||||||
25.11.2020, 17:08 | #12 |
2 разряд
ТС
Регистрация: 24.01.2018
Сообщений: 351
Сказал(а) спасибо: 481
Поблагодарили 311 раз(а) в 153 сообщениях
Репутация: 56
|
Re: Специальные опыты
прикрепляю - SuperGM_4mvs_50_(50_positions).pgn
----------------- далее, немного расширил список книг для этой серии тестов и изменил очередность следующий тест - Cerebellum3Merge-(8moves) |
27.11.2020, 17:55 | #13 |
2 разряд
ТС
Регистрация: 24.01.2018
Сообщений: 351
Сказал(а) спасибо: 481
Поблагодарили 311 раз(а) в 153 сообщениях
Репутация: 56
|
Re: Специальные опыты
в архиве 3 книги
1--- CCRL.book.standart-100_(100_positions).pgn = (Balsa_Top50_(50_positions)) + (SuperGM_4mvs_50_(50_positions)) 2--- CCRL.book.standart-1000_(1000_positions).pgn = (Balsa_v500_(500_positions)) + (SuperGM_4mvs_500_(500_positions)) 3--- CCRL.book.standart-5392_(5392_positions).pgn = (Balsa_v2724_(2724_positions)) + (SuperGM_4mvs_(2668_positions)) ----------------- замер на этих книгах должен давать EloDifference близкий к масштабу шкалы Elo CCRL, без необходимости его корректировать, а также другие характеристики теста, см. #5 |
30.11.2020, 12:00 | #14 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||
2 разряд
ТС
Регистрация: 24.01.2018
Сообщений: 351
Сказал(а) спасибо: 481
Поблагодарили 311 раз(а) в 153 сообщениях
Репутация: 56
|
Re: Специальные опыты
Cerebellum 3 Merge (Thomas Zipproth)
книга здесь
6s+0,1s (значения функций экстраполяции для контроля 6s+0,1s)
60s+1s (значения функций экстраполяции для контроля 60s+1s)
60m+1m (значения функций экстраполяции для контроля 60m+1m, эквивалентного контролю TCEC на 1 ядре)
пунктирной синей линией на графиках показаны характеристики CCRL.book.standart |
||||||||||||||||||||||||||||||||||||||||||||||||||||||
30.11.2020, 12:05 | #15 | ||||||||||||||||||||||||
2 разряд
ТС
Регистрация: 24.01.2018
Сообщений: 351
Сказал(а) спасибо: 481
Поблагодарили 311 раз(а) в 153 сообщениях
Репутация: 56
|
Re: Специальные опыты
относительные индексы
6s+0,1s
60s+1s
60m+1m
|
||||||||||||||||||||||||
30.11.2020, 12:28 | #16 |
2 разряд
ТС
Регистрация: 24.01.2018
Сообщений: 351
Сказал(а) спасибо: 481
Поблагодарили 311 раз(а) в 153 сообщениях
Репутация: 56
|
Re: Специальные опыты
далее еще две книги с самого верха SCCT (см. прикрепенную картинку)
A28-(8moves) Zeus-(8moves) после можно будет посмотреть, насколько характерна и стабильна разница между сильнейшими книгами SCCT и тестовым движковым стандартом CCRL.book.standart пока, тест Cerebellum3Merge-(8moves) дал различия очень существенные, и вообщем ожидаемые, кроме нескольких деталей ожидал, что --- WhiteScore с увеличение контроля будет несколько снижаться, а он умеренно растет --- RI-RezultZoom будет умеренно снижаться, а он остается стабильным --- RI-EffectiveZoom будет ниже единицы с самых УКК, а он >1 примерно до контроля 18s+0.3s, и только на более длинных контролях относительная эффективность книги довольно быстро падает |
Пользователь сказал cпасибо: | nvv20 (12.03.2022) |
Здесь присутствуют: 1 (пользователей: 0 , гостей: 1) | |
|
|