Специальные опыты

[Jeweller]

специальные опыты, эксперименты, тесты и прочее - в свободном формате

[Jeweller]

схема следующей серии тестов

последовательно делаются прогоны на разных книгах, для каждой из которых - на трех парах сетей, для каждой из пар сетей - на множестве временных контролей

книги:
1--- SedatCanbaz - Balsa_Top50_(50_positions)
2--- StefanPohl - SuperGM_4mvs_50_(50_positions) (получена из SuperGM_4mvs_500_(500_positions))
3--- Noomen - 4move-50_(50_positions) (получена из Noomen-4move_(2000_positions))
4--- SF - 8moves_v3-50_(50_positions) (получена из SF-8moves_v3_(34700_positions))
5--- Noomen - TCEC-SuFi-19_(50_positions)
6
7
8
9
10--- Asunta - M100_(+0.80)_(50_positions)

для увеличение точности используются книги из 50 позиций (это обеспечивает идентичные наборы позиций для каждой пары и каждого временного контроля), полученные из больших основных книг, способом последовательного отбора позиций с шагом 1/50 длины основной книги
сравнительные тесты показывают близость характеристик основной и короткой (50 позиций) книг

пары сетей:
sv+sf200929-baeb -- sv200722-2141 (sv+sf200929-baeb - сеть SF в TCEC-SuFi-19)
sv200813-1010 -- sv200725-1313
sv200824-1705 -- Night Nurse 0.3

используется CiChess, режим Pure (огромная благодарность ChessMan'у)

временные контроли идут с увеличением в 1,4142 раза (2 замера на удвоение времени):
6,13s+0,11s - 500 партий * 3 прогона (один прогон на каждую пару сетей)
9,00s+0,15s - 300 * 3
12,86s+0,21s - 300 * 3
18,00s+0,30s - 200 * 3
25,71s+0,42s - 100 * 3
36,00s+0,60s - 100 * 3
50,82s+0,85s - 100 * 3
72,00s+1,20s - 100 * 3
101,65s+1,70s - 100 * 3
всего 1800 партий для каждой пары сетей, 5400 партий на книгу

CuteChess 1.2.0 / Threads: 1 / Concurrency=2 / Hash: 64Mb / 5-men Syzygy
Engine: CiChess_201004 / Use NNUE: Pure / Contempt: 0 / Move Overhead=10 / MinThinkTime=20 / Slow Mover=100
Adjudication: Resign mc=3 sc=700, Draw mn=40 mc=10 sc=20, 5-men Syzygy

[Jeweller]

здесь статистика использования книг в тестах CCRL - https://ccrl.chessdom.com/ccrl/404/history_book.html

качество списка CCRL - удовлетворительное масштабирование шкалы Elo (центральный момент), близкое к человеческому преимущество белого цвета - обеспечивается характеристиками используемых книг

анализ активно используемых книг позволяет выделить две примерно равные группы:
1--- книги группы "Perfect"
2--- книги группы "StefanPohl+" - короткие книги Pohl_SuperGM4moves + Pohl_IM4moves и совсем немного других

книги с характеристиками, близкими книгам CCRL из обеих групп есть в проводимой серии тестов:
1--- Balsa_Top50 из группы "Perfect"
2--- SuperGM_4mvs_50 из группы коротких книг "StefanPohl+"

ввожу понятие CCRL.book.standart - как среднее характеристик двух книг:
Balsa_Top50 и SuperGM_4mvs_50

CCRL.book.standart = (Balsa_Top50 + SuperGM_4mvs_50) / 2

относительно CCRL.book.standart будет рассчитываться часть характеристик всех книг теста

[Jeweller]

ввожу определение величин:

EloDifference - разница в силе в пунктах Elo
KProgression(EloDifference) - коэффициент прогрессии величины EloDifference при удвоении времени (в частном случае, при значении <1, аналогичен распространенному понятию "компрессия Elo"). определяет, во сколько раз изменяется EloDifference

RezultRatio - доля результативных партий в %, равна 100-DrawRatio, где DrawRatio - доля ничейных партий

ErrorBar-1000 - величина доверительного интервала 2σ в пересчете на 1000 партий в пунктах Elo
KProgression(ErrorBar-1000) - коэффициент прогрессии величины ErrorBar-1000 при удвоении времени. определяет, во сколько раз изменяется ErrorBar-1000

EffectiveLength - эффективная длина теста - минимальная длина теста, при которой начинает выполняться неравенство EloDifference > 3,5σ, что соответствует достижению цели теста - определению сильнейшего с вероятностью ~100%
KProgression(EffectiveLength) - коэффициент прогрессии величины EffectiveLength при удвоении времени. определяет, во сколько раз изменяется EffectiveLength

WhiteScore - % очков, набранных белыми
KProgression(WhiteScore) - коэффициент прогрессии величины WhiteScore при удвоении времени. определяет, на сколько изменяется WhiteScore (аппроксимация для данной величины линейная, что не так в пределе точности, но в первом приближении лучше)

WhiteAdvantage - преимущество белых в пунктах Elo

[Jeweller]

CCRL.book.standart

KProgression(EloDifference)	0,898
KProgression(ErrorBar-1000)	0,908
KProgression(EffectiveLength)	1,022
KProgression(WhiteScore)	0,008

6s+0,1s (значения функций экстраполяции для контроля 6s+0,1s)

EloDifference	68,35 elo
RezultRatio	42,99 %
ErrorBar-1000	15,03 elo
EffectiveLength	147,9 games
WhiteScore	52,98 %
WhiteAdvantage	20,75 elo

60s+1s (значения функций экстраполяции для контроля 60s+1s)

EloDifference	47,74 elo
RezultRatio	23,53 %
ErrorBar-1000	10,93 elo
EffectiveLength	159,2 games
WhiteScore	53,01 %
WhiteAdvantage	20,94 elo

60m+1m (значения функций экстраполяции для контроля 60m+1m, эквивалентного контролю TCEC на 1 ядре)

EloDifference	25,23 elo
RezultRatio	9,90 %
ErrorBar-1000	6,20 elo
EffectiveLength	181,3 games
WhiteScore	53,06 %
WhiteAdvantage	21,27 elo

[Jeweller]

ввожу величины относительного сравнения с CCRL.book.standart - относительные индексы (RI-relative index)

RI-EloZoom - отношение EloDifference данной книги к EloDifference CCRL.book.standart
если RI-EloZoom > 1 - данная книга расширяет масштаб шкалы elo-ccrl, для приведения полученного результата к масштабу elo-ccrl, его нужно разделить на RI-EloZoom
если RI-EloZoom < 1 - данная книга сжимает масштаб шкалы elo-ccrl, для приведения полученного результата к масштабу elo-ccrl, его нужно умножить на RI-EloZoom
EloDifference, полученный на разных книгах, буду обозначать к единицах 'elo', т.к. с одной стороны - он получен по формуле Elo, с другой стороны - его масштаб индивидуален, определяется особенностями книги (при сравнении книг), и в общем случае не совпадает с масштабом elo-ccrl, пока не приведен к нему

KProgression(RI-EloZoom) - коэффициент прогрессии величины RI-EloZoom при удвоении времени. определяет, во сколько раз изменяется RI-EloZoom

RI-RezultZoom - отношение RezultRatio данной книги к RezultRatio CCRL.book.standart
если RI-RezultZoom > 1 - данная книга увеличивает долю результативных партий,
если < 1 - уменьшает

KProgression(RI-RezultZoom) - коэффициент прогрессии величины RI-RezultZoom при удвоении времени. определяет, во сколько раз изменяется RI-RezultZoom

RI-EffectiveZoom - отношение EffectiveLength CCRL.book.standart к EffectiveLength данной книги
если RI-EffectiveZoom > 1 - эффективность данной книги выше эффективности CCRL.book.standart (данная книга уменьшает эффективную длину теста относительно длины теста на CCRL.book.standart),
если < 1 - наоборот, эффективность данной книги ниже

KProgression(RI-EffectiveZoom) - коэффициент прогрессии величины RI-EffectiveZoom при удвоении времени. определяет, во сколько раз изменяется RI-EffectiveZoom

[Jeweller]

Balsa_Top50 (Sedat Canbaz)

книги Balsa здесь

KProgression(EloDifference)	0,899
KProgression(ErrorBar-1000)	0,903
KProgression(EffectiveLength)	1,008
KProgression(WhiteScore)	-0,312

6s+0,1s (значения функций экстраполяции для контроля 6s+0,1s)

EloDifference	60,93 'elo'
RezultRatio	42,19 %
ErrorBar-1000	14,88 elo
EffectiveLength	182,6 games
WhiteScore	55,51 %
WhiteAdvantage	38,45 elo

60s+1s (значения функций экстраполяции для контроля 60s+1s)

EloDifference	42,85 'elo'
RezultRatio	22,30 %
ErrorBar-1000	10,60 elo
EffectiveLength	187,5 games
WhiteScore	54,47 %
WhiteAdvantage	31,17 elo

60m+1m (значения функций экстраполяции для контроля 60m+1m, эквивалентного контролю TCEC на 1 ядре)

EloDifference	22,91 'elo'
RezultRatio	9,09 %
ErrorBar-1000	5,80 elo
EffectiveLength	196,6 games
WhiteScore	52,63 %
WhiteAdvantage	18,30 elo

ECO A	18.0 %
ECO B	34.0 %
ECO C	18.0 %
ECO D	14.0 %
ECO E	16.0 %

[Jeweller]

относительные индексы

KProgression(RI-EloZoom)	1,001
KProgression(RI-RezultZoom)	0,992
KProgression(RI-EffectiveZoom)	1,014

6s+0,1s

RI-EloZoom	0,890
RI-RezultZoom	0,980
RI-EffectiveZoom	0,810

60s+1s

RI-EloZoom	0,893
RI-RezultZoom	0,954
RI-EffectiveZoom	0,848

60m+1m

RI-EloZoom	0,899
RI-RezultZoom	0,910
RI-EffectiveZoom	0,921

[Jeweller]

по неизвестной причине исчезли прикрепленные картинки-миниатюры к посту #7, восстанавливаю

Balsa_Top50

[Jeweller]

SuperGM_4mvs-(50) (Stefan Pohl)

эту книгу сделал из книги SuperGM_4mvs_500.pgn - выбор позиций с шагом 1/50 ее длины

книги этой серии можно скачать здесь
(SuperGM_4mvs, IM_4mvs и другие)

сделаны на основе BigDatabase 2018, для SuperGM отбор партий с 2600+ Elo
позиции отобраны с помощью Komodo 11.2.2 в интервале оценок [-0.40;+0.60]

KProgression(EloDifference)	0,899
KProgression(ErrorBar-1000)	0,912
KProgression(EffectiveLength)	1,029
KProgression(WhiteScore)	0,330

6s+0,1s (значения функций экстраполяции для контроля 6s+0,1s)

EloDifference	75,31 'elo'
RezultRatio	43,72 %
ErrorBar-1000	15,17 elo
EffectiveLength	124,3 games
WhiteScore	50,41 %
WhiteAdvantage	3,11 elo

60s+1s (значения функций экстраполяции для контроля 60s+1s)

EloDifference	52,96 'elo'
RezultRatio	24,52 %
ErrorBar-1000	11,18 elo
EffectiveLength	136,9 games
WhiteScore	51,54 %
WhiteAdvantage	10,73 elo

60m+1m (значения функций экстраполяции для контроля 60m+1m, эквивалентного контролю TCEC на 1 ядре)

EloDifference	28,31 'elo'
RezultRatio	10,53 %
ErrorBar-1000	6,49 elo
EffectiveLength	162,4 games
WhiteScore	53,49 %
WhiteAdvantage	24,31 elo

ECO A	62.0 %
ECO B	14.0 %
ECO C	14.0 %
ECO D	4.0 %
ECO E	6.0 %

[Jeweller]

относительные индексы

KProgression(RI-EloZoom)	1,001
KProgression(RI-RezultZoom)	1,008
KProgression(RI-EffectiveZoom)	0,994

6s+0,1s

RI-EloZoom	1,101
RI-RezultZoom	1,019
RI-EffectiveZoom	1,190

60s+1s

RI-EloZoom	1,105
RI-RezultZoom	1,047
RI-EffectiveZoom	1,167

60m+1m

RI-EloZoom	1,112
RI-RezultZoom	1,097
RI-EffectiveZoom	1,126

[Jeweller]

прикрепляю - SuperGM_4mvs_50_(50_positions).pgn

-----------------

далее, немного расширил список книг для этой серии тестов и изменил очередность

следующий тест - Cerebellum3Merge-(8moves)

[Jeweller]

в архиве 3 книги

1--- CCRL.book.standart-100_(100_positions).pgn = (Balsa_Top50_(50_positions)) + (SuperGM_4mvs_50_(50_positions))

2--- CCRL.book.standart-1000_(1000_positions).pgn = (Balsa_v500_(500_positions)) + (SuperGM_4mvs_500_(500_positions))

3--- CCRL.book.standart-5392_(5392_positions).pgn = (Balsa_v2724_(2724_positions)) + (SuperGM_4mvs_(2668_positions))

-----------------

замер на этих книгах должен давать EloDifference близкий к масштабу шкалы Elo CCRL, без необходимости его корректировать,

а также другие характеристики теста, см. #5

[Jeweller]

Cerebellum 3 Merge (Thomas Zipproth)

книга здесь

KProgression(EloDifference)	0,832
KProgression(ErrorBar-1000)	0,907
KProgression(EffectiveLength)	1,188
KProgression(WhiteScore)	0,276

6s+0,1s (значения функций экстраполяции для контроля 6s+0,1s)

EloDifference	74,72 'elo'
RezultRatio	41,38 %
ErrorBar-1000	14,66 elo
EffectiveLength	117,9 games
WhiteScore	54,74 %
WhiteAdvantage	33,07 elo

60s+1s (значения функций экстраполяции для контроля 60s+1s)

EloDifference	40,55 'elo'
RezultRatio	22,25 %
ErrorBar-1000	10,59 elo
EffectiveLength	208,8 games
WhiteScore	55,66 %
WhiteAdvantage	39,51 elo

60m+1m (значения функций экстраполяции для контроля 60m+1m, эквивалентного контролю TCEC на 1 ядре)

EloDifference	13,68 'elo'
RezultRatio	9,35 %
ErrorBar-1000	5,94 elo
EffectiveLength	576,8 games
WhiteScore	57,29 %
WhiteAdvantage	51,03 elo

ECO A	7.0 %
ECO B	21.6 %
ECO C	45.1 %
ECO D	11.3 %
ECO E	15.0 %

пунктирной синей линией на графиках показаны характеристики CCRL.book.standart

[Jeweller]

относительные индексы

KProgression(RI-EloZoom)	0,929
KProgression(RI-RezultZoom)	1,000
KProgression(RI-EffectiveZoom)	0,862

6s+0,1s

RI-EloZoom	1,094
RI-RezultZoom	0,955
RI-EffectiveZoom	1,255

60s+1s

RI-EloZoom	0,855
RI-RezultZoom	0,955
RI-EffectiveZoom	0,767

60m+1m

RI-EloZoom	0,553
RI-RezultZoom	0,955
RI-EffectiveZoom	0,320

[Jeweller]

далее еще две книги с самого верха SCCT (см. прикрепенную картинку)
A28-(8moves)
Zeus-(8moves)

после можно будет посмотреть, насколько характерна и стабильна разница между сильнейшими книгами SCCT и тестовым движковым стандартом CCRL.book.standart

пока, тест Cerebellum3Merge-(8moves) дал различия очень существенные, и вообщем ожидаемые, кроме нескольких деталей
ожидал, что
--- WhiteScore с увеличение контроля будет несколько снижаться, а он умеренно растет
--- RI-RezultZoom будет умеренно снижаться, а он остается стабильным
--- RI-EffectiveZoom будет ниже единицы с самых УКК, а он >1 примерно до контроля 18s+0.3s, и только на более длинных контролях относительная эффективность книги довольно быстро падает