Forchess - форум о заочных шахматах  

Вернуться   Forchess - форум о заочных шахматах > Заочные турниры и партии > Шахматные программы и движки > Турниры и сборки движков

Ответ
 
Опции темы Опции просмотра
Старый 16.11.2020, 11:26   #1
Jeweller
2 разряд
 
Аватар для Jeweller
 
Регистрация: 24.01.2018
Сообщений: 351
Сказал(а) спасибо: 481
Поблагодарили 311 раз(а) в 153 сообщениях
Репутация: 56
По умолчанию Специальные опыты

специальные опыты, эксперименты, тесты и прочее - в свободном формате
Jeweller вне форума   Ответить с цитированием
Старый 19.11.2020, 19:37   #2
Jeweller
2 разряд
ТС
 
Аватар для Jeweller
 
Регистрация: 24.01.2018
Сообщений: 351
Сказал(а) спасибо: 481
Поблагодарили 311 раз(а) в 153 сообщениях
Репутация: 56
По умолчанию Re: Специальные опыты

схема следующей серии тестов

последовательно делаются прогоны на разных книгах, для каждой из которых - на трех парах сетей, для каждой из пар сетей - на множестве временных контролей

книги:
1--- SedatCanbaz - Balsa_Top50_(50_positions)
2--- StefanPohl - SuperGM_4mvs_50_(50_positions) (получена из SuperGM_4mvs_500_(500_positions))
3--- Noomen - 4move-50_(50_positions) (получена из Noomen-4move_(2000_positions))
4--- SF - 8moves_v3-50_(50_positions) (получена из SF-8moves_v3_(34700_positions))
5--- Noomen - TCEC-SuFi-19_(50_positions)
6
7
8
9
10--- Asunta - M100_(+0.80)_(50_positions)

для увеличение точности используются книги из 50 позиций (это обеспечивает идентичные наборы позиций для каждой пары и каждого временного контроля), полученные из больших основных книг, способом последовательного отбора позиций с шагом 1/50 длины основной книги
сравнительные тесты показывают близость характеристик основной и короткой (50 позиций) книг

пары сетей:
sv+sf200929-baeb -- sv200722-2141 (sv+sf200929-baeb - сеть SF в TCEC-SuFi-19)
sv200813-1010 -- sv200725-1313
sv200824-1705 -- Night Nurse 0.3

используется CiChess, режим Pure (огромная благодарность ChessMan'у)

временные контроли идут с увеличением в 1,4142 раза (2 замера на удвоение времени):
6,13s+0,11s - 500 партий * 3 прогона (один прогон на каждую пару сетей)
9,00s+0,15s - 300 * 3
12,86s+0,21s - 300 * 3
18,00s+0,30s - 200 * 3
25,71s+0,42s - 100 * 3
36,00s+0,60s - 100 * 3
50,82s+0,85s - 100 * 3
72,00s+1,20s - 100 * 3
101,65s+1,70s - 100 * 3
всего 1800 партий для каждой пары сетей, 5400 партий на книгу

CuteChess 1.2.0 / Threads: 1 / Concurrency=2 / Hash: 64Mb / 5-men Syzygy
Engine: CiChess_201004 / Use NNUE: Pure / Contempt: 0 / Move Overhead=10 / MinThinkTime=20 / Slow Mover=100
Adjudication: Resign mc=3 sc=700, Draw mn=40 mc=10 sc=20, 5-men Syzygy
Jeweller вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Arikchess (21.11.2020)
Старый 19.11.2020, 20:26   #3
Jeweller
2 разряд
ТС
 
Аватар для Jeweller
 
Регистрация: 24.01.2018
Сообщений: 351
Сказал(а) спасибо: 481
Поблагодарили 311 раз(а) в 153 сообщениях
Репутация: 56
По умолчанию Re: Специальные опыты

здесь статистика использования книг в тестах CCRL - https://ccrl.chessdom.com/ccrl/404/history_book.html

качество списка CCRL - удовлетворительное масштабирование шкалы Elo (центральный момент), близкое к человеческому преимущество белого цвета - обеспечивается характеристиками используемых книг

анализ активно используемых книг позволяет выделить две примерно равные группы:
1--- книги группы "Perfect"
2--- книги группы "StefanPohl+" - короткие книги Pohl_SuperGM4moves + Pohl_IM4moves и совсем немного других

книги с характеристиками, близкими книгам CCRL из обеих групп есть в проводимой серии тестов:
1--- Balsa_Top50 из группы "Perfect"
2--- SuperGM_4mvs_50 из группы коротких книг "StefanPohl+"

ввожу понятие CCRL.book.standart - как среднее характеристик двух книг:
Balsa_Top50 и SuperGM_4mvs_50

CCRL.book.standart = (Balsa_Top50 + SuperGM_4mvs_50) / 2

относительно CCRL.book.standart будет рассчитываться часть характеристик всех книг теста
Jeweller вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Arikchess (21.11.2020)
Старый 21.11.2020, 15:31   #4
Jeweller
2 разряд
ТС
 
Аватар для Jeweller
 
Регистрация: 24.01.2018
Сообщений: 351
Сказал(а) спасибо: 481
Поблагодарили 311 раз(а) в 153 сообщениях
Репутация: 56
По умолчанию Re: Специальные опыты

ввожу определение величин:

EloDifference - разница в силе в пунктах Elo
KProgression(EloDifference) - коэффициент прогрессии величины EloDifference при удвоении времени (в частном случае, при значении <1, аналогичен распространенному понятию "компрессия Elo"). определяет, во сколько раз изменяется EloDifference

RezultRatio - доля результативных партий в %, равна 100-DrawRatio, где DrawRatio - доля ничейных партий

ErrorBar-1000 - величина доверительного интервала 2σ в пересчете на 1000 партий в пунктах Elo
KProgression(ErrorBar-1000) - коэффициент прогрессии величины ErrorBar-1000 при удвоении времени. определяет, во сколько раз изменяется ErrorBar-1000

EffectiveLength - эффективная длина теста - минимальная длина теста, при которой начинает выполняться неравенство EloDifference > 3,5σ, что соответствует достижению цели теста - определению сильнейшего с вероятностью ~100%
KProgression(EffectiveLength) - коэффициент прогрессии величины EffectiveLength при удвоении времени. определяет, во сколько раз изменяется EffectiveLength

WhiteScore - % очков, набранных белыми
KProgression(WhiteScore) - коэффициент прогрессии величины WhiteScore при удвоении времени. определяет, на сколько изменяется WhiteScore (аппроксимация для данной величины линейная, что не так в пределе точности, но в первом приближении лучше)

WhiteAdvantage - преимущество белых в пунктах Elo
Jeweller вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Arikchess (21.11.2020)
Старый 21.11.2020, 15:57   #5
Jeweller
2 разряд
ТС
 
Аватар для Jeweller
 
Регистрация: 24.01.2018
Сообщений: 351
Сказал(а) спасибо: 481
Поблагодарили 311 раз(а) в 153 сообщениях
Репутация: 56
По умолчанию Re: Специальные опыты

CCRL.book.standart

KProgression(EloDifference)0,898
KProgression(ErrorBar-1000)0,908
KProgression(EffectiveLength)1,022
KProgression(WhiteScore)0,008


6s+0,1s (значения функций экстраполяции для контроля 6s+0,1s)
EloDifference68,35 elo
RezultRatio42,99 %
ErrorBar-100015,03 elo
EffectiveLength147,9 games
WhiteScore52,98 %
WhiteAdvantage20,75 elo


60s+1s (значения функций экстраполяции для контроля 60s+1s)
EloDifference47,74 elo
RezultRatio23,53 %
ErrorBar-100010,93 elo
EffectiveLength159,2 games
WhiteScore53,01 %
WhiteAdvantage20,94 elo


60m+1m (значения функций экстраполяции для контроля 60m+1m, эквивалентного контролю TCEC на 1 ядре)
EloDifference25,23 elo
RezultRatio9,90 %
ErrorBar-10006,20 elo
EffectiveLength181,3 games
WhiteScore53,06 %
WhiteAdvantage21,27 elo
Изображения
Тип файла: png 0-CCRL.book.standart-01.png (17.7 Кб, 0 просмотров)
Тип файла: png 0-CCRL.book.standart-02.png (17.7 Кб, 0 просмотров)
Тип файла: png 0-CCRL.book.standart-03.png (16.0 Кб, 1 просмотров)
Тип файла: png 0-CCRL.book.standart-04.png (17.0 Кб, 3 просмотров)
Тип файла: png 0-CCRL.book.standart-05.png (14.2 Кб, 0 просмотров)
Jeweller вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Arikchess (21.11.2020)
Старый 23.11.2020, 16:03   #6
Jeweller
2 разряд
ТС
 
Аватар для Jeweller
 
Регистрация: 24.01.2018
Сообщений: 351
Сказал(а) спасибо: 481
Поблагодарили 311 раз(а) в 153 сообщениях
Репутация: 56
По умолчанию Re: Специальные опыты

Balsa_Top50 (Sedat Canbaz)

книги Balsa здесь

KProgression(EloDifference)0,899
KProgression(ErrorBar-1000)0,903
KProgression(EffectiveLength)1,008
KProgression(WhiteScore)-0,312


6s+0,1s (значения функций экстраполяции для контроля 6s+0,1s)
EloDifference60,93 'elo'
RezultRatio42,19 %
ErrorBar-100014,88 elo
EffectiveLength182,6 games
WhiteScore55,51 %
WhiteAdvantage38,45 elo


60s+1s (значения функций экстраполяции для контроля 60s+1s)
EloDifference42,85 'elo'
RezultRatio22,30 %
ErrorBar-100010,60 elo
EffectiveLength187,5 games
WhiteScore54,47 %
WhiteAdvantage31,17 elo


60m+1m (значения функций экстраполяции для контроля 60m+1m, эквивалентного контролю TCEC на 1 ядре)
EloDifference22,91 'elo'
RezultRatio9,09 %
ErrorBar-10005,80 elo
EffectiveLength196,6 games
WhiteScore52,63 %
WhiteAdvantage18,30 elo


ECO A18.0 %
ECO B34.0 %
ECO C18.0 %
ECO D14.0 %
ECO E16.0 %
Jeweller вне форума   Ответить с цитированием
Старый 22.11.2020, 21:09   #7
Jeweller
2 разряд
ТС
 
Аватар для Jeweller
 
Регистрация: 24.01.2018
Сообщений: 351
Сказал(а) спасибо: 481
Поблагодарили 311 раз(а) в 153 сообщениях
Репутация: 56
По умолчанию Re: Специальные опыты

ввожу величины относительного сравнения с CCRL.book.standart - относительные индексы (RI-relative index)

RI-EloZoom - отношение EloDifference данной книги к EloDifference CCRL.book.standart
если RI-EloZoom > 1 - данная книга расширяет масштаб шкалы elo-ccrl, для приведения полученного результата к масштабу elo-ccrl, его нужно разделить на RI-EloZoom
если RI-EloZoom < 1 - данная книга сжимает масштаб шкалы elo-ccrl, для приведения полученного результата к масштабу elo-ccrl, его нужно умножить на RI-EloZoom
EloDifference, полученный на разных книгах, буду обозначать к единицах 'elo', т.к. с одной стороны - он получен по формуле Elo, с другой стороны - его масштаб индивидуален, определяется особенностями книги (при сравнении книг), и в общем случае не совпадает с масштабом elo-ccrl, пока не приведен к нему

KProgression(RI-EloZoom) - коэффициент прогрессии величины RI-EloZoom при удвоении времени. определяет, во сколько раз изменяется RI-EloZoom

RI-RezultZoom - отношение RezultRatio данной книги к RezultRatio CCRL.book.standart
если RI-RezultZoom > 1 - данная книга увеличивает долю результативных партий,
если < 1 - уменьшает

KProgression(RI-RezultZoom) - коэффициент прогрессии величины RI-RezultZoom при удвоении времени. определяет, во сколько раз изменяется RI-RezultZoom

RI-EffectiveZoom - отношение EffectiveLength CCRL.book.standart к EffectiveLength данной книги
если RI-EffectiveZoom > 1 - эффективность данной книги выше эффективности CCRL.book.standart (данная книга уменьшает эффективную длину теста относительно длины теста на CCRL.book.standart),
если < 1 - наоборот, эффективность данной книги ниже

KProgression(RI-EffectiveZoom) - коэффициент прогрессии величины RI-EffectiveZoom при удвоении времени. определяет, во сколько раз изменяется RI-EffectiveZoom
Jeweller вне форума   Ответить с цитированием
Ответ


Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
 

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход


Текущее время: 09:32. Часовой пояс GMT +3.


Powered by vBulletin® Version 3.8.7
Copyright ©2000 - 2024, vBulletin Solutions, Inc. Перевод: zCarot
Рейтинг@Mail.ru