LCZero

[Maratka]

Цитата: Сообщение от Hendry

Не можете. Рейтинг является верным только при одинаковых или очень близких контролях.

Где оно документировано?

[Hendry]

Прошу простить, но я не намерен спорить и убеждать вас в своей правоте, это занимает время и силы. Со всем уважением, ко всем проявившим интерес к этому вопросу, я удаляюсь из этого обсуждения.

[Maratka]

Цитата: Сообщение от Hendry

Нет, я снова вынужден не согласиться. Рейтинг одного и того же движка всегда примерно равен

Чему равен? Все зависит от соперника. Можно набирать рейтинг до некоторого уровня, играя объективно плохо, скажем играя с соперниками, у которых на 100-200 ELO выше: тут достаточно 9 ничьих при одном поражении, чтобы рейтинг вырос с уровня "минус 300-400 ELO супротив соперника" до уровня "минус 100-200". А делать ничьи даже при такой объективной разнице в рейтингам таки реально.

[Maratka]

Цитата: Сообщение от Hendry

Прошу простить, но я не намерен спорить и убеждать вас в своей правоте, это занимает время и силы. Со всем уважением, ко всем проявившим интерес к этому вопросу, я удаляюсь из этого обсуждения.

То Ваш выбор. Как вернетесь - продолжим.

[crem]

Даже если относительные само-эло и более-менее соответствует действительности, абсолютные числа сравнивать смысла вообще нету.

За 0 берётся сила самой первой сети, но никто не сказал что эта сеть действительно играет в человеческую силу в 0 Elo а не -500 или +500.

Да и что такое первая сеть -- тоже отличается каждый раз. Обычно первая сеть играет случайные ходы, но из-за поиска если она видит мат в 1-2 хода, она ставит мат, а не играет наугад.

А иногда тренировку начинают не с такой случайной сети, а с ранних игр прошлой тенировки, и это сразу даёт прибавку в каких-нибудь 500 Elo.

Или бывает, что первую сеть инициализируют как-нибудь по-другому, а "в люди" выкладывают уже вторую сеть, опять же с рейтингом 0. Вторая сеть обычно на 300-500 Elo сильнее первой.

А ещё ранние сети так быстро усиливаются, что обычно выигрывают почти все игры у предыдущей сети. В этом случае разница в Elo очень шумная (94 побед и 6 ничьих будет отличаться от 96 побед и 4 ничьих на каких-нибудь 100 Elo?). Поэтому тут ещё элемент везения сколько этих самых Elo может сеть настричь во время начального роста.
В ранних попытках она вообще умудрялась добежать почти до 10000 Elo во время первоначальной тренировки.

Короче, абсолютные значения Elo не значат ничего.

[Maratka]

Цитата: Сообщение от crem

За 0 берётся сила самой первой сети, но никто не сказал что эта сеть действительно играет в человеческую силу в 0 Elo а не -500 или +500.

Хороший вопрос кстати...
Васе полчаса тому объяснили со всеми подробностями правила игры.
Вася сел играть супротив третьего разряда. Понятно, проиграет, если Вася - не Карпов, у которого в детском возрасте родители отобрали доску, чтобы оно не мешало учиться в школе, так он виртуальную в голове рисовал, и играл.

Но... ведь уровень игры нашего Васи таки не нуль, а нечто положительное, ибо он таки что-то там думает, предпринимает и делает (понятно, не имея опыта, теории, но таки все же это не нуль!).

А сеть номера 1 таки просто переставляет фигуры по правилам. Т.е. даже наш Вася у нее выиграет (в среднем понятно, на длинном матче).

[Maratka]

Кстати, "Вася" будет достаточно быстро учиться от партии к партии, а вот у сети новый уровень будет лишь через много десятков тыс. партий.

Т.е. рискну предположить, что человек в начале обучения учится куда как быстрее, чем ИИ.

[Maratka]

Цитата: Сообщение от crem

Короче, абсолютные значения Elo не значат ничего.

Но калибровать таки надо!
Пусть будет культовая в свое время и нынче бесплатная Рыбка взята за условные 3200 ELO (что весьма похоже, если прикинуть, как играли чемпионы мира против древних Fritz, а их рейтинг известен, и что творит эта самая Рыбка против этих самых Fritz тоже известно).

Т.е. не то, чтобы исходя из рейтинга самоело что-то там думать по поводу выбора лучшей сети, но хотя бы иметь ориентир, вида "когда новую сеть разумно начать тестировать против старой"?

Это то возможно?

[alchemist888]

Цитата: Сообщение от Hendry

Нет, я снова вынужден не согласиться. Рейтинг одного и того же движка всегда примерно равен. Если мы дадим 1kn/move то мы будем сравнивать его с другими движками тоже с 1kn/move и получим к примеру 2900 рейтинг. Потом мы будем проводить тест этого же движка и дадим ему 10kn/move и будем тестить его с другими движкоми с контролем 10kn/move и получим допустим 2870. Разница конечно будет какая-то. Но не факт, что положительная.

Я же совсем о другом писал. Проводим тест для движка с 1 kn/move, присваиваем ему рейтинг, допустим "0". Затем этот же движок с 1 kn/move запускаем против самого же себя с 10 kn/move. Получаем рейтинг нового движка, например он "400". Таким образом мы получили определенную зависимость между 1 kn/move и 10 kn/move.
Далее, прошу внимательнее прочитать мой предыдущий пост о scaling факторе, и ordo расчетах. Используя их можно свободно переносить рейтинги движков из одной системы в другую.

[Maratka]

Все верно, только все же не нужно брать за нуль свой собственный уровень сети "1" .
Правильнее будет взять за нуль таки известный уровень известного движка. Не суть, какой именно, я предпочитаю бесплатную Рыбку, или Fire, но нет никаких проблем взять столь же бесплатный SF 2-5-8-10, и плясать от него.

В конце концов, с чем кроме SF конкурирует LZ, окромя своих собственных клонов?
Остюда, и уровень движка, взятого за точку отсчета: можно принять, что SF=0. А чего бы и нет?
И плясать от этого нуля. Опять же, разумно. Понятно, что там получится, что рейтинг LZ = минус 50, или плюс 50... Ну так это в сравнении с кем!

Но только не забыть про корректировку от увеличения размерности сети: большая сеть априори мудрее, но медленнее, т.е. нужный некий поправочный k, при расчете рейтинга на кол-ве узлов, равном константе.

[crem]

Цитата: Сообщение от Maratka

Но калибровать таки надо!
Пусть будет культовая в свое время и нынче бесплатная Рыбка взята за условные 3200 ELO (что весьма похоже, если прикинуть, как играли чемпионы мира против древних Fritz, а их рейтинг известен, и что творит эта самая Рыбка против этих самых Fritz тоже известно).

Т.е. не то, чтобы исходя из рейтинга самоело что-то там думать по поводу выбора лучшей сети, но хотя бы иметь ориентир, вида "когда новую сеть разумно начать тестировать против старой"?

Это то возможно?

Само-эло -- это не метрика для определения абсолютной силы движка, это технический график по которому (очень приблизительно) видно тренируется ли сеть или остановилась. Это не график для сторонних зрителей для определение силы движка.

Для определения "настоящей Elo" есть другие графики. Отдельно от тренировки люди тестируют сети с другими движками и определяют силу (https://lc0.org/elosummary).

Установить для первой сети вместо 0 "настоящую силу" можно, но никто эту настоящую силу на таком слабом уровне указать не может.

Сдвигать графики посреди тренировки тоже никто не будет, потому что это нанесёт больше вреда (например в виде разговоров о "правильности" рейтинга", да и у само-эло инфляция, сколько его двигать-то) чем пользы. Ну и ещё технически это громоздковатая процедура, да и вообще -- самоэло не для этого, не надо пытаться натянуть его на то, чем оно не является.

[Maratka]

Ну не знаю... самоэло SF например таки показывает достаточно точно рост на своим прошлым релизом, и в целом - корреляция ELO достаточно разумная, именно благодаря регулярным регресс-тестам против релиза, а не только против прошлого "мастера". Т.е. с точностью до пары недель обычно известна дельта против прошлого релиза. И это IMHO правильно.

А вот то, что любители считают у вас:

Цитата: Сообщение от crem

Отдельно от тренировки люди тестируют сети с другими движками и определяют силу (https://lc0.org/elosummary).

Ну и какая есть коррекция? Они могут насчитать +80 ELO, когда у вас по селф-плей будет +11, или +21, когда у вас будет +130. При этом могут и минусы пойти там или в другом тесте. Может вылезти пару тыс. ELO в селф-плей (было 15 месяцев тому), когда LZ месяц-два зубрил единственный дебют, ибо вот так его самообучение самообучило: тот дебют лучший, все остальное - мусор!

[alchemist888]

Да вроде бы никто и не спорил, что само-эло предназначено исключительно для оценки прогресса тренировки сети. Я и не говорил, что эти рейтинги по четким закономерностям коррелируют с другими.
Лишь между делом заметил, что на данном этапе, согласно примерным оценкам силы T60 на 1kn/move, рейтинги само-эло неплохо так попадают в значения рейтингов CCRL 40/15. Опять же это чисто предположение, и даже если они действительно как-то соответствуют, то данный факт не более чем случайность.

[Hendry]

Цитата: Сообщение от alchemist888

Я же совсем о другом писал.

именно в этом все и дело. мы пишем о разных вещах. я полностью понимаю, то что вы хотите сказать. но в контексте изначальной темы разговора я не вполне согласен с вашими доводами, хотя я не отрицаю, что можно замерить эло программы играющей сама с собой на разных временных контролях, в данном случае нодах.
я попытаюсь обьяснить что я имел ввиду вчера, в контексте изначальной темы разговора.

Итак мы имеем некую сеть X имеющую самоэло. мы имеем человека Y, который играет с этой сетью. человек имеет обьективные показатели Эло, тоесть наигранные в интернете против множества соперников. мы хотим сравнить самоЭло сети Х с Эло человека Y. эло сети Х замеряно на скорости 800 нод на ход. теперь мы переведем ноды на ход в контроль времени в секундах, так как замерять эло мы можем только при равном контроле времени, а человек в нодах свою игру измерить не может.

итак на оборудовании человека Y 800 нодов соответствует примерно 0.8 секунды на ход в начальной позиции, в эндшпиле счет будет быстрее, поэтому возьмем усредненно 0.6 сек на ход. в партии 60 ходов это примерно 36 секунд на партию. теперь попытаемся сыграть человек против компа с контролем 36 секунд на партию. такой контроль в интернете и в играх людей существует и называется ultra bulet. но там играют люди с людьми и обе стороны, черные и белые находятся в одинаковых условиях, тоесть тратится время на перетаскивание фигур, на считывание глазом информации с доски и тд. тоесть то на что комп не тратит время. поэтому уровняем условия и дадим человеку 1 сек на ход, а у сети остается все те же 0.6 секунды на ход. теперь условия примерно равны можно начинать игру. просрочка времени с любой строны является поражением, разумеется.

итак с контролем 1 минута на партию (обычный bulet) человек Y имеет рейтинг 2310, сеть имеет рейтинг 1600. но внезапно человек не может обыграть сеть и получает около 50% очков. то есть один из рейтингов не верен. можно провести матч и на 5 минутах на партию, где человек уже не стеснен так сильно во времени и играет заметно сильнее, но и сеть играет там тоже сильнее.

так вот о чем я пытался сказать. сеть с рейтингом 1600(?) при контроле 36 сек на партию будет иметь рейтинг ~1600 и с контролем 5 минут на партию и 10 минут на партию. так как ее оппонент, человек в данном случае, тоже имеет скалируемую силу игры на разных контролях. и он, человек, имеет рейтинг ~2300 на любом из них. вот о чем я и пишу нет никаких рейтингов на 800 нодах и на 10 килонодах на ход, есть один единый рейтинг например 2000, это значит что сеть или человек с таким рейтингом будет показывать перфоманс в ~2000 на любом контроле будь то 1 минута или 1 час на партию обоим опонетнам. на практике у людей(как и у машин) бывает что они в блиц играют сильнее чем в классику (показывают перформанс в блиц выше чем в классике) и наоборот, но это частные случаи и не меняют картину в целом.

это мой последний пост на эту тему. с уважением.

[svoitsl]

К сожалению последние 75 сетей большого роста не дали

PHP код:

# PLAYER           :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)     W     D     L  D(%)
1 lc0.net.62600    :    14.9    6.9  2372.5    4556    52     100  1208  2329  1019    51
2 Stockfish.dev    :     0.0   ----  2183.5    4556    48     ---  1019  2329  1208    51

White advantage = 52.56 +/- 3.65
Draw rate (equal opponents) = 52.43 % +/- 0.76
# PLAYER                :  RATING  ERROR   POINTS  PLAYED   (%)  CFS(%)     W      D     L  D(%)
1 lc0.net.62525         :    16.0    3.4  10447.5   20000    52     100  5376  10143  4481    51
2 Stockfish.dev         :     0.0   ----   9552.5   20000    48     ---  4481  10143  5376    51

White advantage = 50.22 +/- 1.75
Draw rate (equal opponents) = 51.91 % +/- 0.35 


[Alex_Zet]

Цитата: Сообщение от Hendry

итак с контролем 1 минута на партию (обычный bulet) человек Y имеет рейтинг 2310, сеть имеет рейтинг 1600. но внезапно человек не может обыграть сеть и получает около 50% очков. то есть один из рейтингов не верен. можно провести матч и на 5 минутах на партию, где человек уже не стеснен так сильно во времени и играет заметно сильнее, но и сеть играет там тоже сильнее.

Помню на ШП играл один чел прогой, не особо сильной, видимо умышленно что бы особо не привлекать внимания, так он себе набил рейт более 3300 и его не поймали. Движок или сеть, без разницы, будут играть на любом контроле с примерно одинаковой силой. А человек нет. Поэтому человек Y имеет рейтинг 2310, это допустим 5 минут на партию или 3, но по 1 минуте стал играть с сетью 1600 и внезапно человек не может обыграть сеть и получает около 50% очков, так в этом ничего удивительного нет. Есть сотни примеров когда по 3 минуты чел играет на Шахматной Планете 2800 а по минуте 2200, разрывы могут и большими быть. Причин к тому масса. От плохого владения мышкой ( чел просто не способен сделать 60 - 70 ходов в минуту), эмоционален, плохо схватывает позицию на лету, не думает на опережение и прочее.

Да вот пара примеров, далеко ходить не надо.

Логин: Губайдуллин_Алексей  *член клуба*  Последний вход: 5 Мар 2020, 10:10  *на связи*
Полное имя: Губайдуллин Алексей Равилевич
Пол: Мужской
Шахматное звание: Мастер ФИДЕ среди мужчин, Рейтинг ФИДЕ: 2332
Дата рождения: 02.12.1978
Место жительства: Россия(*), москва

Пуля ( 1 или 2 минуты на партию) 2186
Блиц (3 или 5 минут на партию) 2976
--------------------------------------------------------------
Логин: Борис_Борисович  Последний вход: 5 Мар 2020, 10:41  *на связи*

Пуля 2189 / Победа 20516 партий / Ничья 1376 / Поражения  25259
Блиц 2973  / Победа 18719 партий / Ничья 2173 / Поражения 16373

Умышленно привел количество сыгранных партий и соотошение победа/поражение,
 все погрешности соблюдены и  демонстрирует наглядно.

Цитата: Сообщение от Hendry

это значит что сеть или человек с таким рейтингом будет показывать перфоманс в ~2000 на любом контроле будь то 1 минута или 1 час на партию обоим опонетнам. на практике у людей(как и у машин) бывает что они в блиц играют сильнее чем в классику (показывают перформанс в блиц выше чем в классике) и наоборот, но это частные случаи и не меняют картину в целом.

Перфоманс — это...
Перфоманс — это необычная и креативная форма современного искусства. Художник в режиме реального времени показывает зрителям интригующее, иногда шокирующее представление, главным героем которого является он сам.
Как правило, это всегда что-то яркое, запоминающееся, вызывающее сильные эмоции.


перфоманс в ~2000 ну что может показать чел яркого в 2000?
но это частные случаи и не меняют картину в целом это очень спорное высказывание.
Видимо Hendry или лукавит или не совсем понимает о том что пишет.

[Hendry]

я человек Y имею одинаковый +-50 эло рейтинг в любых контролях, а именно пуля 1+0, блиц, рапид, классика. видимо хорошо "скейлюсь" а ваш гипотетический человек, может уметь не уметь, меня это вообще слабо волнует, как и мнение уважаемого Alex_Zet

[Alex_Zet]

Ну так это же вы.
А ведь речь не о ваших талантах уважаемый Hendry, а о картине в целом, которая может кардинально отличаться от вашей реальности.
Я привел наглядные примеры.

[Hendry]

на один ваш пример, который скорее является исключением из правил можно привести 50 контрпримеров.

[Alex_Zet]

Дорогой Hendry, я играю на шахматной Планете 10 лет. За это время я многое там чего перевидал и в том числе очень многие игроки играют совершенно по разному на разных временных контролях. Взять того же Мастера Дизастера, у которого я имел честь выиграть, игрок яркого атакующего плана, но это в блице по 3 минуты. В пулю - 1 минута, его рейт всегда был ниже на 300 - 500 эло (естественно эло Шахматной Планеты), видимо не хватает времени что бы создать яркое шахматное полотно. Когда Мастер Дизастер играет в блиц это совершенно другие по качеству шахматы, нежели он играет в пулю.
Повторюсь есть масса примеров когда разрыв между пулей и блицем будет очень значительным. Это я говорю не что бы вас, уважаемый Hendry, как то оскорбить или ещё что то, просто достаточно значительная практика игры он лайн, статистика других игроков на ШП, дает мне право это утверждать.

[Hendry]

допустим есть игроки с очень серьезным перекосом в разных временных контролях, это скорее говорит о том, что у них проблемы с игрой. так как у хороших шахматистов с этим проблем обычно нет. у прог тем более. вообще что именно вы пытаетесь мне доказать? ну есть такие люди и что? смысл сообщения, которое вы разобрали по кусочкам вообще не в этом. почему я трачу время на ответ вам, мне самому не ясно.

[Alex_Zet]

Потому что человек слишком управляем, тысячи мелочей постоянно отвлекают нас от более важного и человек так и заканчивает свою жизнь на половину пути не достигнув цели. Хорошо что хотя бы эта цель у вас, Hendry, есть. Но я в этом сомневаюсь. Так что вам и жалеть то собственно не о чем.

[Alex_Zet]

Цитата: Сообщение от Hendry

допустим есть игроки с очень серьезным перекосом в разных временных контролях, это скорее говорит о том, что у них проблемы с игрой. так как у хороших шахматистов с этим проблем обычно нет.

Пожалуйсто вот игрок с очень серьезным перекосом в разных временных контролях

Логин: Месропов_Константин  *член клуба*  Последний вход: 5 Мар 2020, 16:14  *на связи*
Полное имя: Месропов Константин Эдуардович
Пол: Мужской
Шахматное звание: Международный мастер, Рейтинг ФИДЕ: 2432
Дата рождения: 28.05.1971
Место жительства: Россия(*), Одинцово

Текущий рейтинг:

Пуля - 2657
Блиц - 3206

И ведь не скажешь про Международных мастеров : - что у них проблемы с игрой
Оказывается даже у очень хороших шахматистов естьс этим проблемы

[alchemist888]

Цитата: Сообщение от Hendry

так вот о чем я пытался сказать. сеть с рейтингом 1600(?) при контроле 36 сек на партию будет иметь рейтинг ~1600

Проводя аналогию с рейтингом само-эло Лилы с CCRL, имел ввиду именно контроли 40/15, например сеть 62625 с 1 kn/move по прикидкам может быть близка по силе к Glaurung 2.2 64-bit 4CPU с 15+2. Опять же это лишь предположение

Но давайте уйдем от рейтингов само-эло. Его абсолютные значения можно интерпретировать лишь забавы ради.


Есть другой рейтинг: https://gist.github.com/Tilps/6e9098...f75d9ea377749e
Его отличие от cамо-эло рейтинга в том, что сети тестируются в режиме 1 node/move. То есть фактически идет игра без поиска. Поэтому он и называется policy head test. Одно из важнейших преимуществ таких тестов, что наигрывается огромное количество партий (обычно 20-24 тыс. для каждого движка в тесте). А также в том, что участвуют сети разных версий (T5x, T7x, T60, Sergio's сети и т.д.). В итоге имеем универсальность рейтинга и очень небольшую ошибку.
Лично мне очень интересно, как эти рейтинги коррелируют с уровнем игры людей.

Помню, Вы говорили, что любите играть с разными версиями Лилы.
У меня предложение: попробуйте наиграть несколько десятков партий с любой версией T60, например 60132: 2101 Elo (ph rating)

Если решитесь, то вот несколько условий:
- Сеть играет с контролем Fixed nodes: 1 node/move (в Arena оболочке такой режим есть)
- Нельзя эксплуатировать сеть. В таком режиме сети в одних и тех же позициях будут играть одинаково, поэтому предлагаю использовать короткий дебютный набор для матча, или разыграть разные, удобные Вам варианты. Главное, чтобы было некоторое разнообразие. Но нельзя повторять один и тот же выигрывающий вариант дважды.
- Вы можете использовать любой удобный для Вас контроль времени, главное сообщите с каким контролем проводились эти матчи.
- По окончанию матча сообщите результат и, что более важно, личную оценку силы игры сети. Желательно привести партии, но не обязательно.

[svoitsl]

Новая тестовая сеть 700318 что то застопорилась кажется, почти 150 Эло не дотянув до 591226

[Rom77]

Цитата: Сообщение от alchemist888

Есть другой рейтинг: https://gist.github.com/Tilps/6e9098...f75d9ea377749e
<...>
Лично мне очень интересно, как эти рейтинги коррелируют с уровнем игры людей.

Сразу видно что сеть 60001 на 1 node/move это не уровень 1445 эло. Такой эло достигается только где-то к сети 60050. Это примерно мой уровень. Как раз в прошлом месяце сыграл десяток партий при таких условиях с сетями до 60050.

[Hendry]

alchemist888, хорошо, я понял. наиграть несколько десятков не обещаю, но 15-20 сыграю, скорее всего на следующей неделе. Отпишусь по результатам. Есть подозрение, что сеть проиграет 20-0, если я не зевну где-то. Если окажется слишком слабой выберу другую для теста.

[svoitsl]

Цитата: Сообщение от Hendry

Есть подозрение, что сеть проиграет 20-0

Буду за Вас "болеть"

[alchemist888]

Уже сам поиграл немного с сетью 60132. Играет неплохо, но общий уровень силы конечно не КМС с контролем 5+5. Позиционно выиграть пока не получилось, но вот подловить на какую-нибудь ерунду вполне себе удается. Из-за чего счет в мою пользу после 3-х партий с контроем 3+1. 2 выиграл, одну проиграл. Мой уровень будет где-то около 2000 FIDE.

UPD
Проверил сеть Leela 62582 1 node/move против Zevra v1.8.6 r672 TC 1+1. Позиционно Лила намного сильнее играет с 1 узлом на ход, чем Zevra с контролем 1+1, но при этом Лила может зевнуть мат в 1 ход
Hendry, так что проблема слепоты в счете вариантов вполне естественна. И можно попробовать начать таки с сети 60132, стратегические компоненты могут уравнять тактические, и получится что-то вразумительное.

[svoitsl]

Цитата: Сообщение от svoitsl

К сожалению последние 75 сетей большого роста не дали

И видимо уж не дадут :-(

PHP код:

# PLAYER           :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)     W     D     L  D(%)
1 lc0.net.62600    :    15.8    4.6  5820.0   11147    52     100  2967  5706  2474    51
2 Stockfish.dev    :     0.0   ----  5327.0   11147    48     ---  2474  5706  2967    51

White advantage = 48.92 +/- 2.30
Draw rate (equal opponents) = 52.35 % +/- 0.48
# PLAYER                :  RATING  ERROR   POINTS  PLAYED   (%)  CFS(%)     W      D     L  D(%)
1 lc0.net.62525         :    16.0    3.4  10447.5   20000    52     100  5376  10143  4481    51
2 Stockfish.dev         :     0.0   ----   9552.5   20000    48     ---  4481  10143  5376    51

White advantage = 50.22 +/- 1.75
Draw rate (equal opponents) = 51.91 % +/- 0.35