LCZero

[Rom77]

Цитата: Сообщение от player-1980

А почему рейт такой низкий? Напр., последняя - 62588 с рейтом 2902. Или это фикция?

Это фикция. Давно уже перестал обращать внимание на этот рейт.

[Ofiscer]

Цитата: Сообщение от player-1980

а не подскажете, какая сеть сейчас лучшая?

Цитата: Сообщение от Rom77

В общем и целом, последняя из 60-й серии.

А если строго для адванса (длительный анализ), то какую порекомендуете?

[Rom77]

Цитата: Сообщение от Ofiscer

А если строго для адванса (длительный анализ), то какую порекомендуете?

Наверное ту же последнюю T60. Но я адвансом не занимаюсь.

В любом случае следует смотреть на сети, которые размером не меньше T60. А более мелкие сети... Ну не знаю... Может быть для поиска каких-то альтернатив, в дополнение к более крупным сетям они сгодятся.

[alchemist888]

Цитата: Сообщение от Rom77

Это фикция. Давно уже перестал обращать внимание на этот рейт.

Ну как фикция. После того, как рейтинг начали считать не только по матчу с предыдущей сетью, но и с 3-мя и 10-ю предыдущими, то корреляция ELO стала очень даже информативной.
Там конечно же есть погрешности, но все значимые изменения параметров прекрасно отображаются на графике: http://training.lczero.org/training_run/1?full_elo=1
Тут легко можно увидеть и 1-й (60781) и 2-й (61771) LR дропы; изменение порога KDL на 9 (62281), использования параметров из теста T59 для T60 (62479). Сами числа рейтинга 2902 и т.п. относятся только к рейтингу Лилы, но даже они, похоже, очень близки к каким-нибудь рейтингам движков с CCRL. Ведь само-эло строится на матчах с контролем примерно 1000 nodes/move. Что очень мало, и вполне вероятно, что рейтинг движка в этом случае и будет падать где-то в районе 2900-3000 ELO.

[Rom77]

Цитата: Сообщение от alchemist888

После того, как рейтинг начали считать не только по матчу с предыдущей сетью, но и с 3-мя и 10-ю предыдущими, то корреляция ELO стала очень даже информативной.

С моей точки зрения этого недостаточно. Сравните например самоэло сети 40700 (2610) и 42850 (3329). Разница около 700 пунктов, а реально там пунктов 100-150.

Кроме того, если взять цифры в абсолютном выражении, то мы видим также анормальные рейтинги у сетей T59 и T70. То что у T60 числа отличаются, говорит совсем не в её пользу. И то что эти числа могут на некоторых отрезках напоминать нормальные, совсем не является показателем их истинности.

Я уже три года отслеживаю самоэло нейросетей в поисках закономерностей. Сначала в го, затем в шахматах, но пришел лишь к выводу, что в этом шуме искать смысл особо ни к чему. Проще найти нормальные тесты. Тем более что для коротких контролей ситуация с ними сейчас более-менее неплохая. По крайней мере не так как полтора-два года назад, когда и тестов особо не было и проводили их новички, которые не имели опыта.

[alchemist888]

Цитата: Сообщение от Rom77

С моей точки зрения этого недостаточно.

Там также тестируются сети 30-й, 100-й, 1000-й давности с новыми, что корректирует рейтинг само-эло.
Насколько помню, T40 стартовала по старой схеме матчей, потом были введены 3-и и 10-e сети для проверки, затем, несколько позже, 30-e, 100-e и 1000-e.
В общем, T60 график очень хорош, на мой взгляд. На нем видны все ключевые изменения в тренировочном процессе, что, на мой взгляд, является важнейшим показателем.
Да, скорее всего там также есть погрешности, которые сказываются на рейтинге в сторону увеличения Elo. Но они на порядок меньше, чем были раньше.
Вот сравните само-эло T60 с тестом policy head: https://gist.github.com/Tilps/6e9098...f75d9ea377749e

Цитата: Сообщение от Rom77

Кроме того, если взять цифры в абсолютном выражении, то мы видим также анормальные рейтинги у сетей T59 и T70. То что у T60 числа отличаются, говорит совсем не в её пользу

Тут интересный момент, что T70 стартовала с отметки 0, а Т60 с отметки "-1200". Так что если и сравнивать значения само-эло, то нужно прибавлять 1200 к рейтингу T60. Не знаю откуда взялось это значение, но получилось очень даже неплохо

[Rom77]

Цитата: Сообщение от alchemist888

Насколько помню, T40 стартовала по старой схеме матчей, потом были введены 3-и и 10-e сети для проверки, затем, несколько позже, 30-e, 100-e и 1000-e.

У 40700 уже были 3-и и 10-e сети для проверки. Это видно на странице матчей.

Если более отдаленные сети улучшают результат, то в этом я вижу подтверждение своего тезиса - близкие сети больше приносят вреда, чем пользы, дальние поменьше. Поэтому их лучше исключить. А самое правильное взять в соперники сеть другого поколения или классические движки.

Цитата: Сообщение от alchemist888

Тут интересный момент, что T70 стартовала с отметки 0, а Т60 с отметки "-1200". Так что если и сравнивать значения само-эло, то нужно прибавлять 1200 к рейтингу T60. Не знаю откуда взялось это значение, но получилось очень даже неплохо

Если прибавлять 1200 к рейтингу T60, то пропадет всякая корелляция с рейтингом CCRL. Особенно если учесть, что в CCRL даже рандом имеет положительный рейтинг.

В общем, скажем так, в какой-то момент я понял, что эти "штаны" никак не могут быть впору, как их не надевай. Либо коленки будут видны, либо ... хм ... другое место. У меня в общем-то немало опыта, но эти рейтинги самоэло нейросетей я объяснить не могу. Сигнал просто тонет в шуме. Так что пусть ими пользуется тот, кто пользуется, но, извините, я пас.


P.S. Сейчас я вижу, что во времена 40700, были даже 80-е сети для проверки. Ну, тем более.

[Омегазеро]

Тестируем dx-версию Лилы!

Так как она на 27% медленнее cuda-fp16, Стокфиш играл на 18 потоках вместо 24

RTX2060 против 3900x

lc0-62525 vs stockfish_20022521_x64_modern:

32 - 27 - 141

На этот раз в качестве дебютного набора использовались многоходовые short lines от Noomen
Контроль 78s+1s

Игры прилагаются

[Hendry]

К вопросу о самоэло. Я время от времени играю с Лилой в шахматы ради забавы. С разными сетями, так вот особенно мне нравится играть с т60 и я примерно представляю силу игры начальных сетей в пересчёте на человеческий рейтинг. Я КМС, рейтинг 2300-2400 на популярных интернет площадках. С переменным успехом справляюсь с сетью 60045. Сеть 60050 меня уже обыгрывает просто с разгромным счётом. Самоэло у сети 60045 если не ошибаюсь около 1600, что соответствует примерно 3 разряду у людей. Так что ерунда все эти самоэло, могу вам сказать с полной уверенностью.

[svoitsl]

Цитата: Сообщение от Hendry

Так что ерунда все эти самоэло, могу вам сказать с полной уверенностью.

Конечно уверенность КМС дорого стоит,но боюсь вы не учли что самоэло рассчитывается при игре порядка 1000 узлов на ход (а не классика 40/40) и начальная точка запросто может быть и не 1000 Эло ( к чему все привыкли).
Поэтому самоэло - это просто немного другая шкала,но ерундой я бы (не КМС) не стал ёё бы называть

[Омегазеро]

А тем временем улучшенные настройки обучения (от 59-й сети) показали отличный результат

По итогам теста 20000 партий glbchess64 с дебютным набором от chad https://docs.google.com/spreadsheets...gid=1825444216

сеть 62525 на 10.3 Эло сильнее сети 62450 (за 75 сетей - 10 Эло)
хотя сеть 62450 всего на 2.4 Эло сильнее сети 62380 (за 70 сетей - 2,4 Эло)
сеть 62380 всего на 4 Эло сильнее сети 62298 (за 82 сети - 4 Эло)

[Hendry]

Цитата: Сообщение от svoitsl

Поэтому самоэло - это просто немного другая шкала,но ерундой я бы (не КМС) не стал ёё бы называть

Под словом ерунда я имею в виду, что она никак не привязана к реальности. Рейтингам людей, CCRL и ТД. А то что она показывает динамику роста сетей этого я не отрацал.

[alchemist888]

Цитата: Сообщение от Hendry

Я время от времени играю с Лилой в шахматы ради забавы. С разными сетями, так вот особенно мне нравится играть с т60 и я примерно представляю силу игры начальных сетей в пересчёте на человеческий рейтинг. Я КМС, рейтинг 2300-2400 на популярных интернет площадках. С переменным успехом справляюсь с сетью 60045. Сеть 60050 меня уже обыгрывает просто с разгромным счётом.

А в каком формате Вы играете? С фиксированными узлами, или с контролем времени? На каком оборудовании?

[Hendry]

играю с контролем 10+5 или 5+5. на домашнем компе, видео gtx 1050ti

[alchemist888]

Цитата: Сообщение от Hendry

играю с контролем 10+5 или 5+5. на домашнем компе, видео gtx 1050ti

По прикидкам на Вашей видеокарте T60 с cudnn backend сети будут выдавать чуть больше 2 kn/s в начальной позиции, поправьте, если не так. При этом на указанных контролях времени Лила будет использовать примерно 10-15 секунд на ход.
Ну вот и считаем, что в среднем получаем не меньше 20-30 kn/move, когда само-эло строится из расчета менее 1 kn/move.
Так что рейтинг сетки, с которой Вы играете на своей машине значительно выше. Сложно сказать насколько именно. По старым scaling тестам для T10 получается порядка 500 Elo. Но для T60 с новым движком цифры могут быть другими.
И я сразу говорил, что абсолютные цифры само-эло не стоит к чему-то привязывать. Скорее всего просто удачно получилось, что текущий рейтинг само-эло очень близок к рейтингам CCRL. Возможно именно для этого стартовую отметку, уже во время тренировочного процесса, спустили на значение "-1200".

[Hendry]

Скорость там меньше, около 1kn в начальной позиции. Но это не суть. Что меня больше интересует, то почему Вы и не только пишете что у Лилы Эло считается для 800 узлов и при этом оно отличается от Эло скажем на 10к узлов. То есть понятное дело что оно отличается, но логично сравнивать программы играющие на одном контроле времени. То есть если перевести ноды на ход во время, то на моей карточке 800 нодов на ход равен, скажем, контролю 1 +0.8 секунд на партию. Но на такой скорости и стокфиш будет играть не то чтобы очень сильно. То есть Стокфиш играет на свои к примеру 3500 рейтинга и с контролем 1 +0.1 сек и с 100 + 10 сек и с любым другим контролем, но сравнивать нужно или одинаковые контроли времени или равноценные соотношения нодов.

[alchemist888]

Я немного не понял суть проблемы. Для Лилы есть policy head тесты (без поиска 1 nodes/move); есть само-эло матчи (около 1000 nodes/move); есть тесты с фиксированными узлами против других сетей и Стокфиша; есть также обычные тесты с контролем времени на разных машинах. Для каждого случая Elo определяется отдельно и показывает оно разницу между тестируемым движком и его противниками в заданных условиях.

[Hendry]

Я имею в виду, что самоэло в данном случае для сети 60045 равное примерно 1600 для 800 нодов должно равняться примерно 1600 и для самоэло 8к нодов на ход, если бы оно проводилось. Соответственно какой смысл указывать что Эло получено именно на 800 нодах. То есть 1600 и есть 1600 сколько бы нодов мы на ход не взяли или я не прав?
Это я к тому что сеть когда играет против меня все же имеет 1600 рейтинга, так как я, как оппонент сети с одной стороны и человек, с другой, тоже играю пропорционально сильнее при увеличении контроля на партию.

[Maratka]

Ну объективно рейтинг при увеличении кол-ва узлов должен расти.
Вас же не удивляет, что любой движок обыгрывает сам себя, имя фору по времени?

А при некоторой форе, даже слабейший может дать бой сильному, скажем LZ при часе на партию камня на камне не оставит от SF, у которого 10 минут, естественно при более-менее сопоставимом железе, а-ля RTX (лучше два) у LZ, и многоядер у SF.
При этом поменяй их местами с точки зрения форы по времени - счет изменится на противоположный.

[Hendry]

Цитата: Сообщение от Maratka

Ну объективно рейтинг при увеличении кол-ва узлов должен расти.
Вас же не удивляет, что любой движок обыгрывает сам себя, имя фору по времени?

Нет, не должен. Допустим возьмём такой пример, есть гроссмейстер допустим Магнус Карлсен. У него есть рейтинг в блиц, быстрые шахматы и классику и везде он примерно 2800 пунктов. То есть сила игры при увеличении времени на партию растет, а рейтинг нет, потому что для каждого контроля времени он считается отдельно и против шахматистов с таким же контролем времени. Никто не считает рейтинг дав одному шахматисту 5 минут на партию, а второму 2 часа.

[Maratka]

Цитата: Сообщение от Hendry

Нет, не должен. Допустим возьмём такой пример, есть гроссмейстер допустим Магнус Карлсен. У него есть рейтинг в блиц, быстрые шахматы и классику и везде он примерно 2800 пунктов. То есть сила игры при увеличении времени на партию растет, а рейтинг нет, потому что для каждого контроля времени он считается отдельно и против шахматистов с таким же контролем времени.

Не показатель. Просто так масть легла. Да и 2800 (примерно) - это именно что примерно. Реально, где-то у него будет и 2760, и 2820, в зависимости от контроля.

Объяснение столь же простое: один гросс тратит много времени на стратегию, другой чувствует тактику. В долгих шахматах у первого будет преимущество, в быстрых - у второго. Ничего личного, просто склад ума.

Все то же и движки.

[Maratka]

В дополнение: сверхкороткие контроли среди людей вообще говоря не имеют смысла.

Объясняю: выигрыш в них зависит в том числе и от мышечной массы и скорости ее моторики: если кто-то тратит за минуту лишние три секунды на то, чтобы нажать кнопку на часах, он имеет больше шансов проиграть по флагу, играя объективно лучше.

[Hendry]

Это общий пример, конечно колебания рейтинга в зависимости от контроля есть и у разных шахматистов и программ они могут отличаться, но разговор не про это. Разговор про то, что нельзя сказать что движок с контролем 1 час на партию имеет рейтинг на 200 пунктов больше, чем движок с контролем 1 минута на партию. Потому что они считаются отдельно для каждого контроля времени.

[Hendry]

Разговор не о силе игры, а о рейтинге

[svoitsl]

Цитата: Сообщение от Hendry

Потому что они считаются отдельно для каждого контроля времени.

Но я то , из спортивного интереса, могу подсчитать? Не вижу кто бы мне запретил.
и получу, что

Цитата: Сообщение от Hendry

движок с контролем 1 час на партию имеет рейтинг на 200 пунктов больше, чем движок с контролем 1 минута на партию

[Hendry]

Не можете. Рейтинг является верным только при одинаковых или очень близких контролях. Вы путаете рейтинг и силу игры. Рейтинг понятие математически точное, а вы пытаетесь померить кто сильнее кит или слон.

[alchemist888]

Цитата: Сообщение от Hendry

Никто не считает рейтинг дав одному шахматисту 5 минут на партию, а второму 2 часа.

Для движков параллели в рейтинге сделать вполне можно, проводя условные "мосты".
Например, мы получили рейтинг движка в системе 1 kn/move - 2900 Elo. Теперь мы проводим большой тест этого же движка, но с 10 kn/move, получаем значение 3300 Elo. Теперь, если система тестирования достаточно точна, то мы будем достаточно точно предсказывать Elo движков в значениях 1 kn/move и 10 kn/move.
Также, мы можем за основу взять хорошо протестированный движок, и по нему делать ordo расчет для любого теста.
Еще можно, путем многочисленных тестирований, вывести сложную формулу scaling фактора, затем установить систему координат, например Stockfish11 1500 kn/move будет присвоено 3200 Elo. И уже на основе этого вычислять Elo движка scaling фактор которого известен.

[Maratka]

Цитата: Сообщение от Hendry

Это общий пример, конечно колебания рейтинга в зависимости от контроля есть и у разных шахматистов и программ они могут отличаться, но разговор не про это. Разговор про то, что нельзя сказать что движок с контролем 1 час на партию имеет рейтинг на 200 пунктов больше, чем движок с контролем 1 минута на партию. Потому что они считаются отдельно для каждого контроля времени.

Можно. Есть условно говоря движки с примерно равными мозгами в части оценочной функции, но очень сильно разной скоростью поиска. И из этой пары всегда найдется заведомый победитель в зависимости от времени на партию.

Да тот же LZ, в теме про которой мы находимся: есть сети маленькие, которые идеальны для минутных контролей, и на которых они громят крупные сети для себя же родного. Но на контроле в десятки минут они уже идут +/- ровно (конечно же зависит от скорости видеоплаты, где-то и на 3-5 минут равенство будет), а на всем, что больше - вчистую сливают.

[Maratka]

Цитата: Сообщение от alchemist888

Для движков параллели в рейтинге сделать вполне можно, проводя условные "мосты".
Например, мы получили рейтинг движка в системе 1 kn/move - 2900 Elo. Теперь мы проводим большой тест этого же движка, но с 10 kn/move, получаем значение 3300 Elo. Теперь, если система тестирования достаточно точна, то мы будем достаточно точно предсказывать Elo движков в значениях 1 kn/move и 10 kn/move.

Более того, если построить граф по 4-5 точкам, то можно достаточно точно спрогнозировать и ELO до 50-100 тыс. узлов на ход. А на моем GTX 960 это примерно равно контролю уже не по узлам, а по времени на партию ~30 минут. Т.е. это уже будет честная партия с учетом менеджера времени.

[Hendry]

alchemist888,
Нет, я снова вынужден не согласиться. Рейтинг одного и того же движка всегда примерно равен. Если мы дадим 1kn/move то мы будем сравнивать его с другими движками тоже с 1kn/move и получим к примеру 2900 рейтинг. Потом мы будем проводить тест этого же движка и дадим ему 10kn/move и будем тестить его с другими движкоми с контролем 10kn/move и получим допустим 2870. Разница конечно будет какая-то. Но не факт, что положительная. Я ещё раз обращаю ваше внимание что сила игры и рейтинг не одно и то же.