LCZero

[sovaz1997]

Мои результаты (1000 nodes/move):

Score of Lc0 31631 vs Lc0 11250: 24 - 63 - 54  [0.362] 141
Elo difference: -98.67 +/- 45.92

[Maratka]

Цитата: Сообщение от sovaz1997

[0.362]

Т.е. 36,2% очков.
Весьма близко к моим 38,89%, из чего можно сделать вывод, что результаты с более-менее приличной достоверностью действительно находятся на отметке ~100 ELO отставания от 11250.

_____
Не знаю. Мне нравится, набрать ~100 ELO за неделю.
Для приличия можно проверить еще разок, ну скажем когда рейтинг селфплей пробьет... ну пусть будет 8400 или 8500 (в зависимости от скорость роста), но в любом случае не позже, чем через неделю.

[svoitsl]

Цитата: Сообщение от Maratka

Мне нравится, набрать ~100 ELO за неделю.

Особенно, когда есть ещё в запасе одно снижение LR и почти 15 млн игр.
(жаль только, что скорость обучения снова снизилась до менее 0.9 млн в сутки)

[Asunta]

А есть ли где-то описание Lс0 ( ? )
1. Тип нейронной сети ( из математической классификации )
2. Структура и размер нейрона ( struct, sizeof )
3. Правила заполнения и образования нейронных связей ( т.е. правила обучения )
4. Требования к качеству "материала для обучения"
и т. д.
Или это секретная информация ( ? )

А то всё время мелькают цифры типа селфплей 8500, 15млн игр, ~100 ELO за неделю,
которые лишь сопровождают процесс.

[Rom77]

Лила почти копия Альфа Зеро. Так что описание Альфы в основном справедливо и для Лилы:
https://habr.com/post/343590/

[Александр Руденко]

Там народ наиграл 900+ тысяч партий , а скачать их можно и посмотреть ?

[svoitsl]

да уж, прогресс впечатляет

Это вам не -100, и даже не +1 Эло, а целых +3 Эло
(31657 по сравнению с 31559)
на что ушло каких то ничтожных 31.3-28.2=3.1 млн игр.
Если так пойдет, то что бы догнать 11258 потребуется ещё (3540-3405)*3.1/3=139.5 млн игр, что при сегодняшнем темпе 0.88 млн в сутки потребует 158.5 суток.
К сожалению узнать сколько набрала сеть 1х после последнего снижения LR пока не удалось

[Vizvezdenec]

Вообще сейчас на 4с идёт бонусный раунд из 10 движков, включая Лилу, где им всем на старт дали позицию, в которой люди в 12 партии за корону согласились на ничью.
https://www.chess.com/computer-chess-championship
И там она болтается на уровне Laser.
Это наталкивает на кое-какие мысли - Лила хороша, когда сама играет, а вот когда ей ставят заранее плохую позицию, тут у неё обычно проблемы начинаются, и это уже несколько раз было видно в разных матчах.

[sovaz1997]

Цитата: Сообщение от Vizvezdenec

Вообще сейчас на 4с идёт бонусный раунд из 10 движков, включая Лилу, где им всем на старт дали позицию, в которой люди в 12 партии за корону согласились на ничью.
https://www.chess.com/computer-chess-championship
И там она болтается на уровне Laser.
Это наталкивает на кое-какие мысли - Лила хороша, когда сама играет, а вот когда ей ставят заранее плохую позицию, тут у неё обычно проблемы начинаются, и это уже несколько раз было видно в разных матчах.

Я вот тоже об этом подумал. Ведь это говорит о том, что анализ произвольной позиции с помощью Лилы может оказаться безсмвсленным, т. к. при игре Лила сама создаёт позиции, а здесь просто набор фигур. Ну, если обгонит SF на пунктов так 300, можно будет и произвольные позиции на-равных играть)

[svoitsl]

Цитата: Сообщение от Vizvezdenec

когда сама играет, а вот когда ей ставят заранее плохую позицию

Поэтому назрела необходимость внести в правила изменение. что бы NN движки играли по сокращенной книжке (2 хода) или без оной вообще.
Вот только не приведет ли это к тому,что они будут этим злоупотреблять и играть один и тот же дебют?

[Vizvezdenec]

Цитата: Сообщение от svoitsl

Поэтому назрела необходимость внести в правила изменение. что бы NN движки играли по сокращенной книжке (2 хода) или без оной вообще.
Вот только не приведет ли это к тому,что они будут этим злоупотреблять и играть один и тот же дебют?

Почему возникла?
Наоборот, я считаю. Подобные позиции показывают их "белые пятна" и приводят к большей результативности.
Более того, игрокам в адванс они помогают (наверное) в плане расстановки приоритетов в анализе - если вам позиция не нравится и вы играете "на отбой", то лучше анализам Лилы верить меньше.

[Maratka]

Цитата: Сообщение от sovaz1997

Я вот тоже об этом подумал. Ведь это говорит о том, что анализ произвольной позиции с помощью Лилы может оказаться безсмвсленным, т. к. при игре Лила сама создаёт позиции, а здесь просто набор фигур. Ну, если обгонит SF на пунктов так 300, можно будет и произвольные позиции на-равных играть)

Чего гадать?
Слово разработчикам:
"As Leela plays much weaker in positions without history, it now is able to synthesize it and do not blunder in custom FEN positions. There is a --history-fill flag for it. Setting it to "no" disables the feature, setting to "fen_only" (default) enables it for all positions except chess start position, and setting it to "always" enables it even for startpos."


http://blog.lczero.org/2018/11/lc0-v...-released.html

[Maratka]

Цитата: Сообщение от svoitsl

Поэтому назрела необходимость внести в правила изменение. что бы NN движки играли по сокращенной книжке (2 хода) или без оной вообще.
Вот только не приведет ли это к тому,что они будут этим злоупотреблять и играть один и тот же дебют?

LZ vs SF, оба без книг дают достаточно много разных дебютных вариантов. Вероятно за счет SF, но тем не менее факт есть.

[sovaz1997]

Мне кажется, что на CCCC это знают и ввели историю ходов, а не просто fen

[Maratka]

Цитата: Сообщение от sovaz1997

Мне кажется, что на CCCC это знают и ввели историю ходов, а не просто fen

Так нужна не просто история ходов, а история понимания, почему были сделаны именно эти ходы.

[svoitsl]

Кто нибудь что-нибудь про Endgame Net знает?
Что вообще за "зверь"?

[Maratka]

Что-то мне кажется, что это то, что недавно обсуждалось: компактная, а потому быстрая сеть, обученная на эндшиплях для игры в эндшпилях.

[svoitsl]

Новости тестов....
тут
зафиксировали довольно значительный рост

для id31700 целых 3245 реальных Эло
Это почти столько же , сколько и у древней сети id460
За 150 сетей достигнут рост на целых 7 Эло
до уровня сети 11250 осталось всего какие то 244 Эло, а что бы успешно конкурировать с Sf10 не менее 300

[Maratka]

Цитата: Сообщение от svoitsl

до уровня сети 11250 осталось всего какие то 244 Эло, а что бы успешно конкурировать с Sf10 не менее 300

До уровня сети 11250 осталось меньше сотки. Сравнивать нужно сеть против сети, а не через прокладки вида "This list approximates what a given network of Leela Chess Zero would score on the CCRL 40/4 lis"

Ну и правила конечно же спорные.
Желание наиграть побольше партий понятно, но все же

Adjudication:
100-move = draw
> 3.00 pawn deficit in both evals = resign

В реальности победы бывают и после 100 ходов, да и оценка у LZ такова, что присуждать победу/поражение на основании "> 3.00 pawn deficit" - это очень смелое предложение.

[Vizvezdenec]

Цитата: Сообщение от Maratka

До уровня сети 11250 осталось меньше сотки. Сравнивать нужно сеть против сети, а не через прокладки вида "This list approximates what a given network of Leela Chess Zero would score on the CCRL 40/4 lis"

Ну и правила конечно же спорные.
Желание наиграть побольше партий понятно, но все же

Adjudication:
100-move = draw
> 3.00 pawn deficit in both evals = resign

В реальности победы бывают и после 100 ходов, да и оценка у LZ такова, что присуждать победу/поражение на основании "> 3.00 pawn deficit" - это очень смелое предложение.

Ну +3 для обоих движков, но тут я вполне согласен - Лила много раз не выигрывала позиции, которые и противник как +3 оценивал.

[svoitsl]

Цитата: Сообщение от Maratka

Сравнивать нужно сеть против сети

Ну вот вы скоро тест запустите (может уже завтра или послезавтра), тогда и посмотрим...
(тем более, что уже набрано около 8450 самоЭло)
Жаль только, что скорость обучения снова просела, до менее 0.85 млн в сутки

Цитата: Сообщение от Vizvezdenec

которые и противник как +3 оценивал.

Кажется в Арене условие выигрыша +9

[Maratka]

Цитата: Сообщение от svoitsl

Ну вот вы скоро тест запустите (может уже завтра или послезавтра), тогда и посмотрим...

Запустил час назад.

________
Не принимайте мои тесты близко к сердцу: в них погрешность сравнима с разницей в ELO.
Другое дело, что по ним же если сложить погрешность и разницу, то даже в этом случае крайний разрыв между сетями ~140 ELO (по последнему тесту), т.е. никакого разговора о "до уровня сети 11250 осталось всего какие то 244 Эло" даже быть не может. 140 ELO отставания - это худший из возможных результатов для моего последнего теста с учетом погрешности. Но опять же - для моего теста. В моем тесте - моя книга, мои правила и мое железо. Тем не менее, равенство для обоих сетей соблюдается.

Теперь посмотрим, что будет в новом тесте.

[Maratka]

Цитата: Сообщение от Vizvezdenec

Ну +3 для обоих движков, но тут я вполне согласен - Лила много раз не выигрывала позиции, которые и противник как +3 оценивал.

Ну вот и я о том же.

______
У меня играется просто: либо мат, либо ничья по оценке/пату, либо присуждение выигрыша по правилам оболочки (Fritz 15 делает это при обоюдной оценке около 10, если кто-то знает точное значение - буду признателен). Никаких ничьих после 100 ходов, и прочего. Плюс, я не вывожу никаких рейтингов а-ля CCRL посредством сравнению результатов с другими движками. Я лишь показываю разницу в рейтингах между разными сетями: IMHO это более правильная оценка, т.к. сравнивание с другими движками зависит от железа, на которых эти движки играли, что добавляет фактор неопределенности, тогда как у меня железо очевидно равное.

[svoitsl]

оптимистичный сайт решил порадовать большим ростом рейтинга

сеть 31703 по сравнению с 31667 увеличила свой рейтинг на 3461-3405=56 Эло
Но все равно к методике наверняка будут большие претензии, делающими результат ничтожным
Но разница с 11248 всего 74 Эло делает его приятным :-)

[svoitsl]

А тем временем 8500 самоЭло пробито, это сеть 31725

удержится оно или провалится, это мы узнаем позже

[Maratka]

Цитата: Сообщение от svoitsl

удержится оно или провалится, это мы узнаем позже

Никак не пойму, что Вам мешает запустить собственный тест вместо копипайта существующих?

[svoitsl]

Цитата: Сообщение от Maratka

Никак не пойму,

Ну вот примерно сравняется 3х с 11248 тогда и запущу, к тому времени и GTX 1060 возможно будет

[Maratka]

До какой степени "примерно"?
Как по мне, то "примерно" уже наступило недели две назад.

[sovaz1997]

А Lc0 действительно вверх пошел: https://docs.google.com/spreadsheets...t?usp=drivesdk

[Vizvezdenec]

Помните, я говорил, что я уже даже не пытаюсь тестерам Лилы что-то объяснять? Вот примерно по этой причине зачастую...
http://talkchess.com/forum3/viewtopic.php?f=6&t=69120