LCZero

[Виндхук]

Цитата: Сообщение от svoitsl

Ну что ж, топтание на месте успешно продолжается

Странно, а по этим тестам всё не так плохо.
https://docs.google.com/spreadsheets...#gid=763519729

[Maratka]

Так там 31400 сеть. Ее возможно уже по другому учат, не на одном и том же дебюте.

[Maratka]

Проверяю сеть 31447.
На данный момент после 23 партий ~130 ELO отставания от 11250. Т.е. ~50 ELO реального роста за полтора суток.

[Vizvezdenec]

Цитата: Сообщение от Maratka

Проверяю сеть 31447.
На данный момент после 23 партий ~130 ELO отставания от 11250. Т.е. ~50 ELO реального роста за полтора суток.

50 эло погрешности после 23 партий это как бы норма

[svoitsl]

Цитата: Сообщение от Maratka

Т.е. ~50 ELO реального роста за полтора суток.

Пока наверное не все игры сыграны, посмотрим что будет когда все (завтра?)
Точность должна повыситься, а то тут на форуме вообще ужасные вещи пишут

Цитата:

I am running a match LC_31448 v SF_dev
SF in 4core i7 intel LC on 1080 Nvidia
Till now
Total Diff 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22
stockfish (latest) 11 +17 = 0 = = = = = = = 1 0 1 1 = = = = = 1 0 = *
lc0_latest 10 -17 = 1 = = = = = = = 0 1 0 0 = = = = = 0 1 = *

[Maratka]

Цитата: Сообщение от Vizvezdenec

50 эло погрешности после 23 партий это как бы норма

Тут другая схема: когда разница в рейтингах столь огромна, прирост виден даже визуально.
Вот сейчас счет +8 =15 -0 в пользу 11250
Т.е. у новой сети ничьих в два раза больше, чем поражений.

А начинал я с сети 31260, и там счет был
+32 =22 -1, т.е поражений в полтора раза больше чем ничьих. Ну и общая разница 222 ELO.

Так вот, такой прирост виден сразу. Благо дебюты выбираются из книги те же, глубина книги та же и т.д. Т.е. тут теория вероятностей уже не работает, хотя формально - да, в на столь небольшом количестве партий погрешность выше разницы в рейтингах, т.е. тут как бы вообще замер смысла не имеет.

[Vizvezdenec]

Цитата: Сообщение от Maratka

Тут другая схема: когда разница в рейтингах столь огромна, прирост виден даже визуально.
Вот сейчас счет +8 =15 -0 в пользу 11250
Т.е. у новой сети ничьих в два раза больше, чем поражений.

А начинал я с сети 31260, и там счет был
+32 =22 -1, т.е поражений в полтора раза больше чем ничьих. Ну и общая разница 222 ELO.

Так вот, такой прирост виден сразу. Благо дебюты выбираются из книги те же, глубина книги та же и т.д. Т.е. тут теория вероятностей уже не работает, хотя формально - да, в на столь небольшом количестве партий погрешность выше разницы в рейтингах, т.е. тут как бы вообще замер смысла не имеет.

Ну я вот знаю, что 2 версии Комодо с разницей в 3 эло вполне могли в условиях CCRL выдавать похожие результаты.
Ну вот что сразу нашёл
http://www.computerchess.org.uk/ccrl...18_64-bit_4CPU
Fire и Ethereal сравните, вроде как бы Fire сильнее этой версии Ethereal, а результаты-то "явно" в другую сторону...

[Maratka]

Посмотрим другие тесты. Посмотрим мои тесты через пару дней и сотню сетей.
Если рост есть - по этим тестам он опять же будет виден. Не могут все ошибаться с примерно одной и той же разницей в пользу одного и того же соперника.

____
до утра пусть играют, наберется 50-60 партий, погрешность станет поменьше.
Следующий тест запущу, когда рейтинг selfplay пробьет 7200.

[Maratka]

Цитата: Сообщение от svoitsl

Пока наверное не все игры сыграны, посмотрим что будет когда все (завтра?)
Точность должна повыситься, а то тут на форуме вообще ужасные вещи пишут

Против SF это вполне нормально. На этом железе +\- равные результаты будут у сети 11250, но не у 3xxx.

[svoitsl]

Цитата: Сообщение от Maratka

Следующий тест запущу, когда рейтинг selfplay пробьет 7200.

Уже пора запускать тест, две сети уже пробили 7200

[Maratka]

Где-то так в общем получается...
Вполне себе результат.

[Maratka]

Цитата: Сообщение от svoitsl

Уже пора запускать тест, две сети уже пробили 7200

Я только старый закончил. Вечером запущу.

[Bullet]

lc0_11248 vs lc0_31483
1000 nodes per move

[Event "?"]
[Site "?"]
[Date "2018.11.23"]
[Round "14"]
[White "lc0_11248"]
[Black "lc0_31483"]
[Result "0-1"]
[ECO "A25"]
[Opening "English"]
[PlyCount "74"]
[TimeControl "100+100"]
[Variation "Closed system (without ...d6)"]

1. c4 {book} e5 {book} 2. Nc3 {book} Nc6 {book} 3. g3 {book} g6 {book}
4. Bg2 {book} Bg7 {book} 5. d3 {+0.22/6 14s} Nge7 {-0.08/7 16s}
6. e3 {+0.25/6 9.0s} O-O {-0.15/7 12s} 7. Nge2 {+0.31/6 7.3s} d6 {-0.14/6 3.9s}
8. O-O {+0.29/6 6.0s} Re8 {-0.17/6 4.6s} 9. Rb1 {+0.45/5 11s} a5 {-0.19/6 12s}
10. a3 {+0.46/6 8.6s} Be6 {-0.21/7 8.0s} 11. b4 {+0.42/6 9.8s}
axb4 {-0.16/7 5.9s} 12. axb4 {+0.40/7 3.2s} d5 {-0.04/8 1.5s}
13. b5 {+0.37/8 3.6s} Na5 {-0.13/8 2.1s} 14. cxd5 {+0.54/7 3.7s}
Nxd5 {-0.26/7 0.98s} 15. Qc2 {+0.60/6 3.0s} Qd7 {-0.29/6 7.3s}
16. Ne4 {+0.94/6 11s} b6 {-0.34/6 13s} 17. Ng5 {+1.23/7 4.7s} Bg4 {-0.58/8 4.2s}
18. f3 {+1.35/8 6.1s} Be6 {-1.13/8 2.9s} 19. e4 {+1.46/7 3.0s}
Nf6 {-1.10/7 5.9s} 20. Nxe6 {+1.40/6 6.6s} Qxe6 {-1.00/7 4.3s}
21. f4 {+1.40/7 2.6s} c5 {-1.08/7 3.4s} 22. fxe5 {+1.13/6 5.2s}
Qxe5 {-1.09/7 5.7s} 23. Bb2 {+1.04/6 4.7s} Qe7 {-1.27/7 5.8s}
24. Nf4 {+0.99/6 4.8s} Rad8 {-1.17/6 7.1s} 25. e5 {+1.08/6 6.8s}
Ng4 {-0.80/7 8.2s} 26. Nd5 {+1.02/7 7.5s} Qg5 {-0.76/7 7.6s}
27. Rbe1 {+1.03/7 7.9s} Nxe5 {-0.61/6 19s} 28. Nxb6 {+0.79/6 9.3s}
Nxd3 {+0.07/10 12s} 29. Rxe8+ {+0.21/10 6.0s} Rxe8 {+0.01/9 1.2s}
30. Bxg7 {+0.10/9 1.7s} Qe3+ {+0.51/9 5.3s} 31. Kh1 {+0.03/10 1.1s}
Kxg7 {+0.57/9 1.1s} 32. Qa2 {+0.02/9 2.8s} c4 {+0.30/8 7.5s}
33. Nxc4 {-0.16/9 2.6s} Nxc4 {+4.46/7 18s} 34. Qxc4 {+0.02/10 0.90s}
Nf2+ {+14.16/7 2.9s} 35. Kg1 {+0.05/8 0.96s} Nh3+ {+36.90/6 0.10s}
36. Kh1 {-0.01/7 0.10s} Qg1+ {+M8/4 0.10s} 37. Rxg1 {+0.24/2 0.59s}
Nf2# {+128.00/2 0.10s, Black mates} 0-1

[Maratka]

Цитата: Сообщение от Maratka

Я только старый закончил. Вечером запущу.

Запустил против сети 31488.

[svoitsl]

Цитата: Сообщение от Maratka

Запустил против сети 31488.

спасибо, а то что то график очень красивый


Хотелось бы узнать как на самом деле

тест
довольно не плох

Цитата:

Lc0_31455 - Lc0_31486.

+115 real-elo для Lc0_31486 в ЭТОМ тесте. Разница между автоэло была + 382 для Lc0_31486.

Большое увеличение.

TC 30s / 0.3s, 40 игр, Cuda_Lc0_v019.0.
2 случайных движения открытия (изменение цвета), с запуском gaviota. Нет TB !!

[sovaz1997]

svoitsl, может, график вообще в сингулярность скоро уйдет. Мечты))

[svoitsl]

ну что ж... оптимистичный сайт
все таки накинул сети 31474 целых 7 Эло
И получается что 1025 самоЭло равны 33 реальным Эло
(если сравнить сети 31332 и 31474) за почти 9.7 млн игр.
А тем временем самоЭло решило закрепиться на уровне примерно 7400, если такое протянется до утра, то будет интересно тест запустить

[sovaz1997]

Корреляции нет, иногда и спад может дать реальный ЭЛО)

[Vizvezdenec]

Вообще это очень странно, т.к. ну не должно быть такой большой погрешности (1000 эло) в результате суммы 100 сетей с погрешностью по 20 эло...

[sovaz1997]

Там рейтинги уточняются и погрешность уменьшается (сравните разницу в Matches и реальную разницу в Networks). Там идёт постоянное уточнение, это видно, если обновить страницу. Дело в другом, думаю.

[Vizvezdenec]

Цитата: Сообщение от sovaz1997

Там рейтинги уточняются и погрешность уменьшается (сравните разницу в Matches и реальную разницу в Networks). Там идёт постоянное уточнение, это видно, если обновить страницу. Дело в другом, думаю.

Ничего там не уточняется
Вот просто беру два случайных матча.
31497 31496 true +103 -100 =279 2.2
Рейтинги сетей на графике 7397,72 и 7395,55 - разница те самые 2.2 эло.
31441 31440 true +127 -89 =267 27.4
Рейтинги сетей на графике 6902,26 и 6874,87 - разница те самые 27,4 эло.
И т.д.
Но погрешностями по 20 эло набрать за 100 подряд сетей 1000 эло погрешности (а ведь набрали - тесты сторонние никакой 1000 и даже 100 эло там не видят) по теорверу почти невозможно...

[Maratka]

Цитата: Сообщение от Vizvezdenec

Но погрешностями по 20 эло набрать за 100 подряд сетей 1000 эло погрешности (а ведь набрали - тесты сторонние никакой 1000 и даже 100 эло там не видят) по теорверу почти невозможно...

Там проскальзывала информация, что сеть достаточно долго (несколько суток, возможно и неделю) самообучалась играть фактически один дебют. Отсюда и непонятки - рейтинг селфплей взлетел до небес, ибо каждая новая сеть играла этот дебют лучше старой, но на других дебютах она как была минус 300 ELO от 11250, так и осталась. Дня три назад в настройки обучения внесли правки, теперь ждать, пока сеть наиграть миллионов десять партий, чтобы более-менее понимать и остальные дебюты.

[Maratka]

https://groups.google.com/forum/#!ms...I/FovA3OTiAQAJ

[Vizvezdenec]

Забавно, что эта инкарнация Лилы сама идёт во французскую...

[Maratka]

Цитата: Сообщение от Maratka

Запустил против сети 31488.

В общем, дрова.
+13 =8 -0 в пользу 11250.
Даже не уверен, что есть смысл дальше ее тесты гонять.

[Rom77]

Цитата: Сообщение от Vizvezdenec

Вообще это очень странно, т.к. ну не должно быть такой большой погрешности (1000 эло) в результате суммы 100 сетей с погрешностью по 20 эло...

Каждая следующая сеть учится обыгрывать предыдущую. При этом она просто подстраивается под стиль предыдущей сети, находит её слабые места. Таким образом можно "прогрессировать" бесконечно, а реально просто ходить по кругу.

[Vizvezdenec]

Цитата: Сообщение от Rom77

Каждая следующая сеть учится обыгрывать предыдущую. При этом она просто подстраивается под стиль предыдущей сети, находит её слабые места. Таким образом можно "прогрессировать" бесконечно, а реально просто ходить по кругу.

Ну так же не происходило у 10 сети, да и у стокфиша так не происходит

[Rom77]

Цитата: Сообщение от Vizvezdenec

Ну так же не происходило у 10 сети, да и у стокфиша так не происходит

У сети 10 всё было то же самое. Очень яркая реализация принципа неудобных соперников: B выигрывает у A, С выигрывает у В. Казалось бы С намного сильнее А, но в то же время А выигрывает у С.

У Стокфиша используется отсечка по условию LLR, поэтому там более адекватные показатели, хотя и не без греха.

[Vizvezdenec]

Цитата: Сообщение от Rom77

У сети 10 всё было то же самое. Очень яркая реализация принципа неудобных соперников: B выигрывает у A, С выигрывает у В. Казалось бы С намного сильнее А, но в то же время А выигрывает у С.

У Стокфиша используется отсечка по условию LLR, поэтому там более адекватные показатели, хотя и не без греха.

Тут дело скорее не в LLR, а в том, что стокфиш играет на книге, в которой очень много разных позиций, причём падают они в случайном порядке.
Лила же играет со стартовой позиции + у неё очень низкая вариативность игры, там вроде как 50+% партий имеют первыми 20 ходами одно и то же...

[Rom77]

Цитата: Сообщение от Vizvezdenec

Тут дело скорее не в LLR, а в том, что стокфиш играет на книге, в которой очень много разных позиций, причём падают они в случайном порядке.

Я подозреваю, что и отсечка оказывает некоторое влияние (по крайней мере прекращение теста обычно случается на всходящих трендах процесса тестирования, что приводит к завышенной сумме эло положительных тестов).

Но наверное самым главным я считаю, что мы изменяем код Стокфиша не на основе ближайших партий, а по собственному разумению "лучшести" вообще. У Лилы же по сути сам процесс обучения сводится к подмечанию слабостей, исправлению ошибок предыдущей сети. Это не мешает ей ходить по кругу.

И ещё, в качестве косвенного подтверждения я хочу привести пример Лилы из игры Го, где используется отсечка по условию 55% набранных очков в 400 партиях: http://zero.sjeng.org/ Там, по сторонним тестам, наблюдается четкое соотношение 1 : 3,1 реального эло к эло самотестирования (на графике). Но тем не менее, даже такая мягкая отсечка помогает реально расти, по крайней мере никак не "1025 самоЭло равны 33 реальным Эло", как в нашем случае. Ещё интересно, что в гошной Лиле соотношение 1 : 3,1 выдерживается достаточно строго.

Но даже плохая отсечка, это отсечка. В то время как у шахматной Лилы, в том числе и из 10-й серии, как я помню, наблюдались длительные тренды восхождения без ощутимой прибавки.