LCZero

[svoitsl]

crem рассказывает
(если я конечно правильно расшифровал ник)
Interview with Alexander Lyashuk about the recent success of Lc0
Статейка не на русском, правда, жаль конечно
Но это ведь поправимо...

[svoitsl]

Вот и новый турнир..... пока 100 игр, но он будет продолжаться до 200
Стокфиш 8 и Лила с новым движком и сетью 40719
с параметрами
3500000/4000 nps, остальное как всегда, без книжки, с хешем у Стока 16М (наверное надо сделать было 32, но он и так выиграл)

31-17-52 48.6+/- 47.37 Эло

[Vizvezdenec]

Так 40 серия существенно слабее 30 как бы...

[svoitsl]

Цитата: Сообщение от Vizvezdenec

Так 40 серия существенно слабее 30 как бы...

Слабее конечно, но и игр на неё потрачено в 4 или в 5 раз меньше
но отслеживать надо... тем боле что турнир в 200 игр закончился (условия чуть выше), с такими результатами
65-36-99 50.74+/-34.29 Эло То есть Стокфишь 8 на 51 Эло оказался сильнее Лилы

[svoitsl]

Рост силы игры сети 33000 по сравнению с 32930 составляет менее 2 Эло при 200 играх,хотя пишут что она какая то "экспериментальная", в чем эксперимент не пишут, однако на финале СCCC5 её срочно заменили на 40754 начиная с 8-й игры, старые не удалили (что б не переигрывать)

[sovaz1997]

Цитата: Сообщение от svoitsl

Рост силы игры сети 33000 по сравнению с 32930 составляет менее 2 Эло при 200 играх,хотя пишут что она какая то "экспериментальная", в чем эксперимент не пишут, однако на финале СCCC5 её срочно заменили на 40754 начиная с 8-й игры, старые не удалили (что б не переигрывать)

Эксперимент, думаю, в том, что параметры меняются прямо во время обучения, в отличие от сети test40, где ничего не меняется, кроме LR. Но это я так понял, точно не могу сказать.
test30 вряд ли будет сильно расти. При 200 играх 2 Эло - это может быть как -15 Эло, так и +15 Эло - здесь истину трудно выявить.

[sovaz1997]

test40 находится на одном из самых начальных этапов развития, а уже имеет очень высокий уровень при этом. Мое предсказание: обгонит Dev-версию SF от Апреля на 40-50 пунктов.

[svoitsl]

Цитата: Сообщение от sovaz1997

меняются прямо во время обучения

Странно..., даже если параметры очень полезные, то они вряд ли дадут эффект прям сразу, придется ещё несколько миллионов игр провести, а она и так обучается по чуток (может 100 000 игр в сутки)

Цитата: Сообщение от sovaz1997

из самых начальных этапов развития

При той скорости обучения,что сейчас есть (а это около 0.8 млн в сутки) ждать конечного этапа придется ещё месяц, а то и до конца марта.
При чем на улучшение тактики особых надежд возлагать не стоит. А это один из главных тормозов силы игры

[sovaz1997]

Тут не в тактике дело. Лила работает с одним деревом поиска, СФ - с другим. У каждого свои преимущества и недостатки. Играть хорошо и в тактике, и в стратегии - для этого нужны очень большие вычислительные ресурсы. Проблема в том, что тактические изъяны сразу видны, а стратегические - нет, хотя если посмотреть, то у SF много проблем с этим.
К Марту-Апрелю Lc0 превзойдет SF (мой обновленный прогноз). А тормоза, связанные с тактикой, надо будет решать тогда, когда закончит обучение test40, хотя бы.

[svoitsl]

Цитата: Сообщение от sovaz1997

Играть хорошо и в тактике, и в стратегии - для этого нужны очень большие вычислительные ресурсы.

Как нам сказал cream (ну и диипмайнд тоже) есть ещё один способ (впрочем для вас не новость), ну и от себя добавлю что надежда умирает последней.

Цитата: Сообщение от sovaz1997

Проблема в том, что тактические изъяны сразу видны,

Что б они были видны также сразу и для LC0 то придется к ней приделать для этого ab движок, а то у ней пока с тактическим зрением не важно...

[sovaz1997]

Да, test40 и test50 - вот надежды. Возможно, кстати, немного другая архитектура AZ и объясняет, почему у нее меньше проблем с тактикой. Хотя при этом test30 уже достиг уровня AZ

[Maratka]

Цитата: Сообщение от sovaz1997

немного другая архитектура AZ и объясняет, почему у нее меньше проблем с тактикой.

А у него меньше проблем с тактикой?
Кто видел?
Например простенький тактический тест из оболочки Fritz он проходит с каким процентом?

[Омегазеро]

Цитата: Сообщение от svoitsl

решил я тут ещё один турнирчик провести
новенький LC0 и сеть 32930 (та что на TCEC) и старенький Стокфиш 8
Почти что на условиях матча Sf8 и A0
(1000/875000 nps ход, без книжки, хеш у SF всего 16 Мб)
результат такой
62-90-148, Lc0 проиграла с разницей в 23 Эло

Если новенький LC0 и сеть 32930 (которая на TCEC) отстают даже от Стокфиш 8, то уж Stockfish-190203 обгоняет LC0-32930 не меньше чем на 150 Эло

Цитата: Сообщение от Maratka

Т.е. 30 ELO за месяц тренировки (месяц назад сети были примерно равными) означает, что до уровня современного SF LZ доползет где-то за полгода, на чем и остановится

Так как до тренировки сети 32930 прошел всего месяц, ваши предположения подтверждают расчеты svoitsl, что разрыв между Stockfish-190203 и LC0-32930 превышает 150 Эло
Тем удивительнее, что после 31-й партии на финале TCEC счет равный, видимо, опять статистическая флуктуация и нас ждет серия из 20-30 поражений LC0.

[Maratka]

Цитата: Сообщение от Омегазеро

Так как до тренировки сети 32930

Ее добрых полгода тренировали, сначала с низким приоритетом (ставили на сеть 2xx), но последние месяца 2-3 с высоким.
Т.е. совершенно смело можно считать, что 32930 тренировалась не менее трех месяцев в "рабочем" режиме.

[sovaz1997]

Цитата: Сообщение от Омегазеро

Если новенький LC0 и сеть 32930 (которая на TCEC) отстают даже от Стокфиш 8, то уж Stockfish-190203 обгоняет LC0-32930 не меньше чем на 150 Эло

Так как до тренировки сети 32930 прошел всего месяц, ваши предположения подтверждают расчеты svoitsl, что разрыв между Stockfish-190203 и LC0-32930 превышает 150 Эло
Тем удивительнее, что после 31-й партии на финале TCEC счет равный, видимо, опять статистическая флуктуация и нас ждет серия из 20-30 поражений LC0.

Важна разница между CPU и GPU. В TCEC она вполне оптимальна. И в условиях TCEC Lc0 играет почти на уровне SF Dev, это доказывается не тем, что счет 6-6, а множеством тестов.
Если бы сеть test30 отставала от SF на 150 пунктов, ее выход в финал, дальнейшая игра с равным счетом против SF, победа в TCEC Cup, 2-е место в среднем в CCCC было бы невероятным чудом.

[Омегазеро]

Цитата: Сообщение от Maratka

Ее добрых полгода тренировали, сначала с низким приоритетом (ставили на сеть 2xx), но последние месяца 2-3 с высоким.
Т.е. совершенно смело можно считать, что 32930 тренировалась не менее трех месяцев в "рабочем" режиме.

Maratka, месяц тренировки прошел с момента вашего поста
А на тот момент отставание от Стокфиша было 180 Эло
Следовательно, разрыв сократился всего до 150 Эло

[sovaz1997]

Разрыв между SF и Lc0 сейчас составляет от 0 до 50 пунктов в условиях TCEC.

[Омегазеро]

Цитата: Сообщение от sovaz1997

Если бы сеть test30 отставала от SF на 150 пунктов

31 декабря Maratka написал

Цитата:

Т.е. 30 ELO за месяц тренировки
до уровня современного SF LZ доползет где-то за полгода

Следовательно, на 31 декабря разница между Стокфишем и Лилой была 6*30 = 180 Эло
Что, кстати, подтверждалось множеством тестов

Следовательно, сейчас test30 отставает от SF на 150 пунктов.
И это подтверждается тестом svoits, согласно которому LC-32930 отстаёт даже от Стокфиш-8!

[Омегазеро]

Цитата: Сообщение от sovaz1997

Разрыв между SF и Lc0 сейчас составляет от 0 до 50 пунктов в условиях TCEC.

Это мы с вами так думаем
А Maratka писал, что нужно полгода
А результаты, которые этому противоречат - статистическая флуктуация

[Maratka]

Цитата: Сообщение от Омегазеро

А на тот момент отставание от Стокфиша было 180 Эло

На тот момент была актуальна сеть 11250, которая отставала от SF на 50-100 ELO, ближе к пятидесяти.
SF за это время изрядно усилился (20-30 ELO), но сеть 32930 в сравнении с 11250 усилилась еще больше, потому разрыв сейчас не более 50 ELO.

Цитата: Сообщение от Омегазеро

Следовательно, на 31 декабря разница между Стокфишем и Лилой была 6*30 = 180 Эло

Совершенно не следует, т.к. Вы в формулу не заложили замедление обучения LZ от месяца к месяцу, а я заложил.
SF же развивается де-факто линейно, по 5-10 ELO в месяц, на протяжении последних лет четырех как минимум (ранее не интересовался).

[sovaz1997]

Омегазеро, еще раз: я могу запустить Лилу на RTX 2080 Ti против Stockfish на Пентьюме. И Лила победит. И где будут ваши 180 пунктов-то? Какое множество тестов это подтверждает?

Давайте все-таки сравнивать Лилу и Stockfish при примерно 1000-кратной разнице между скоростью, а не при произвольной.

------------

И самое главное: 1000 nps против 875000 nps. Это чистый УКК-тест, который совсем не подходит для сравнения Лилы и Stockfish. Ну абсолютно не подходит. Это все равно, что давать Лиле 1/50 секунды на ход вместо средних 100-300 секунд. Отличие - в 5 000-10 000 раз.

[Омегазеро]

Вы писали

Цитата: Сообщение от Maratka

Итого, дальше гонять тесты смысла не вижу:
1) Сеть 32842 гораздо сильнее, чем сеть 11250 при очной дуэли.
2) Но с точки зрения SF они равны.

То есть с точки зрения SF вообще не было никакого роста
А сейчас вдруг Лила заиграла в силу SF. С чего бы это?

Цитата: Сообщение от Maratka

На тот момент была актуальна сеть 11250, которая отставала от SF на 50-100 ELO, ближе к пятидесяти

А откуда это известно?
Говорили об уровне Стокфиш 8

[Maratka]

Цитата: Сообщение от sovaz1997

Давайте все-таки сравнивать Лилу и Stockfish при примерно 1000-кратной разнице между скоростью, а не при произвольной.

Скорость тут как бы не очень корректно сравнивать, ибо движки принципиально разные. Т.е. откуда 1000, а не 100 или 10 000?

Меня больше интересует сбалансированность системы с точки зрения игровых задач, самых обычных игрушек, да

Скажем если у человека GTX 1060, то вряд-ли там будет Core i9 или Ryzen 7.
C другой стороны, у владельца 2080 крайне маловероятно, что будет i5 (и даже не суть важно сколько ядер, старый 4, или современный 6).

Но при этом мы таки да, попадаем на разницу ~1000 раз.

[Омегазеро]

Цитата: Сообщение от sovaz1997

Давайте все-таки сравнивать Лилу и Stockfish при примерно 1000-кратной разнице между скоростью, а не при произвольной

Я выкладывал результаты при 1000-разнице, из которых следовало, что Лила уже достигла уровня Стокфиша (либо отстаёт незначительно).
Maratka говорил, что это статистическая флуктуация.

[Maratka]

Цитата: Сообщение от Омегазеро

То есть с точки зрения SF вообще не было никакого роста

А почему Вы считаете, что сеть 32842 равна сети 32930?
Я писал именно то, что писал, и сравнивал именно то, что сравнивал. Сеть 32930 я не сравнивал, и про нее не писал.

[Maratka]

Цитата: Сообщение от Омегазеро

Maratka говорил, что это статистическая флуктуация.

Ну а Вы хотели получить другой ответ при сотне-двух партий? ;)

[sovaz1997]

Цитата: Сообщение от Maratka

Скорость тут как бы не очень корректно сравнивать, ибо движки принципиально разные. Т.е. откуда 1000, а не 100 или 10 000?

Меня больше интересует сбалансированность системы с точки зрения игровых задач, самых обычных игрушек, да

Скажем если у человека GTX 1060, то вряд-ли там будет Core i9 или Ryzen 7.
C другой стороны, у владельца 2080 крайне маловероятно, что будет i5 (и даже не суть важно сколько ядер, старый 4, или современный 6).

Но при этом мы таки да, попадаем на разницу ~1000 раз.

Я имею ввиду разницу в 1000 раз на текущий момент. Если у Лила вдруг ускорится в 2 раза из-за оптимизаций, это будут проблемы Стокфиш, а не Лилы

[Maratka]

Цитата: Сообщение от sovaz1997

Я имею ввиду разницу в 1000 раз на текущий момент. Если у Лила вдруг ускорится в 2 раза из-за оптимизаций, это будут проблемы Стокфиш, а не Лилы

Самая большая оптимизация - это хардварная. Ее провели в этом году, и в ближайший год других не будет точно. Для SF же железо можно было апгредйить еще в прошлом году.

[Омегазеро]

А вот результат теста на 1200 партий, из которого следует, что было отставание 60 Эло
Видимо, сеть 32930 еще сократила этот разрыв

Цитата: Сообщение от sovaz1997

Кстати, пока я хотел, чтобы появился такой тест, он появился (10K nodes vs. 10M nodes):
Match: 1200 games against SF 10 for each net
Lc0-version: v0.20.1
Lc0 options: Threads=2 Backend=cudnn-fp16
AB options: Threads=2
Time control: 10K nodes vs 10M nodes
Hardware: TR 1950x vs RTX 2080
Book: Balsa 5moves + Balsa Special, reversed, same openings for all nets
Tablebases: Syzygy 6 man
Software: cutechess-cli
Adjudication: TB, resign movecount=5 score=700, draw movenumber=40 movecount=5 score=20
Comment: 8 games are run in parallel, which should be fine since TC is based on nodes
Elo computation: Using ordo with SF 10 at 0 elo

# PLAYER          :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)
1 Stockfish 10    :       0      5  2882.5    4800  60.1     100
2 lc0. 32585      :     -61     10   498.5    1200  41.5      64
3 lc0. 32742      :     -64     11   493.0    1200  41.1      96
4 lc0. 32425      :     -80     11   467.0    1200  38.9      71
5 lc0. 32194      :     -85     10   459.0    1200  38.2     ---

Не видно прироста 32742 над 32585, но виден прирост над более старыми сетями.

[Maratka]

Цитата: Сообщение от Омегазеро

А вот результат теста на 1200 партий, из которого следует, что было отставание 60 Эло

Не следует.
Принцип самообучения сети состоит в нахождении ошибок в предыдущей версии, т.е. 32585 вполне могла дать +24 ELO в сравнении с 32194 просто потому, что выигрывала у сетей с меньшими номерами, что вообще ничего не значит при сравнении со SF. Мои результаты, которые Вы цитировали кстати говорят ровно то же: сети растут над собой, но для SF разницы какую сеть бить нет.

____
Ну и очевидно, что SF10 - это не SF dev.