LCZero

[Maratka]

Цитата: Сообщение от svoitsl

Но если только в размерности дело,то старые игры вполне может будет использовать,как получилось использовать игры от сети 35 для обучения сети 40

Их не хватит: даже сеть 15*384 для своего обучения потребует в 2-3 раза больше партий. Т.е. перые миллионов тридцать -пятьдесят возможно и получится взять даром из прошлых циклов обучения, но еще миллионов сто придется наигрывать, причем гораздо меньшими темпами. Т.е. в итоге для обучения придется играть не 50 млн, а 100, со скоростью в 2-3 раза ниже. А это ~года.

Цитата: Сообщение от svoitsl

Да пока вроде надобности увеличивать её и нет,если посмотреть сеть50 то она вполне даже нормальная,с уровнем наверное 3300 Эло, и если такжедело будет и с новой большой сетью то она вполне может 100-150 Эло прибавить и при существующем размере.

Сеть может и 500 ELO добавит. Только толку? Ведь играть ей придется не с прошлой своей версией, а с ведущими a-b движками.

Цитата: Сообщение от svoitsl

(причем наровят все больше 2080) скорость обучения снижается (как и кол-во помощников)

Вот то же... Тут кстати еще полезно уточнить, идут ли в зачет партии для крохотной сети 5x, которые играются очень быстро. Если идут, то реальное количество партий еще в разы меньше.

[svoitsl]

Цитата: Сообщение от Maratka

Тут кстати еще полезно уточнить, идут

туда все идет, и получается что примерно 0.5 млн на 40-ю сеть и 1 млн на 50-ю

[Neofelis]

Там накатами все идет. Неделю-две назад по 3 миллиона партий в день генерили. Это был рекорд. 2 из них - один человек. Люди видят, что их 1000 в день погоды не делает, и отваливаются. Потом снова приходят. Процес циклический.
По поводу, что дальше - это не увеличение сети, а улучшение архитектуры специально заточенной под шахматы. ДМ ведь взял самую общую, которая и под го, и под сеги, и под шахматы подходит.

[Maratka]

Цитата: Сообщение от Neofelis

Люди видят, что их 1000 в день погоды не делает, и отваливаются. Потом снова приходят. Процес циклический.

Ну так они действительно погоды не делают. Даже если все сто человек уйдет, это станет меньше на 100 000 партий. Когда один человек генерит 2 миллиона - 5% невелика потеря. Но проблема в другом: тот человек с двумя миллионами тоже не вечен.

[Magystr]

То что сеть Т40 превзошла все более ранние сети, это уже очевидно.
Мне гораздо интереснее развитие сети Т50. Она тоже понемногу приближается к лучшим образцам Т30. Видимо осталось менее сотни единиц рейтинга. Учитывая, что это компактная сеть, можно предположить, что зевков у нее будет существенно меньше, а может быть и совсем от них избавится.
Так что в настоящее время эта сеть для меня наиболее интересна. Будем ждать, удастся ли ей вырасти и насколько?

[Maratka]

Цитата: Сообщение от Magystr

Мне гораздо интереснее развитие сети Т50. Она тоже понемногу приближается к лучшим образцам Т30. Видимо осталось менее сотни единиц рейтинга. Учитывая, что это компактная сеть, можно предположить, что зевков у нее будет существенно меньше, а может быть и совсем от них избавится.

Эта сеть аж никак не тянет контроли начиная минут с десяти. Видимость ее силы - в скорости, которая проявить себя может только в блице.

[Magystr]

Цитата: Сообщение от Maratka

Эта сеть аж никак не тянет контроли начиная минут с десяти. Видимость ее силы - в скорости, которая проявить себя может только в блице.

Есть какие-то объективные данные? Или, как обычно, это Ваши домыслы?

[Maratka]

Цитата: Сообщение от Magystr

Есть какие-то объективные данные? Или, как обычно, это Ваши домыслы?

Ну во-первых, мне не нравится формулировка "как обычно, это Ваши домыслы": мои домыслов не больше Ваших.

Ну а по сути: есть. Да и теоретически оно именно так и должно быть: быстрая сеть успевает добраться до условно говоря коэффициентов средней точности, пока большая и умная, но медленная возится с грубыми, потому и пересчитывает ее при коротком контроле.
Но при длинном контроле, быстрая сеть так и ограничена своими коэффициентами средней точности (других там банально не влезло), а большая сеть уже успевает досчитаться до тонких и точных.

[SergeyMZ]

Так какую сетку сейчас лучше использовать для анализа различных позиций на домашнем компе? Использую Лилу как дополнительный движок к Стоку (Асму).

[Maratka]

32930. По остальным очень мало статистики.

[Magystr]

Цитата: Сообщение от Maratka

Ну а по сути: есть. Да и теоретически оно именно так и должно быть: быстрая сеть успевает добраться до условно говоря коэффициентов средней точности, пока большая и умная, но медленная возится с грубыми, потому и пересчитывает ее при коротком контроле.
Но при длинном контроле, быстрая сеть так и ограничена своими коэффициентами средней точности (других там банально не влезло), а большая сеть уже успевает досчитаться до тонких и точных.

Даже интересно стало. А можете поподробнее про "коэффициенты средней точности", "грубые коэффициенты" ? Может быть существуют некие "мягкие коэффициенты", а также "коэффициенты пониженной точности" ? И как все они зависят от размерности сети?
Не знаю как другим, а мне было очень любопытно почитать про это

[Vizvezdenec]

Цитата: Сообщение от Magystr

То что сеть Т40 превзошла все более ранние сети, это уже очевидно.
Мне гораздо интереснее развитие сети Т50. Она тоже понемногу приближается к лучшим образцам Т30. Видимо осталось менее сотни единиц рейтинга. Учитывая, что это компактная сеть, можно предположить, что зевков у нее будет существенно меньше, а может быть и совсем от них избавится.
Так что в настоящее время эта сеть для меня наиболее интересна. Будем ждать, удастся ли ей вырасти и насколько?

Перед тем, как писать своё очень важное мнение про разработку движков, рекомендовал бы вам хотя бы чуть-чуть интересоваться разработкой того, который "всех очевидно превзойдёт".
Так вот, crem не раз уже говорил, что сети 50 - тестовые, сделанные для обкатки того, что будет в сетях 60, которые будут нормального размера, а не уменьшенного. Или Вы считаете, что Вы знаете лучше лид девелопера Лилы это?
А то, что сеть меньшего размера быстрее учится, но при этом играет хуже и тем хуже, чем больше времени - не новость, это было ещё на 30 сетях проверено.
Там тоже сеть 30 мелкая очень быстро набрала, буквально вот 100 эло осталось... Да только на бОльшем времени, чем 800 nodes/move, она была куда хуже. И быстро стали обучать сеть 35 на основе того, что было протестировано.
В итоге цикл разработки сетей для Лилы выглядит так:
1) Делается мелкая сеть, в которой сделаны какие-то изменения в процессе обучения;
2) Проверяется на отсутствие багов и способность быстро достигнуть хорошего уровня;
3) Делается более большая сеть на той же базе и она обучается.
Так было с сетью 30, так будет и с сетью 50.
Но нормальную сеть 50 (20х256) обучать начнут ещё нескоро, пока ещё 40 не закончили, хотя уже подбираются, т.к. последний LR drop даёт мало эло обычно.

[Alex_Zet]

Вот вот, главное заткнуть человека. Так это ещё ничего, я бы даже сказал, отнеслись по отечески. А вот на Иммортале времен 9-го, 10-го сезонов ТСЕС, там была жесть.

[Maratka]

Цитата: Сообщение от Magystr

Даже интересно стало. А можете поподробнее про "коэффициенты средней точности", "грубые коэффициенты" ? Может быть существуют некие "мягкие коэффициенты", а также "коэффициенты пониженной точности" ? И как все они зависят от размерности сети?
Не знаю как другим, а мне было очень любопытно почитать про это

Ну так почитайте про нейросети. Тут как раз есть нужная тема.

Цитата: Сообщение от crem

Так вот, как я уже сказал, нейросети любят слои, то есть выход из одной функции пускать на вход другой функции:
Код:
Y = F(G(H(...K(L(X))...)))
Количество таких функций в цепочке -- это и есть количество блоков в нейронной сети Lc0 (сейчас 20).

Мне лично кажется совершенно очевидным, что 10 итераций расчетов дадут менее точный результат, чем 20, но выполнятся быстрее, т.к. размер матриц меньше.

А Вам?

[Magystr]

Vizvezdenec, я Вас очень попрошу. Не надо вымещать на мне свою злобу за потерю Вашим детищем первого места. Очередные комментарии не впопад (уже не в первый раз) сильно выдают Ваше раздражение.

А я очень надеюсь, что Лила придет к тому, что и меньшие сети станут лучшими. Может быть не "десятка", может быть "14" или "16".
Откуда Вы взяли, что размерность 20 - это оптимальный вариант? Идут эксперименты. По их результатам будет решение.

[SergeyMZ]

Народ, вопрос такой:
есть шанс ухватить такую оверклокерскую карту:
Видеокарта nVidia GeForce RTX2060 Gigabyte XTREME PCI-E 6144Mb (GV-N2060AORUS X-6GC)
https://www.regard.ru/catalog/tovar309389.htm
за 27 тыщ продают на Авито.
Стоит ли игра свеч? Говорят, она лучше 1070ti, а для Лилы наверное, производительность будет более, чем в 3 раза.

[Maratka]

2060 действительно лучше, чем 1070 Ti для LZ, что до Авито и 27 тыс. - то сами решайте.

[Maratka]

Цитата: Сообщение от Magystr

Вас очень попрошу. Не надо вымещать на мне свою злобу за потерю Вашим детищем первого места

[Magystr]

Цитата: Сообщение от SergeyMZ

Народ, вопрос такой:
есть шанс ухватить такую оверклокерскую карту:
Видеокарта nVidia GeForce RTX2060 Gigabyte XTREME PCI-E 6144Mb (GV-N2060AORUS X-6GC)
https://www.regard.ru/catalog/tovar309389.htm
за 27 тыщ продают на Авито.
Стоит ли игра свеч? Говорят, она лучше 1070ti, а для Лилы наверное, производительность будет более, чем в 3 раза.

Учитывая, что эти карты стали продаваться месяц назад, я бы серьезно задумался, почему человек перепродает конкретно эту карту.
Может быть лучше примерно за эти же деньги взять новую? Яндекс.Маркет Вам в помощь. Там цены начинаются от 20 тысяч.
А в целом карта RTX2060 - оптимальный вариант на сегодняшний день.

[Alex_Zet]

Цитата: Сообщение от Magystr

Vizvezdenec, я Вас очень попрошу. Не надо вымещать на мне свою злобу за потерю Вашим детищем первого места. Очередные комментарии не впопад (уже не в первый раз) сильно выдают Ваше раздражение.

Так ведь правда это. Лила прилюдно 16 - 4 выиграла у Стока. И это при меньшей мощности по железу относительно СССС.

И не будь этой подставы -
27) SF - Leela 1-0 King's Pawn Opening: King's Knight, Busch-Gass Gambit;
28) Leela - SF 0-1 King's Pawn Opening: King's Knight, Busch-Gass Gambit;
34) SF - Leela 1-0 King's Pawn Opening: King's Knight, Busch-Gass Gambit;
35) Leela - SF 0-1 King's Pawn Opening: King's Knight, Busch-Gass Gambit.]
то Лила бы и СССС6 выиграла.

Так что да, резюмирую, Сток утратил первое место. Не может движек проигравший матч 4 - 16 считаться лучшим. Никак не может.

[Maratka]

Цитата: Сообщение от Alex_Zet

Так что да, резюмирую, Сток утратил первое место. Не может движек проигравший матч 4 - 16 считаться лучшим. Никак не может.

Заберите у LZ знания дебютов (для чего достаточно разыграть их по сети в начале цикла обучения), и сравните результат. Ну либо дайте SF'шу книгу ходов на пять-восемь.

[SergeyMZ]

Цитата: Сообщение от Magystr

Учитывая, что эти карты стали продаваться месяц назад, я бы серьезно задумался, почему человек перепродает конкретно эту карту.
Может быть лучше примерно за эти же деньги взять новую? Яндекс.Маркет Вам в помощь. Там цены начинаются от 20 тысяч.
А в целом карта RTX2060 - оптимальный вариант на сегодняшний день.

Спасибо большое за совет. В магазине БиКомпакт такая же модель видеокарты новая с гарантией продается за 29.200 рублей

[crem]

Цитата: Сообщение от SergeyMZ

Народ, вопрос такой:
есть шанс ухватить такую оверклокерскую карту:
Видеокарта nVidia GeForce RTX2060 Gigabyte XTREME PCI-E 6144Mb (GV-N2060AORUS X-6GC)
https://www.regard.ru/catalog/tovar309389.htm
за 27 тыщ продают на Авито.
Стоит ли игра свеч? Говорят, она лучше 1070ti, а для Лилы наверное, производительность будет более, чем в 3 раза.

2060 будет в 3-4 раза быстрее чем 1070ti.
http://lc0.org/benchmark

[Maratka]

Цитата: Сообщение от crem

2060 будет в 3-4 раза быстрее чем 1070ti.

А 1660/1660 Ti? Неужто до сих пор никто не измерил?

[Vizvezdenec]

Цитата: Сообщение от Magystr

Vizvezdenec, я Вас очень попрошу. Не надо вымещать на мне свою злобу за потерю Вашим детищем первого места. Очередные комментарии не впопад (уже не в первый раз) сильно выдают Ваше раздражение.

А я очень надеюсь, что Лила придет к тому, что и меньшие сети станут лучшими. Может быть не "десятка", может быть "14" или "16".
Откуда Вы взяли, что размерность 20 - это оптимальный вариант? Идут эксперименты. По их результатам будет решение.

Комментарии вполне "впопад".
Мне действительно начинает надоедать читать всякую дребедень, которая не соответствует действительности, но излагается с невероятным апломбом.
Ну, например.
"сеть Т40 превзошла все более ранние сети, это уже очевидно"
https://docs.google.com/spreadsheets...#gid=312836954
https://docs.google.com/spreadsheets...#gid=413146908
Странно, мне это не очевидно на основании этих данных. Пока что ни одного теста, который бы за пределами статпогрешности это подтвердил, я не видел (в большинстве сеть 40 последняя несколько ниже 30, но там в пределах погрешности, конечно).
Про сеть 50 я уже сказал (и Maratka вам сказал) - сети меньшей размерности упираются в потолок гораздо раньше сетей размерности 20х256. Это наблюдалось на сетях 10х128, 15х192 разных версий, например, 30, которая точно так же быстро набирала эло, будучи 15х192, точно так же упёрлась в чуть более ранний потолок, а потом её выкинули в бонус TCEC, где она сети 20х256, которая вроде бы по рейтингу почти такая же, продула в дым, да и стокфишу тоже, потому что там не 800 нодов на ход, а полмиллиона в среднем.

[Magystr]

Vizvezdenec, держите себя в руках, если Вы - мужчина. Если что-то Вам не нравится, поищите причину в себе. Почитайте классиков.
Ваши предположения о том, что будет с каждой из версий Лилы - это всего лишь предположения. Вы не строите для этих ребят бизнес-процесс.
Все версии, и "10", и "15", и"20" изначально не привели к успеху. Это не значит, что от них нужно было отказаться. После корректировок сеть 20*256 показала отличный результат. Тоже самое можно ожидать и от более компактных сетей. Если Вы этого не хотите и не ожидаете - я тут не при чем.

[Maratka]

Цитата: Сообщение от Magystr

Тоже самое можно ожидать и от более компактных сетей.

Ожидать то можно. Только результата не будет: ну не может мелкая сеть рассчитать с высокой точностью нужные веса/коэффициенты, т.к. в ней изначально мало данных. Напротив, все идет к тому, что как только появится более мощное железо, размерность сети увеличится до (скажем) 30*384, ибо движок на этой сети заведомо может считать точнее, чем на сети 20*256.

_____
Это вроде как вырезать из SF 3/4 эвристиков, и надеятся на то, что облегченный SF, считая гораздо быстрее обойдет полноценного.
Нет, не обойдет!

[Alex_Zet]

Цитата: Сообщение от crem

2060 будет в 3-4 раза быстрее чем 1070ti.
http://lc0.org/benchmark

Вижу что есть и кроме Maratkи кто разбирается в тонкостях. И самое главное без предвзятости.

Вот скажите господин crem:
- на сколько процентов мощности больше по железу на СССС получил Стокфиш относительно ТСЕС?
- И самое главное, как соотнести GPU и CPU? каковы критерии оценки железа?

ТСЕС

GPU Server
GPUs: 1 x 2080 ti + 1 x 2080
CPU: Quad Core i5 2600k
RAM: 16GB DDR3-2133
SSD:Samsung 840 Pro 256gb
Previous Seasons

CPUs: 2 x Intel Xeon E5-2689 @ 3300 MHz
Cores: 16 physical
CPU Coolers: 2 x Corsair H80i
Motherboard: Asus Z9PE-D8 WS
RAM: 64 GB Kingston KVR16R11D4K4/32 Reg/ECC
PSU: Corsair AX 760
SSD: Samsung 840 Pro 128 GB
Chassis: Silverstone Raven RV03B-WA
OS: Windows 7 Professional


СССС

CPU engines:

CPUs: 2 x Intel Xeon Platinum 8168 @ 2.70 GHz 33 MB L3
Threads: 90 threads with HT on
16384 MB hash
RAM: 256GB DDR4-2666 ECC Registered RDIMM
SSD: 2x Crucial MX300 (1TB) in RAID1
OS: CentOS 7

GPU engines:

GPU: 4x RTX 2080ti (44 GB GPU memory)
CPU: 2x Intel Xeon Gold 6154
Cores: 36 physical
RAM: 96 GB

Пора уже коего кого к стенке прижать.

[Maratka]

Цитата: Сообщение от Alex_Zet

- на сколько процентов мощности больше по железу на СССС получил Стокфиш относительно ТСЕС?

Что-то у Вас в списке TCEC'овсая машинка явно не та: два процессора по 16 ядер в сумме никак не дадут 43 ядра, да и операционка там явно не персональная была.

[Maratka]

Цитата: Сообщение от Vizvezdenec

Про сеть 50 я уже сказал (и Maratka вам сказал) - сети меньшей размерности упираются в потолок гораздо раньше сетей размерности 20х256.

Кстати, было бы IMHO полезно проверить сеть 20*256 на максимально мощном железе (что-то вроде CCC) и приличном контроле (скажем полтора часа на партию): сможет ли скажем сеть 32930 побить себя же, но на двух-трех 2080 Ti? Ибо есть у меня предположение, что для 4-х 2080 Ti сеть 20*256 не такая уж и большая/тяжелая, и для этого железа уже (возможно) нужна 30*384.