LCZero

[svoitsl]

Цитата: Сообщение от Kesandr

c какого сайта

да все с того же
При желании можно и тут глянуть

[svoitsl]

Кажется скоро пора снова уменьшать LR
Рост почти прекратился

Кажется скорость наигрывания приближается к своему историческому максимуму
Почти 2 млн в сутки!!!

[Maratka]

86% сделано одним пользователем.
SV куда-то пропал, если появится - на двоих будет 95-97%.

[svoitsl]

Цитата: Сообщение от Maratka

SV куда-то пропал

может он тренирует сеть test30, а то сеть test20 как то вяло тренируется (заметно хуже чем test10), хотя и есть надежда что она наверстает упущенное и в итоге (к 50 млн игр) и превзойдет test10

[Виндхук]

Цитата: Сообщение от svoitsl

может он тренирует сеть test30

А что, кто то уже начал тренировать сеть большего размера?

[svoitsl]

А кто сказал что эта сеть большего размера?

[Виндхук]

А в чем тогда отличается тест30 от тест20? Я просто подумал, что решили тренировать сети разной размерности.

[svoitsl]

Цитата: Сообщение от Виндхук

решили тренировать сети разной размерности

решили уже давно, но вот руки пока не дошли
хотели тренировать сразу 6х64, 10х128, 15х192 и 20х256, но пока тренируют только 20х256, хотя толком ещё не знают как это делать и что из этого получится.
Попутно и сами разработчики учатся,экспериментируют, хотя по моему это надо делать на сетях по-меньше, в этом случае цена ошибки тоже будет по-меньше (больше сети жрут немерено ресурсов), но и практической целесообразности, с точки зрения выигрыша на турнирах тоже будет немного. Просто тест20 как то уж медленно набирает силу (медленнее чем тест10), вот и решили попробовать ещё и тест30 запустить немного с другими настройками наверное.

[Виндхук]

А график Эло 30й сети где-то можно посмотреть?

[svoitsl]

вот тут

[Maratka]

Кстати красивый график, без провалов.
Что-то мне подсказывает, что эти сети покажут лучший уровень игры.

[svoitsl]

Кстати появился некий блог.... по это дело
И там на мутном английском пытаются что то объяснить...

А рост потихоньку все же ещё продолжается (при том же LR)
И сеть 20680 по рейтингу обогнала даже Zappa Mexico II
(да, да , именно ту, которая обыграла рыбку)

[svoitsl]

И даже сейчас, после 19 млн игр тест20 (с рейтингом <3000 Эло) так и не достиг уровня тест10, который уже после 8 млн игр имел рейтинг 3200 (сеть 10175)

[Maratka]

Интересно, насколько лучше играют новые сети по сравнению со старой, до сброса.
Ну например текущие 2068x против 1031x (пары подбирать исходя из равного рейтинга в селфплей).

[svoitsl]

Есть вот такая картинка

[Maratka]

А какая из них какая?

[svoitsl]

там вроде справа все написано, синий ромбик - тест10, красный квадратик - тест20
Эло настоящие

[Maratka]

Я вижу что там написано. ;)
Вопрос: на http://lczero.org/ сейчас какой тест обучают? А до обнуления, месяц назад - какой обучали?

[svoitsl]

месяц назад на этой странице ничего не обучали (на http://testserver.lczero.org/ обучали тест10), потом начали обучать тест20

[Maratka]

Цитата: Сообщение от svoitsl

месяц назад на этой странице ничего не обучали

Обучали.

_____
Короче, на графике http://lczero.org/?full_elo=1 есть сеть 10312.
Она синяя или красная на приведенном Вами графике выше?

То, что сейчас обучается на http://lczero.org/ на графике есть?
Оно синее, или красное?

[svoitsl]

Цитата: Сообщение от Maratka

Обучали.

ну возможно не заметил, помнится там обучали не тестовую сеть летом, а потом перестали и почти месяц ничего не обучали.
сеть 10312 это сеть тест10 - синие ромбики
сейчас на http://lczero.org/ обучается тест20 (сети 20ххх) - это красные квадратики
а тест30 на картинке выше нет совсем

Цитата: Сообщение от Maratka

Я вижу что там написано. ;)

вы уверены?

[Maratka]

Т.е. новая сеть обучается медленнее.
А как прямо сравнение - две сети с равным Elo в селфплей друг против друга?

[svoitsl]

Цитата: Сообщение от Maratka

Т.е. новая сеть обучается медленнее.

почему то считается что тише едешь-дальше будешь, то есть обучается медленно и долго (до 80 млн игр) но обучится чуть лучше

[svoitsl]

Цитата: Сообщение от svoitsl

долго (до 80 млн игр)

с такими темпами

Цитата:

124 users in the last day have played 343750 games

это будет дольше , чем предполагалось

[Rom77]

Свежие данные по скорости Лилы на новых видеокартах NVidia. Скорость на уровне профессиональных Tesla V100 и Titan V:

Цитата:

with cudnn 7.3 and 411.63 driver available at nvidia.com 
minibatch-size=512, network id: 11250, go nodes 1000000

             fp32    fp16    
Titan V:     13295   29379
RTX 2080:     9708   26678
RTX 2080Ti:  12208   32472

Cкрины прилагаю. Если я правильно понимаю, автор сообщения является одним из разработчиков Лилы и кроме того писал дрова для некоторых видеокарт NVidia.

Для цены 1000$ за карту скорость очень даже неплохая. Технические подробности по архитектуре в NVIDIA-Turing-Architecture-Whitepaper.pdf (6 Мб). У RTX 2070, судя по всему, будет половинная скорость и половинная цена.

[Maratka]

Цитата: Сообщение от Rom77

Скорость на уровне профессиональных Tesla V100 и Titan V:

Titan V не профессиональная плата. Безусловно быстрая, но без ECC-памяти для серьезных расчетов ее использовать невозможно.
http://www.hardwareluxx.ru/index.php...a-titan-v-.pdf

Естественно, что все 20xx платы также с ECC не дружат.

[svoitsl]

вот есть такой вопрос!
Если игры тест20 правильные, то почему они не используются для тест30 например.
Зачем каждый раз генерировать новые?
(если есть 20 млн хороших старых)
Нельзя же сказать что всякие LR и прочие параметры пагубно влияют на качество игр, делая их плохими?

[Maratka]

Все эти игры сгенерированы с неверными правилами.

[svoitsl]

Ошибок в генерации игр вроде пока не обнаружено, а что качается правил, то вроде ещё не известно какие верные и неужели их нельзя определить обучая сети поменьше?

[svoitsl]

Вышел
Lc0 v0.18.0-rc
довольно много изменений

Развернуть для просмотра

KNOWN BUG!

We have credible reports that in some rare cases Lc0 crashes!
However, we were not able to reproduce it reliably. If you see the crash, please report to devs! What seems to increase crash probability:
Very short move time (milliseconds)
Proximity to a checkmate (happens 1-3 moves before the checkmate)

New features:

Endgame tablebases support! Both WDL and DTZ now.

Added MultiPv support.

Time management changes:

Introduced --immediate-time-use flag. Yes, yet another time management flag. Posible values are between 0.0 and 1.0. Setting it closer to 1.0 makes Leela use time saved from futile search aversion earlier.

Some time management parameters were changed:
Slowmover is 1.0 now (was 2.4)
Immediate-time-use is 0.6 now (didn't exist before, so was 0.0)

Fixed a bug, because of which futile search aversion tolerance was incorrectly applied, which resulted in instamoves.

Now search stops immediately when it runs out of budgeted time.
Should help against timeouts, especially on slow backends (e.g. BLAS).

Move overhead now is a fixed time, doesn't depend on number of remaining moves.

Other:

Out of order eval is on by default. That brings slight nps improvement.

Default FPU reduction is 1.2 now (was 0.9)

Cudnn backend now has max_batch parameter.
(can be set for example like this --backend-opts=max_batch=100).
This is needed for lower end GPUs that didn't have enough VRAM for a buffer of size 1024. Make sure that this setting is not lower than --minibatch-size.

Small memory usage optimizations.

Engine name in UCI response is shorter now. Fritz chess UI should be able
to work with Leela now

Added flag --temp-visit-offset, will allow to offset temperature during training.

Command line and UCI parameter values are now checked for validity.

You can now build for older processors that don't support the popcnt instruction by passing -Dpopcnt=false to meson when building.

32-bit build is possible now. CPU only and we were only able to build it in Linux for now, including Raspberry Pi.

Threading issue which caused crash in heavily multithreaded environment with slow backends was fixed.

[свернуть]