Точные настройки для Лилы для различных видеокарт

[SergeyMZ]

Всем приветы!

Мне хотелось бы сделать справочное пособие по настройке Лилы на различных видеокартах. У меня просьба к знатокам по части нейросетей написать следующие настройки для различных видеокарт в зависимости от временных контролей:

-> Nvidia RTX 2060 (Super);
-> Nvidia RTX 2070 (Super);
-> Nvidia RTX 2080 (Super);
-> Nvidia RTX 2080 Ti.

1. Параметр backend: cudnn, cudnn-fp16, random, check, roundrobin, multiplexing, demux. Что значат эти параметры и какой из них надо использовать для каждой из видеокарт?

2. Параметр threads: 1, 2, 3, 4 и т.д. Сколько потоков надо ставить для каждой из этих видеокарт?

3. Параметр NNCasheSize. Какой хэш надо ставить?

4. Параметр MinibatchSize. Что это за параметр и сколько нужно ставить?

5. Параметр MaxPrefetch. Что это за параметр и сколько нужно ставить?

6. Параметры Cpuct, CpuctBase, CpuctFactor. Что это за параметры и как их значения влияют на анализ Лилы?

7. Параметры FpuStrategy, FpuValue, FpuStrategyAtRoot, FpuValueAtRoot. Что это за параметры и как их значения влияют на анализ Лилы?

8. Параметры MaxCollisionEvents и MaxCollisionVisits. Что значат эти параметры и сколько ставить?

9. Параметр StickyEndGames на что влияет?

10. Параметр SyzygyFastPlay на что влияет?

11. Параметр OutofOrderEval на что влияет?

12. Параметр KLDGainAverageInterval ?

13. Параметр MinimumKLDGain ?

14. Параметр SmartPruningFactor ?

15. Параметр MoveOverheadMS ?

16. Параметр Slowmover ?

17. Параметр ImmediateTimeU ?

[svoitsl]

Цитата: Сообщение от SergeyMZ

1. Параметр backend:

этот уже наверное ставить не нужно.все на автомате

[Maratka]

Цитата: Сообщение от svoitsl

этот уже наверное ставить не нужно.все на автомате

Не все, только вариант выбора cudnn.

Цитата: Сообщение от SergeyMZ

1. Параметр backend: cudnn, cudnn-fp16, random, check, roundrobin, multiplexing, demux. Что значат эти параметры и какой из них надо использовать для каждой из видеокарт?

https://forchess.ru/showpost.php?p=74709&postcount=267

[Омегазеро]

С сайта lczero

►Cpuct value. This is a very critical parameter for search! Setting it higher you get more exploration on the selection of which moves to think.

Yet, setting it too high you increase the chance that you search inferior moves and lose time by searching garbage. Small values on the other hand may mean too little exploration and so search can miss some good moves. There is not an optimal value and it depends on the net and on other parameters like fpu-reduction.
--cpuct=PUCT(Predictor + Upper Confidence Bound tree search) (default: 3.4 min: 0 max: 100)

That used to be a constant, and it was equal to 3.4 for quite a long time in Lc0.
Correct value from AlphaZero is 2.5, but it slows down nps (will investigate why), so for now default is 3.0

--cpuct-base
That's that factor which defines how Cpuct grows. The value from DeepMind paper is 19652, and that's now the default.

--cpuct-factor
That's the multiplier of the growing part of Cpuct. Default value now is 2, and that's what DeepMind used (well, they didn't have that factor, but as our action space is 2 times larger, we have to scale this parameter).

►Another critical for search parameters is fpu reduction. It makes the evaluation of nodes that have not been visited yet, worse by a flat reduction. This results in less exploration of unvisited and often bad nodes, while significantly increasing the exploitation of visited nodes, and in consequence, the search depth. Again too high or too low hurts/helps and the "best" value is dependent on the net and on other parameters like cpuct for example.
--fpu-reduction=First Play Urgency Reduction (default: 0.9 min: -100 max: 100)

--fpu-strategy
Default is "reduction", old way of handling first play urgency. Set to "absolute" to play like AlphaZero!

--fpu-value=X
Only used in "absolute" FPU mode. -1.0 is the default, and that's what DeepMind used.

--max-collision-events – number of collision events allowed per batch. Default is 32. This parameter is roughly equivalent to --allowed-node-collisions in v0.18.

--max-collision-visits – total number of estimated collisions per NN batch. Default is 9999.

►Another important search parameter is policy softmax temperature that affects the policy output for the moves. It flattens them by exponentiating the policy output for moves using 1/policy softmax temp as the exponent before normalizing them to sum to 1. Higher policies get reduced, lower polices get increased. At the extreme, for very high values of policy softmax temp, all policy outputs end up just being equal.
--policy-softmax-temp=Policy softmax temperature (default: 2.2 min: 0.1 max: 10)

►Cache size for Leela but this has nothing to do with the usual cache for AlphaBeta engines. It greatly affects nodes searched per time and it stores NN evaluations, which can be reused if the same positions is reached by transposition..
E.g for setting 400000 we use:
--nncache=400000 (default: 200000 min: 0 max: 999999999)
Putting this parameter is also optional as if we don't put anything it will use default number, i.e 200000.

--temp-cutoff-move=X
After move number X, temperature will be fixed to what is set in --temp-endgame flag.
To reproduce match a0 vs sf8, set this to 16

--temp-endgame
See above for the meaning. This parameter is mostly exposed for training experiments. Default is 0, and it makes sense to keep it like that for play.

--temp-value-cutoff=X
Only moves with eval within x percentage points from the bestmove are considered during temperature pick.
Set to 1.0 to reproduce match a0 vs sf8

►How many threads of CPU to use. Leela always uses CPU also for some of its functions so we can set how many threads we want, e.g if we want 4 we put:
-t 4 or --threads=4 (min 1, maximum 128 and default 2)
Putting this parameter is optional as if we don't put anything it will use default number, i.e 2 threads.

►Batch size. It controls how many positions the GPU can train on simultaneously. Set as large as your GPU can handle. It affects speed considerably.
--minibatch-size= (default: 256 min: 1 max: 1024)

►Allowed node collisions per batch.
--allowed-node-collisions= Allowed node collisions, per batch (default: 32 min: 0 max: 1024)

►Maximum prefetched nodes.
--max-prefetch= Max prefetch nodes, per NN call (default: 32 min: 0 max: 1024)

►Temperature value should not be set for match play since it severely weakens Leela. It's just for training games.
--temperature= Initial temperature (default: 0 min: 0 max: 100)

►Temperature decay is for introducing some variety in Leela's play, while weakening her at the same time, since it forces her not to choose the best move all the time, but only to choose a move proportionally to how good they are, so sometimes it may even pick a bad move, but most of the time it chooses between 2-3 best moves. Not recommended to be enabled for having Leela in her strongest settings. Temp decay=5 means Leela will play the first 4 moves with tempdecay on and then with it off. For temp-decay to work it needs temperature to be 1.
--tempdecay-moves= Moves with temperature decay (default: 0 min: 0 max: 100)

►The next 6 parameters are to change time management. They are optional also.
--slowmover= Scale thinking time (default: 2.4 min: 0 max: 100)
--move-overhead= Move time overhead in milliseconds (default: 100 min: 0 max: 10000)
--time-curve-peak= Time weight curve peak ply (default: 26.2 min: -1000 max: 1000)
--time-curve-left-width= Time weight curve width left of peak (default: 82 min: 0 max: 1000)
--time-curve-right-width= Time weight curve width right of peak (default: 74 min: 0 max: 1000)
--futile-search-aversion= Aversion to search if change unlikely (default: 1.33 min: 0 max: 10)

►If you want Leela to show all statistics for her move selection after every move put:
--verbose-move-stats (default: false)

►Cache history. Length of history to include in cache.
--cache-history-length= (default: 1 min: 0 max: 7)

►Experimental parameter to save time on search when a checkmate is found. Default is off.
--sticky-checkmate

►Creating a log file e.g leelalog.txt for when Leela running
-l leelalog.txt or --debuglog=leelalog.txt

►If you have syzygy endgame tablebase and you want Leela to use them in her search you should specify the folder they are, for example if you have the syzygy tablebases on the folder c:\endgame\ then you should put:
-s c:\endgame or --syzygy-paths=c:\endgame
If the file path contains spaces, you have to quote it. Example: "c:\endgame tablebases"

►Putting pondering on-off:
For ON it is --ponder for off either --no-ponder or just don't set this parameter at all since default is off

[Омегазеро]

Цитата: Сообщение от SergeyMZ

на что влияет?

Так здесь же подробно https://github.com/LeelaChessZero/lc0/wiki/Lc0-options

И вот тут https://github.com/LeelaChessZero/lc...ela-Chess-Zero

[svoitsl]

Кажется нашли неплохие настройки
CPuct=2.147
Fpu=0.443
PolicyTemperature=1.607
CPuctBase=18368
CPuctFactor=2.815

[Александр Руденко]

кто может подсказать? где такую сеть лилы можно скачать? с8d9095 списке не нашел..может у кого-то есть она ? ее играют на плече

[svoitsl]

Пишут что полезная формула
max_NN_cache_size = (total_RAM_in_GB)*2500000 - (Longest_move_time_in_minutes)*(nps)*43

[Maratka]

Цитата: Сообщение от svoitsl

Кажется нашли неплохие настройки
CPuct=2.147
Fpu=0.443
PolicyTemperature=1.607
CPuctBase=18368
CPuctFactor=2.815

Для чего лучшие?
Для 30''+300ms Bullet?

[svoitsl]

Цитата: Сообщение от Maratka

Для чего лучшие?

Пока нет зависимости этих параметров от TC, даже неизвестно, они меняются или нет

[Maratka]

Зависимость есть всегда: для "пули" лучше копать в глубину, для гроссмейстерских контолей - некий баланс, а для анализа - что-то, что ближе уже к прямому перебору, с минимумом отсечений.
Примет какой-то там адвансер эти настройки - проклянет Вас навеки.

[Maratka]

Цитата: Сообщение от svoitsl

CPuct=2.147

Ну вот первое же, что в голову лезет:
По-умолчанию -3.0, для TCEC стоит 3,4, и в общем-то понятно, что для анализа а-ля "часы на ход" лучше бы еще больше (но не зарываться, скажем 3,5-3,7). Для суток: возможно 3,8, а может и 3,7 даже хватит!

Это описывал crem с год тому...

И далее, я еще могу понять валушку вида 2,14 или 2,15, хотя и с трудом, ибо это все округленно 2,1 или 2,2 но выверенное значение 2.147 - это скорее миллионы партий на этих 30 секундах, чем сотни тысяч. Возможно даже десятки миллионов!

Вот кто бы их мог наиграть, чтобы выверить это значение? Реально?


_______
В общем, спорить не хочу, возможно для "пули" это и имеет смысл. Но рекомендовать их всем и всегда - неправильно.

[Maratka]

Ну и специально для crem:
Когда писались настройки по умолчанию, то... не было RTX, либо только вышли они!
А сейчас их дофига, и дальше только больше будет.

Потому понимаю, что тот же CPuct=3.0 - это некое оптимальное для GTX, которые рулили где-то год тому, от древних 6xx, до относительно современных 10x0: нечто среднее, более-менее подходящее.
Но сейчас было бы полезно его приподнять, где-то до 3,1-3,2. Еще через полгода - до 3,3 ну и далее...

Не в обиду, но ваша команда похоже насчет дефолтных настроек заб?ила (не знаю, как в таких случаях слово правильно писать), а надо бы освежить...

[Burcontovk]

Карта gtx1060 6gb. Cеть 59784. В начальной позе после мин. обдумывания скорость 16ку/с. Это норм для этой карты? И еще вопрос. Слышу высокочастотный звук при обдумывании лилы. Это тоже норм?)) В стресс тестах такого звука нет.

[svoitsl]

Цитата: Сообщение от Burcontovk

Это норм для этой карты?

сейчас я эту плату уже снял с компа, но не первый взгляд нормальная скорость
(как бы не хотелось больше)

Цитата: Сообщение от Burcontovk

Слышу высокочастотный звук при обдумывании лилы

не помню был ли этот звук на этой плате, но на RTX2060 он есть, откуда берётся неизвестно, но вроде не от вентилятора.

[Burcontovk]

Какая карточка будет лучше для лилы 1070ti или 2060? У ti вроде как ядер больше.

[ChessMan]

Цитата: Сообщение от Burcontovk

Какая карточка будет лучше для лилы 1070ti или 2060? У ti вроде как ядер больше.

RTX 2060 естественно лучше.
Примерно в 3 раза быстрее.

[Burcontovk]

Цитата: Сообщение от ChessMan

RTX 2060 естественно лучше.
Примерно в 3 раза быстрее.

А за счет чего интересно, получается кол-во ядер и частота не играет значение?

[ChessMan]

Цитата: Сообщение от Burcontovk

А за счет чего интересно, получается кол-во ядер и частота не играет значение?

За счет тензорных ядер и fp16

Бенчмарк разных видеокарт: https://docs.google.com/spreadsheets...gid=1508569046

[DEEP_MIND]

Цитата: Сообщение от Burcontovk

Слышу высокочастотный звук

свист дросселей питания