11.01.2020, 13:17 | #1 |
Гроссмейстер
Регистрация: 28.05.2016
Сообщений: 3,184
Сказал(а) спасибо: 11,937
Поблагодарили 5,570 раз(а) в 2,288 сообщениях
Репутация: 614
|
Точные настройки для Лилы для различных видеокарт
Всем приветы!
Мне хотелось бы сделать справочное пособие по настройке Лилы на различных видеокартах. У меня просьба к знатокам по части нейросетей написать следующие настройки для различных видеокарт в зависимости от временных контролей: -> Nvidia RTX 2060 (Super); -> Nvidia RTX 2070 (Super); -> Nvidia RTX 2080 (Super); -> Nvidia RTX 2080 Ti. 1. Параметр backend: cudnn, cudnn-fp16, random, check, roundrobin, multiplexing, demux. Что значат эти параметры и какой из них надо использовать для каждой из видеокарт? 2. Параметр threads: 1, 2, 3, 4 и т.д. Сколько потоков надо ставить для каждой из этих видеокарт? 3. Параметр NNCasheSize. Какой хэш надо ставить? 4. Параметр MinibatchSize. Что это за параметр и сколько нужно ставить? 5. Параметр MaxPrefetch. Что это за параметр и сколько нужно ставить? 6. Параметры Cpuct, CpuctBase, CpuctFactor. Что это за параметры и как их значения влияют на анализ Лилы? 7. Параметры FpuStrategy, FpuValue, FpuStrategyAtRoot, FpuValueAtRoot. Что это за параметры и как их значения влияют на анализ Лилы? 8. Параметры MaxCollisionEvents и MaxCollisionVisits. Что значат эти параметры и сколько ставить? 9. Параметр StickyEndGames на что влияет? 10. Параметр SyzygyFastPlay на что влияет? 11. Параметр OutofOrderEval на что влияет? 12. Параметр KLDGainAverageInterval ? 13. Параметр MinimumKLDGain ? 14. Параметр SmartPruningFactor ? 15. Параметр MoveOverheadMS ? 16. Параметр Slowmover ? 17. Параметр ImmediateTimeU ? |
2 пользователя(ей) сказали cпасибо: | alchemist888 (14.01.2020), Viktor (11.01.2020) |
11.01.2020, 13:31 | #2 |
Гроссмейстер
Регистрация: 19.04.2017
Сообщений: 4,734
Сказал(а) спасибо: 1,204
Поблагодарили 2,853 раз(а) в 1,885 сообщениях
Репутация: 159
|
Re: Точные настройки для Лилы для различных видеокарт
Цитата: Сообщение от SergeyMZ
1. Параметр backend:
|
Пользователь сказал cпасибо: | Viktor (11.01.2020) |
11.01.2020, 14:48 | #3 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: Точные настройки для Лилы для различных видеокарт
Цитата: Сообщение от svoitsl
этот уже наверное ставить не нужно.все на автомате
Цитата: Сообщение от SergeyMZ
1. Параметр backend: cudnn, cudnn-fp16, random, check, roundrobin, multiplexing, demux. Что значат эти параметры и какой из них надо использовать для каждой из видеокарт?
|
Пользователь сказал cпасибо: | SergeyMZ (11.01.2020) |
14.01.2020, 05:17 | #4 |
Гроссмейстер
Регистрация: 20.01.2019
Сообщений: 1,067
Сказал(а) спасибо: 2
Поблагодарили 701 раз(а) в 343 сообщениях
Репутация: 92
|
Re: Точные настройки для Лилы для различных видеокарт
С сайта lczero
►Cpuct value. This is a very critical parameter for search! Setting it higher you get more exploration on the selection of which moves to think. Yet, setting it too high you increase the chance that you search inferior moves and lose time by searching garbage. Small values on the other hand may mean too little exploration and so search can miss some good moves. There is not an optimal value and it depends on the net and on other parameters like fpu-reduction. --cpuct=PUCT(Predictor + Upper Confidence Bound tree search) (default: 3.4 min: 0 max: 100) That used to be a constant, and it was equal to 3.4 for quite a long time in Lc0. Correct value from AlphaZero is 2.5, but it slows down nps (will investigate why), so for now default is 3.0 --cpuct-base That's that factor which defines how Cpuct grows. The value from DeepMind paper is 19652, and that's now the default. --cpuct-factor That's the multiplier of the growing part of Cpuct. Default value now is 2, and that's what DeepMind used (well, they didn't have that factor, but as our action space is 2 times larger, we have to scale this parameter). ►Another critical for search parameters is fpu reduction. It makes the evaluation of nodes that have not been visited yet, worse by a flat reduction. This results in less exploration of unvisited and often bad nodes, while significantly increasing the exploitation of visited nodes, and in consequence, the search depth. Again too high or too low hurts/helps and the "best" value is dependent on the net and on other parameters like cpuct for example. --fpu-reduction=First Play Urgency Reduction (default: 0.9 min: -100 max: 100) --fpu-strategy Default is "reduction", old way of handling first play urgency. Set to "absolute" to play like AlphaZero! --fpu-value=X Only used in "absolute" FPU mode. -1.0 is the default, and that's what DeepMind used. --max-collision-events – number of collision events allowed per batch. Default is 32. This parameter is roughly equivalent to --allowed-node-collisions in v0.18. --max-collision-visits – total number of estimated collisions per NN batch. Default is 9999. ►Another important search parameter is policy softmax temperature that affects the policy output for the moves. It flattens them by exponentiating the policy output for moves using 1/policy softmax temp as the exponent before normalizing them to sum to 1. Higher policies get reduced, lower polices get increased. At the extreme, for very high values of policy softmax temp, all policy outputs end up just being equal. --policy-softmax-temp=Policy softmax temperature (default: 2.2 min: 0.1 max: 10) ►Cache size for Leela but this has nothing to do with the usual cache for AlphaBeta engines. It greatly affects nodes searched per time and it stores NN evaluations, which can be reused if the same positions is reached by transposition.. E.g for setting 400000 we use: --nncache=400000 (default: 200000 min: 0 max: 999999999) Putting this parameter is also optional as if we don't put anything it will use default number, i.e 200000. --temp-cutoff-move=X After move number X, temperature will be fixed to what is set in --temp-endgame flag. To reproduce match a0 vs sf8, set this to 16 --temp-endgame See above for the meaning. This parameter is mostly exposed for training experiments. Default is 0, and it makes sense to keep it like that for play. --temp-value-cutoff=X Only moves with eval within x percentage points from the bestmove are considered during temperature pick. Set to 1.0 to reproduce match a0 vs sf8 ►How many threads of CPU to use. Leela always uses CPU also for some of its functions so we can set how many threads we want, e.g if we want 4 we put: -t 4 or --threads=4 (min 1, maximum 128 and default 2) Putting this parameter is optional as if we don't put anything it will use default number, i.e 2 threads. ►Batch size. It controls how many positions the GPU can train on simultaneously. Set as large as your GPU can handle. It affects speed considerably. --minibatch-size= (default: 256 min: 1 max: 1024) ►Allowed node collisions per batch. --allowed-node-collisions= Allowed node collisions, per batch (default: 32 min: 0 max: 1024) ►Maximum prefetched nodes. --max-prefetch= Max prefetch nodes, per NN call (default: 32 min: 0 max: 1024) ►Temperature value should not be set for match play since it severely weakens Leela. It's just for training games. --temperature= Initial temperature (default: 0 min: 0 max: 100) ►Temperature decay is for introducing some variety in Leela's play, while weakening her at the same time, since it forces her not to choose the best move all the time, but only to choose a move proportionally to how good they are, so sometimes it may even pick a bad move, but most of the time it chooses between 2-3 best moves. Not recommended to be enabled for having Leela in her strongest settings. Temp decay=5 means Leela will play the first 4 moves with tempdecay on and then with it off. For temp-decay to work it needs temperature to be 1. --tempdecay-moves= Moves with temperature decay (default: 0 min: 0 max: 100) ►The next 6 parameters are to change time management. They are optional also. --slowmover= Scale thinking time (default: 2.4 min: 0 max: 100) --move-overhead= Move time overhead in milliseconds (default: 100 min: 0 max: 10000) --time-curve-peak= Time weight curve peak ply (default: 26.2 min: -1000 max: 1000) --time-curve-left-width= Time weight curve width left of peak (default: 82 min: 0 max: 1000) --time-curve-right-width= Time weight curve width right of peak (default: 74 min: 0 max: 1000) --futile-search-aversion= Aversion to search if change unlikely (default: 1.33 min: 0 max: 10) ►If you want Leela to show all statistics for her move selection after every move put: --verbose-move-stats (default: false) ►Cache history. Length of history to include in cache. --cache-history-length= (default: 1 min: 0 max: 7) ►Experimental parameter to save time on search when a checkmate is found. Default is off. --sticky-checkmate ►Creating a log file e.g leelalog.txt for when Leela running -l leelalog.txt or --debuglog=leelalog.txt ►If you have syzygy endgame tablebase and you want Leela to use them in her search you should specify the folder they are, for example if you have the syzygy tablebases on the folder c:\endgame\ then you should put: -s c:\endgame or --syzygy-paths=c:\endgame If the file path contains spaces, you have to quote it. Example: "c:\endgame tablebases" ►Putting pondering on-off: For ON it is --ponder for off either --no-ponder or just don't set this parameter at all since default is off |
14.01.2020, 05:28 | #5 |
Гроссмейстер
Регистрация: 20.01.2019
Сообщений: 1,067
Сказал(а) спасибо: 2
Поблагодарили 701 раз(а) в 343 сообщениях
Репутация: 92
|
Re: Точные настройки для Лилы для различных видеокарт
Цитата: Сообщение от SergeyMZ
на что влияет?
И вот тут https://github.com/LeelaChessZero/lc...ela-Chess-Zero |
Пользователь сказал cпасибо: | Философ (14.01.2020) |
20.01.2020, 19:28 | #6 |
Гроссмейстер
Регистрация: 19.04.2017
Сообщений: 4,734
Сказал(а) спасибо: 1,204
Поблагодарили 2,853 раз(а) в 1,885 сообщениях
Репутация: 159
|
Re: Точные настройки для Лилы для различных видеокарт
Кажется нашли неплохие настройки
CPuct=2.147 Fpu=0.443 PolicyTemperature=1.607 CPuctBase=18368 CPuctFactor=2.815 Последний раз редактировалось svoitsl; 20.01.2020 в 20:17. |
20.01.2020, 20:14 | #7 |
Гроссмейстер
|
Re: Точные настройки для Лилы для различных видеокарт
кто может подсказать? где такую сеть лилы можно скачать? с8d9095 списке не нашел..может у кого-то есть она ? ее играют на плече
__________________
Выше нас только звезды Шахматы – моя жизнь, но моя жизнь – не только шахматы Моя безответная любовь, это черная шахматная королева Истина где-то рядом..... ICCF - 2431 PlayChess - 2640 Шахматная Планета - 2621 |
20.01.2020, 20:21 | #8 |
Гроссмейстер
Регистрация: 19.04.2017
Сообщений: 4,734
Сказал(а) спасибо: 1,204
Поблагодарили 2,853 раз(а) в 1,885 сообщениях
Репутация: 159
|
Re: Точные настройки для Лилы для различных видеокарт
Пишут что полезная формула
max_NN_cache_size = (total_RAM_in_GB)*2500000 - (Longest_move_time_in_minutes)*(nps)*43 |
Пользователь сказал cпасибо: | SergeyMZ (20.01.2020) |
20.01.2020, 20:38 | #9 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: Точные настройки для Лилы для различных видеокарт
Цитата: Сообщение от svoitsl
Кажется нашли неплохие настройки
CPuct=2.147 Fpu=0.443 PolicyTemperature=1.607 CPuctBase=18368 CPuctFactor=2.815 Для 30''+300ms Bullet? |
20.01.2020, 20:57 | #10 |
Гроссмейстер
Регистрация: 19.04.2017
Сообщений: 4,734
Сказал(а) спасибо: 1,204
Поблагодарили 2,853 раз(а) в 1,885 сообщениях
Репутация: 159
|
Re: Точные настройки для Лилы для различных видеокарт
Цитата: Сообщение от Maratka
Для чего лучшие?
|
20.01.2020, 21:27 | #11 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: Точные настройки для Лилы для различных видеокарт
Зависимость есть всегда: для "пули" лучше копать в глубину, для гроссмейстерских контолей - некий баланс, а для анализа - что-то, что ближе уже к прямому перебору, с минимумом отсечений.
Примет какой-то там адвансер эти настройки - проклянет Вас навеки. |
Пользователь сказал cпасибо: | Viktor (20.01.2020) |
20.01.2020, 22:32 | #12 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: Точные настройки для Лилы для различных видеокарт
Цитата: Сообщение от svoitsl
CPuct=2.147
По-умолчанию -3.0, для TCEC стоит 3,4, и в общем-то понятно, что для анализа а-ля "часы на ход" лучше бы еще больше (но не зарываться, скажем 3,5-3,7). Для суток: возможно 3,8, а может и 3,7 даже хватит! Это описывал crem с год тому... И далее, я еще могу понять валушку вида 2,14 или 2,15, хотя и с трудом, ибо это все округленно 2,1 или 2,2 но выверенное значение 2.147 - это скорее миллионы партий на этих 30 секундах, чем сотни тысяч. Возможно даже десятки миллионов! Вот кто бы их мог наиграть, чтобы выверить это значение? Реально? _______ В общем, спорить не хочу, возможно для "пули" это и имеет смысл. Но рекомендовать их всем и всегда - неправильно. |
Пользователь сказал cпасибо: | Alex_Lk (21.01.2020) |
20.01.2020, 23:41 | #13 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: Точные настройки для Лилы для различных видеокарт
Ну и специально для crem:
Когда писались настройки по умолчанию, то... не было RTX, либо только вышли они! А сейчас их дофига, и дальше только больше будет. Потому понимаю, что тот же CPuct=3.0 - это некое оптимальное для GTX, которые рулили где-то год тому, от древних 6xx, до относительно современных 10x0: нечто среднее, более-менее подходящее. Но сейчас было бы полезно его приподнять, где-то до 3,1-3,2. Еще через полгода - до 3,3 ну и далее... Не в обиду, но ваша команда похоже насчет дефолтных настроек заб?ила (не знаю, как в таких случаях слово правильно писать), а надо бы освежить... |
25.01.2020, 02:27 | #14 |
Гроссмейстер
Регистрация: 20.12.2016
Сообщений: 1,715
Сказал(а) спасибо: 2,282
Поблагодарили 2,156 раз(а) в 1,075 сообщениях
Репутация: 240
|
Re: Точные настройки для Лилы для различных видеокарт
Карта gtx1060 6gb. Cеть 59784. В начальной позе после мин. обдумывания скорость 16ку/с. Это норм для этой карты? И еще вопрос. Слышу высокочастотный звук при обдумывании лилы. Это тоже норм?)) В стресс тестах такого звука нет.
|
25.01.2020, 08:45 | #15 |
Гроссмейстер
Регистрация: 19.04.2017
Сообщений: 4,734
Сказал(а) спасибо: 1,204
Поблагодарили 2,853 раз(а) в 1,885 сообщениях
Репутация: 159
|
Re: Точные настройки для Лилы для различных видеокарт
Цитата: Сообщение от Burcontovk
Это норм для этой карты?
(как бы не хотелось больше) Цитата: Сообщение от Burcontovk
Слышу высокочастотный звук при обдумывании лилы
|
Пользователь сказал cпасибо: | Burcontovk (25.01.2020) |
25.01.2020, 22:44 | #17 |
Super Moderator
Регистрация: 04.01.2017
Сообщений: 3,629
Сказал(а) спасибо: 2,879
Поблагодарили 6,463 раз(а) в 2,331 сообщениях
Репутация: 354
|
Re: Точные настройки для Лилы для различных видеокарт
Цитата: Сообщение от Burcontovk
Какая карточка будет лучше для лилы 1070ti или 2060? У ti вроде как ядер больше.
Примерно в 3 раза быстрее. |
25.01.2020, 22:51 | #18 |
Гроссмейстер
Регистрация: 20.12.2016
Сообщений: 1,715
Сказал(а) спасибо: 2,282
Поблагодарили 2,156 раз(а) в 1,075 сообщениях
Репутация: 240
|
Re: Точные настройки для Лилы для различных видеокарт
Цитата: Сообщение от ChessMan
RTX 2060 естественно лучше.
Примерно в 3 раза быстрее. |
25.01.2020, 22:59 | #19 |
Super Moderator
Регистрация: 04.01.2017
Сообщений: 3,629
Сказал(а) спасибо: 2,879
Поблагодарили 6,463 раз(а) в 2,331 сообщениях
Репутация: 354
|
Re: Точные настройки для Лилы для различных видеокарт
Цитата: Сообщение от Burcontovk
А за счет чего интересно, получается кол-во ядер и частота не играет значение?
Бенчмарк разных видеокарт: https://docs.google.com/spreadsheets...gid=1508569046 |
2 пользователя(ей) сказали cпасибо: | Burcontovk (25.01.2020), Александр (21.02.2020) |
Здесь присутствуют: 1 (пользователей: 0 , гостей: 1) | |
Опции темы | |
Опции просмотра | |
|
|