LCZero

[Vizvezdenec]

Подход хобби - заниматься тем, что интересно и что получается.
Мне не особо интересно, что там за книга, там участвовало в обсуждении и тестах человек 20.
Мне патчи интереснее писать.
Кому-то вот интересно надувать щёки на форуме, рассказывая, "как надо", при этом ни разу не попытавшись связаться или высказать своё мнение тем, кто принимает решение. Осуждать я их могу, а вот помешать - нет.
Каждый занимается чем-то своим. Кто-то усиливает движок, кто-то тестирует, кто-то в целом проект держит вместе, кто-то обсуждает, какая книга лучше, кто-то границы SPRT правит, кто-то организует турниры, кто-то донатит железо, а кто-то без конца пытается придать себе важности на форуме, периодически, правда, попадая впросак, и ничего по факту не предоставив миру компьютерных шахмат.
Каждому своё.
Каждому.
Своё.

[AlphaZero]

Цитата: Сообщение от Vizvezdenec

Каждому своё.
Каждому.
Своё.

[Омегазеро]

Цитата: Сообщение от Maratka

Т.е. оказывается не нужно безапелляционно утверждать, что...бла-бла-бла, ибо оно оказывается уже само по себе давно работает

Да неужели?
Параллельно работает генерация партий, а вот распределенной тренировки нет ни одной - всем занимается jhortos лично

Цитата: Сообщение от Maratka

Недостаточно. Я не знаю, где находится страничка setting

https://docs.google.com/spreadsheets...UKl45LquYRhSg/
А сами тесты на соседней страничке https://docs.google.com/spreadsheets...gid=1596959111

Цитата: Сообщение от Maratka

Или научный подход в том, чтобы вручную просмотреть несколько десятков тысяч дебютов, и оценить их?

Где я писала, что вручную?
В процессе тестирования движки сами оценят несколько десятков тысяч дебютов и выберут из них те, которые пригодны для тестирования (по вашему предложению - с оценкой 0.6-0.9). Это не займет много времени (по сравнению с тестированием)

[Омегазеро]

Цитата: Сообщение от Vizvezdenec

Каждому своё

Это надпись на воротах концлагеря Бухенвальд

[Владимир001]

Цитата: Сообщение от Jeweller

лила не менее интересна

Приглашение :
https://discord.gg/UFUAuk

[Jeweller]

Цитата: Сообщение от Владимир001

Приглашение :
https://discord.gg/UFUAuk

[Владимир001]

Current result for J92-240 after 80 games (and 3 previously tested J92 nets for comparison):

# PLAYER : RATING ERROR POINTS PLAYED (%) CFS(%) W D L D(%) ERET test
1 Stockfish_20092822_4CPU : 0.0 ---- 193.0 320 60.3 100 69 248 3 77.5 95/111
2 Lc0.net.JH.J92-210_MLH-SuFi19 : -53.6 30.5 34.0 80 42.5 79 1 66 13 82.5 81/111
3 Lc0.net.JH.J92-220_MLH-SuFi19 : -71.9 33.6 32.0 80 40.0 65 2 60 18 75.0 79/111
4 Lc0.net.JH.J92-240_MLH-SuFi19 : -81.2 35.8 31.0 80 38.8 64 0 62 18 77.5 80/111 <= NEW
5 Lc0.net.JH.J92-190_MLH-SuFi19 : -90.6 36.7 30.0 80 37.5 --- 0 60 20 75.0 79/111

Match: gauntlet of SF Dev 20092822 4CPU vs Lc0 J92-240/220/210/190 with S19 SuFi MLH settings
Lc0-version: v0.26.2 cuda
Lc0-options : -Backend=cudnn -NNCacheSize=2000000 -MaxOutOfOrderEvalsFactor=2.4 -MaxCollisionEvents=256 -TwoFoldDraws=true
MLH-settings S19 SuFi: -MovesLeftMaxEffect=0.2 -MovesLeftSlope=0.004 -MovesLeftThreshold=0.0 -MovesQuadraticFactor=0.0 -MovesScaledFactor=1.0
SF-version: Stockfish 20092822 x64 bmi2 (date: 28.09.2020)
SF-options: threads=4 hash=2048 MB, contempt=24, NNUE=true, net=nn-baeb9ef2d183.nnue (default)
Time control: 5min + 5s
Hardware: notebook with mobile i7-7700HQ 4x2.8GHz (8 threads with HT on), mobile Geforce GTX 1050 TI 4GB
Book: Balsa_Special.pgn, 10 plies, sequentially, colors reversed
Tablebases: Syzygy 5-men on SSD
Speed: J92: 961 nps, SF Dev NNUE 4CPU: 3680k nps
Adjudication: Draw at 50 moves rule, 3-fold repetition, after 200 moves, at 50 moves with eval = 0.00 ; 5-men Gaviota tablebase adjudication
Software: Arena 3.5.1, ponder = off
Elo rating: Ordo 1.2.6
Comments: The table includes the ERET test results (60s time limit).

[Владимир001]

Combination of 111 ERET test positions and 203 positions testsuite by @Vesely (Cfish NNUE 4CPU included for comparison with CPU engines):

Cfish 031020 NNUE 4CPU          :  281/314 = 89.5%   net: nn-baeb9ef2d183.nnue
Lc0.net.JH.J92-210_MLH-SuFi19   :  216/314 = 68.8%
Lc0.net.JH.J92-240_MLH-SuFi19   :  215/314 = 68.5%
Lc0-0.22.0-dev.Leelenstein 14.3 :  215/314 = 68.5%
Lc0.net.JH.J92-190_MLH-SuFi19   :  214/314 = 68.2%   ** TCEC S19 SuFi net **
Lc0.net.65162_MLH-SuFi19        :  213/314 = 67.8%

time control: analysis with time limit of 60s per move/position
hardware: notebook with mobile i7-7700HQ 4x2.8GHz, mobile Geforce GTX 1050 TI 4GB

[Владимир001]

[Maratka]

Цитата: Сообщение от Омегазеро

Да неужели?
Параллельно работает генерация партий, а вот распределенной тренировки нет ни одной - всем занимается jhortos лично

Неужели!
Наигрывание партий у LZ как тут много раз писалось занимает ~90% времени.

Т.е. если у нас будет несколько jhortos'ов вместо одного, то обучение сетей ускориться на 10/количество jhortos'ов % от текущих 100%:
на 2 jhortos'ах это будет 90+10/2=95% от общего времени, на десяти -90+10/10=91%
Т.е. если количество jhortos'ов будет стремиться к бесконечности, общее время наигрывание партий плюс тренировка займет 90% времени от того случая, когда jhortos у нас в единственном числе.

Но и это еще не все!
Сеть натренировать мало, ее еще нужно проверить, на что тоже нужно время.
Т.е. реальная разница будет еще меньше.

Цитата: Сообщение от Омегазеро

В процессе тестирования движки сами оценят несколько десятков тысяч дебютов и выберут из них те, которые пригодны для тестирования (по вашему предложению - с оценкой 0.6-0.9). Это не займет много времени (по сравнению с тестированием)

Займет. Потому как оценка зависит от времени на партию.

[Владимир001]

https://storage.lczero.org/files/

[Владимир001]

https://training.lczero.org/

[Владимир001]

https://www.sp-cc.de/drawkiller-openings.htm

[Владимир001]

Match: gauntlet of SF Dev 20092822 4CPU vs Lc0 J92-240/220/210/190 with S19 SuFi MLH settings
Lc0-version: v0.26.2 cuda
Lc0-options : -Backend=cudnn -NNCacheSize=2000000 -MaxOutOfOrderEvalsFactor=2.4 -MaxCollisionEvents=256 -TwoFoldDraws=true
MLH-settings S19 SuFi: -MovesLeftMaxEffect=0.2 -MovesLeftSlope=0.004 -MovesLeftThreshold=0.0 -MovesQuadraticFactor=0.0 -MovesScaledFactor=1.0
SF-version: Stockfish 20092822 x64 bmi2 (date: 28.09.2020)
SF-options: threads=4 hash=2048 MB, contempt=24, NNUE=true, net=nn-baeb9ef2d183.nnue (default)
Time control: 5min + 5s
Hardware: notebook with mobile i7-7700HQ 4x2.8GHz (8 threads with HT on), mobile Geforce GTX 1050 TI 4GB
Book: Balsa_Special.pgn, 10 plies, sequentially, colors reversed
Tablebases: Syzygy 5-men on SSD
Speed: J92: 961 nps, SF Dev NNUE 4CPU: 3680k nps
Adjudication: Draw at 50 moves rule, 3-fold repetition, after 200 moves, at 50 moves with eval = 0.00 ; 5-men Gaviota tablebase adjudication
Software: Arena 3.5.1, ponder = off
Elo rating: Ordo 1.2.6
Comments: The table includes the ERET test results (60s time limit).

   # PLAYER                        :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)  ERET test
   1 Stockfish_20092822_4CPU       :     0.0   ----   237.5     400  59.4     100   79  317    4  79.3  95/111
   2 Lc0.net.JH.J92-210_MLH-SuFi19 :   -53.4   27.6    42.5     100  42.5      77    1   83   16  83.0  81/111
   3 Lc0.net.JH.J92-220_MLH-SuFi19 :   -68.0   29.6    40.5     100  40.5      57    2   77   21  77.0  79/111
   4 Lc0.net.JH.J92-190_MLH-SuFi19 :   -71.6   30.2    40.0     100  40.0      57    1   78   21  78.0  79/111
   5 Lc0.net.JH.J92-240_MLH-SuFi19 :   -75.3   30.5    39.5     100  39.5     ---    0   79   21  79.0  80/111    <= NEW

https://dropmefiles.com/NmzVF

[Владимир001]

Update on T60 self-Elo: https://github.com/jhorthos/lczero-t...ental-self-Elo

[Владимир001]

Hardware: i5-8400 CPU @ 2.80GHz, 6 cores, 32GB, gpu RTX 2060, 6GB
Gauntlet: SF-dev vs. LC0 24x320 nets
Network IDs: 64255, 65162, T60B.7-105, T60B.7-135
LC0-version: v0.26.0
SF-version: SF-dev 20092708 (NNUE hybrid)
Software: Cutechess-CLI
Time control: LC0: 1,500 nodes/move, SF-dev: 300,000 nodes/move @ 4 Threads, 512MB Hash
Book: Chad's 8-ply book with 10000 positions, order=sequential
Tablebases: 6-men
Adjudication: -draw movenumber=50 movecount=5 score=8 -resign movecount=5 score=1000
Ordo: -a 0 -A "Stockfish.dev" -W -D -U "0,1,2,3,4,5,6,7,8,9,10" -s 2000 -n 1
Comment: to be compared with https://discordapp.com/channels/4254...28143916597278

   # PLAYER                :  RATING  ERROR   POINTS  PLAYED   (%)  CFS(%)      W      D      L  D(%)
+  1 lc0.net.65297         :    30.1    3.2  10836.0   20000    54      90   5374  10924   3702    55
   2 lc0.net.65162         :    27.2    3.2  10754.0   20000    54     100   5255  10998   3747    55
   3 lc0.net.T60B.7-135    :    20.8    3.3  10576.5   20000    53      63   4994  11165   3841    56
   4 lc0.net.T60B.7-105    :    20.0    3.3  10556.0   20000    53     100   4984  11144   3872    56
   5 lc0.net.64255         :     3.6    3.2  10100.0   20000    51      99   4463  11274   4263    56
-  6 Stockfish.dev         :     0.0   ----  47177.5  100000    47     ---  19425  55505  25070    56

White advantage = 56.33 +/- 0.73
Draw rate (equal opponents) = 57.45 % +/- 0.16

PGN:

https://dropmefiles.com/R361l

[Владимир001]

https://www.phoronix.com/scan.php?pa...-compute&num=6

[Переяслав]

Цитата: Сообщение от Владимир001

https://www.phoronix.com/scan.php?pa...-compute&num=6

странно что использовался openCL а не cuda

5933 для GTX 1060?

Я даже не знаю на какой cети это получено, у меня нет таких скоростей, для 256х20 - это много, для 128х10 - мало

но я openCL не юзаю.

[Maratka]

OpenCL насколько я представляю задействует только FP32.

[Владимир001]

https://lc0.org/sheet3
https://docs.google.com/spreadsheets...37vMU/htmlview
https://docs.google.com/spreadsheets...5bf04640#gid=0
https://docs.google.com/spreadsheets...#gid=849341521
https://docs.google.com/spreadsheets...it?usp=sharing

[Владимир001]

I have this on my gtx1080:
Switching to [cuda]...
CUDA Runtime version: 11.1.0
Latest version of CUDA supported by the driver: 11.1.0
GPU: GeForce GTX 1080
GPU memory: 8 Gb
GPU clock frequency: 1885.5 MHz
GPU compute capability: 6.1
===========================
Total time (ms) : 343643
Nodes searched : 1349560
Nodes/second : 3927

CUDA Runtime version: 10.0.0
Cudnn version: 7.4.2
Latest version of CUDA supported by the driver: 11.1.0
GPU: GeForce GTX 1080
GPU memory: 8 Gb
GPU clock frequency: 1885.5 MHz
GPU compute capability: 6.1
===========================
Total time (ms) : 362524
Nodes searched : 1341738
Nodes/second : 3701

[Переяслав]

Для понимания ситуации - взят тупо двиг с оффсайта с дефолтной мелкой сеткой

Found pb network file: d:\lc0-v0.26.2-windows-gpu-opencl/703810.pb.gz
Creating backend [opencl]...
OpenCL, maximum batch size set to 16.
Initializing OpenCL.
Detected 1 OpenCL platforms.
Platform version: OpenCL 1.2 CUDA 11.1.70
Platform profile: FULL_PROFILE
Platform name:    NVIDIA CUDA
Platform vendor:  NVIDIA Corporation
Device ID:      0
Device name:    GeForce GTX 1060 6GB
Device type:    GPU
Device vendor:  NVIDIA Corporation
Device driver:  456.38
Device speed:   1708 MHZ
Device cores:   10 CU
Device score:   1112
Selected platform: NVIDIA CUDA
Selected device: GeForce GTX 1060 6GB

openCL

===========================
Total time (ms) : 60007
Nodes searched  : 547723
Nodes/second    : 9127

cudnn

===========================
Total time (ms) : 60028
Nodes searched  : 1098076
Nodes/second    : 18292

Скорость куда ровно в 2 раза выше, какой смысл на тестах юзать слабую - я хз

проверял встроенным бенчмарком для стартовой позиции на 60 сек

lc0.exe benchmark --num-positions=1 --movetime=60000

[Владимир001]

SPRT-Match for MLH-settings
LC0 version: v0.26.3
LC0 options: Threads=1, MinibatchSize=20, MaxPrefetch=10, MaxCollisionEvents=10, MaxOutOfOrderEvalsFactor=2.0, Backend=cuda-fp16, ScoreType=centipawn_2019, SmartPruningFactor=1.0, MLH-TCEC-S18: MovesLeftMaxEffect=0.2, MovesLeftThreshold=0.0, MovesLeftScaledFactor=1.0, MovesLeftQuadraticFactor=0.0, MovesLeftConstantFactor=0.0, MovesLeftSlope=0.007
Hardware: Ryzen 9 3950X (3.5GHz) + RTX 2060
Time control: 1000 nodes/move
Book: 3-moves book, order=random, unbalanced book
Tablebases: 6-man
Adjudication: 6-man TBs + -resign movecount=3 score=500, -draw movenumber=20 movecount=5 score=10
Software: Cutechess-CLI
Comment: Tuning MovesLeftSlope at 1200 and 5000 nodes/move with CLOP and MLH-S18 settings resulted in MovesLeftSlope=0.012 as optimal value (for both). Both higher MovesLeftSlope (0.012 from tuning) and lower (0.004) didn't pass SPRT [0;5] vs. 0.007.
LC0 options: MovesLeftSlope=0.012 vs. MovesLeftSlope=0.007

   # ENGINE                        :  RATING  ERROR  CFS(%)   GAMES    W     D    L  DRAWS(%)
   1 lc0.net.J92-190               :     0.0   ----    90.8    3020  820  1421  779      47.1
-  2 lc0.net.J92-190.Slope0.012    :    -5.9    8.7     ---    3020  779  1421  820      47.1
White advantage = 164.1 +/- 4.7
Draw rate (equal opponents) = 61.1 % +/- 1.2

BayesElo bounds [0.0;5.0] scaled to logistic bounds based on drawrate,

sprt.py --elo0 0.0 --elo1 3.893 --results 13 307 904 280 6:
[Elo0,Elo1] : [0.000,3.893]
Elo : -4.1
LLR [u,l] : -2.94 [-2.94,2.94]

LC0 options: MovesLeftSlope=0.004 vs. MovesLeftSlope=0.007

   # ENGINE                        :  RATING  ERROR  CFS(%)   GAMES    W    D    L  DRAWS(%)
   1 lc0.net.J92-190               :     0.0   ----    96.6    2054  577  947  530      46.1
-  2 lc0.net.J92-190.Slope0.004    :   -10.2   11.0     ---    2054  530  947  577      46.1
White advantage = 174.5 +/- 5.6
Draw rate (equal opponents) = 62.2 % +/- 1.5
BayesElo bounds [0.0;5.0] scaled to logistic bounds based on drawrate,
sprt.py --elo0 0.0 --elo1 3.937 --results 6 227 609 178 7:
[Elo0,Elo1]                 :  [0.000,3.937]
Elo                         :  -7.3
LLR [u,l]                   :  -2.94  [-2.94,2.94]

[Владимир001]

Используя книгу без темпа и шума, но в остальном похожую на клиентские само-Эло . Полная команда cutechess-cli ниже.
Все совпадения в настоящее время привязаны к net 65280, а его Elo установлен на значение self-Elo клиента.
65370 или 80 рядом (на данный момент добавления в одну сетку с предварительно ЛР падение)
На данный момент это выглядит так, как будто клиентский матч self-Elo имеет преувеличенное падение недавних значений, хотя, возможно, и в пределах ошибки.
С другой стороны, позиционный тест тоже немного упал.

# PLAYER           :  RATING  ERROR   POINTS  PLAYED   (%)      W     L      D  D(%)  CFS(%)
   4 lc0.net.65350    :    2990      5   3018.5    6000    50    972   935   4093    68      70
   2 lc0.net.65330    :    2991      5   3026.5    6000    50    972   919   4109    68      55
   6 lc0.net.65280    :    2988   ----  31939.0   62873    51  10692  9687  42494    68      80
   3 lc0.net.65250    :    2991      5   3023.0    6000    50    980   934   4086    68      56
   5 lc0.net.65240    :    2988      5   3002.5    6000    50    965   960   4075    68      55
   1 lc0.net.65230    :    2992      5   3034.0    6000    51    962   894   4144    69      60
   7 lc0.net.65180    :    2986      5   2982.5    6000    50    968  1003   4029    67      65
   9 lc0.net.65100    :    2984      5   2969.0    6000    49    936   998   4066    68      93
   8 lc0.net.65000    :    2985      5   2971.0    6000    50    950  1008   4042    67      53
  11 lc0.net.64845    :    2964      5   2803.5    6000    47    797  1190   4013    67      71
  10 lc0.net.64250    :    2967     23    129.0     274    47     32    48    194    71      58
  13 lc0.net.63960    :    2957      8   1187.5    2599    46    347   571   1681    65     ---
  12 lc0.net.63820    :    2962      5   2787.0    6000    46    806  1232   3962    66      89

https://github.com/jhorthos/lczero-t...ental-self-Elo

[Владимир001]

Games 1 - 54
Name                                          Games    Depth       NPS            Nodes
-------------------------------------------------------------------------------------
LCZero v0.26.3-rc1_T60.SV.JH.92-190       :      54     19            70402      16888858
Stockfish 202009282242_nn-baeb9ef2d183    :      54     62        134093227   10051903656


Games 48 - 54
Name                                          Games   Depth       NPS            Nodes
-------------------------------------------------------------------------------------
Stockfish 202009282242_nn-baeb9ef2d183    :      7     55        160475196   10467626757
LCZero v0.26.3-rc1_T60.SV.JH.92-190       :      7     20            62452      16386235


Seems SF likes dubious openings with a NPS increase of 19.67%
And leela dislikes dubious openings with a NPS decrease of 11.29%

[Владимир001]

NN-longtime testrun of Stockfish 200928 vs Lc0 0.26.3rc2 J92-190 finished: Same engines as TCEC SuperFinal Season 19, which is running right now (except rc2 instead of rc1 (a bugfix, only)), Lc0 running with brand new (and faster) CUDA 11.1 build. Using non-drawish J.Noomen openings of earlier SuperFinals. 300 games. Thinking-time: Lc0 5'+3'' and Stockfish 7.5'+4.5'' (means a Leela-Ratio of 1.0). Average game-duration: 20 minutes.
A "SuFi for the poor"... scroll down to the bottom of the page:
https://www.sp-cc.de/nn-vs-sf-testing.htm

[Владимир001]

https://docs.google.com/spreadsheets...vNC-r4/preview

[Омегазеро]

Новая сеть от jhortos J92-250 https://storage.lczero.org/files/net...ontrib/J92-250

Далее он решил снизить LR

[Владимир001]

Gauntlet: Lc0 tcec-18 (Lc0 25.1 + svjio-t60-3972-mlh)
Time control: 100s + 1s, Ryzen 4900H, RTX 2060 mobile
Openings: TCEC SuFi 2016 (50 pos.) + 6-ply openings (50 pos.)
Engine settings here: https://discordapp.com/channels/4254...08367913320468
Lc0 25.1 : cudnn-fp16, minibatch-size=80, max-prefetch=36, max-collision-events=36
MLH:--show-hidden, moves-left-max-effect=0.2, moves-left-threshold=0.0, moves-left-slope=0.007, move-left-scaled-factor=1, move-left-quadratic-factor=0
TBs and adj.: Syzygy 5-men, resign movecount=5 score=600, draw movenumber=35 movecount=5 score=5
Comments: Lc0 gained approximately 50 elo between TCEC-18 (06/20) and TCEC-19 here.
Lc0 tcec-18 games:https://gofile.io/d/lDVFmO

# PLAYER : RATING ERROR PLAYED (%) CFS W D L D(%)
1 Lc0 26.3-rc1 + J92-190 tcec-19: 48.7 10.5 1000 56.75 100 201 733 66 73.30
2 CFish 050920 + SV-1739 : 18.2 7.0 1400 51.57 56 195 1054 151 75.29
3 Lc0 26.1 + J92-100 ccc-15 : 17.3 8.2 1000 52.40 99 148 752 100 75.20
>>new 4 Lc0 tcec-18 : 0.1 9.4 1000 50.00 50 130 740 130 74.00
5 Stockfish 12 : 0.0 7.3 1400 48.68 78 160 1043 197 74.50
6 Allie 120820 + LS 15.0 : -4.0 6.7 1400 48.04 58 147 1051 202 75.07
7 Lc0 26.2 + SV-5300 : -5.2 7.1 1400 47.86 72 135 1070 195 76.43
8 CFish 11a 8CPU : -8.5 8.2 1400 47.32 --- 182 961 257 68.64

White advantage = 50.09 +/- 2.69
Draw rate (equal opponents) = 78.08 % +/- 0.65

4) Lc0 tcec-18                      vs.  games (   +,   =,   -),   (%)
   CFish 050920 + SV-1739             :    200 (  24, 143,  33),  47.8
   Stockfish 12                       :    200 (  25, 148,  27),  49.5
   Allie 120820 + LS 15.0             :    200 (  20, 162,  18),  50.5
   Lc0 26.2 + SV-5300                 :    200 (  21, 162,  17),  51.0
   CFish 11a 8CPU                     :    200 (  40, 125,  35),  51.3

[Владимир001]

v0.26.3 - latest release
https://github.com/LeelaChessZero/lc...es/tag/v0.26.3