Развернуть для просмотра

Владимир001 · 10.10.2020, 15:59

Zeus 10.2 NNUE wins JCER CUP 2020 Group 4, 2020.10.01-08

Temp 60' + 10" 90 games GUI-Fritz 17

Promotion to the semi-finals: Zeus 10.2 NNUE and Slowchess 2.3,
Waiting room: Andscacs 0.95092.[/quote

Владимир001 · 11.10.2020, 15:55

First Test chess engine Supernova 2.0, 2020.10.10-11

Temp 3' + 3" 100 games

Владимир001 · 11.10.2020, 21:06

Cfish 071020 NNUE wins JCER - Test new engines, 2020.10.09 - 2020.10.11

Temp 3' + 3" 240 games GUI-Fritz 17

Владимир001 · 12.10.2020, 21:21

First Test chess engine Achillees 1.01, 2020.10.11-12

Temp 3' + 3" 100 games

Владимир001 · 13.10.2020, 20:17

Protector 1.9.0 wins 4 League JCER edition 38, 2020.10.11 - 2020.10.13

Temp 3' + 3" 180 games GUI-Fritz 17

Владимир001 · 14.10.2020, 00:28

First Test chess engine BBC 1.2, 2020.10.12-13

Temp 3' + 3" 100 games

Владимир001 · 15.10.2020, 21:10

4_Way_Alt_SuFi_19__SuFI_18_Book

4_Way_Alt_SuFi_19__SuFI_18_Book_Wins_only

Владимир001 · 15.10.2020, 21:15

Match: Cfish Dev Hybrid vs Pure Fixed 10 million nodes per move Match.
Tournament: Gauntlet
Binaries: Cfish.exe (Dev)
Engine Options: For Cfish Dev Hybrid = Default | For Cfish Dev Pure = Pure instead of Hybrid in engine config.
Hardware: AMD Ryzen 3700X
Time control: Fixed 10 Million nodes per move.
Book: 8moves_v3.pgn
Tablebases: None
Adjudication: +-8 Win
Software: Cutechess-Cli GUI
Comments: Despite 10 Million nodes per move (for both hybrid & pure), difference is around 10 elo, this tests proves that hybrid is superior compared to pure. Earlier scaling tests at 10+0.1, 20+0.2, 40+0.4, 80+0.8 & 300+3 proved hybrid to be between 10-15 elo better than pure. Fixed 10 million nodes per move corroborates this scaling trend further .

Код:

# PLAYER          :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W     D    L  D(%)
   1 Cfish Hybrid :    11.3    3.2  2580.5    5000  51.6     100  354  4453  193  89.1
   2 Cfish Pure   :     0.0   ----  2419.5    5000  48.4     ---  193  4453  354  89.1

White advantage = 22.41 +/- 1.62
Draw rate (equal opponents) = 91.32 % +/- 0.45

https://pixeldrain.com/u/4jp8mENB

Владимир001 · 15.10.2020, 21:29

Hardware: i7-8770K CPU @ 3.70GHz, 6 cores (12 Threads), 32GB, Gpu - RTX 2080
Gauntlet: SF-dev vs. LC0 30x384 net & LC0 20x256 net
Network IDs: Lc0 J92-260, Lc0 42850 (TCEC)
LC0-version: v0.26.3 (Around 50% faster than Lc0 26.2 with ancient drivers)
SF-version: SF-dev 5th Oct (NNUE hybrid)
Software: Cutechess-CLI GUI
Time control: LC0: 10 sec + 0.1 sec , SF-dev: 10 sec + 0.1 sec @ 2 Threads, 16 MB Hash
Book: 8moves_v3.pgn (SF Regression book at LTC)
Tablebases: 6-men Synergy WDL with TB Adjudication
Adjudication: -draw movenumber=50 movecount=4 score=4 -resign movecount=4 score=800
Ordo: ordo-win64.exe -Q -N "1,1" -D -a 0 -A "Stockfish Dev 2T" -W -n4 -s5000 -p games.pgn -U "0,1,2,3,4,5,6,7,8,9,10" -o rating.txt
Comment: Around 76 Elo since 2850 at 10 sec + 0.1 sec @ RTX 2080.

Код:

# PLAYER              :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)
   1 Lc0 Jh-260       :    84.3   18.9   308.0     500  61.6     100  153  310   37  62.0
   2 Lc0 42850         :     8.6   17.8   256.0     500  51.2      83   99  314   87  62.8
   3 Stockfish Dev 2T :     0.0   ----   436.0    1000  43.6     ---  124  624  252  62.4

White advantage = 46.40 +/- 6.71
Draw rate (equal opponents) = 66.46 % +/- 1.62

games

Владимир001 · 15.10.2020, 21:36

Match: gauntlet of SF Dev 20092822 4CPU vs Lc0 J92-260/240/220/210/190 (SuFi19 MLH) + Cfish NNUE + SF11
Lc0-version: v0.26.2 + v0.26.3 (J92-260/250)
Lc0-options : -Backend=cudnn -NNCacheSize=2000000 -MaxOutOfOrderEvalsFactor=2.4 -MaxCollisionEvents=256 -TwoFoldDraws=true
MLH-settings S19 SuFi: -MovesLeftMaxEffect=0.2 -MovesLeftSlope=0.004 -MovesLeftThreshold=0.0 -MovesQuadraticFactor=0.0 -MovesScaledFactor=1.0
SF-version: Stockfish 20092822 x64 bmi2 (date: 28.09.2020)
SF/Cfish-options: threads=4 hash=2048 MB, contempt=24, NNUE=true, net=nn-baeb9ef2d183.nnue (default)
Time control: 5min + 5s
Hardware: notebook with mobile i7-7700HQ 4x2.8GHz (8 threads with HT on), mobile Geforce GTX 1050 TI 4GB
Book: Balsa_Special.pgn, 10 plies, sequentially, colors reversed
Tablebases: Syzygy 5-men on SSD
Speed: J92: 961 nps, SF Dev NNUE 4CPU: 3680k nps
Adjudication: Draw at 50 moves rule, 3-fold repetition, after 200 moves, at 50 moves with eval = 0.00 ; 5-men Gaviota tablebase adjudication
Software: Arena 3.5.1, ponder = off
Elo rating: Ordo 1.2.6
Comments: J92-260 added. The table includes the ERET test results (60s time limit).

Код:

 # PLAYER                        :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)  ERET test
   1 Cfish-NNUE 071020_4CPU        :     7.1   20.2    51.0     100  51.0      75    2   98    0  98.0  96/111
   2 Stockfish_20092822_4CPU       :     0.0   ----   406.0     700  58.0     100  119  574    7  82.0  95/111
   3 Lc0.net.JH.J92-260_MLH-SuFi19 :   -49.8   24.8    43.0     100  43.0      58    1   84   15  84.0  81/111    <= NEW
   4 Lc0.net.JH.J92-210_MLH-SuFi19 :   -53.4   24.8    42.5     100  42.5      77    1   83   16  83.0  81/111
   5 Lc0.net.JH.J92-220_MLH-SuFi19 :   -67.9   28.5    40.5     100  40.5      57    2   77   21  77.0  79/111
   6 Lc0.net.JH.J92-190_MLH-SuFi19 :   -71.6   28.6    40.0     100  40.0      57    1   78   21  78.0  79/111
   7 Lc0.net.JH.J92-240_MLH-SuFi19 :   -75.3   28.5    39.5     100  39.5      76    0   79   21  79.0  80/111
   8 Stockfish_11_4CPU             :   -90.2   32.2    37.5     100  37.5     ---    0   75   25  75.0  91/111

https://pixeldrain.com/u/z7DyVAoB

Владимир001 · 15.10.2020, 21:38

Match: J92-270 vs stockfish 12 in fixed nodes
LC0 version: 0.26.2, built with cuda11 + cudnn7
LC0 options: cudnn-fp16, 1 thread, default for the rest
SF options: 1 thread, 1GB Hash.
Time control: Leela: 1 kn/move, SF 12: 400Kn/move
Hardware: RTX 2070, i7-7700
Book: Balsa 2724 openings
Tablebases: 6-man TB for both.
Adjudication: 6-man TB, -draw movenumber=50 movecount=5 score=8 -resign movecount=5 score=1000
Software:cutechess-cli
Comments: J92-270 got -1 elo, taking the first place of J92 nets. What a pity that it does not beat SF 12 in the end, despite beating it many times during the long test.

Код:

 # PLAYER                :  RATING  ERROR   POINTS  PLAYED   (%)  CFS(%)      W      D     L
-  1 Stockfish_12.400k     :       0   ----  27736.5   54480  50.9      56  10900  33673  9907
+  2 lc0.net.J92-270.1k    :      -1      6   2720.0    5448  49.9      69   1063   3314  1071
   3 lc0.net.J92-260.1k    :      -3      6   2703.0    5448  49.6      59   1004   3398  1046
   4 lc0.net.J92-190.1k    :      -4      6   2696.0    5448  49.5      54    996   3400  1052
   5 lc0.net.J92-250.1k    :      -4      6   2693.0    5448  49.4      61   1015   3356  1077
   6 lc0.net.J92-230.1k    :      -5      6   2684.0    5448  49.3      52    980   3408  1060
   7 lc0.net.J92-210.1k    :      -5      6   2682.5    5448  49.2      58   1003   3359  1086
   8 lc0.net.J92-180.1k    :      -6      6   2676.5    5448  49.1      74    992   3369  1087
   9 lc0.net.J92-220.1k    :      -9      6   2656.0    5448  48.8      76    978   3356  1114
  10 lc0.net.J92-205.1k    :     -12      6   2633.0    5448  48.3      84    966   3334  1148
  11 lc0.net.J92-100.1k    :     -16      6   2599.5    5448  47.7     ---    910   3379  1159

https://pixeldrain.com/u/VJvLtRiH

Jeweller · 16.10.2020, 13:16

Развернуть для просмотра

Цитата: Сообщение от Переяслав

Тест 12 vs 11 на 7 контролях с двукратным увеличением (по 1000 партий для каждого).

По оси X - временной контроль
По оси Y - победы 12-го, ничьи и разница в ЭЛО

Четко прослеживается компрессия ЭЛО с увеличением времени - больше ничьих и меньше побед 12-го.

Таблицы для каждого матча:

Код:

3.75+0.038

Result:
----------------------------------------------------------------------------------
  #  name                  games    wins   draws  losses   score    los%  elo+/-
  1. Stockfish 12           1000     598     308      94   752.0   100.0   192.7
  2. Stockfish 11 64 BMI2   1000      94     308     598   248.0     0.0  -192.7

Tech:
----------------------------------------------------------------------------------

Tech (average nodes, depths, time/m per move, others per game):
  #  name                    nodes/m         NPS  depth/m   time/m    moves     time
  1. Stockfish 12                68K      682340     13.9      0.1     55.7      5.5
  2. Stockfish 11 64 BMI2        95K      957325     13.5      0.1     56.0      5.6
====================================================================================

7.5+0.075

Result:
----------------------------------------------------------------------------------
  #  name                  games    wins   draws  losses   score    los%  elo+/-
  1. Stockfish 12           1000     574     367      59   757.5   100.0   197.9
  2. Stockfish 11 64 BMI2   1000      59     367     574   242.5     0.0  -197.9

Tech:
----------------------------------------------------------------------------------

Tech (average nodes, depths, time/m per move, others per game):
  #  name                    nodes/m         NPS  depth/m   time/m    moves     time   #fails
  1. Stockfish 12               132K      675599     15.6      0.2     56.7     11.1        1
  2. Stockfish 11 64 BMI2       188K      948198     15.2      0.2     57.0     11.3         
====================================================================================

15+0.15

Result:
----------------------------------------------------------------------------------
  #  name                  games    wins   draws  losses   score    los%  elo+/-
  1. Stockfish 12           1000     559     390      51   754.0   100.0   194.6
  2. Stockfish 11 64 BMI2   1000      51     390     559   246.0     0.0  -194.6

Tech:
----------------------------------------------------------------------------------

Tech (average nodes, depths, time/m per move, others per game):
  #  name                    nodes/m         NPS  depth/m   time/m    moves     time
  1. Stockfish 12               259K      670957     17.3      0.4     57.5     22.2
  2. Stockfish 11 64 BMI2       370K      940154     16.9      0.4     57.8     22.8
====================================================================================	
30+0.30
 
Result:
----------------------------------------------------------------------------------
  #  name                  games    wins   draws  losses   score    los%  elo+/-
  1. Stockfish 12           1000     510     445      45   732.5   100.0   175.0
  2. Stockfish 11 64 BMI2   1000      45     445     510   267.5     0.0  -175.0

Tech:
----------------------------------------------------------------------------------

Tech (average nodes, depths, time/m per move, others per game):
  #  name                    nodes/m         NPS  depth/m   time/m    moves     time
  1. Stockfish 12               514K      680485     19.6      0.8     58.5     44.1
  2. Stockfish 11 64 BMI2       732K      946305     19.2      0.8     58.7     45.4
====================================================================================
60+0.60
	 
Result:
----------------------------------------------------------------------------------
  #  name                  games    wins   draws  losses   score    los%  elo+/-
  1. Stockfish 12           1000     484     479      37   723.5   100.0   167.1
  2. Stockfish 11 64 BMI2   1000      37     479     484   276.5     0.0  -167.1

Tech:
----------------------------------------------------------------------------------

Tech (average nodes, depths, time/m per move, others per game):
  #  name                    nodes/m         NPS  depth/m   time/m    moves     time
  1. Stockfish 12              1031K      690146     22.0      1.5     58.9     88.0
  2. Stockfish 11 64 BMI2      1449K      944570     21.5      1.5     59.1     90.7
====================================================================================
120+1.2

Result:
----------------------------------------------------------------------------------
  #  name                  games    wins   draws  losses   score    los%  elo+/-
  1. Stockfish 12           1000     469     503      28   720.5   100.0   164.5
  2. Stockfish 11 64 BMI2   1000      28     503     469   279.5     0.0  -164.5

Tech:
----------------------------------------------------------------------------------

Tech (average nodes, depths, time/m per move, others per game):
  #  name                    nodes/m         NPS  depth/m   time/m    moves     time
  1. Stockfish 12              2038K      685252     24.1      3.0     58.4    173.5
  2. Stockfish 11 64 BMI2      2835K      927491     23.5      3.1     58.6    179.0
====================================================================================
240+2.4

Result:
----------------------------------------------------------------------------------
  #  name                  games    wins   draws  losses   score    los%  elo+/-
  1. Stockfish 12           1000     407     567      26   690.5   100.0   139.4
  2. Stockfish 11 64 BMI2   1000      26     567     407   309.5     0.0  -139.4

Tech:
----------------------------------------------------------------------------------

Tech (average nodes, depths, time/m per move, others per game):
  #  name                    nodes/m         NPS  depth/m   time/m    moves     time
  1. Stockfish 12              3624K      614800     26.3      5.9     58.7    346.1
  2. Stockfish 11 64 BMI2      4963K      823116     25.7      6.0     58.9    355.2

[свернуть]

из теста Переяслава (под спойлером) получаем примерный коэффициент для грубой оценки компрессии эло при удвоении контроля ~0,94

в частности, можно грубо оценить компрессию при переходе с контроля фиштеста 60s+0,6s на контроль TCEC-19 120m+10s - разница в силе уменьшается в 1,45 раза

Переяслав · 16.10.2020, 13:25

Компрессия очевидно не линейная, т.е. при увеличении контроля еще больше - сжатие будет еще больше?

Jeweller · 16.10.2020, 13:44

Цитата: Сообщение от Переяслав

Компрессия очевидно не линейная, т.е. при увеличении контроля еще больше - сжатие будет еще больше?

при слишком коротких контролях может творится вообще что угодно, поэтому самый короткий контроль в Вашем тесте учел с половинным весом
а дальше, при вменяемых контролях, по экспоненте хорошо идет, коэф сжатия должен оставаться постоянным (не расти)

были еще тесты на этот счет, не могу вспомнить где видел, с их учетом можно было бы уточнить коэф

Jeweller · 16.10.2020, 14:24

нашел - Doubling of time control
и еще там есть с удвоением числа ядер

так что можно будет уточнить коэф компрессии

Переяслав · 16.10.2020, 14:33

Цитата: Сообщение от Jeweller

нашел - Doubling of time control
и еще там есть с удвоением числа ядер

так что можно будет уточнить коэф компрессии

http://www.talkchess.com/forum3/view...hp?f=2&t=74306

тут посвежее движки

Rom77 · 16.10.2020, 14:34

Цитата: Сообщение от Jeweller

и еще там есть с удвоением числа ядер

С удвоением числа ядер поновее здесь:
http://talkchess.com/forum3/viewtopi...=74188#p847345
http://talkchess.com/forum3/viewtopi...=74306#p848868

И ещё, вы вроде бы спрашивали про влияние параметров оценочной функции (здесь каждый параметр по отдельности, но все же):
https://github.com/glinscott/fishtes...aluation-terms

Переяслав · 16.10.2020, 14:35

Код:

Result:
----------------------------------------------------------------------------------
  #  name                  games    wins   draws  losses   score    los%  elo+/-
  1. BrainLearn 12           200      11     181       8   101.5    75.4     5.2
  2. Cfish 051020 64 BMI2    200       8     181      11    98.5    24.6    -5.2

Tech:
----------------------------------------------------------------------------------

Tech (average nodes, depths, time/m per move, others per game), counted for computing moves only, ignored moves with zero nodes:
  #  name                    nodes/m         NPS  depth/m   time/m    moves     time
  1. BrainLearn 12             2920K      989042     27.4      3.0     45.0    132.9
  2. Cfish 051020 64 BMI2      3349K     1129711     27.9      3.0     45.0    133.4

LTC=2'+1"
Threads=20
Hert500.pgn

Интересный двиг как-то выпал из моего поля зрения.
Пока это первый, кто выиграло у сифиша в матче из неменне чем из 200 партий. Еще и контроль приличный дал.

Играл с опцией Self Q-learning=true

Владимир001 · 16.10.2020, 21:42

CorChess 111020 NNUE wins JCER Test new engines, 2020.10.13 - 2020.10.15

Temp 3' + 3" 306 games GUI-Fritz 17

Переяслав · 17.10.2020, 18:25

TC=1'+1"

ALEKS · 17.10.2020, 19:57

Цитата: Сообщение от Переяслав

TC=1'+1"

ALEKS · 17.10.2020, 19:58

Владимир001 · 18.10.2020, 13:20

Fisherov 0.93c NNUE wins JCER 4 League edition 38, 2020.10.15 - 2020.10.17

Temp 3' + 3" 180 games GUI-Fritz 17

Promotion: Fisherov 0.93c NNUE, Lc0 0.26.3.
Releagtion: ChessBrainVB 3.74
End of league testing: Rodent IV 0.30

Переяслав · 18.10.2020, 15:21

Match: BrainLearn 12.1 vs Cfish 181020
Binaries: BrainLearn12.1-x86-64-bmi2.exe vs Cfish_x64_181020_E_BMI2_no_NUMA.exe
Hash: 128MB
Threads: 1, concurrency=40
Hardware: 2x Intel(R) Xeon(R) CPU E5-2678v3 @ 2.80GHz
Time control: 2 mins + 1 sec
Book: Noomen4-moveTestsuite_2000.pgn
Tablebases: 6-men Syzygy for GUI adjud.
Adjudication: draw (60 ply, plycount=10, score=0.09), resign (movecount=2, score=9.99)
Software: Banksia GUI 0.37

Код:

Result:
----------------------------------------------------------------------------------
  #  name                  games    wins   draws  losses   score    los%  elo+/-
  1. Cfish 181020 64 BMI2   1000      60     902      38   511.0    98.7     7.6
  2. BrainLearn 12.1        1000      38     902      60   489.0     1.3    -7.6

Tech:
----------------------------------------------------------------------------------

Tech (average nodes, depths, time/m per move, others per game), counted for computing moves only, ignored moves with zero nodes:
  #  name                    nodes/m         NPS  depth/m   time/m    moves     time
  1. Cfish 181020 64 BMI2      2222K      772886     26.4      2.9     47.7    137.2
  2. BrainLearn 12.1           1906K      660736     25.8      2.9     47.7    137.6

Сифиш взял реванш!

Владимир001 · 18.10.2020, 20:36

First Test chess engine Drofa 1.31, 2020.10.17-18

Temp 3' + 3" 100 games

Переяслав · 19.10.2020, 18:58

Тестирование опций Сифиша

Код:

Rank Name                               Elo  Games    Wins  Losses   Draws   Points   Score   Draw 
   0 CF_EXT 181020                      36   6000    1181     568    4251   3306.5   55.1%   70.9% 
   1 CF_EXT 181020 LazyThreshold=false  2    1000     135     128     737    503.5   50.3%   73.7% 
   2 CF_EXT 181020 Razoring=false       2    1000     127     121     752    503.0   50.3%   75.2% 
   3 CF_EXT 181020 ProbCut=false       -7    1000     104     123     773    490.5   49.0%   77.3% 
   4 CF_EXT 181020 Futility=false      -30   1000     100     185     715    457.5   45.8%   71.5% 
   5 CF_EXT 181020 NullMove=false      -60   1000      64     234     702    415.0   41.5%   70.2% 
   6 CF_EXT 181020 LMR=false           -128  1000      38     390     572    324.0   32.4%   57.2% 

6000 of 6000 games finished.

TC=40/10"+0.1"

Интересно если отключить одновременно LazyThreshold и Razoring...
Проверим

Владимир001 · 19.10.2020, 19:11

Fritz 17 wins 6 League JCER edition 38, 2020.10.17-18

Temp 3' + 3" 180 games GUI-Fritz 17
Promotion: Fritz 17 and Excalibur 1.0.
Relegation: Kohai 1.1 and Counter 3.5.

Переяслав · 19.10.2020, 19:21

Цитата: Сообщение от Переяслав

Интересно если отключить одновременно LazyThreshold и Razoring...
Проверим

Код:

Score of CF_EXT 181020 vs CF_EXT 181020 LT+Rz=false: +103 -117 =780 [0.493]
...      CF_EXT 181020 playing White: 74 - 33 - 393  [0.541] 500
...      CF_EXT 181020 playing Black: 29 - 84 - 387  [0.445] 500
...      White vs Black: 158 - 62 - 780  [0.548] 1000
Elo difference: -4.9 +/- 10.1, LOS: 17.3 %, DrawRatio: 78.0 %
1000 of 1000 games finished.

Еще немного наварили

Переяслав · 19.10.2020, 20:54

Код:

Score of CF_EXT 181020 vs CF_EXT 181020 LT+Rz=false: 82 - 69 - 849 [0.506]
...      CF_EXT 181020 playing White: 61 - 12 - 427  [0.549] 500
...      CF_EXT 181020 playing Black: 21 - 57 - 422  [0.464] 500
...      White vs Black: 118 - 33 - 849  [0.542] 1000
Elo difference: 4.5 +/- 8.4, LOS: 85.5 %, DrawRatio: 84.9 %

60+0.6 не прошел

Владимир001 · 19.10.2020, 22:09

38th edition of the JCER chess engine league - final results

League 1 - 6 (TOP-64 Chess Engines League), GUI - Fritz 17
Qualifying for the League - 7 groups, GUI-Arena.

Temp: 3' + 3"

10.10.2020, 15:59	#541
Владимир001 Эксперт Регистрация: 19.12.2019 Сообщений: 7,484 Сказал(а) спасибо: 4,655 Поблагодарили 12,178 раз(а) в 5,475 сообщениях Репутация: 259	Re: Разные матчи и турниры движков Zeus 10.2 NNUE wins JCER CUP 2020 Group 4, 2020.10.01-08 Temp 60' + 10" 90 games GUI-Fritz 17 Promotion to the semi-finals: Zeus 10.2 NNUE and Slowchess 2.3, Waiting room: Andscacs 0.95092.[/quote

11.10.2020, 15:55	#542
Владимир001 Эксперт Регистрация: 19.12.2019 Сообщений: 7,484 Сказал(а) спасибо: 4,655 Поблагодарили 12,178 раз(а) в 5,475 сообщениях Репутация: 259	Re: Разные матчи и турниры движков First Test chess engine Supernova 2.0, 2020.10.10-11 Temp 3' + 3" 100 games

11.10.2020, 21:06	#543
Владимир001 Эксперт Регистрация: 19.12.2019 Сообщений: 7,484 Сказал(а) спасибо: 4,655 Поблагодарили 12,178 раз(а) в 5,475 сообщениях Репутация: 259	Re: Разные матчи и турниры движков Cfish 071020 NNUE wins JCER - Test new engines, 2020.10.09 - 2020.10.11 Temp 3' + 3" 240 games GUI-Fritz 17

12.10.2020, 21:21	#544
Владимир001 Эксперт Регистрация: 19.12.2019 Сообщений: 7,484 Сказал(а) спасибо: 4,655 Поблагодарили 12,178 раз(а) в 5,475 сообщениях Репутация: 259	Re: Разные матчи и турниры движков First Test chess engine Achillees 1.01, 2020.10.11-12 Temp 3' + 3" 100 games

13.10.2020, 20:17	#545
Владимир001 Эксперт Регистрация: 19.12.2019 Сообщений: 7,484 Сказал(а) спасибо: 4,655 Поблагодарили 12,178 раз(а) в 5,475 сообщениях Репутация: 259	Re: Разные матчи и турниры движков Protector 1.9.0 wins 4 League JCER edition 38, 2020.10.11 - 2020.10.13 Temp 3' + 3" 180 games GUI-Fritz 17

14.10.2020, 00:28	#546
Владимир001 Эксперт Регистрация: 19.12.2019 Сообщений: 7,484 Сказал(а) спасибо: 4,655 Поблагодарили 12,178 раз(а) в 5,475 сообщениях Репутация: 259	Re: Разные матчи и турниры движков First Test chess engine BBC 1.2, 2020.10.12-13 Temp 3' + 3" 100 games

15.10.2020, 21:10	#547
Владимир001 Эксперт Регистрация: 19.12.2019 Сообщений: 7,484 Сказал(а) спасибо: 4,655 Поблагодарили 12,178 раз(а) в 5,475 сообщениях Репутация: 259	Re: Разные матчи и турниры движков 4_Way_Alt_SuFi_19__SuFI_18_Book 4_Way_Alt_SuFi_19__SuFI_18_Book_Wins_only

15.10.2020, 21:15	#548
Владимир001 Эксперт Регистрация: 19.12.2019 Сообщений: 7,484 Сказал(а) спасибо: 4,655 Поблагодарили 12,178 раз(а) в 5,475 сообщениях Репутация: 259	Re: Разные матчи и турниры движков Match: Cfish Dev Hybrid vs Pure Fixed 10 million nodes per move Match. Tournament: Gauntlet Binaries: Cfish.exe (Dev) Engine Options: For Cfish Dev Hybrid = Default \| For Cfish Dev Pure = Pure instead of Hybrid in engine config. Hardware: AMD Ryzen 3700X Time control: Fixed 10 Million nodes per move. Book: 8moves_v3.pgn Tablebases: None Adjudication: +-8 Win Software: Cutechess-Cli GUI Comments: Despite 10 Million nodes per move (for both hybrid & pure), difference is around 10 elo, this tests proves that hybrid is superior compared to pure. Earlier scaling tests at 10+0.1, 20+0.2, 40+0.4, 80+0.8 & 300+3 proved hybrid to be between 10-15 elo better than pure. Fixed 10 million nodes per move corroborates this scaling trend further . Код: # PLAYER : RATING ERROR POINTS PLAYED (%) CFS(%) W D L D(%) 1 Cfish Hybrid : 11.3 3.2 2580.5 5000 51.6 100 354 4453 193 89.1 2 Cfish Pure : 0.0 ---- 2419.5 5000 48.4 --- 193 4453 354 89.1 White advantage = 22.41 +/- 1.62 Draw rate (equal opponents) = 91.32 % +/- 0.45 https://pixeldrain.com/u/4jp8mENB

15.10.2020, 21:29	#549
Владимир001 Эксперт Регистрация: 19.12.2019 Сообщений: 7,484 Сказал(а) спасибо: 4,655 Поблагодарили 12,178 раз(а) в 5,475 сообщениях Репутация: 259	Re: Разные матчи и турниры движков Hardware: i7-8770K CPU @ 3.70GHz, 6 cores (12 Threads), 32GB, Gpu - RTX 2080 Gauntlet: SF-dev vs. LC0 30x384 net & LC0 20x256 net Network IDs: Lc0 J92-260, Lc0 42850 (TCEC) LC0-version: v0.26.3 (Around 50% faster than Lc0 26.2 with ancient drivers) SF-version: SF-dev 5th Oct (NNUE hybrid) Software: Cutechess-CLI GUI Time control: LC0: 10 sec + 0.1 sec , SF-dev: 10 sec + 0.1 sec @ 2 Threads, 16 MB Hash Book: 8moves_v3.pgn (SF Regression book at LTC) Tablebases: 6-men Synergy WDL with TB Adjudication Adjudication: -draw movenumber=50 movecount=4 score=4 -resign movecount=4 score=800 Ordo: ordo-win64.exe -Q -N "1,1" -D -a 0 -A "Stockfish Dev 2T" -W -n4 -s5000 -p games.pgn -U "0,1,2,3,4,5,6,7,8,9,10" -o rating.txt Comment: Around 76 Elo since 2850 at 10 sec + 0.1 sec @ RTX 2080. Код: # PLAYER : RATING ERROR POINTS PLAYED (%) CFS(%) W D L D(%) 1 Lc0 Jh-260 : 84.3 18.9 308.0 500 61.6 100 153 310 37 62.0 2 Lc0 42850 : 8.6 17.8 256.0 500 51.2 83 99 314 87 62.8 3 Stockfish Dev 2T : 0.0 ---- 436.0 1000 43.6 --- 124 624 252 62.4 White advantage = 46.40 +/- 6.71 Draw rate (equal opponents) = 66.46 % +/- 1.62 games

15.10.2020, 21:36	#550
Владимир001 Эксперт Регистрация: 19.12.2019 Сообщений: 7,484 Сказал(а) спасибо: 4,655 Поблагодарили 12,178 раз(а) в 5,475 сообщениях Репутация: 259	Re: Разные матчи и турниры движков Match: gauntlet of SF Dev 20092822 4CPU vs Lc0 J92-260/240/220/210/190 (SuFi19 MLH) + Cfish NNUE + SF11 Lc0-version: v0.26.2 + v0.26.3 (J92-260/250) Lc0-options : -Backend=cudnn -NNCacheSize=2000000 -MaxOutOfOrderEvalsFactor=2.4 -MaxCollisionEvents=256 -TwoFoldDraws=true MLH-settings S19 SuFi: -MovesLeftMaxEffect=0.2 -MovesLeftSlope=0.004 -MovesLeftThreshold=0.0 -MovesQuadraticFactor=0.0 -MovesScaledFactor=1.0 SF-version: Stockfish 20092822 x64 bmi2 (date: 28.09.2020) SF/Cfish-options: threads=4 hash=2048 MB, contempt=24, NNUE=true, net=nn-baeb9ef2d183.nnue (default) Time control: 5min + 5s Hardware: notebook with mobile i7-7700HQ 4x2.8GHz (8 threads with HT on), mobile Geforce GTX 1050 TI 4GB Book: Balsa_Special.pgn, 10 plies, sequentially, colors reversed Tablebases: Syzygy 5-men on SSD Speed: J92: 961 nps, SF Dev NNUE 4CPU: 3680k nps Adjudication: Draw at 50 moves rule, 3-fold repetition, after 200 moves, at 50 moves with eval = 0.00 ; 5-men Gaviota tablebase adjudication Software: Arena 3.5.1, ponder = off Elo rating: Ordo 1.2.6 Comments: J92-260 added. The table includes the ERET test results (60s time limit). Код: # PLAYER : RATING ERROR POINTS PLAYED (%) CFS(%) W D L D(%) ERET test 1 Cfish-NNUE 071020_4CPU : 7.1 20.2 51.0 100 51.0 75 2 98 0 98.0 96/111 2 Stockfish_20092822_4CPU : 0.0 ---- 406.0 700 58.0 100 119 574 7 82.0 95/111 3 Lc0.net.JH.J92-260_MLH-SuFi19 : -49.8 24.8 43.0 100 43.0 58 1 84 15 84.0 81/111 <= NEW 4 Lc0.net.JH.J92-210_MLH-SuFi19 : -53.4 24.8 42.5 100 42.5 77 1 83 16 83.0 81/111 5 Lc0.net.JH.J92-220_MLH-SuFi19 : -67.9 28.5 40.5 100 40.5 57 2 77 21 77.0 79/111 6 Lc0.net.JH.J92-190_MLH-SuFi19 : -71.6 28.6 40.0 100 40.0 57 1 78 21 78.0 79/111 7 Lc0.net.JH.J92-240_MLH-SuFi19 : -75.3 28.5 39.5 100 39.5 76 0 79 21 79.0 80/111 8 Stockfish_11_4CPU : -90.2 32.2 37.5 100 37.5 --- 0 75 25 75.0 91/111 https://pixeldrain.com/u/z7DyVAoB

15.10.2020, 21:38	#551
Владимир001 Эксперт Регистрация: 19.12.2019 Сообщений: 7,484 Сказал(а) спасибо: 4,655 Поблагодарили 12,178 раз(а) в 5,475 сообщениях Репутация: 259	Re: Разные матчи и турниры движков Match: J92-270 vs stockfish 12 in fixed nodes LC0 version: 0.26.2, built with cuda11 + cudnn7 LC0 options: cudnn-fp16, 1 thread, default for the rest SF options: 1 thread, 1GB Hash. Time control: Leela: 1 kn/move, SF 12: 400Kn/move Hardware: RTX 2070, i7-7700 Book: Balsa 2724 openings Tablebases: 6-man TB for both. Adjudication: 6-man TB, -draw movenumber=50 movecount=5 score=8 -resign movecount=5 score=1000 Software:cutechess-cli Comments: J92-270 got -1 elo, taking the first place of J92 nets. What a pity that it does not beat SF 12 in the end, despite beating it many times during the long test. Код: # PLAYER : RATING ERROR POINTS PLAYED (%) CFS(%) W D L - 1 Stockfish_12.400k : 0 ---- 27736.5 54480 50.9 56 10900 33673 9907 + 2 lc0.net.J92-270.1k : -1 6 2720.0 5448 49.9 69 1063 3314 1071 3 lc0.net.J92-260.1k : -3 6 2703.0 5448 49.6 59 1004 3398 1046 4 lc0.net.J92-190.1k : -4 6 2696.0 5448 49.5 54 996 3400 1052 5 lc0.net.J92-250.1k : -4 6 2693.0 5448 49.4 61 1015 3356 1077 6 lc0.net.J92-230.1k : -5 6 2684.0 5448 49.3 52 980 3408 1060 7 lc0.net.J92-210.1k : -5 6 2682.5 5448 49.2 58 1003 3359 1086 8 lc0.net.J92-180.1k : -6 6 2676.5 5448 49.1 74 992 3369 1087 9 lc0.net.J92-220.1k : -9 6 2656.0 5448 48.8 76 978 3356 1114 10 lc0.net.J92-205.1k : -12 6 2633.0 5448 48.3 84 966 3334 1148 11 lc0.net.J92-100.1k : -16 6 2599.5 5448 47.7 --- 910 3379 1159 https://pixeldrain.com/u/VJvLtRiH

16.10.2020, 13:25	#553
Переяслав Гроссмейстер Регистрация: 12.07.2020 Сообщений: 1,784 Сказал(а) спасибо: 650 Поблагодарили 2,306 раз(а) в 1,004 сообщениях Записей в дневнике: 20 Репутация: 136	Re: Разные матчи и турниры движков Компрессия очевидно не линейная, т.е. при увеличении контроля еще больше - сжатие будет еще больше? __________________ PGN Spy - top tournaments

16.10.2020, 13:44	#554
Jeweller 2 разряд Регистрация: 24.01.2018 Сообщений: 351 Сказал(а) спасибо: 481 Поблагодарили 311 раз(а) в 153 сообщениях Репутация: 56	Re: Разные матчи и турниры движков Цитата: Сообщение от Переяслав Компрессия очевидно не линейная, т.е. при увеличении контроля еще больше - сжатие будет еще больше? при слишком коротких контролях может творится вообще что угодно, поэтому самый короткий контроль в Вашем тесте учел с половинным весом а дальше, при вменяемых контролях, по экспоненте хорошо идет, коэф сжатия должен оставаться постоянным (не расти) были еще тесты на этот счет, не могу вспомнить где видел, с их учетом можно было бы уточнить коэф

16.10.2020, 14:24	#555
Jeweller 2 разряд Регистрация: 24.01.2018 Сообщений: 351 Сказал(а) спасибо: 481 Поблагодарили 311 раз(а) в 153 сообщениях Репутация: 56	Re: Разные матчи и турниры движков нашел - Doubling of time control и еще там есть с удвоением числа ядер так что можно будет уточнить коэф компрессии

16.10.2020, 14:33	#556
Переяслав Гроссмейстер Регистрация: 12.07.2020 Сообщений: 1,784 Сказал(а) спасибо: 650 Поблагодарили 2,306 раз(а) в 1,004 сообщениях Записей в дневнике: 20 Репутация: 136	Re: Разные матчи и турниры движков Цитата: Сообщение от Jeweller нашел - Doubling of time control и еще там есть с удвоением числа ядер так что можно будет уточнить коэф компрессии http://www.talkchess.com/forum3/view...hp?f=2&t=74306 тут посвежее движки __________________ PGN Spy - top tournaments

16.10.2020, 14:34	#557
Rom77 Мастер Регистрация: 11.08.2017 Адрес: Киров Сообщений: 912 Сказал(а) спасибо: 888 Поблагодарили 1,197 раз(а) в 632 сообщениях Репутация: 132	Re: Разные матчи и турниры движков Цитата: Сообщение от Jeweller и еще там есть с удвоением числа ядер С удвоением числа ядер поновее здесь: http://talkchess.com/forum3/viewtopi...=74188#p847345 http://talkchess.com/forum3/viewtopi...=74306#p848868 И ещё, вы вроде бы спрашивали про влияние параметров оценочной функции (здесь каждый параметр по отдельности, но все же): https://github.com/glinscott/fishtes...aluation-terms

16.10.2020, 14:35	#558
Переяслав Гроссмейстер Регистрация: 12.07.2020 Сообщений: 1,784 Сказал(а) спасибо: 650 Поблагодарили 2,306 раз(а) в 1,004 сообщениях Записей в дневнике: 20 Репутация: 136	Re: Разные матчи и турниры движков Код: Result: ---------------------------------------------------------------------------------- # name games wins draws losses score los% elo+/- 1. BrainLearn 12 200 11 181 8 101.5 75.4 5.2 2. Cfish 051020 64 BMI2 200 8 181 11 98.5 24.6 -5.2 Tech: ---------------------------------------------------------------------------------- Tech (average nodes, depths, time/m per move, others per game), counted for computing moves only, ignored moves with zero nodes: # name nodes/m NPS depth/m time/m moves time 1. BrainLearn 12 2920K 989042 27.4 3.0 45.0 132.9 2. Cfish 051020 64 BMI2 3349K 1129711 27.9 3.0 45.0 133.4 LTC=2'+1" Threads=20 Hert500.pgn Интересный двиг как-то выпал из моего поля зрения. Пока это первый, кто выиграло у сифиша в матче из неменне чем из 200 партий. Еще и контроль приличный дал. Играл с опцией Self Q-learning=true __________________ PGN Spy - top tournaments

16.10.2020, 21:42	#559
Владимир001 Эксперт Регистрация: 19.12.2019 Сообщений: 7,484 Сказал(а) спасибо: 4,655 Поблагодарили 12,178 раз(а) в 5,475 сообщениях Репутация: 259	Re: Разные матчи и турниры движков CorChess 111020 NNUE wins JCER Test new engines, 2020.10.13 - 2020.10.15 Temp 3' + 3" 306 games GUI-Fritz 17

17.10.2020, 18:25	#560
Переяслав Гроссмейстер Регистрация: 12.07.2020 Сообщений: 1,784 Сказал(а) спасибо: 650 Поблагодарили 2,306 раз(а) в 1,004 сообщениях Записей в дневнике: 20 Репутация: 136	Re: Разные матчи и турниры движков TC=1'+1" __________________ PGN Spy - top tournaments

17.10.2020, 19:57	#561
ALEKS 3 разряд Регистрация: 02.07.2016 Сообщений: 180 Сказал(а) спасибо: 908 Поблагодарили 261 раз(а) в 128 сообщениях Репутация: 17	Re: Разные матчи и турниры движков Цитата: Сообщение от Переяслав TC=1'+1"

17.10.2020, 19:58	#562
ALEKS 3 разряд Регистрация: 02.07.2016 Сообщений: 180 Сказал(а) спасибо: 908 Поблагодарили 261 раз(а) в 128 сообщениях Репутация: 17	Re: Разные матчи и турниры движков

18.10.2020, 13:20	#563
Владимир001 Эксперт Регистрация: 19.12.2019 Сообщений: 7,484 Сказал(а) спасибо: 4,655 Поблагодарили 12,178 раз(а) в 5,475 сообщениях Репутация: 259	Re: Разные матчи и турниры движков Fisherov 0.93c NNUE wins JCER 4 League edition 38, 2020.10.15 - 2020.10.17 Temp 3' + 3" 180 games GUI-Fritz 17 Promotion: Fisherov 0.93c NNUE, Lc0 0.26.3. Releagtion: ChessBrainVB 3.74 End of league testing: Rodent IV 0.30

18.10.2020, 15:21	#564
Переяслав Гроссмейстер Регистрация: 12.07.2020 Сообщений: 1,784 Сказал(а) спасибо: 650 Поблагодарили 2,306 раз(а) в 1,004 сообщениях Записей в дневнике: 20 Репутация: 136	Re: Разные матчи и турниры движков Match: BrainLearn 12.1 vs Cfish 181020 Binaries: BrainLearn12.1-x86-64-bmi2.exe vs Cfish_x64_181020_E_BMI2_no_NUMA.exe Hash: 128MB Threads: 1, concurrency=40 Hardware: 2x Intel(R) Xeon(R) CPU E5-2678v3 @ 2.80GHz Time control: 2 mins + 1 sec Book: Noomen4-moveTestsuite_2000.pgn Tablebases: 6-men Syzygy for GUI adjud. Adjudication: draw (60 ply, plycount=10, score=0.09), resign (movecount=2, score=9.99) Software: Banksia GUI 0.37 Код: Result: ---------------------------------------------------------------------------------- # name games wins draws losses score los% elo+/- 1. Cfish 181020 64 BMI2 1000 60 902 38 511.0 98.7 7.6 2. BrainLearn 12.1 1000 38 902 60 489.0 1.3 -7.6 Tech: ---------------------------------------------------------------------------------- Tech (average nodes, depths, time/m per move, others per game), counted for computing moves only, ignored moves with zero nodes: # name nodes/m NPS depth/m time/m moves time 1. Cfish 181020 64 BMI2 2222K 772886 26.4 2.9 47.7 137.2 2. BrainLearn 12.1 1906K 660736 25.8 2.9 47.7 137.6 Сифиш взял реванш! __________________ PGN Spy - top tournaments

18.10.2020, 20:36	#565
Владимир001 Эксперт Регистрация: 19.12.2019 Сообщений: 7,484 Сказал(а) спасибо: 4,655 Поблагодарили 12,178 раз(а) в 5,475 сообщениях Репутация: 259	Re: Разные матчи и турниры движков First Test chess engine Drofa 1.31, 2020.10.17-18 Temp 3' + 3" 100 games

19.10.2020, 18:58	#566
Переяслав Гроссмейстер Регистрация: 12.07.2020 Сообщений: 1,784 Сказал(а) спасибо: 650 Поблагодарили 2,306 раз(а) в 1,004 сообщениях Записей в дневнике: 20 Репутация: 136	Re: Разные матчи и турниры движков Тестирование опций Сифиша Код: Rank Name Elo Games Wins Losses Draws Points Score Draw 0 CF_EXT 181020 36 6000 1181 568 4251 3306.5 55.1% 70.9% 1 CF_EXT 181020 LazyThreshold=false 2 1000 135 128 737 503.5 50.3% 73.7% 2 CF_EXT 181020 Razoring=false 2 1000 127 121 752 503.0 50.3% 75.2% 3 CF_EXT 181020 ProbCut=false -7 1000 104 123 773 490.5 49.0% 77.3% 4 CF_EXT 181020 Futility=false -30 1000 100 185 715 457.5 45.8% 71.5% 5 CF_EXT 181020 NullMove=false -60 1000 64 234 702 415.0 41.5% 70.2% 6 CF_EXT 181020 LMR=false -128 1000 38 390 572 324.0 32.4% 57.2% 6000 of 6000 games finished. TC=40/10"+0.1" Интересно если отключить одновременно LazyThreshold и Razoring... Проверим __________________ PGN Spy - top tournaments

19.10.2020, 19:11	#567
Владимир001 Эксперт Регистрация: 19.12.2019 Сообщений: 7,484 Сказал(а) спасибо: 4,655 Поблагодарили 12,178 раз(а) в 5,475 сообщениях Репутация: 259	Re: Разные матчи и турниры движков Fritz 17 wins 6 League JCER edition 38, 2020.10.17-18 Temp 3' + 3" 180 games GUI-Fritz 17 Promotion: Fritz 17 and Excalibur 1.0. Relegation: Kohai 1.1 and Counter 3.5.

19.10.2020, 19:21	#568
Переяслав Гроссмейстер Регистрация: 12.07.2020 Сообщений: 1,784 Сказал(а) спасибо: 650 Поблагодарили 2,306 раз(а) в 1,004 сообщениях Записей в дневнике: 20 Репутация: 136	Re: Разные матчи и турниры движков Цитата: Сообщение от Переяслав Интересно если отключить одновременно LazyThreshold и Razoring... Проверим Код: Score of CF_EXT 181020 vs CF_EXT 181020 LT+Rz=false: +103 -117 =780 [0.493] ... CF_EXT 181020 playing White: 74 - 33 - 393 [0.541] 500 ... CF_EXT 181020 playing Black: 29 - 84 - 387 [0.445] 500 ... White vs Black: 158 - 62 - 780 [0.548] 1000 Elo difference: -4.9 +/- 10.1, LOS: 17.3 %, DrawRatio: 78.0 % 1000 of 1000 games finished. Еще немного наварили __________________ PGN Spy - top tournaments

19.10.2020, 20:54	#569
Переяслав Гроссмейстер Регистрация: 12.07.2020 Сообщений: 1,784 Сказал(а) спасибо: 650 Поблагодарили 2,306 раз(а) в 1,004 сообщениях Записей в дневнике: 20 Репутация: 136	Re: Разные матчи и турниры движков Код: Score of CF_EXT 181020 vs CF_EXT 181020 LT+Rz=false: 82 - 69 - 849 [0.506] ... CF_EXT 181020 playing White: 61 - 12 - 427 [0.549] 500 ... CF_EXT 181020 playing Black: 21 - 57 - 422 [0.464] 500 ... White vs Black: 118 - 33 - 849 [0.542] 1000 Elo difference: 4.5 +/- 8.4, LOS: 85.5 %, DrawRatio: 84.9 % 60+0.6 не прошел __________________ PGN Spy - top tournaments

19.10.2020, 22:09	#570
Владимир001 Эксперт Регистрация: 19.12.2019 Сообщений: 7,484 Сказал(а) спасибо: 4,655 Поблагодарили 12,178 раз(а) в 5,475 сообщениях Репутация: 259	Re: Разные матчи и турниры движков 38th edition of the JCER chess engine league - final results League 1 - 6 (TOP-64 Chess Engines League), GUI - Fritz 17 Qualifying for the League - 7 groups, GUI-Arena. Temp: 3' + 3"

Здесь присутствуют: 5 (пользователей: 0 , гостей: 5)