Forchess - форум о заочных шахматах  

Вернуться   Forchess - форум о заочных шахматах > Заочные турниры и партии > Шахматные программы и движки > Турниры и сборки движков

Ответ
 
Опции темы Опции просмотра
Старый 11.04.2021, 13:49   #1291
Владимир001
Эксперт
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 7,484
Сказал(а) спасибо: 4,655
Поблагодарили 12,178 раз(а) в 5,475 сообщениях
Репутация: 259
По умолчанию Re: Разные матчи и турниры движков

Ongoing (10x128) policy head championship results:
openingbook: jhorthos "book-ply8-unifen-Q-0.40-1.0" (each player plays each opening as both colors )
time controls: 1npm
version: 0.27.0
hardware: irrelevant

Код:
# PLAYER                                                     :  RATING  ERROR  POINTS  PLAYED   (DRAW%)
   1 lc0.v27.0.703810.10x128                                  :       0     --      7693.0    15026    51.2
   2 lc0.v27.0.T59.591226.10x128                         :      -1      7       7670.0    15026    51.0
   3 lc0.v27.0.T60.jh.j104.1-30.10x128                 :      -1      6       7666.0    15024    51.0
   4 lc0.v27.0.T60.sv.2990.10x128                       :     -25     7      7021.0     15024    46.7

White advantage = 86.37 +/- 1.99
Draw rate (equal opponents) = 15.54 % +/- 0.22
https://pixeldrain.com/u/8AHidMrg
Владимир001 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Viktor (11.04.2021), Виталий В. (12.04.2021)
Старый 11.04.2021, 13:52   #1292
Владимир001
Эксперт
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 7,484
Сказал(а) спасибо: 4,655
Поблагодарили 12,178 раз(а) в 5,475 сообщениях
Репутация: 259
По умолчанию Re: Разные матчи и турниры движков

Hardware: i5-8400 CPU @ 2.80GHz, 6 cores, 32GB, gpu RTX 2060, 6GB
Gauntlet: SF-dev vs. LC0 384x30b nets
Network IDs: J94-100, 67646, 67831, 67892, 67925, 67971, 67996, 68059, 68112, 68169, 68207, 68242, 68285, 68326, 68363, 68405, 68446
LC0-version: v0.27.0
LC0-options: minibatch-size=90
SF-version: SF-dev 20120516
SF-options: 4 Threads, 512MB Hash
Software: Cutechess-CLI
Time control: LC0: 1,500 nodes/move, SF-dev: 500,000 nodes/move
Book: Chad's 8-ply book with 10000 positions, order=sequential
Tablebases: 6-men
Adjudication: -draw movenumber=50 movecount=5 score=8 -resign movecount=5 score=1000
Ordo: -a 0 -A "Stockfish.dev" -W -D -U "0,1,2,3,4,5,6,7,8,9,10" -s 2000 -n 1
Comment:

Код:
# PLAYER             :  RATING  ERROR    POINTS  PLAYED   (%)  CFS(%)      W       D      L  D(%)
-  1 lc0.net.J94-100    :    29.4    3.0   10817.5   20000    54      51   4562   12511   2927    63
   2 lc0.net.68405      :    29.4    3.0   10815.5   20000    54      64   4698   12235   3067    61
   3 lc0.net.68285      :    28.6    3.0   10793.5   20000    54      52   4644   12299   3057    61
   4 lc0.net.67892      :    28.4    3.0   10790.0   20000    54      58   4646   12288   3066    61
+  5 lc0.net.68446      :    28.0    3.0   10778.5   20000    54      62   4666   12225   3109    61
   6 lc0.net.67646      :    27.3    3.0   10759.5   20000    54      63   4589   12341   3070    62
   7 lc0.net.68326      :    26.7    3.0   10740.5   20000    54      50   4593   12295   3112    61
   8 lc0.net.68242      :    26.7    2.9   10740.5   20000    54      50   4573   12335   3092    62
   9 lc0.net.68207      :    26.6    2.9   10740.0   20000    54      51   4615   12250   3135    61
  10 lc0.net.67831      :    26.6    3.1   10738.0   20000    54      56   4601   12274   3125    61
  11 lc0.net.68169      :    26.2    3.0   10729.0   20000    54      62   4554   12350   3096    62
  12 lc0.net.68059      :    25.6    3.0   10711.5   20000    54      61   4587   12249   3164    61
  13 lc0.net.68363      :    25.0    2.9   10694.5   20000    53      63   4626   12137   3237    61
  14 lc0.net.67925      :    24.3    2.9   10675.5   20000    53      56   4512   12327   3161    62
  15 lc0.net.67971      :    24.0    3.0   10667.0   20000    53      68   4543   12248   3209    61
  16 lc0.net.68112      :    23.0    3.0   10638.0   20000    53      54   4486   12304   3210    62
  17 lc0.net.67996      :    22.7    3.0   10631.5   20000    53     100   4539   12185   3276    61
- 18 Stockfish.dev      :     0.0   ----  157539.5  340000    46     ---  53113  208853  78034    61

White advantage = 55.50 +/- 0.37
Draw rate (equal opponents) = 64.01 % +/- 0.09
https://pixeldrain.com/u/T3bm3BQh
Владимир001 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Viktor (11.04.2021), Виталий В. (12.04.2021)
Старый 11.04.2021, 17:18   #1293
Владимир001
Эксперт
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 7,484
Сказал(а) спасибо: 4,655
Поблагодарили 12,178 раз(а) в 5,475 сообщениях
Репутация: 259
По умолчанию Re: Разные матчи и турниры движков

Stockfish 13 wins Lucas Chess Tournament 10-11.04.2021

Temp 3' + 3" GUI-LucasChess 72 games

Владимир001 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Viktor (11.04.2021), Виталий В. (12.04.2021)
Старый 12.04.2021, 18:32   #1294
Владимир001
Эксперт
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 7,484
Сказал(а) спасибо: 4,655
Поблагодарили 12,178 раз(а) в 5,475 сообщениях
Репутация: 259
По умолчанию Re: Разные матчи и турниры движков

Stockfish 060421 Ivec wins JCER Test New Engines 2021.04.09 - 2021.04.11

Temp 3' + 3"

Владимир001 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Viktor (12.04.2021), Виталий В. (12.04.2021)
Старый 12.04.2021, 21:20   #1295
Владимир001
Эксперт
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 7,484
Сказал(а) спасибо: 4,655
Поблагодарили 12,178 раз(а) в 5,475 сообщениях
Репутация: 259
По умолчанию Re: Разные матчи и турниры движков

Stash 29.0 wins JCER - Arena new amateur engines, 2021.04.07 - 2021.04.12

Temp 3' + 3" *GUI-Arena *112 games

Владимир001 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Viktor (12.04.2021), Виталий В. (15.04.2021)
Старый 13.04.2021, 14:22   #1296
Владимир001
Эксперт
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 7,484
Сказал(а) спасибо: 4,655
Поблагодарили 12,178 раз(а) в 5,475 сообщениях
Репутация: 259
По умолчанию Re: Разные матчи и турниры движков

Blitz 1.0min+0.2sec 2 core frıtz17 gui syzgyz 3-4-5 i7 3820 4ghz play 324 games
Код:
1   Cfish 240321 64 POPCNT NUMA   27.5 - 26.527.0 - 27.029.0 - 25.0   83.5/162
2   Cfish 110421 64 POPCNT NUMA   26.5 - 27.528.0 - 26.028.0 - 26.0   82.5/162  6636.75
3   Cfish 110421 64 POPCNT NUMAm  27.0 - 27.026.0 - 28.029.5 - 24.5   82.5/162  6626.75
4   Eman 6.95 64-bit SSE2         25.0 - 29.026.0 - 28.024.5 - 29.5   75.5/162
games
https://pixeldrain.com/u/67pR8TRe
Владимир001 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Viktor (13.04.2021), Виталий В. (15.04.2021)
Старый 13.04.2021, 17:59   #1297
Владимир001
Эксперт
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 7,484
Сказал(а) спасибо: 4,655
Поблагодарили 12,178 раз(а) в 5,475 сообщениях
Репутация: 259
По умолчанию Re: Разные матчи и турниры движков

Stockfish 080421 Ivec wins JCER - Test Top Engines, 2021.04.10-12

Temp 3' + 3" *GUI-Fritz 17 *240 games

Владимир001 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Viktor (13.04.2021), Виталий В. (15.04.2021)
Старый 13.04.2021, 18:19   #1298
Владимир001
Эксперт
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 7,484
Сказал(а) спасибо: 4,655
Поблагодарили 12,178 раз(а) в 5,475 сообщениях
Репутация: 259
По умолчанию Re: Разные матчи и турниры движков

Hardware: i5-8400 CPU @ 2.80GHz, 6 cores, 32GB, gpu RTX 2060, 6GB
Gauntlet: SF-dev vs. LC0 384x30b nets
Network IDs: J94-100, 67646, 67831, 67892, 67925, 67971, 67996, 68059, 68112, 68169, 68207, 68242, 68285, 68326, 68363, 68405, 68446, 68497
LC0-version: v0.27.0
LC0-options: minibatch-size=90
SF-version: SF-dev 20120516
SF-options: 4 Threads, 512MB Hash
Software: Cutechess-CLI
Time control: LC0: 1,500 nodes/move, SF-dev: 500,000 nodes/move
Book: Chad's 8-ply book with 10000 positions, order=sequential
Tablebases: 6-men
Adjudication: -draw movenumber=50 movecount=5 score=8 -resign movecount=5 score=1000
Ordo: -a 0 -A "Stockfish.dev" -W -D -U "0,1,2,3,4,5,6,7,8,9,10" -s 2000 -n 1
Comment:

Код:
 # PLAYER             :  RATING  ERROR    POINTS  PLAYED   (%)  CFS(%)      W       D      L  D(%)
-  1 lc0.net.J94-100    :    29.4    3.0   10817.5   20000    54      51   4562   12511   2927    63
   2 lc0.net.68405      :    29.4    3.0   10815.5   20000    54      64   4698   12235   3067    61
   3 lc0.net.68285      :    28.6    3.0   10793.5   20000    54      52   4644   12299   3057    61
   4 lc0.net.67892      :    28.4    2.9   10790.0   20000    54      51   4646   12288   3066    61
+  5 lc0.net.68497      :    28.4    2.9   10788.5   20000    54      57   4611   12355   3034    62
   6 lc0.net.68446      :    28.0    3.0   10778.5   20000    54      63   4666   12225   3109    61
   7 lc0.net.67646      :    27.3    2.9   10759.5   20000    54      62   4589   12341   3070    62
   8 lc0.net.68242      :    26.7    3.1   10740.5   20000    54      50   4573   12335   3092    62
   9 lc0.net.68326      :    26.7    3.0   10740.5   20000    54      50   4593   12295   3112    61
  10 lc0.net.68207      :    26.6    3.0   10740.0   20000    54      51   4615   12250   3135    61
  11 lc0.net.67831      :    26.6    3.0   10738.0   20000    54      56   4601   12274   3125    61
  12 lc0.net.68169      :    26.2    3.0   10729.0   20000    54      61   4554   12350   3096    62
  13 lc0.net.68059      :    25.6    3.0   10711.5   20000    54      61   4587   12249   3164    61
  14 lc0.net.68363      :    25.0    3.0   10694.5   20000    53      63   4626   12137   3237    61
  15 lc0.net.67925      :    24.3    3.0   10675.5   20000    53      56   4512   12327   3161    62
  16 lc0.net.67971      :    24.0    2.9   10667.0   20000    53      69   4543   12248   3209    61
  17 lc0.net.68112      :    23.0    2.9   10638.0   20000    53      54   4486   12304   3210    62
  18 lc0.net.67996      :    22.7    3.0   10631.5   20000    53     100   4539   12185   3276    61
- 19 Stockfish.dev      :     0.0   ----  166751.0  360000    46     ---  56147  221208  82645    61

White advantage = 55.44 +/- 0.36
Draw rate (equal opponents) = 64.03 % +/- 0.09
https://pixeldrain.com/u/MuiUA91j
Владимир001 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Viktor (13.04.2021), Виталий В. (15.04.2021)
Старый 13.04.2021, 18:21   #1299
Владимир001
Эксперт
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 7,484
Сказал(а) спасибо: 4,655
Поблагодарили 12,178 раз(а) в 5,475 сообщениях
Репутация: 259
По умолчанию Re: Разные матчи и турниры движков

Match: Ceres, Lc0 and Komodo vs Stockfish 13
Time control: 5m + 3s
Hardware: 10900kf @ 3.7 Ghz, RTX 3080

Развернуть для просмотра


Openings: 250 positions (depth=10) from selected Morozevich's games
TBs and adj.: Syzygy 5-men, resign movecount=5 score=500, draw movenumber=50 movecount=5 score=5
Stockfish 13 and Komodo Dragon: threads=20, hash=4096
Lc0 27.0: backend=cuda-fp16, nncache=10000000 (20000000 for PS), minibatch-size=112 (96 for PS), max-collision-events=917, max-collision-visits=1000, max-out-of-order-evals-factor=2.4, moves-left-threshold=1.0 (PS only)
Ceres v0.80 & v0.88 = defaults
MG: multi-gather=true
Kd14: Kiudee's with policy-softmax-temp=1.4
Kd (Kiudee's): cpuct=2.15, cpuct-at-root=2.15, cpuct-base=18368, cpuct-base-at-root=18368, cpuct-factor=2.82, cpuct-factor-at-root=2.82, policy-softmax-temp=1.607, fpu-value=0.443
Benchmarks (15 sec from startposition with gameplay settings): Stockfish-13 bmi2 20T = 17 400 knps, Komodo Dragon avx2 20T = 14 600 knps, Ceres v0.80 67850 = 22 600 nps, Lc0 27.0 67850 = 24 500 nps, Lc0 27.0 J94-100 = 23 400 nps, Lc0 27.0 (Kd14+MG) PS-81000g = 52 900 nps, Ceres v0.88 (Kd) LS-15 = 76 900 nps, Ceres v0.88 J104.1-30 = 206 000 nps
Comments: - I verified that on CCRL 40/40 list, "Stockfish 13 4CPU" and "Komodo Dragon 4CPU" are 53 elo apart. So the results here make sense (hopefully) as the diff is 56 elo.
- In CEGT 40/20, LS-15 is 15-20 elo behind the big nets (with different binaries though) which is similar to what I got here with Ceres (diff = 18 elo).
- I replayed 7 pairs of games from PS + Lc0 (with multi-gather) as there were 7 disconnects("connection stalls" message and a time forfeit at the beginning of the game). I used Cutechess GUI. With 10x128 nets, the number of disconnects with multi-gather gets more important (maybe once every 15 games). I verified that the problem doesn't occur in Fritz GUI (which I didn't use).
[свернуть]


Код:
# PLAYER                       : RATING  ERROR  PLAYED  (%)   CFS   W     D    L    D(%)
1 Stockfish 13 20T             :    0.0   ----   3500  54.84   73  570  2699  231  77.11
2 Lc0 27.0 67850               :   -4.3   13.6    500  49.40   83   42   410   48  82.00
3 Lc0 27.0 J94-100             :  -13.7   13.5    500  48.10   50   42   397   61  79.40
4 Ceres v0.80 67850            :  -13.7   13.8    500  48.10   97   40   401   59  80.20
5 Ceres v0.88 (Kd) LS-15       :  -31.8   13.8    500  45.60   98   35   386   79  77.20
6 Lc0 27.0 (Kd14+MG) PS-81000g :  -52.3   14.0    500  42.80   64   30   368  102  73.60
7 Komodo Dragon 20T            :  -56.0   14.1    500  42.30   96   23   377  100  75.40
8 Ceres v0.88 J104.1-30        :  -74.7   14.5    500  39.80  ---   19   360  121  72.00

White advantage = 60.43 +/- 2.77, Draw rate (equal opponents) = 86.00 % +/- 0.77

Engine                        Depth    MIDG   EARLY   ENDG    LATE
Ceres v0.80 67850              6.83    8.60 | 8.19  |  7.02 | 6.58
Ceres v0.88 (Kd) LS-15         8.69    9.80 | 8.99  |  7.48 | 7.30
Ceres v0.88 J104.1-30          8.91   10.16 | 8.68  |  7.57 | 7.24
Lc0 27.0 67850                13.07   15.79 | 15.99 | 11.25 | 8.32
Lc0 27.0 J94-100              13.28   15.66 | 15.49 | 11.77 | 9.01
Lc0 27.0 (Kd14+MG) PS-81000g  15.86   18.11 | 18.49 | 14.07 |10.87
Komodo Dragon 20T             32.19   28.96 | 30.49 | 33.47 |44.99
Stockfish-13-20T              44.37   38.96 | 39.33 | 47.33 |57.83
https://pixeldrain.com/u/MxZWgb2i
Владимир001 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Viktor (13.04.2021), Виталий В. (15.04.2021)
Старый 14.04.2021, 02:37   #1300
Владимир001
Эксперт
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 7,484
Сказал(а) спасибо: 4,655
Поблагодарили 12,178 раз(а) в 5,475 сообщениях
Репутация: 259
По умолчанию Re: Разные матчи и турниры движков

Intel i5 Quad
ChessGUI
256mb hash each
3-4-5 piece tablebases
Ponder off
GBSelect2019.cgb book
40 moves in 25 minutes repeating (adapted for the CCRL)
4 cycles 36 rounds
All engines 64-bit where available


Final Standings

22.5 - Velvet 1.2.0 64-bit
21.5 - Fridolin 3.10 64-bit
20.5 - K2 0.99
19.5 - CM10th Ogre
19.5 - Shield 2.1 64-bit
17.0 - Shallow 2020-09-09 64-bit
17.0 - Chess Tiger 2007.1
16.5 - Supernova 2.3 64-bit
14.5 - Drofa 2.2.0 64-bit
11.5 - Drosophila 1.6 64-bit


The complete tournament pgn (zipped) can be downloaded here:
http://kirill-kryukov.com/chess/disc...e.php?id=48188
Владимир001 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Viktor (14.04.2021), Виталий В. (15.04.2021)
Старый 15.04.2021, 12:35   #1301
Владимир001
Эксперт
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 7,484
Сказал(а) спасибо: 4,655
Поблагодарили 12,178 раз(а) в 5,475 сообщениях
Репутация: 259
По умолчанию Re: Разные матчи и турниры движков

CorChess 080421 wins JCER - New Engines Tournament, 2021.04.11-12

Temp 3' + 3" *GUI-Fritz 17

Владимир001 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Viktor (15.04.2021), Виталий В. (16.04.2021)
Старый 16.04.2021, 14:16   #1302
Владимир001
Эксперт
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 7,484
Сказал(а) спасибо: 4,655
Поблагодарили 12,178 раз(а) в 5,475 сообщениях
Репутация: 259
По умолчанию Re: Разные матчи и турниры движков

https://chessengines.blogspot.com/20...ur-league.html

Temp 3' + 3" 612 games
Promotion to Group E5: ClassicAra 0.9.0, Embla 2.0.7, Loki 2.0.0.
End of testing: Chessika 2.27.

Владимир001 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Viktor (16.04.2021), Виталий В. (16.04.2021)
Старый 16.04.2021, 14:34   #1303
Владимир001
Эксперт
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 7,484
Сказал(а) спасибо: 4,655
Поблагодарили 12,178 раз(а) в 5,475 сообщениях
Репутация: 259
По умолчанию Re: Разные матчи и турниры движков

Hardware: i5-8400 CPU @ 2.80GHz, 6 cores, 32GB, gpu RTX 2060, 6GB
Gauntlet: SF-dev vs. LC0 384x30b nets
Network IDs: J94-100, 67646, 67831, 67892, 67925, 67971, 67996, 68059, 68112, 68169, 68207, 68242, 68285, 68326, 68363, 68405, 68446, 68497, 68551
LC0-version: v0.27.0
LC0-options: minibatch-size=90
SF-version: SF-dev 20120516
SF-options: 4 Threads, 512MB Hash
Software: Cutechess-CLI
Time control: LC0: 1,500 nodes/move, SF-dev: 500,000 nodes/move
Book: Chad's 8-ply book with 10000 positions, order=sequential
Tablebases: 6-men
Adjudication: -draw movenumber=50 movecount=5 score=8 -resign movecount=5 score=1000
Ordo: -a 0 -A "Stockfish.dev" -W -D -U "0,1,2,3,4,5,6,7,8,9,10" -s 2000 -n 1
Comment:
Код:
 # PLAYER             :  RATING  ERROR    POINTS  PLAYED   (%)  CFS(%)      W       D      L  D(%)
-  1 lc0.net.J94-100    :    29.4    2.9   10817.5   20000    54      51   4562   12511   2927    63
   2 lc0.net.68405      :    29.4    2.9   10815.5   20000    54      65   4698   12235   3067    61
   3 lc0.net.68285      :    28.6    3.0   10793.5   20000    54      52   4644   12299   3057    61
   4 lc0.net.67892      :    28.4    2.9   10790.0   20000    54      51   4646   12288   3066    61
   5 lc0.net.68497      :    28.4    2.9   10788.5   20000    54      57   4611   12355   3034    62
   6 lc0.net.68446      :    28.0    3.0   10778.5   20000    54      60   4666   12225   3109    61
+  7 lc0.net.68551      :    27.5    3.0   10762.5   20000    54      52   4615   12295   3090    61
   8 lc0.net.67646      :    27.3    3.0   10759.5   20000    54      62   4589   12341   3070    62
   9 lc0.net.68326      :    26.7    3.0   10740.5   20000    54      50   4593   12295   3112    61
  10 lc0.net.68242      :    26.7    3.0   10740.5   20000    54      50   4573   12335   3092    62
  11 lc0.net.68207      :    26.6    2.9   10740.0   20000    54      51   4615   12250   3135    61
  12 lc0.net.67831      :    26.6    3.0   10738.0   20000    54      56   4601   12274   3125    61
  13 lc0.net.68169      :    26.2    3.0   10729.0   20000    54      62   4554   12350   3096    62
  14 lc0.net.68059      :    25.6    3.0   10711.5   20000    54      61   4587   12249   3164    61
  15 lc0.net.68363      :    25.0    3.0   10694.5   20000    53      63   4626   12137   3237    61
  16 lc0.net.67925      :    24.3    3.0   10675.5   20000    53      56   4512   12327   3161    62
  17 lc0.net.67971      :    24.0    2.9   10667.0   20000    53      69   4543   12248   3209    61
  18 lc0.net.68112      :    23.0    3.0   10638.0   20000    53      54   4486   12304   3210    62
  19 lc0.net.67996      :    22.7    3.0   10631.5   20000    53     100   4539   12185   3276    61
- 20 Stockfish.dev      :     0.0   ----  175988.5  380000    46     ---  59237  233503  87260    61

White advantage = 55.54 +/- 0.35
Draw rate (equal opponents) = 64.04 % +/- 0.08
https://pixeldrain.com/u/PJE9TDiN

Владимир001 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Viktor (16.04.2021), Виталий В. (16.04.2021)
Старый 16.04.2021, 16:48   #1304
Владимир001
Эксперт
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 7,484
Сказал(а) спасибо: 4,655
Поблагодарили 12,178 раз(а) в 5,475 сообщениях
Репутация: 259
По умолчанию Re: Разные матчи и турниры движков

от Skynet

Начальная оценка установлена на Critter 3082 elo на 4 ядрах.

Tablet - Lenovo android 4.4.2 - 32 bit - Quad Core (4x Cortex A7) - 1GB RAM - 1,3 GHz
GUI=Cfa - Hash 64 mb - 4 cores per engine - TC: 2min+1sec - Book=8_moves.pgn - Resign 600 cp

Код:
# PLAYER                :  RATING  ERROR  PLAYED   (%)    W    D    L  D(%)  CFS(%)
1 Stockfish 060421      :    3780     36     240  74.4  124  109    7  45.4      63
2 Bluefish NNUE 100321  :    3776     37     240  73.8  123  108    9  45.0     100
3 Critter 1.6a 32-bit   :    3082     69     240   1.9    0    9  231   3.8     ---
Games https://pixeldrain.com/u/C4JaJd2D
Владимир001 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Viktor (17.04.2021), Виталий В. (16.04.2021)
Старый 16.04.2021, 16:49   #1305
Владимир001
Эксперт
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 7,484
Сказал(а) спасибо: 4,655
Поблагодарили 12,178 раз(а) в 5,475 сообщениях
Репутация: 259
По умолчанию Re: Разные матчи и турниры движков

Начальная оценка установлена на Critter 3082 elo на 4 ядрах.

Tablet - Lenovo android 4.4.2 - 32 bit - Quad Core (4x Cortex A7) - 1GB RAM - 1,3 GHz
GUI=Cfa - Hash 64 mb - 4 cores per engine - TC: 2min+1sec - Book=8_moves.pgn - Resign 600 cp

Код:
# PLAYER               :  RATING  ERROR  PLAYED   (%)    W    D    L  D(%)  CFS(%)
1 Igel 3.0.0 CUSTOM    :    3272     25     120  74.6   75   29   16  24.2     100
2 Critter 1.6a 32-bit  :    3082     25     120  25.4   16   29   75  24.2     ---
Games https://pixeldrain.com/u/zonPR5Fg
Владимир001 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Viktor (17.04.2021), Виталий В. (16.04.2021)
Старый 16.04.2021, 22:40   #1306
Владимир001
Эксперт
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 7,484
Сказал(а) спасибо: 4,655
Поблагодарили 12,178 раз(а) в 5,475 сообщениях
Репутация: 259
По умолчанию Re: Разные матчи и турниры движков

Tablet - Teclast P80X_EEA (tPad, android 9) - 64bit - 2GB RAM - 8x Cortex-A55 - 1,6 GHz
GUI: CuteChess-cli / RR / 1 core per engine /TC: 60sec+0.6 / hash 16 / Book=TopGM_4moves.pgn - move order=sequential
/ repeat opening=yes / Concurrency=7 / Resignation=500cp

Код:
# PLAYER              :  RATING  ERROR  PLAYED   (%)    W     D    L  D(%)  CFS(%)
1 CF 110421 64 NEON   :    3002      2    6000  50.7  709  4661  630  77.7      98
2 CF 030121 64        :    2998      2    6000  49.3  630  4661  709  77.7     ---
Games https://pixeldrain.com/u/SaWW81q9
Владимир001 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Viktor (17.04.2021), Виталий В. (17.04.2021)
Старый 17.04.2021, 22:34   #1307
Владимир001
Эксперт
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 7,484
Сказал(а) спасибо: 4,655
Поблагодарили 12,178 раз(а) в 5,475 сообщениях
Репутация: 259
По умолчанию Re: Разные матчи и турниры движков

Fisherov 0.97 wins JCER - New Engines Test, 2021.04.15-17

Temp 3' + 3" *GUI-Fritz 17 *182 games

Владимир001 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Viktor (18.04.2021), Виталий В. (19.04.2021)
Старый 17.04.2021, 22:36   #1308
Владимир001
Эксперт
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 7,484
Сказал(а) спасибо: 4,655
Поблагодарили 12,178 раз(а) в 5,475 сообщениях
Репутация: 259
По умолчанию Re: Разные матчи и турниры движков

Arasan 22.2 wins JCER Experimental Tournament (7K/7B), Chess engines diary 2021.04.17



Temp 3' + 3" *GUI-Arena

Владимир001 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Viktor (18.04.2021), Виталий В. (19.04.2021)
Старый 17.04.2021, 23:41   #1309
Владимир001
Эксперт
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 7,484
Сказал(а) спасибо: 4,655
Поблагодарили 12,178 раз(а) в 5,475 сообщениях
Репутация: 259
По умолчанию Re: Разные матчи и турниры движков

После 10К игр 68604 на 3 Эло сильнее, чем J94-100. Очень маловероятно, что он потеряет больше 2 Эло за последние 10 тысяч игр. Так что, вероятно, это будет первая сеть, которая лучше, чем J94-100.



Код:
   # PLAYER             :  RATING  ERROR    POINTS  PLAYED   (%)  CFS(%)      W       D      L  D(%)
+  1 lc0.net.68604      :    32.6    4.3    5488.0   10066    55      88   2340    6296   1430    63
-  2 lc0.net.J94-100    :    29.4    2.9   10817.5   20000    54      51   4562   12511   2927    63
   3 lc0.net.68405      :    29.4    2.9   10815.5   20000    54      65   4698   12235   3067    61
   4 lc0.net.68285      :    28.6    3.1   10793.5   20000    54      52   4644   12299   3057    61
   5 lc0.net.67892      :    28.4    2.9   10790.0   20000    54      51   4646   12288   3066    61
   6 lc0.net.68497      :    28.4    3.0   10788.5   20000    54      57   4611   12355   3034    62
   7 lc0.net.68446      :    28.0    2.9   10778.5   20000    54      61   4666   12225   3109    61
   8 lc0.net.68551      :    27.5    2.9   10762.5   20000    54      52   4615   12295   3090    61
   9 lc0.net.67646      :    27.3    3.0   10759.5   20000    54      62   4589   12341   3070    62
  ...
- 21 Stockfish.dev      :     0.0   ----  180566.5  390066    46     ---  60667  239799  89600    61

White advantage = 55.62 +/- 0.35
Draw rate (equal opponents) = 64.09 % +/- 0.08
Владимир001 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Viktor (18.04.2021), Виталий В. (19.04.2021)
Старый 17.04.2021, 23:44   #1310
Владимир001
Эксперт
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 7,484
Сказал(а) спасибо: 4,655
Поблагодарили 12,178 раз(а) в 5,475 сообщениях
Репутация: 259
По умолчанию Re: Разные матчи и турниры движков

Match: Lc0 27.0 vs Stockfish-13 16T
Time control: 60s + 1s
Hardware: 3070 vs 10700 @ 3.8 Ghz
Openings: 250 positions from Tcec SuFi's 16-20 + 250 positions (depth=10) from selected Morozevich's games
Stockfish-13 bmi2: threads=16, hash=1024
Lc0 cuda-fp16: nncache=5000000, multi-gather=false, minibatch-size=46, max-collision-events=917, max-collision-visits=1000, max-out-of-order-evals-factor=2.4
Benchmarks (2s/pos.): J94-100 = 12.0 knps (./lc0 benchmark --options --movetime=2000), SF-13 16T = 23.9 knps (bench 1024 16 2000 default movetime NNUE)
TBs and adj.: syzygy 5-men, resign movecount=5 score=500, draw movenumber=50 movecount=5 score=5
Comments: Results are encouraging for T60 showing a +12 elo increase from 66740.

Код:
# PLAYER     :  RATING  ERROR  PLAYED  (%)   CFS   W     D    L    D(%)
1 SF-13 16T  :    0.0   ----    5000  54.19  100  956  3507  537  70.14
2 68525      :  -22.0   11.4    1000  47.00   82  126   688  186  68.80
3 68287      :  -29.4   11.3    1000  46.00   57  110   700  190  70.00
4 J94-100    :  -30.9   11.3    1000  45.80   66   98   720  182  72.00
5 66740      :  -34.2   11.6    1000  45.35   65  104   699  197  69.90
6 J92-190    :  -37.6   11.7    1000  44.90  ---   99   700  201  70.00

White advantage = 75.37 +/- 2.66, Draw rate (equal opponents) = 77.80 % +/- 0.71
https://pixeldrain.com/u/e5DUkQix
Владимир001 вне форума   Ответить с цитированием
3 пользователя(ей) сказали cпасибо:
Alvir (18.04.2021), Viktor (18.04.2021), Виталий В. (19.04.2021)
Старый 18.04.2021, 08:59   #1311
Владимир001
Эксперт
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 7,484
Сказал(а) спасибо: 4,655
Поблагодарили 12,178 раз(а) в 5,475 сообщениях
Репутация: 259
По умолчанию Re: Разные матчи и турниры движков



PGN - http://kirill-kryukov.com/chess/disc...e.php?id=48212

Berserk 3.2.1 64-bit 2929
Владимир001 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Viktor (18.04.2021), Виталий В. (19.04.2021)
Старый 18.04.2021, 09:01   #1312
Владимир001
Эксперт
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 7,484
Сказал(а) спасибо: 4,655
Поблагодарили 12,178 раз(а) в 5,475 сообщениях
Репутация: 259
По умолчанию Re: Разные матчи и турниры движков



PGN - http://kirill-kryukov.com/chess/disc...e.php?id=48213

Развернуть для просмотра


Код:
CCRL 40/15 Rating List - Custom engine selection
1237141 games played by 2823 programs, run by 23 testers
Ponder off, General books (up to 12 moves), 3-4-5 piece EGTB
Time control: Equivalent to 40 moves in 15 minutes on an Intel i7-4770k.
Computed on April 17, 2021 with Bayeselo based on 1'237'141 games
Tested by CCRL team, 2005-2021, http://ccrl.chessdom.com/ccrl/4040/

Rank                 Engine                   Elo   +    -   Score  AvOp  Games
1 Waxman 2020                             2478  +31  -31  54.7%  -29.8   372
  Waxman 2014                             2390  +20  -20  48.5%  +10.5   838
  Waxman 2016                             2379  +23  -23  48.8%   +6.5   608
  Waxman 2017                             2371  +16  -16  49.3%   +4.3  1367
  Waxman 2015                             2357  +24  -25  48.0%  +12.8   559
  Waxman 2013                             2314  +25  -25  51.9%  -16.5   552
  Waxman 2010                             2309  +21  -22  51.7%  -12.2   752
  Waxman 2011                             2304  +26  -26  48.0%  +11.4   508
  Waxman 2009                             2253  +20  -20  47.5%  +17.5   897
  Waxman 2008                             2140  +22  -22  51.3%  -11.1   713
[свернуть]
Владимир001 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Viktor (18.04.2021), Виталий В. (19.04.2021)
Старый 18.04.2021, 09:04   #1313
Владимир001
Эксперт
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 7,484
Сказал(а) спасибо: 4,655
Поблагодарили 12,178 раз(а) в 5,475 сообщениях
Репутация: 259
По умолчанию Re: Разные матчи и турниры движков

Temp: 3' 20 games download , GUI - Chess Tournament, Tablet - Smasung Galaxy TAB S6 Lite, 4GB RAM, all 8.855 games

https://chessengines.blogspot.com/


Владимир001 вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Виталий В. (19.04.2021)
Старый 18.04.2021, 16:07   #1314
Владимир001
Эксперт
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 7,484
Сказал(а) спасибо: 4,655
Поблагодарили 12,178 раз(а) в 5,475 сообщениях
Репутация: 259
По умолчанию Re: Разные матчи и турниры движков

Temp: 3' 20 games download, GUI - Chess Tournament,

Tablet - Smasung Galaxy TAB S6 Lite, 4GB RAM, all 8.855 games



https://chessengines.blogspot.com/20...orino-606.html
Владимир001 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Viktor (18.04.2021), Виталий В. (19.04.2021)
Старый 18.04.2021, 16:10   #1315
Владимир001
Эксперт
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 7,484
Сказал(а) спасибо: 4,655
Поблагодарили 12,178 раз(а) в 5,475 сообщениях
Репутация: 259
По умолчанию Re: Разные матчи и турниры движков

[/url]


https://chessengines.blogspot.com/20...dition-45.html
Владимир001 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Viktor (18.04.2021), Виталий В. (19.04.2021)
Старый 18.04.2021, 22:28   #1316
Владимир001
Эксперт
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 7,484
Сказал(а) спасибо: 4,655
Поблагодарили 12,178 раз(а) в 5,475 сообщениях
Репутация: 259
По умолчанию Re: Разные матчи и турниры движков

Тесты от Skynet:

Tablet - Teclast P80X_EEA (tPad, android 9) - 64bit - 2GB RAM - 8x Cortex-A55 - 1,6 GHz
GUI: CuteChess-cli / RR / 1 core per engine /TC: 60sec+0.6 / hash 16 / Book=TopGM_4moves.pgn - move order=sequential
/ repeat opening=yes / Concurrency=7 / Resignation=500cp
Код:
# PLAYER              :  RATING  ERROR  PLAYED   (%)    W     D    L  D(%)  CFS(%)
1 CF 110421a 64 NEON  :    3001      2    6000  50.3  707  4627  666  77.1      86
2 CF 030121 64        :    2999      2    6000  49.7  666  4627  707  77.1     ---
Games https://pixeldrain.com/u/RjZNfVGm
Владимир001 вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Виталий В. (19.04.2021)
Старый 18.04.2021, 23:24   #1317
Владимир001
Эксперт
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 7,484
Сказал(а) спасибо: 4,655
Поблагодарили 12,178 раз(а) в 5,475 сообщениях
Репутация: 259
По умолчанию Re: Разные матчи и турниры движков

Hardware: i5-8400 CPU @ 2.80GHz, 6 cores, 32GB, gpu RTX 2060, 6GB
Gauntlet: SF-dev vs. LC0 384x30b nets
Network IDs: J94-100, 67646, 67831, 67892, 67925, 67971, 67996, 68059, 68112, 68169, 68207, 68242, 68285, 68326, 68363, 68405, 68446, 68497, 68551, 68604
LC0-version: v0.27.0
LC0-options: minibatch-size=90
SF-version: SF-dev 20120516
SF-options: 4 Threads, 512MB Hash
Software: Cutechess-CLI
Time control: LC0: 1,500 nodes/move, SF-dev: 500,000 nodes/move
Book: Chad's 8-ply book with 10000 positions, order=sequential
Tablebases: 6-men
Adjudication: -draw movenumber=50 movecount=5 score=8 -resign movecount=5 score=1000
Ordo: -a 0 -A "Stockfish.dev" -W -D -U "0,1,2,3,4,5,6,7,8,9,10" -s 2000 -n 1
Comment:

Код:
  # PLAYER             :  RATING  ERROR    POINTS  PLAYED   (%)  CFS(%)      W       D      L  D(%)
+  1 lc0.net.68604      :    30.4    3.0   10843.5   20000    54      67   4697   12293   3010    61
-  2 lc0.net.J94-100    :    29.4    3.0   10817.5   20000    54      51   4562   12511   2927    63
   3 lc0.net.68405      :    29.4    3.0   10815.5   20000    54      64   4698   12235   3067    61
   4 lc0.net.68285      :    28.6    3.0   10793.5   20000    54      52   4644   12299   3057    61
   5 lc0.net.67892      :    28.5    2.9   10790.0   20000    54      51   4646   12288   3066    61
   6 lc0.net.68497      :    28.4    3.0   10788.5   20000    54      57   4611   12355   3034    62
   7 lc0.net.68446      :    28.0    3.0   10778.5   20000    54      61   4666   12225   3109    61
   8 lc0.net.68551      :    27.5    3.0   10762.5   20000    54      52   4615   12295   3090    61
   9 lc0.net.67646      :    27.3    3.0   10759.5   20000    54      62   4589   12341   3070    62
  10 lc0.net.68326      :    26.7    3.0   10740.5   20000    54      50   4593   12295   3112    61
  11 lc0.net.68242      :    26.7    3.0   10740.5   20000    54      50   4573   12335   3092    62
  12 lc0.net.68207      :    26.6    2.9   10740.0   20000    54      51   4615   12250   3135    61
  13 lc0.net.67831      :    26.6    2.9   10738.0   20000    54      56   4601   12274   3125    61
  14 lc0.net.68169      :    26.2    2.9   10729.0   20000    54      61   4554   12350   3096    62
  15 lc0.net.68059      :    25.6    3.0   10711.5   20000    54      61   4587   12249   3164    61
  16 lc0.net.68363      :    25.0    3.0   10694.5   20000    53      62   4626   12137   3237    61
  17 lc0.net.67925      :    24.3    3.0   10675.5   20000    53      56   4512   12327   3161    62
  18 lc0.net.67971      :    24.0    3.0   10667.0   20000    53      69   4543   12248   3209    61
  19 lc0.net.68112      :    23.0    2.9   10638.0   20000    53      54   4486   12304   3210    62
  20 lc0.net.67996      :    22.7    3.0   10631.5   20000    53     100   4539   12185   3276    61
- 21 Stockfish.dev      :     0.0   ----  185145.0  400000    46     ---  62247  245796  91957    61

White advantage = 55.71 +/- 0.33
Draw rate (equal opponents) = 64.07 % +/- 0.08
https://pixeldrain.com/u/D6DuhKrK

Владимир001 вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Виталий В. (19.04.2021)
Старый 19.04.2021, 15:21   #1318
Владимир001
Эксперт
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 7,484
Сказал(а) спасибо: 4,655
Поблагодарили 12,178 раз(а) в 5,475 сообщениях
Репутация: 259
По умолчанию Re: Разные матчи и турниры движков

JCER - Match Fire 8.1 - Fire 8, 2021.04.17

Temp 3' + 3"

Владимир001 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Viktor (19.04.2021), Виталий В. (19.04.2021)
Старый 20.04.2021, 10:53   #1319
Владимир001
Эксперт
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 7,484
Сказал(а) спасибо: 4,655
Поблагодарили 12,178 раз(а) в 5,475 сообщениях
Репутация: 259
По умолчанию Re: Разные матчи и турниры движков

Match: LC0 vs. SF-NNUE (different opening books)
LC0 version: v0.28.0-dev
LC0 options: Network: 68650, Backend=cuda-fp16, MinibatchSize=112, MaxPrefetch=56, MoveOverheadMs=0, ScoreType=centipawn_2019, SmartPruningMinimumBatches=5
SF options: SF-dev, Threads=32, Hash=512, Contempt=0, "Move Overhead"=0, SyzygyProbeDepth=10
Hardware: Ryzen 9 3950X (3.5GHz) + RTX 3080
Time control: 48s/game+0.2s/move, time forfeits disabled
Speed: ≈20 Knodes/move (LC0)
Tablebases: 6-man
Adjudication: 6-man TBs + -resign movecount=3 score=500, -draw movenumber=20 movecount=5 score=10
Software: Cutechess-CLI
Book: slightly unbalanced 3-move book (30-60cp advantage in openings)

Код:
# ENGINE           :  RATING  ERROR  CFS(%)   GAMES    W    D    L  DRAWS(%)
   1 stockfish-dev    :     0.0   ----    75.2     500   37  431   32      86.2
   2 lc0.net.68650    :    -3.6   10.2     ---     500   32  431   37      86.2

White advantage = 43.0 +/- 5.6
Draw rate (equal opponents) = 93.1 % +/- 1.7
Book: more unbalanced 3-move book (60-90cp advantage in openings)

Код:
   # ENGINE           :  RATING  ERROR  CFS(%)   GAMES    W    D    L  DRAWS(%)
   1 stockfish-dev    :     0.0   ----    99.9     500   71  388   41      77.6
   2 lc0.net.68650    :   -22.1   13.5     ---     500   41  388   71      77.6

White advantage = 78.7 +/- 6.5
Draw rate (equal opponents) = 95.1 % +/- 2.9
Вложения
Тип файла: zip games.zip (946.2 Кб, 2 просмотров)
Владимир001 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Viktor (20.04.2021), Виталий В. (20.04.2021)
Старый 20.04.2021, 12:36   #1320
Владимир001
Эксперт
 
Аватар для Владимир001
 
Регистрация: 19.12.2019
Сообщений: 7,484
Сказал(а) спасибо: 4,655
Поблагодарили 12,178 раз(а) в 5,475 сообщениях
Репутация: 259
По умолчанию Re: Разные матчи и турниры движков

85TH AMATEUR SERIES (Division 4)

Intel i5 Quad
ChessGUI
256mb hash each
3-4-5 piece tablebases
Ponder off
JDSelect2019.cgb book
40 moves in 25 minutes repeating (adapted for the CCRL)
4 cycles 44 rounds
All engines 64-bit 1CPU (where available)


Final Standings

29.5 - Minic 3.04 64-bit
25.0 - Rodent IV 0.30 64-bit
24.5 - Counter 3.7 64-bit
24.5 - Topple 0.8.0 64-bit
23.0 - Amoeba 3.3 64-bit
22.5 - Monolith 2.0 64-bit
21.5 - FabChess 1.16 64-bit
21.0 - Sting SF 28 64-bit
20.5 - Godel 7.0 64-bit
19.5 - Deuterium 2019.2.37.73 64-bit
17.5 - Fruit Reloaded 15A 64-bit
15.0 - Cheng 4.40 64-bit


The complete tournament pgn (zipped) can be downloaded here:
http://kirill-kryukov.com/chess/disc...e.php?id=48219
Владимир001 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Viktor (20.04.2021), Виталий В. (20.04.2021)
Ответ


Здесь присутствуют: 2 (пользователей: 0 , гостей: 2)
 

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход


Текущее время: 22:29. Часовой пояс GMT +3.


Powered by vBulletin® Version 3.8.7
Copyright ©2000 - 2024, vBulletin Solutions, Inc. Перевод: zCarot
Рейтинг@Mail.ru