Рейтинг-листы шахматных движков

[Michael Strelkov]

Предлагаю в этой теме делиться ссылками на популярные рейтинг-листы движков.

Наиболее известный это, конечно, CCRL:
http://www.computerchess.org.uk/ccrl/4040/

http://www.husvankempen.de/nunn/40_4...rangliste.html
http://inwoba.de/
http://chessowl2.blogspot.com.by/
http://ssdf.bosjo.net/list.htm
На имморталле в закрытом разделе были и другие. Кто какие вспомнит, кидайте сюда!

[sovaz1997]

svoitsl, Stockfish не вышел в отрыв. Просто добавили наконец тест с 4CPU. Считайте, что сегодня только появился полноценный тест Stockfish 9 на CCRL 40/40

[svoitsl]

Просто немного удивляет рост по сравнению с 3417 asmFish 051117 64-bit 4CPU
Все таки asmfish не такой уж и древний, да и по шустрее Стокфиша будет на 20-30%.
Непонятно за счет чего такой рост...
у asmfish должен быть ЭЛО больше только за счет скорости (при прочих равных)...
А при одной и той же скорости Стокфишь вряд ли опережает asmfish более чем на 15 ЭЛО (за счет новизны...)

[sovaz1997]

svoitsl, сейчас Ноябрьский Asmfish хуже, чем последний Stockfish). Конечно, не настолько сильно. Думаю, Contempt сильно влияет на результат.

[Bullet]

Add Equinox 3.30!
2500k@4.5/60+0.3/128Mb/HS440.pgn

   # PLAYER           :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)     W     D     L  D(%)  OppAvg
   1 Stockfish_9      :    3410      6  6979.5    8800  79.3     100  5515  2929   356  33.3    3149
   2 Houdini_6.02     :    3393      6  6824.5    8800  77.6     100  5288  3073   439  34.9    3151
   3 Komodo_11.2.2    :    3348      6  6407.0    8800  72.8     100  4770  3274   756  37.2    3155
   4 Fire_6.1         :    3183      5  4578.5    8800  52.0     100  2565  4027  2208  45.8    3172
   5 Shredder_13      :    3156      5  4255.0    8800  48.4     100  2285  3940  2575  44.8    3174
   6 Fizbo_2          :    3142      5  4084.5    8800  46.4     100  2368  3433  2999  39.0    3176
   7 Gull_3           :    3096      5  3544.0    8800  40.3     100  1735  3618  3447  41.1    3180
   8 Andscacs_0.93    :    3075      5  3292.5    8800  37.4     100  1614  3357  3829  38.1    3182
   9 Fritz_16         :    3034      5  2831.0    8800  32.2      75  1198  3266  4336  37.1    3187
  10 Booot_6.2        :    3031      5  2802.5    8800  31.8      51  1088  3429  4283  39.0    3187
  11 Equinox_3.30     :    3031      5  2801.0    8800  31.8     ---  1005  3592  4203  40.8    3187

White advantage = 37.21 +/- 1.25
Draw rate (equal opponents) = 51.31 % +/- 0.29

Equinox_3.30  3031 :   8800 (+1005,=3592,-4203),  31.8 %

    vs.                 :  games (    +,    =,    -),   (%) :   Diff,   SD, CFS (%)
    Stockfish_9         :    880 (    6,  205,  669),  12.3 :   -379,    4,    0.0
    Houdini_6.02        :    880 (    3,  191,  686),  11.2 :   -362,    4,    0.0
    Komodo_11.2.2       :    880 (    1,  201,  678),  11.5 :   -317,    4,    0.0
    Fire_6.1            :    880 (   60,  435,  385),  31.5 :   -152,    4,    0.0
    Shredder_13         :    880 (   94,  399,  387),  33.4 :   -125,    4,    0.0
    Fizbo_2             :    880 (  202,  340,  338),  42.3 :   -111,    4,    0.0
    Gull_3              :    880 (  146,  370,  364),  37.6 :    -65,    4,    0.0
    Andscacs_0.93       :    880 (  193,  368,  319),  42.8 :    -44,    4,    0.0
    Fritz_16            :    880 (  137,  535,  208),  46.0 :     -3,    4,   24.6
    Booot_6.2           :    880 (  163,  548,  169),  49.7 :     -0,    4,   48.6

[svoitsl]

CCRL 40/40
February 17, 2018

1 Stockfish 9 64-bit 4CPU 3451 (+1)
2 Houdini 6 64-bit 4CPU 3412 (+1)
3 Komodo 11.2 64-bit 4CPU 3405 (+1)
Всем по 1 ЭЛО,что б не обидно было....

[svoitsl]

CCRL 40/40
February 24, 2018

1 Stockfish 9 64-bit 4CPU 3449 (-2)
2 Houdini 6 64-bit 4CPU 3411 (-1)
3 Komodo 11.2 64-bit 4CPU 3405 (0)

Стокфиш начал падение,уменьшив свой рейтинг сразу на 2 ЭЛО, зато Комодо показывает стабильность

[svoitsl]

CCRL 40/40
March 10, 2018

1 Stockfish 9 64-bit 4CPU 3452 (+3)
2 Houdini 6 64-bit 4CPU 3415 (+4)
3 Komodo 11.2 64-bit 4CPU 3407 (+2)

Все топ- движки существенно увеличили свой рейтинг, а если учесть что Комодо 11.3.1 (если он есть) играет лучше на 10 ЭЛО, то у него есть все шансы занять вторую строчку (в следующем CCRL 40/40 :-) )

[sovaz1997]

svoitsl, на CCRL погрешность большая (+-20). Там всегда будут скачки в рейтингах.

[DEEP_MIND]

Цитата: Сообщение от Maratka

Следствие: TCEC определяет чемпиона, а не сильнейший движок.

маратка, ты только еще до этого дошел? тебе уже сколько лет объясняют это, все кому не лень.
и во, о чудо! маратка прозрел!!! аплодиспенты!!! ну лучше поздно, чем никогда )))

[svoitsl]

CCRL 40/40
March 17, 2018

1 Stockfish 9 64-bit 4CPU 3450 (-2)
2 Houdini 6 64-bit 4CPU 3413 (-2)
3 Komodo 11.2 64-bit 4CPU 3405 (-2)

Рейтинг топовых движков за неделю понизился на 2 пункта!
Причем, всех и сразу.
Ожидаемый Komodo 11.3.1 так и не появился

[sovaz1997]

На SP-CC добавили Komodo 11.3.1. Прирост - 10 пунктов в контроле 3'+1". До Houdini ему еще столько, сколько от Houdini до Stockfish. В длинном контроле примерно та же ситуация, но пока погрешность большая.

Program                    Elo    +    -   Games   Score   Av.Op.  Draws

   1 BrainFish 180227 bmi2    : 3508    8    8  5000    76.8 %   3283   39.4 %
   2 asmBrainFish 171107      : 3491    8    8  5000    75.5 %   3277   43.5 %
   3 Stockfish 180303 bmi2    : 3461    7    7  5000    72.0 %   3283   43.3 %
   4 Stockfish 9 180201       : 3450    7    7  6000    68.7 %   3301   48.5 %
   5 asmFish 171119 bmi2      : 3440    7    7  5000    70.3 %   3277   48.3 %
   6 Houdini 6 pext           : 3428    5    5 11000    59.0 %   3355   53.9 %
   7 Komodo 11.3.1 bmi2       : 3393    7    7  5000    62.3 %   3296   49.8 % (new)
   8 Komodo 11.2.2 x64        : 3383    5    5 10000    53.2 %   3355   51.3 %
   9 Fire 6.1 popc            : 3209    5    5 11000    29.7 %   3375   40.4 %
  10 Fizbo 2 bmi2             : 3201    6    6  8000    28.1 %   3378   35.5 %
  11 Shredder 13 x64          : 3194    5    5 11000    27.8 %   3376   39.3 %
  12 Fizbo 1.9 bmi2           : 3171    7    7  6000    27.4 %   3358   36.1 %

Индивидуальная статистика: http://www.sp-cc.de/files/programs.dat

[sovaz1997]

SP-CC (длинный контроль 20 минут + 5 секунд). Здесь Komodo находится поближе к Houdini, но между ними и Sf колоссальный разрыв. Правда, погрешность достаточно большая (из-за чего более старая версия Sf находится выше более новой).

Program                       Elo    +    -   Games   Score   Av.Op.  Draws

   1 Stockfish 020118 64 BMI2    : 3470   21   21   632    60.2 %   3397   62.5 %
   2 Stockfish 030318 64 BMI2    : 3465   29   29   216    58.8 %   3402   60.2 %
   3 Houdini 6 x64-pext          : 3410   15   15   887    47.8 %   3426   61.6 %
   4 Komodo 11.3.1 64-bit        : 3395   29   29   216    44.0 %   3437   62.0 %
   5 Komodo 11.2.2 64-bit        : 3384   20   20   671    42.4 %   3438   59.2 %

Индивидуальная статистика:

Развернуть для просмотра

Individual statistics:

 

1 Stockfish 020118 64 BMI2 : 3470 632 (+183,=395,- 54), 60.2 %

Komodo 11.2.2 64-bit       : 316 (+106,=191,- 19), 63.8 %
Houdini 6 x64-pext         : 316 (+ 77,=204,- 35), 56.6 %

 

2 Stockfish 030318 64 BMI2 : 3465 216 (+ 62,=130,- 24), 58.8 %

Komodo 11.3.1 64-bit       : 108 (+ 33,= 64,- 11), 60.2 %
Houdini 6 x64-pext         : 108 (+ 29,= 66,- 13), 57.4 %

 

3 Houdini 6 x64-pext       : 3410 887 (+151,=546,-190), 47.8 %

Stockfish 030318 64 BMI2   : 108 (+ 13,= 66,- 29), 42.6 %
Komodo 11.3.1 64-bit       : 108 (+ 21,= 70,- 17), 51.9 %
Komodo 11.2.2 64-bit       : 355 (+ 82,=206,- 67), 52.1 %
Stockfish 020118 64 BMI2   : 316 (+ 35,=204,- 77), 43.4 %

 

4 Komodo 11.3.1 64-bit     : 3395 216 (+ 28,=134,- 54), 44.0 %

Stockfish 030318 64 BMI2   : 108 (+ 11,= 64,- 33), 39.8 %
Houdini 6 x64-pext         : 108 (+ 17,= 70,- 21), 48.1 %

 

5 Komodo 11.2.2 64-bit     : 3384 671 (+ 86,=397,-188), 42.4 %

Stockfish 020118 64 BMI2   : 316 (+ 19,=191,-106), 36.2 %
Houdini 6 x64-pext         : 355 (+ 67,=206,- 82), 47.9 %

[свернуть]

[svoitsl]

CCRL 40/40
March 24, 2018

1 Stockfish 9 64-bit 4CPU 3445 (-5)
2 Houdini 6 64-bit 4CPU 3408 (-5)
3 Komodo 11.3.1 64-bit 4CPU 3405 (0)

И вот наконец пришел Komodo 11.3.1 и рейтинги топовых движков обвалились сразу на 5 ЭЛО, и у Комодо есть неплохой шанс занять вторую строчку, потеснив Гудони.
Если Гудони опуститься хотя бы на 2 ЭЛО, а Комодо поднимется на те же 2 ЭЛО, то Комодо займет второе место!

[sovaz1997]

Сравнение ТОП-3 на CCRL 40/40: http://www.computerchess.org.uk/ccrl...recalibrate=no

[svoitsl]

CCRL 40/40
April 5, 2018

1 Stockfish 9 64-bit 4CPU 3445 (0)
2 Houdini 6 64-bit 4CPU 3408 (0)
3 Komodo 11.3.1 64-bit 4CPU 3406 (+1)

Комодо поднялся на 1 ЭЛО!

[svoitsl]

CCRL 40/40
April 14, 2018

1 Stockfish 9 64-bit 4CPU 3444 (-1)
2 Houdini 6 64-bit 4CPU 3408 (0)
3 Komodo 11.3.1 64-bit 4CPU 3405 (-1)

Только Гудини смог удержать свой рейтинг среди топовых движков.

[svoitsl]

CCRL 40/40
April 21, 2018

1 Stockfish 9 64-bit 4CPU 3444 (0)
2-3 Houdini 6 64-bit 4CPU 3407 (-1)
3-3 Komodo 11.3.1 64-bit 4CPU 3407 (+2)

Комодо сравнялся с Гудини и теперь разделяет с ним второе место
Из этого следует, что теперь не только Гудини, но и Комодо является самым сильным движком который можно купить
(Комодо до сих пор ещё продается., Вот только не знаю покупается ли :-) )

[svoitsl]

CCRL 40/40
April 28, 2018

1 Stockfish 9 64-bit 4CPU 3444 (0)
2-3 Houdini 6 64-bit 4CPU 3407 (0)
3-3 Komodo 11.3.1 64-bit 4CPU 3407 (0)

Стабильность!!!!

[svoitsl]

CCRL 40/40
May 5, 2018

1 Stockfish 9 64-bit 4CPU 3444 (0)
2-3 Houdini 6 64-bit 4CPU 3408 (+1)
3-3 Komodo 11.3.1 64-bit 4CPU 3408 (+1)

Гудини и Комодо наступают на пятки...., но скорее всего они сильнее, так как на сайте возможно смешивают некоторые версии...
А вот на TCEC12 скоро будут очевидно новые версии, вот там и посмотрим кто кого

[sovaz1997]

svoitsl, не смешивают. Но можно посмотреть другие версии. Разрыв от Sf действительно большой.

[svoitsl]

Встречайте НОВЫЙ!

CCRL 40/40
May 12, 2018

1 Stockfish 9 64-bit 4CPU 3443 (-1)
2 Komodo 11.3.1 64-bit 4CPU 3409 (+1)
3 Houdini 6 64-bit 4CPU 3407 (-1)

Этот день войдет в историю, Комодо уже делит с Гудини 2 и 3 место, а прочно оттеснила конкурента и заняла 2-е место. Причем разница составила целых 2 Эло

[svoitsl]

Встречайте еженедельный!

CCRL 40/40
May 18, 2018

1 Stockfish 9 64-bit 4CPU 3444 (+1)
2 Komodo 11.3.1 64-bit 4CPU 3409 (0)
3 Houdini 6 64-bit 4CPU 3408 (+1)

[svoitsl]

Новый!!!
СCRL 40/40
May 26, 2018

Очень новый!!!!

1 Stockfish 9 64-bit 4CPU 3443 (-1)
2 Komodo 12 64-bit 4CPU 3413 (+4)
3 Houdini 6 64-bit 4CPU 3408 (0)

Новый Комодо 12 сразу вырывается вперед по сравнению с Гудини 6, конечно
А по TCEC 12 видно, что и по сравнению со стокфишем тоже

[Кевин]

Цитата: Сообщение от svoitsl

А по TCEC 12 видно, что и по сравнению со стокфишем тоже

Цитата: Сообщение от svoitsl

1 Stockfish 9 64-bit 4CPU 3443 (-1)
2 Komodo 12 64-bit 4CPU 3413 (+4)

По рейтингу далеко отстаёт, а ведь это ещё Сток текущий усилился на 25 пунктов.

[sovaz1997]

svoitsl, разница между Stockfish и Komodo в TCEC увеличилась, а не уменьшилась. Просто очень мало партий, не надо делать выводы из этого)

[Vizvezdenec]

CCRL - хороший лист, но там огромные погрешности (что объяснимо, ведь там несколько тысяч движков!).
Для сравнения конкретно топовых движков лучше смотреть fastgm - http://fastgm.de/
CEGT - http://www.cegt.net/ или Stefan Pohl (тут даже лучше всего, т.к. тут тестируются новейшие стокфиши, а не старая девятая версия, которая почти на 30 эло слабее текущей) - https://www.sp-cc.de/
Вот по ним хорошо видно, что 5 эло заявленные - примерно столько, наверное, и будет, ну а в TCEC комодо пока везёт.

[svoitsl]

Цитата: Сообщение от Vizvezdenec

CCRL - хороший лист, но там огромные погрешности

Зато они хоть указаны

СCRL 40/40
June 2, 2018

1 Stockfish 9 64-bit 4CPU 3444 (+1)
2 Komodo 12 64-bit 4CPU 3412 (-1)
3 Houdini 6 64-bit 4CPU 3409 (+1)

И все таки новый Комодо все же ближе к Гудини,чем к Стокфишу
А новый Fire 7.1 они так и потестировали, жаль

[Vizvezdenec]

Цитата: Сообщение от svoitsl

Зато они хоть указаны

Так они и на остальных указаны.

[Alex_Lk]

Цитата: Сообщение от svoitsl

А новый Fire 7.1 они так и потестировали, жаль

А вот тут вы не правы. Правда картина действительно странная.

Открываем список CCRL нахдим Fire <выбираем/нажимаем>

Перед нами список тех с кем он играл.

Над списком находим "Compare them!". <нажимаем>

и перед нами список всех протестированных Fire-ов

на третьем месте
Fire 7.1 64-bit - 3258 после 826 Games
опережая
Fire 6.1 64-bit - 3206 после 2064 Games

правда это на одном ядре.
Видимо на 4-х ядрах еще не наиграли 200 игр, а до этого в список не попадают.


Ну можете и сами все смотреть.

[svoitsl]

А вот и НОВЫЙ!

СCRL 40/40
June 9, 2018

1 Stockfish 9 64-bit 4CPU 3443 (-1)
2 Komodo 11.3.1 64-bit 4CPU 3409 (0)
3 Houdini 6 64-bit 4CPU 3408 (-1)

Снова вернули Komodo 11.3.1, с меньшим на 3 Эло рейтингом, непонятно только зачем?
Fire7.1 снова в основную таблицу не попал,наверное мало партий наиграли.