Рейтинг-листы шахматных движков

[Bullet]

Цитата: Сообщение от svoitsl

Гудони так поднялся,что я стал опасаться за Стокфиш

В CCRL 40/4 Гудини тестировался против большего количества движков, чем в 40/40.
За счет ненулевого Contempt, в отличие от Стокфиша, у которого этот параметр равен 0, Гудини имеет меньше ничьих партий против слабых движков

[svoitsl]

CCRL 40/40
Downloads and Statistics
October 28, 2017

1 SugaR XPrO 1.2 64-bit 4CPU 3412
2 Houdini 6 64-bit 4CPU 3400
3 Komodo 11.2 64-bit 4CPU 3397

Гудини на втором месте!!!!

[Bullet]

На inwoba.de протестировали Texel 1.07:

Texel 1.07 - Houdini 6.02 (3350)		24.5	-	195.5		11.14%		Perf=2990
Texel 1.07 - Komodo 11.2.2 (3312)		23.0	-	197.0		10.45%		Perf=2939
Texel 1.07 - Stockfish 8 (3297)		        31.5	-	188.5		14.32%		Perf=2987
Texel 1.07 - Shredder 13 (3118)		        56.0	-	164.0		25.45%		Perf=2932
Texel 1.07 - Fizbo 1.9 (3065)		        78.5	-	141.5		35.68%		Perf=2963
Texel 1.07 - Ginkgo 2.0 (3057)		        78.5	-	141.5		35.68%		Perf=2955
Texel 1.07 - Gull 3 (3054)		        71.5	-	148.5		32.50%		Perf=2928
Texel 1.07 - Andscacs 0.92 (3047)		72.5	-	147.5		32.95%		Perf=2924
Texel 1.07 - Booot 6.2 (3024)		        82.5	-	137.5		37.50%		Perf=2936
Texel 1.07 - Jonny 8.00 (3022)		        87.0	-	133.0		39.55%		Perf=2949
Texel 1.07 - Equinox 3.30 (3006)		83.0	-	137.0		37.73%		Perf=2919
Texel 1.07 - Fritz 15 (2993)		        99.0	-	121.0		45.00%		Perf=2959
Texel 1.07 - Critter 1.6a (2993)		90.0	-	130.0		40.91%		Perf=2930
Texel 1.07 - Chiron 4 (2992)		        89.5	-	130.5		40.68%		Perf=2927
Texel 1.07 - Nirvanachess 2.4 (2963)	       109.5	-	110.5		49.77%		Perf=2962
Texel 1.07 - Hannibal 1.7 (2959)	       104.0	-	116.0		47.27%		Perf=2941
                                              1180.5	-	2339.5		33.54%		Perf=2960



3520 out of 3520 games played

Версия 1.07 прибавила 28 относительно 1.06, но до топ-16 (Hannibal 1.7) не хватило 22 ЭЛО

[svoitsl]

Однако есть новый!
CCRL 40/40
November 11, 2017
1 SugaR XPrO 1.2 64-bit 4CPU 3411 (-1)
2 Houdini 6 64-bit 4CPU 3406 (+6)
3 Komodo 11.2 64-bit 4CPU 3399 (+2)

Ближайшие конкуренты отстают более чем на 100 ЭЛО!
в скобках изменения по сравнению с 28 октября 2017 г.
Разброс сократился с 15 до 12 ЭЛО

[svoitsl]

вот и от 18 ноября уже есть

CCRL 40/40
November 18, 2017
1 asmFish 051117 64-bit 4CPU 3419
2 Houdini 6 64-bit 4CPU 3406 (0)
3 Komodo 11.01 64-bit 4CPU 3394 (-5)
Вместо сахара теперь asmfish :-)

[svoitsl]

CCRL 40/40
December 2, 2017

1 asmFish 051117 64-bit 4CPU 3425 (+6)
2 Houdini 6 64-bit 4CPU 3412 (+6)
3 Komodo 11.2 64-bit 4CPU 3398 (+4)
По сравнению с 18 ноября все стали играть лучше :-)
комодо обновился наконец то

[svoitsl]

CCRL 40/40
December 16, 2017

1 asmFish 051117 64-bit 4CPU 3424 (-1)
2 Houdini 6 64-bit 4CPU 3411 (-1)
3 Komodo 11.2 64-bit 4CPU 3402 (+3)
Комодо усилился уж на целых 3 ЭЛО!!! И вновь превысил планку в 3400!

[svoitsl]

CCRL 40/40
December 30, 2017

1 asmFish 051117 64-bit 4CPU 3422 (-2)
2 Houdini 6 64-bit 4CPU 3410 (-1)
3 Komodo 11.2 64-bit 4CPU 3404 (+2)
Последний в 2017 году!
Комодо играет все сильнее, а его противники все слабее.

[TCH]

Цитата: Сообщение от svoitsl

CCRL 40/40
December 30, 2017

1 asmFish 051117 64-bit 4CPU 3422 (-2)
2 Houdini 6 64-bit 4CPU 3410 (-1)
3 Komodo 11.2 64-bit 4CPU 3404 (+2)
Последний в 2017 году!
Комодо играет все сильнее, а его противники все слабее.

Очень интересный вывод, однако позволю себе заметить, что он не совсем обоснован, поскольку столь ничтожная динамика рейтинга значима лишь при сотнях тысяч партий. И движки - не люди, они играют сильнее или слабее лишь при смене версий, так? Ну так как же Гудини, не изменяясь долгое время, может начать играть слабее? Он играет так же, меняются лишь наши оценки его игры, причём раз меняются - значит, мы просто плохо оцениваем.

[Maratka]

Цитата: Сообщение от TCH

Он играет так же, меняются лишь наши оценки его игры, причём раз меняются - значит, мы просто плохо оцениваем.

Не совсем так.
Естественно та же самая версия Гудини не играет слабее, как и Комодо - сильнее.

Но т.к. меняются версии других движков, а вместе с ними - и их рейтинги, то меняются и рейтинги тех движков, которые давно уже не обновлялись.
Чисто условно: одно дело играть против SF8, и совсем другое - против ASM от осени 2017-го года. Внесли в таблицу ASM вместо SF8 - получили другие рейтинги всех, кто с ним теперь будет играть, хотя они сами остались тех же самых версий.

[TCH]

Цитата: Сообщение от Maratka

Не совсем так.
Естественно та же самая версия Гудини не играет слабее, как и Комодо - сильнее.

Но т.к. меняются версии других движков, а вместе с ними - и их рейтинги, то меняются и рейтинги тех движков, которые давно уже не обновлялись.

Как любил цитировать один мой знакомый: "Любезная дама, спасибо за поправку". Вот только перед тем, как поправить, неплохо бы перечитать, что поправляешь. Я говорил о фразе "Комодо играет все сильнее, а его противники все слабее". Против фразы "противники Комодо снижаются в рейтинге" я совершенно ничего не имел бы.

[Maratka]

Цитата: Сообщение от TCH

Я говорил о фразе "Комодо играет все сильнее, а его противники все слабее".

Это никак не противоречит тому, что написал я.

[svoitsl]

Эх.... время то идёт и первый в этом году

CCRL 40/40
January 6, 2018

1 asmFish 051117 64-bit 4CPU 3421 (-1)
2 Houdini 6 64-bit 4CPU 3409 (-1)
3 Komodo 11.2 64-bit 4CPU 3403 (-1)

[svoitsl]

Вышел уже второй в этом году
CCRL 40/40
January 13, 2018

1 asmFish 051117 64-bit 4CPU 3419 (-2)
2 Houdini 6 64-bit 4CPU 3408 (-1)
3 Komodo 11.2 64-bit 4CPU 3401 (-2)
Рейтинги всех движков первой тройки падают уже месяц подряд (если не считать небольшого роста у Komodo, котрый его и весь растерял )
Столь близкие значения почему то наводят на мысль,что в Komodo и Houdini по сравнению с asmFish ничего и нет нового (другого).

[svoitsl]

Вышел первый выпуск во втором месяце :-)

CCRL 40/40
February 3, 2018

1 asmFish 051117 64-bit 4CPU 3417 (-2)
2 Houdini 6 64-bit 4CPU 3407
3 Komodo 11.2 64-bit 4CPU 3400

Порядок в тройке не поменялся, но видим стойкое снижение рейтинга !!!
AsmFish установил антирекорд просев на целых 2 пункта

[sovaz1997]

В CCRL уже есть Stockfish 9 (40/4):
http://www.computerchess.org.uk/ccrl...kfish_9_64-bit

Но из-за погрешности SugaR сейчас вместо него 40/4 :(. Зря его вообще добавили.

Stockfish 9 - Houdini 6 (+33−8=59)
Stockfish 9 - Komodo 11.2 (+42−9=49)

Также, он уже есть в 40/40:
http://www.computerchess.org.uk/ccrl...kfish_9_64-bit
Но партий пока очень мало. Надеюсь, на следующей неделе Sf 9 будет виден во всех списках CCRL.

[Maratka]

Мне интересно что там с выходом Гудини 7 (ну или может 6.0.4), и Комодо 12 (или 11.3): через пару недель заканчивается предпоследний отбор TCEC, начнется мясорубка в последнем, где будут все три лидера. Соответственно, если не будет упомянутых новых версий, то оба движка будут бодаться за второе место. Т.е. вероятность их выхода в финал составит 25%, а оно вряд-ли кому-то нужно.

______
А самый маразм ситуации, что к завершен отбора все движки из тройки заведомо усилятся на 15-20 ELo (этап то продлится месяца три, если не все пять).

Т.е. опять видно, что правила кривые: между последним этапом и суперфиналом нужно хотя бы две сотни партий между актуальными на тот момент версиями победителей (скажем тройка или четверка), пусть даже и по короткому контролю а-ля 30 минут.
Иначе в финале будут играть очень сильно не те движки, которые право игры в финале завоевывали, и опять будет море обиженных, а-ля "Комодо вырос на 30 ELo, Гудини всего на 10, но за счет того, что Гудини набрал на очко больше, Комодо идет мимо финала".

[sovaz1997]

Maratka, в Премьер-дивизионе будет 6 двойных кругов (всего 12). Это в 3 раза больше, чем в прошлом сезоне (что не может не радовать), но доля случайности, конечно, остаётся.

Я тоже очень жду новых версий Houdini, т. к. если Houdini 6.0.3 будет играть хотя бы со Stockfish 9, счёт может быть таким: http://chess.my2dollars.ca/archive/Y..._TmpTable.html. А будет он играть не со Stockfish 9, а с более новой версией. Поэтому я думаю, если Гударту удалось хоть как-то улучшить свой движок, он не упустит шанс и даст новую версию на TCEC. Правда, вряд ли это будет Houdini 7. Скорее всего, это будет какая-то тестовая версия. Komodo сейчас я вообще не понимаю. Они выпускают новые версии, но они все ещё очень далеки от Sf и H по силе игры.
В этот раз я уверен в том, что Stockfish выйдет в финал, при этом будет иметь запас по очкам и находится в безопасности 1-2 места, если только Houdini не усилится на 30-60 пунктов. Contempt также должен сделать доброе дело. Ну и 12 кругов, как-никак, снижают случайность.

Одно могу сказать точно: финал будет интересным, если в нем будут Stockfish против новой версии Komodo или Houdini. Хотя, против Komodo было бы менее интересно. Очень я не уверен, что он будет сильнее даже старой версии H6. Но надеемся на хоть какую-то конкуренцию.
______________________________
Мне кажется, что мы переживаем тот момент, когда Stockfish просто вырывается вперёд и у него конкуренция с коммерческими движками - Komodo и Houdini - лишь дело времени. И это говорит нам о том, что тестовая система Stockfish действительно работает и это единственный способ как-то усиливать движок. У H и K маленькие команды, состоящие из очень хороших программистов. Но их мало, из-за чего у них медленно идёт развитие. Это грустно, т. к. конкуренция - это всегда интересно, развитие идёт быстрее именно за счёт конкуренции. Турниры типа TCEC тем и интересны, что мы не знаем, кто победит, хотя и понимаем, кто сильнейший. Так что я очень жду сюрпризы от K и H, но буду болеть за Stockfish.

[Maratka]

Цитата: Сообщение от sovaz1997

В этот раз я уверен в том, что Stockfish выйдет в финал, при этом будет иметь запас по очкам и находится в безопасности 1-2 места,

Я в этом нисколько не сомневаюсь. Вопрос в том, кто и как будет бодаться за второе место. Ведь если выйдет новый Гудини, но не выйдет Komodo, то суперфинал можно играть сразу, если выйдет Komodo, но не Гудини - аналогично.
А у Komodo похоже большие проблемы: новых релизов нет уже полгода.

[sovaz1997]

Maratka, у Komodo, хотя бы, выходят тестовые версии:
http://chess.my2dollars.ca/live.html
Сейчас играют Komodo 2005.00 против старого Houdini 6.0.3.

[Maratka]

Цитата: Сообщение от sovaz1997

Maratka, у Komodo, хотя бы, выходят тестовые версии:

Я знаю, т.к. вижу их на PlayChess:

[Bullet]

Add Stockfish 9!
2500k@4.5/60+0.3/128Mb/HS440.pgn

   # PLAYER                  :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)     W     D     L  D(%)  OppAvg
   1 Stockfish_9             :    3411      6  6208.0    7920  78.4      99  4846  2724   350  34.4    3161
   2 Stockfish_010118_c15    :    3400      6  6128.5    7920  77.4      99  4685  2887   348  36.5    3161
   3 Houdini_6.02            :    3389      6  6452.0    8800  73.3     100  4728  3448   624  39.2    3187
   4 Komodo_11.2.2           :    3343      5  5984.0    8800  68.0     100  4188  3592  1020  40.8    3192
   5 Fire_6.1                :    3183      5  4164.5    8800  47.3     100  2206  3917  2677  44.5    3208
   6 Shredder_13             :    3156      5  3847.5    8800  43.7      95  1924  3847  3029  43.7    3211
   7 Fizbo_2                 :    3149      5  3772.5    8800  42.9     100  2068  3409  3323  38.7    3211
   8 Gull_3                  :    3096      5  3161.5    8800  35.9     100  1390  3543  3867  40.3    3216
   9 Andscacs_0.93           :    3071      5  2888.5    8800  32.8     100  1299  3179  4322  36.1    3219
  10 Fritz_16                :    3031      6  2457.0    8800  27.9      51   999  2916  4885  33.1    3223
  11 Booot_6.2               :    3030      6  2456.0    8800  27.9     ---   923  3066  4811  34.8    3223

White advantage = 36.85 +/- 1.31
Draw rate (equal opponents) = 52.16 % +/- 0.31

 1) Stockfish_9          3411 :   7920 (+4846,=2724,-350),  78.4 %

    vs.                        :  games (    +,    =,   -),   (%) :   Diff,   SD, CFS (%)
    Houdini_6.02               :    880 (  189,  557, 134),  53.1 :    +22,    4,  100.0
    Komodo_11.2.2              :    880 (  288,  476, 116),  59.8 :    +68,    4,  100.0
    Fire_6.1                   :    880 (  541,  326,  13),  80.0 :   +228,    4,  100.0
    Shredder_13                :    880 (  561,  301,  18),  80.9 :   +255,    4,  100.0
    Fizbo_2                    :    880 (  562,  279,  39),  79.7 :   +262,    4,  100.0
    Gull_3                     :    880 (  621,  255,   4),  85.1 :   +315,    4,  100.0
    Andscacs_0.93              :    880 (  662,  211,   7),  87.2 :   +340,    4,  100.0
    Fritz_16                   :    880 (  708,  158,  14),  89.4 :   +381,    5,  100.0
    Booot_6.2                  :    880 (  714,  161,   5),  90.3 :   +381,    5,  100.0

PGN

[Maratka]

Цитата: Сообщение от sovaz1997

svoitsl, тут улавливать ничего не надо, этот человек просто почему-то на меня обижен. Теперь он пытается что-то мне сказать, но я не знаю, что. Уже все темы по TCEC в его флуде и бессмысленных сообщениях. Кстати, он теперь за Komodo болеет. В тот раз все Houdini восхвалял)

Просто нужно уметь разделять то что хочется, то что может быть, и то, что есть на самое деле.

Например, я хочу, чтобы чемпионом TCEC 11 стал Fritz (в девичестве - Рыбка). Но этого нет, и уже не будет: данный движок не прошел в даже в предпоследний отборочный круг. Потому все пожелалки откладываются на TCEC 12 (и попутно, рекомендую поклонникам данного движка помолиться, чтобы Васик за год ухитрился добавить ему 200 Elo).

Вариант два: я хочу, чтобы чемпионом TCEC стал Komodo. А это возможно, чего бы и нет: у его текущей релизной версии есть ~25% шансов на выход в финал, у последней беты -наверняка еще поболее. Шансов выиграть финал- так конечно немного, ибо ему там придется встретится либо с Гудини (а кто кого там в очной партии - мы узнали совсем недавно), либо с SF (а там объективных шансов еще меньше). Но тем не менее, при определенном везении - возможно. Математика однако: если один из движков при очной ставке с другим на бесконечно большом отрезке партий берет 55% очков, то шанс, что слабейший выиграет на конечном отрезке из 100 партий ~30%, т.е. очень сильно больше нуля.

Следствие: TCEC определяет чемпиона, а не сильнейший движок.
Однако за неимением лучшего (где еще гоняют матчи на 40+ ядрах?) - приходится довольствоваться тем что есть.
Хотя и очевидно, что проведение финала даже всего в 200 партий вместо 100 снимет половину вопросов вида "а если бы..."

[sovaz1997]

Maratka, на YLCET гоняют на 35 ядрах. Там Stockfish выиграл Houdini +13 -3 и остальные партии - ничьи. Всего 100 партий. Выборка, конечно, все равно маленькая.

[ALEKS]

Уважаемый модератор , что я почерпнул полезного из предыдущих словоблудий , можете пояснить ?

[Maratka]

Цитата: Сообщение от sovaz1997

на YLCET гоняют

Значит им нужно гонять все то, что они и сейчас гоняют, но подольше (TCEC'у 10 лет!), и побольше пиариться.
В конечном итоге, шахматистов интересует лучший движок, а не количество корон на голове (по последнему показателю что Komodo, что Houdini, что SF вроде бы как не сильно опережают Deep Fritz, Deep Junior и Shredder)?

А раз так, то и смысл в этой короне (ну кроме может быть символической суммы, которой награждают победителя)?

[ChessMan]

Удалил сообщения не по теме. Просьба больше не вестись на провокации!

[svoitsl]

CCRL 40/40
February 10, 2018

1 Stockfish 9 64-bit 4CPU 3450
2 Houdini 6 64-bit 4CPU 3411 (+4)
3 Komodo 11.2 64-bit 4CPU 3404 (+4)

Рейтинг у всех сильно подрос, а Стокфишь так вообще вышел в отрыв
Скоро будет не первая тройка и вторая, а Стокфишь, ещё двойка и тройка
Или даже есть
Стокфишь и все остальные :-)

[sovaz1997]

svoitsl, Stockfish не вышел в отрыв. Просто добавили наконец тест с 4CPU. Считайте, что сегодня только появился полноценный тест Stockfish 9 на CCRL 40/40

[svoitsl]

Просто немного удивляет рост по сравнению с 3417 asmFish 051117 64-bit 4CPU
Все таки asmfish не такой уж и древний, да и по шустрее Стокфиша будет на 20-30%.
Непонятно за счет чего такой рост...
у asmfish должен быть ЭЛО больше только за счет скорости (при прочих равных)...
А при одной и той же скорости Стокфишь вряд ли опережает asmfish более чем на 15 ЭЛО (за счет новизны...)