Chess.com Computer Chess Championship 9

[Maratka]

А тест вообще говоря был бы полезен, учитывая, что мало кто может себе позволит такое железо. Тысяч десять партий, прошли бы за ~полтора месяца.

[sovaz1997]

Цитата: Сообщение от Maratka

А тест вообще говоря был бы полезен, учитывая, что мало кто может себе позволит такое железо. Тысяч десять партий, прошли бы за ~полтора месяца.

Чтобы это было тестом, надо предварительно протестировать железо, чтобы не было случайных поражений того или иного движка. Есть большие сомнения насчет надежности железа CCC.

[Maratka]

Чтобы протестировать железо, нужно как минимум иметь независимую комиссию от производителей движков и на стадии тестирования железа, и в качестве судей во время матча. Очевидно, это по некоторым причинам невозможно. Так что это вопрос "веры".

Но и любой другой тест упирается именно в это.

Ну вот простой пример: я уже писал, еще раз повторю: в моих тестах поражение LZ по зевку, где оценка резко обваливается за LZ я просто переигрываю. Т.е. я стремлюсь получить некую идеальную игру LZ, вычитая уровень мусорных партий с его стороны.

Вопрос: кто еще так делает? TCEC? 3С? CCRL?

Отсюда вопрос: а чей рейтинг правильнее? У перечисленной выше тройки он показывает реалии, у меня - отсеивается "мусор", который так или иначе, но лет через пять LZ таки переборит. Ну так кто точнее?

И это очень серьезный вопрос, ибо дурацкие зевки, в особенности на коротких контролях имеют место быть и у SF, а у LZ - это вообще добрых 70% причин поражений.

[Барков Кирилл]

Уже идет ECO MegaMatch II (1|1).

А как закончилась первая половина, где найти результаты?

[Intruder]

https://ccccms.chess.com/mygames?page=4

[Vizvezdenec]

Кому как, а мне нравятся игры в королевском гамбите.
И не потому, что стокфиш там выигрывает в среднем, просто там позиции возникают почти всегда такие, которые не увидишь в играх гроссов - всё стоит в непонятных местах и т.д.
При этом стоит отметить, что неточностей в них оба движка в 60+0.6 допускают предостаточно даже на таком железе, тут и резкие падения с +5 до 0, и с 0 до -3, и запертые фигуры от SF, и слепота к атаке противника от Лилы, и т.д.
Может быть, конечно, это сказывается то, что я такой себе шахматист, но мне приятнее видеть именно тип позиций такой, нежели очередное унылое бенони с позиционным жбаном для чёрных.

[Alex_Zet]

Уже пятый пост визвеза с тех пор как глюкнуло GPU и дела Лилы пошли не важно. И вот снова, после всего лишь 19 партий в новом турнире, а старый бросили видимо не доиграв, тут на ссс редко что идет все как надо до конца и этот вот также ждет плачевная судьба, но пока Стокфиш на коне, как не протрубить в горн - мы же красавцы. И наплевать на то что в бонусе на ТСЕС и не по минуте вовсе как тут, когда доля случайности зашкаливает и вообще не возможно сколь нибудь здраво судить о силе движков, а по 30 +5, с форой по времени у Стокфиш из за встроенной у него книги, Лила уже ведет по победам 2 - 0 после 22 партий, визвез таких турниров в упор не замечает, а зачем, ведь это придется расписаться в неспособности Стокфиш противостоять Лиле, когда нет этих искусственных дебютных расстановок, а уж если без книги то Стокфишу вообще нечего ловить.
Нет конечно, сердцу не прикажешь, когда твой летит как фанера, заинтересуешься и кухонным турниром где Стокфиш наконец то станет побеждать.

[sovaz1997]

Вообще удивляет, что (уже сколько там, 2 года?) за это время chess.com не наладит ни сайт, ни сервер

[Омегазеро]

Цитата: Сообщение от alchemist888

выставить сильнейшую сеть после бесконечных жалоб

Кто решил, что эта сеть сильнейшая?
Она натренирована на играх трехмесячной давности

[svoitsl]

Цитата: Сообщение от Омегазеро

Она натренирована на играх трехмесячной давности

Так вы можете сказать, что последние игры - слабые (и сети на них тренированные - тоже)

[Maratka]

Какая версия SF играет?

Version
180520 64 BMI2

Updated
14.05.2020

Так 18 или 14 мая?
Как может версия от 18 мая быть обновлена 14 мая?

[Омегазеро]

Цитата: Сообщение от svoitsl

Так вы можете сказать, что последние игры - слабые (и сети на них тренированные - тоже)

Если вы про этот тест https://docs.google.com/spreadsheets...gid=1825444216

то

сеть 3010 тренировалась на играх с Эло в интервале +6, +16, +14, +19

а последние игры - это +24, +24, +28, +27, +24, +20, +20

Почувствуйте разницу (с)

[Maratka]

Да какая разница?
И так уже понятно, что около года движки идут нос к носу, +/- 5 или 10 Elo никакой погоды не делают.

Ну вот выиграет SF матч с разницей в 4 Elo, а если бы более лучшая сеть - проиграет с разницей в 5 Elo, какая разница? Все одно нужно анализировать обоими движками (и неважно, для игры по переписке, или как я - для составления книги), более того - нужно понимать плюсы каждого в определенных позициях, и выбирать движок исходя из них.

[Alex_Zet]

Ага, когда Лила была вровень со Стоком, то Маратка и мысли об этом не допускал, постил свои кухонные тесты из 100 партий где Сток громил якобы Лилу, а теперь когда есть устойчивые тесты прямо указывающие превосходство Лилы над Стоком, теперь оказывается они идут вровень.

[Maratka]

Цитата: Сообщение от Alex_Zet

Ага, когда Лила была вровень со Стоком, то Маратка и мысли об этом не допускал, постил свои кухонные тесты из 100 партий где Сток громил якобы Лилу

LZ сейчас вровень со SF. А чуть более года назад SF уверено переигрывал LZ.

Ну что поделать, если сеть 1xx была по сути своей пробным шаром, движок - сырым, к тому же медленным? Сеть 2xx не задалась в принципе, 3xx играла в целом неплохо, но не знала, что такое более 2-х ферзей (что встречается не так уж и редко). И только 4xx вышла без особых недостатков. В этот период LZ выиграл TCEC, но это выпало на трехмесячный застой у SF. Сейчас ровно такой застой у LZ, длится месяца полтора -два, и когда пройдет - неизвестно, а SF растет, скажем если бы весенний финал текущего года в TCEC игрался бы сейчас, а не полтора месяца тому, то ой как сомневаюсь, что LZ бы выиграл. 3C это в любом случае показывает: борьба очень плотная, вязкая. И это при железе, которое для a-b движков вдвое слабее, чем у TCEC, а вот LZ имеет ровно то же.

[Alex_Zet]

Цитата: Сообщение от Maratka

LZ сейчас вровень со SF. А чуть более года назад SF уверено переигрывал LZ.

Ну что поделать, если сеть 1xx была по сути своей пробным шаром, движок - сырым, к тому же медленным? Сеть 2xx не задалась в принципе, 3xx играла в целом неплохо, но не знала, что такое более 2-х ферзей (что встречается не так уж и редко). И только 4xx вышла без особых недостатков. В этот период LZ выиграл TCEC, но это выпало на трехмесячный застой у SF. Сейчас ровно такой застой у LZ, длится месяца полтора -два, и когда пройдет - неизвестно, а SF растет, скажем если бы весенний финал текущего года в TCEC игрался бы сейчас, а не полтора месяца тому, то ой как сомневаюсь, что LZ бы выиграл. 3C это в любом случае показывает: борьба очень плотная, вязкая. И это при железе, которое для a-b движков вдвое слабее, чем у TCEC, а вот LZ имеет ровно то же.

Ага, год назад Лила уверенно обыграла Стокфиш в Суперфинале 15 со счетом +14 - 7 =79.

А вот прямо сейчас LCZero v0.25.1-sv-t60-3010 в общем зачете по сумме двух бонусов после 40 сыгранных партий ведет 4 - 0 и это при том что Стокфиш имеет там фору по времени от 6 до 10 минут в каждой партии, как раз 10% побед о чем я и писал ранее.

Не знаю где Маратка черпает сведения, кто ему их поставляет, только вот статистика неумолима. Уже ясно что Лила намного (примерно 50 эло) сильнее чем Стокфиш, все тесты на более менее вменяемом контроле, кроме кухонных у Маратки, свидетельствуют об этом. Да мне собственно хватает того что се -йчас на ТСЕС . Подсуживать кому то там нет необходимости. Все как есть на самом деле. Да, сыграно всего 40 партий, но наметилась ясная тенденция, 10% сыгранных партий побеждает Лила и это с учетом фору у Стокфиша по времени, Допустим сыграли бы они 4000 партий, из них лила победит в 400 при 3600 ничьих. Это примерно же 50 эло разницы или дистанция в 1 год развития Стокфиш. То есть Стокфиш сейчас отстает примерно на 1 год по развитию от Лилы и нынешняя версия Стокфиш равно по силе той, что выиграла Суперфинал 15, LCZero v0.21.1-nT40.T8.610. Как раз об этом и пишет Маратка, что именно эта сеть без особых недостатков. Я кстати не уверен что нынешний Стокфиш сможет обыграть эту сеть без особых недостатков. Думаю счет бы был в районе +9 -7 в пользу Лилы.

[Владимир001]

[QUOTE=Alex_Zet;131044]Слишком уж стало на ТСЕС много случайно неслучайного. Само понятие турнир тсес становится нарицательным. Теперь это означает - подлог, сговор, махинации. ТСЕС перестал быть тем чем был долгие годы.

[Владимир001]

не верьте тестам ТСЕС там сговор ,подлог ,махинации ,а стокфиш чемпион

[Владимир001]

[Alex_Zet]

Цитата: Сообщение от Владимир001

не верьте тестам ТСЕС там сговор ,подлог ,махинации ,а стокфиш чемпион

Понимаю что вам очень больно принять правду. От вас её всю жизнь скрывают заставляя вас жить в галлюцинациях. Не знаю как вам помочь.

[Омегазеро]

Цитата: Сообщение от alchemist888

Основное назначение шахматного движка - аналитический инструмент

Если бы это было так, то тестирование новых патчей проходило бы по набору случайных легальных позиций
А оно проходит по трех-четырех ходовым дебютным наборам

То есть развивается не аналитическая сила в произвольных позициях, а умение хорошо играть с третьего-четвертого хода

Цитата: Сообщение от alchemist888

А по существу... Лила сильнее конечно же

567.5 очков в 1112 партиях

Это +7

Но с вашим подходом эта разница меньше ошибки, которую вы придумали

[alchemist888]

Цитата: Сообщение от Омегазеро

Если бы это было так, то тестирование новых патчей проходило бы по набору случайных легальных позиций
А оно проходит по трех-четырех ходовым дебютным наборам
То есть развивается не аналитическая сила в произвольных позициях, а умение хорошо играть с третьего-четвертого хода

Как Вы с помощью 1-2 ходовой книги планируете обеспечить огромное многообразие дебютных вариантов для тестов?

Цитата: Сообщение от Омегазеро

567.5 очков в 1112 партиях
Это +7
Но с вашим подходом эта разница меньше ошибки, которую вы придумали

Вообще, я это сказал в полушутливой форме, чтобы подразнить людей, для которых Elo показатель движка является единственным мерилом его силы и полезности. Там и улыбка в конце стоит
Но в каждой шутке, как всегда, есть только доля шутки. Долго описывать причины, по которым я считаю Лилу сильнее, чем Стокфиш, а подход нейронных сетей куда более перспективным и многообещающим. Сейчас мне лень это делать, поэтому воздержусь

Вы, кстати, спрашивали почему опять в CCCC поставили сеть SV-3010, ведь она уже старая, и можно было натренировать получше, или например выбрать какую-нибудь из новых проверенных T60.
Отвечаю:
1) На данный момент нет более сильной сети, чем SV-3010. Когда они появятся, тогда и будут играть в турнирах;
2) T60 и в 1.8-х раз большая сеть SV-3010 показывают примерно одинаковые скорости в рамках CCCC. А по тестам с фиксированными узлами SV-3010 значительно впереди любой сети T60.

P.S. И статистическую достоверность результатов не я придумывал, а математики много лет назад. Но все равно спасибо

[dew]

Цитата: Сообщение от Alex_Zet

Понимаю что вам очень больно принять правду. От вас её всю жизнь скрывают заставляя вас жить в галлюцинациях. Не знаю как вам помочь.

Себе бы ты помог. Ни для кого ты хорошего ничего не сделал.

[alchemist888]

Великолепная партия от Лилы! Шедевр позиционно-динамической игры. Обращаю внимание, что партия была сыграна в пулю, с контролем 1'+1''

Lc0-SV-3010 - Stockfish 170520
ECO MegaMatch II! (1|1)
Game 648

[Event "ECO MegaMatch II! (1|1)"]
[Site "?"]
[Date "2020.05.20"]
[Round "1"]
[White "Lc0-dev"]
[Black "Stockfish"]
[Result "1-0"]
[ECO "C64"]
[GameDuration "00:07:49"]
[GameEndTime "2020-05-20T07:37:57.796 PDT"]
[GameStartTime "2020-05-20T07:30:08.298 PDT"]
[Opening "Ruy Lopez"]
[PlyCount "211"]
[TimeControl "60+1"]
[Variation "Classical defense, Charousek Variation"]

1. e4 e5 2. Nf3 Nc6 3. Bb5 Bc5 4. c3 Bb6 5. d4 exd4 6. cxd4 Nce7 7. O-O c6 8. d5
cxb5 9. d6 Nc6 10. e5 Kf8 11. Nc3 Qe8 12. Re1 h6 13. Nd5 Bd8 14. b4 a6 15. Be3
h5 16. Bb6 Nxb4 17. Nf6 gxf6 18. exf6 Qxe1+ 19. Qxe1 Bxf6 20. Qxb4 Bxa1 21. Ng5
h4 22. Qb3 Nh6 23. Qd1 Bg7 24. Qe2 Bf6 25. Ne4 Ba1 26. Qe1 Bg7 27. Qe3 Ng8 28.
Qg5 f6 29. Qg6 Rh6 30. Qf5 Kf7 31. Ng5+ Kf8 32. Nf3 h3 33. g4 Bh8 34. g5 Rh5 35.
Be3 b6 36. Ne5 Rb8 37. Kf1 b4 38. Qg6 fxe5 39. Qxh5 Bb7 40. Qxh8 Bg2+ 41. Ke1
Be4 42. g6 Bxg6 43. Qxh3 Nf6 44. Qh8+ Kf7 45. Qxb8 Nd5 46. Qb7 Ke6 47. Bxb6 Bd3
48. f4 Nxf4 49. Be3 Nd5 50. Kd2 Bc4 51. Qc8 Bb5 52. Qg8+ Kxd6 53. Qg6+ Kc7 54.
Ba7 Bc6 55. Qg8 Kd6 56. Qf8+ Ke6 57. Qh6+ Nf6 58. Qh3+ Kf7 59. Qf5 d6 60. Kc1
Ke7 61. Qc8 Bb5 62. Qc7+ Ke6 63. Bb8 Ne8 64. Qa5 b3 65. axb3 Ke7 66. Bxd6+ Kxd6
67. Qd2+ Ke6 68. Qh6+ Nf6 69. Qg6 Bc6 70. Qd3 Bb5 71. Qf3 e4 72. Qf4 Be2 73. Kd2
Bg4 74. Ke1 Bh3 75. Qh4 Bf5 76. Qh6 Kf7 77. Qf4 Ke6 78. Qf1 Ke5 79. Qxa6 Nh7 80.
Qa5+ Kf6 81. h3 Ke6 82. Ke2 Nf6 83. Ke3 Bg6 84. Qg5 Bh5 85. b4 Bf3 86. b5 Nd7
87. b6 Ne5 88. Qxe5+ Kxe5 89. b7 Ke6 90. h4 Bh5 91. Kxe4 Kd7 92. b8=Q Kc6 93.
Ke3 Bg4 94. h5 Bxh5 95. Qe5 Bd1 96. Kd2 Bb3 97. Qc3+ Kd6 98. Qxb3 Kd7 99. Qf3
Ke6 100. Qc6+ Kf7 101. Kd3 Kg7 102. Ke4 Kh8 103. Qd7 Kg8 104. Ke5 Kf8 105. Kf6
Kg8 106. Qg7# 1-0

[Омегазеро]

Цитата: Сообщение от alchemist888

Как Вы с помощью 1-2 ходовой книги планируете обеспечить огромное многообразие дебютных вариантов для тестов?

Я писала о совершенно противоположных вещах

Цитата:

тестирование новых патчей по набору случайных легальных позиций

не надо мне приписывать чужие идеи

Но ваша логика тоже уязвима. Почему именно ОГРОМНОЕ многообразие вариантов должно усиливать движок?
Зачем включать в это многообразие мусорные дебюты, которые не хотят играть ни программы, ни гроссмейстеры?

Цитата: Сообщение от alchemist888

Вообще, я это сказал в полушутливой форме, чтобы подразнить людей, для которых Elo показатель движка является единственным мерилом его силы и полезности

Вот именно!
Вы тоже считаете, что вместо системы Эло силу движка нужно оценивать иначе?
Какую рейтинговую систему вы предлагаете?

[dew]

Цитата: Сообщение от Омегазеро

Зачем включать в это многообразие мусорные дебюты, которые не хотят играть ни программы, ни гроссмейстеры?

Некоторые ученики, часть из которых станут гроссмейстерами не хотят решать "мусорные" задачи (читай твои деюты)
А некоторые программы не хотят играть в шахматы фишера..
Если шахматы фишера будут в тренде, конечно захотят, ибо придется, но пупок придется поднадорвать )

[Омегазеро]

Цитата: Сообщение от alchemist888

Отвечаю:
1) На данный момент нет более сильной сети, чем SV-3010. Когда они появятся, тогда и будут играть в турнирах;
2) T60 и в 1.8-х раз большая сеть SV-3010 показывают примерно одинаковые скорости в рамках CCCC. А по тестам с фиксированными узлами SV-3010 значительно впереди любой сети T60

Глупости!
Сеть 63558, например, на 40 Эло сильнее сети SV-3010 (результаты тестов прилагаются)

Уменьшим ее скорость в 1,8 раз (для сравнения с условиями СССС)
Получим ослабление максимум на 30 Эло

40-30 = 10

Хотя цифры приблизительные, факт превосходства последних сетей над SV-3010 очевиден

Результаты мегаматча тоже говорят об этом. В первой половине на сильных сетях Лила уходила в отрыв на +23. Просто начинала откатываться назад, когда подгружалась слабая сеть. Поэтому критика идеи подряд грузить все сети, и слабые и сильные, совершенно справедлива

На одной постоянной сильной сети SV-3010 Лила сейчас уходит в такой же отрыв, то есть силы сетей сравнимы

[alchemist888]

Цитата: Сообщение от Омегазеро

Глупости!
Сеть 63558, например, на 40 Эло сильнее сети SV-3010 (результаты тестов прилагаются)

Ох уж эти тесты на 100 партий... К тому же Вы же взяли сеть сверху и снизу соответственно. Наверху, как известно будет больше удачных ранов, а внизу неудачных. Как Вы докажете, что обе сети попали в свои средние значения рейтинга?

Цитата: Сообщение от Омегазеро

Уменьшим ее скорость в 1,8 раз (для сравнения с условиями СССС)
Получим ослабление максимум на 30 Эло

Почему 30 Elo, а не 50, или 100? Как Вы вычислили это значение?

Цитата: Сообщение от Омегазеро

Результаты мегаматча тоже говорят об этом. В первой половине на сильных сетях Лила уходила в отрыв на +23. Просто начинала откатываться назад, когда подгружалась слабая сеть. Поэтому критика идеи подряд грузить все сети, и слабые и сильные, совершенно справедлива

Результаты мегаматча - это результаты мегаматча. В первой половине были одни дебюты, а во второй другие. В первой половине была группа сетей T60, а во второй одна сеть от Sergio. Мы не знаем как примерно будет выступать SV-3010 на дебютах из первой половины, пока CCCC не проведет соответствующий ивент.


Теперь по тестам Стокфиша

Цитата: Сообщение от Омегазеро

Я писала о совершенно противоположных вещах -- тестирование новых патчей по набору случайных легальных позиций

Какой еще такой набор? У Вас он есть?
Чем разнообразные дебюты отличаются от набора случайных позиций, которые к тому же часто встречаются в практических партиях?
Хотя, нет, отличаются и сильно. Среди случайных легальный позиций мусора будет в тысячи раз больше, чем в любом дебютном наборе. Больше мусора = больше шума и искажения статистики за счет огромного количество результативных партий за оба движка.
Умеренное же количество плохих позиций может быть даже хорошо для тестов. Если после патчей движку удается их защищать с большей частотой и в большем количестве, то это признак того, что он становится сильнее.

P.S. По поводу рейтинга Elo и способов оценки силы движка напишу позже.

[Vizvezdenec]

О, ну наконец-то до староиндийской доехали и сразу пошли интересные партии.
А то эта возня в нимцовиче по 50 ничьих подряд порядком надоела уже.
Кстати говоря, тут можно видеть, как оба движка выигрывают перекатыванием, а не зевками в 2-3-4 хода. Куда чаще, чем до этого.
Лично поэтому мне этот дебют нравится - даже движки тут лажают дай боже, стратегически он, пожалуй, едва ли не самый сложный в принципе.

[Омегазеро]

Цитата: Сообщение от alchemist888

Ох уж эти тесты на 100 партий...

Вы сами выслали мне дебюты для теста из 100 партий, видимо вам они нравятся

Цитата: Сообщение от alchemist888

Как Вы докажете, что обе сети попали в свои средние значения рейтинга?

Я не буду ничего доказывать, я проведу свои тесты на большом количестве партий с контролем уровня шума

Цитата: Сообщение от alchemist888

Почему 30 Elo, а не 50, или 100? Как Вы вычислили это значение?

А вы не догадываетесь?

Интересно, что сейчас на CCCC играет сеть 63604. Если она гораздо слабее SV-3010 в перерасчете на nps, зачем её туда послали?

Цитата: Сообщение от alchemist888

Результаты мегаматча - это результаты мегаматча. В первой половине были одни дебюты, а во второй другие

То есть вы признаете, что рейтинг может меняться на десятки Эло в зависимости от подбора дебютов?
Отлично, это уже прогресс!

Цитата: Сообщение от alchemist888

Какой еще такой набор? У Вас он есть?
Чем разнообразные дебюты отличаются от набора случайных позиций, которые к тому же часто встречаются в практических партиях?
Хотя, нет, отличаются и сильно. Среди случайных легальный позиций мусора будет в тысячи раз больше, чем в любом дебютном наборе.

Если позиции брать из базы реальных партий с учетом их результативности, мусора там не будет

А "разнообразные дебюты" - это только начала реальных партий, вдобавок сильно разбавленные нереальными мусорными дебютами. Правильные стратегии могут потонуть в статистическом шуме

Цитата: Сообщение от alchemist888

Если после патчей движку удается их защищать с большей частотой и в большем количестве, то это признак того, что он становится сильнее

То есть вы категорически исключаете возможность, что движок может усиливаться на мусорных дебютах и ослабевать на классических?
Всегда ли оптимизация на нестандартных, граничных значениях может привести к оптимизации на стандартных, распространенных?