TCEC 12 - чемпионат мира среди шахматных движков!

[sovaz1997]

TCEC (Сезон 12), чемпионат лучших шахматных движков, начнется во второй половине апреля 2018 года, через несколько часов после последней игры в матче Stockfish - Houdini (Сезон 11). Это снова будет система дивизионов с 32 движками примерной силы 3000+ ELO, игры будут воспроизводится на мощном железе (44 ядра Xeon и 16 Гб ОЗУ) с длинным контролем времени для получения качественный шахматных партий.

Резкий скачок силы в прошлом сезоне был значительным. Ожидается, что эта тенденция продолжится в 12-м сезоне, так как большинство участников предоставят новые версии движков для мероприятия.

Официальный сайт TCEC Season 12 / TCEC Twitch TV / Facebook

Правила 12 сезона TCEC

Правила и положения TCEC развивались годами с помощью сообщества. Команда TCEC представит наиболее востребованные правила и функции, предложенные аудиторией в ходе обсуждений в течение последних трех месяцев.

Среди наиболее заметных изменений - контроль времени и количество игр. Второй дивизион сократил время игры, в то время как «Первый»- и «Премьер»- дивизионы не изменят контроль времени, но уменьшат количество кругов раунда. Сокращенные контроль времени и количество игр позволят делать четыре сезона в год и оставить время для дополнительного события (подсказка: NN-движки).

Еще одно серьезное изменение - система тай-брейков. До сих пор критерии SB (Sonneborn-Berger) были приоритетными. С 12-го сезона главным фактором тай-брейка будет прямой матч.

Незначительные изменения правил, характерные для Сезона 12, можно найти на вкладке «Правила» на официальном веб-сайте после начала сезона.

Список участников 12-го сезона

Развернуть для просмотра

Premier Division (8x RR, 90′ + 10”)
1. Stockfish – защищающий "Grand Champion of TCEC S11"
2. Houdini
3. Komodo
4. Fire
5. Chiron
6. Andscacs
7. Продвижение из 1-го див.
8. Продвижение из 1-го див.

1-й дивизион (4x RR, 60′ + 10”)
1. Fizbo
2. Ginkgo
3. Booot
4. Jonny
5. Gull
6. Laser
7. Продвижение из 2-го див.
8. Продвижение из 2-го див.

2-й дивизион (4x RR, 30′ + 10”)
1. Hannibal
2. Nirvana
3. Texel
4. Arasan
5. Fritz
6. Vajolet
7. Продвижение из 3-го див.
8. Продвижение из 3-го див.

3-й дивизион (4x RR, 30′ + 10”)
1. Bobcat
2. Wasp
3. Nemorino
4. Pedone
5. Defenchess*
6. Senpai
7. Продвижение из 4-го див.
8. Продвижение из 4-го див.

4-й дивизион (4x RR, 30′ + 10”)
1. ChessBrainVB
2. Ethereal
3. Tucano
4. Fruit
5. Scorpio
6. Rodent
7. Xiphos
8. The Baron

* Примечание: возможны изменения в 4-м дивизионе

[свернуть]

Дебютная книга

Основная часть успеха TCEC основана на работе экспертов по дебютам в TCEC. В этом сезоне дебютная книга будут предоставлены владельцем Catobase Нельсоном Эрнандесом еще раз. По традиции дебютная книга Суперфинала будут состоять из дебютов Jeroen Noomen. Еще больше приглашенных экспертов присоединятся к сезону. Конкретная информация будет обновлена на вкладке «Opennings» на официальном сайте.

Поддержка TCEC

TCEC - это соревнование, полностью поддерживаемое сообществом. Каждый сезон имеет свой отдельный бюджет, и только постоянная поддержка фанатов позволяет ему работать. Чтобы узнать, как вы можете поддержать TCEC, нажмите здесь.

[sovaz1997]

Цитата: Сообщение от svoitsl

Все таки основная причина мне думается не в этом, а в том, что разрабатывать толком некому (как например с Leela, где номинально 4 чел, а на деле... ), если хочется что то проверить, то по уму надо писать специальный тест именно для того, что хочется проверить, а не гонять движки на 10000 игр, но вот получается что погонять движки проще, чем тест сделать

До Rybka, как я понимаю, так и делали. Гонять движки на 10000 игр - это как раз и есть прорыв, за счёт которого у нас сейчас есть Stockfish с рейтингом 3400. Без этих тестов ничего бы не было. Самое эффективное - прогон партий УКК, все топ-движки сейчас так развиваются.

[Vizvezdenec]

Цитата: Сообщение от svoitsl

Все таки основная причина мне думается не в этом, а в том, что разрабатывать толком некому (как например с Leela, где номинально 4 чел, а на деле... ), если хочется что то проверить, то по уму надо писать специальный тест именно для того, что хочется проверить, а не гонять движки на 10000 игр, но вот получается что погонять движки проще, чем тест сделать

Так а что нужно писать?
В плане, для движков уровня 3500+ любые 2 эло - уже немало, а стандартный SPRT [0;5] имеет шанс пройти такой тест при +2 эло всего лишь с вероятностью 75%! При этом ему понадобится на это в среднем 89 CPU дней.
https://github.com/glinscott/fishtes...-my-first-test
В общем, эпоха, когда движки писались интуитивно и эло лежало просто на поверхности и его можно было тысячей игр померять, осталась где-то году в 2008. До 3200 добраться на "интуитивном" подходе вполне можно с достаточно минимальным тестированием, после этого уже надо заниматься гриндингом с огромным количеством тестов, где 99,9% идей будут отвергаться. 10000 же игр даёт погрешность в 3 эло примерно, а сейчас 3 эло для того же стокфиша - очень хороший патч. Основная причина текущей мощи стокфиша - много разработчиков с разными идеями и очень мощная железячная база для поддержки их возможностей в тестировании.
Ну и хорошая методология всего этого процесса - пока она не нуждается в редактировании.

[Vizvezdenec]

Цитата: Сообщение от sovaz1997

До Rybka, как я понимаю, так и делали. Гонять движки на 10000 игр - это как раз и есть прорыв, за счёт которого у нас сейчас есть Stockfish с рейтингом 3400. Без этих тестов ничего бы не было. Самое эффективное - прогон партий УКК, все топ-движки сейчас так развиваются.

Именно так, рыбка - первая шахматная программа, у которой методология была очень похожа на то, что сейчас в стокфише используется.
Статистика, принцип "если это нравится, но эло не даёт - оно не нужно".
Главное отличие методологии Стока - наличие упрощающих патчей, которые могут в среднем уменьшать силу немного, но не дают коду застояться. Это позволяет ему жить без полного или частичного переписывания кодовой базы с момента создания фиштеста, чего, например, не удалось избежать Гудини (где был сильный рерайт с 4 на 5 версию).

[otodranik]

Цитата: Сообщение от Vizvezdenec

Ну стокфиш это использовал и при 200-500 ядрах, но да. Для достижения статистической значимости нужно много игр и ни один разработчик не использует больших временных контролей - нету столько машин.

Я знаю, Я на стоктесте не один год. Наиграл уже почти 600к партий Были бы донаты, можно заказать еще серверов, вот 3000+ ядер - там тесты как пирожки будут отлетывать

[otodranik]

Цитата: Сообщение от sovaz1997

До Rybka, как я понимаю, так и делали. Гонять движки на 10000 игр - это как раз и есть прорыв, за счёт которого у нас сейчас есть Stockfish с рейтингом 3400. Без этих тестов ничего бы не было. Самое эффективное - прогон партий УКК, все топ-движки сейчас так развиваются.

Помню лет 8-10 назад читал, что автор Хиаркса, еще в 90ые, тоже по 1 минуте проверял патчи, но на домашней машине, и на 1000 партиях. Васик на первых рыбках тоже так делал.

[Vizvezdenec]

Цитата: Сообщение от otodranik

Я знаю, Я на стоктесте не один год. Наиграл уже почти 600к партий Были бы донаты. можно заказать еще серверов, вот 3000+ ядер - там тесты как пирожки будут отлетывать

Я наиграл примерно 1,5 миллиона в сумме
А закупить самим ещё тысячу-две ядер весьма сложно, их же ещё и содержать надо.
Кстати говоря, noobpwnftw сообщил, что AMD согласились заменить его ризены на машины без segfault бага (вкратце - был баг такой, вызывающий краши стокфиша на определённых процессорах AMD и это была проблема процессора - подробнее вот тут https://github.com/official-stockfis...sh/issues/1433 ) и, возможно, на фиштест влетит ещё 1500 ядер.

[Rom77]

Мне кажется, по достижении определенного количества ядер, главным ограничивающим фактором при тестировании Стока становится количество хороших идей, а не вычислительные мощности. Хотя, конечно неограниченные ресурсы под рукой позволяют чувствовать себя свободнее при тестировании.

[Rom77]

Кстати, про причины успеха Рыбки, в том числе и про методы тестирования, есть интересная статья Энтони Коззи (автора Заппы).

В переводе Иммортала:

[otodranik]

Цитата: Сообщение от Vizvezdenec

Я наиграл примерно 1,5 миллиона в сумме
А закупить самим ещё тысячу-две ядер весьма сложно, их же ещё и содержать надо.
Кстати говоря, noobpwnftw сообщил, что AMD согласились заменить его ризены на машины без segfault бага (вкратце - был баг такой, вызывающий краши стокфиша на определённых процессорах AMD и это была проблема процессора - подробнее вот тут https://github.com/official-stockfis...sh/issues/1433 ) и, возможно, на фиштест влетит ещё 1500 ядер.

Если в сумме, то какие ники? У меня TTT

[Vizvezdenec]

Цитата: Сообщение от otodranik

Если в сумме, то какие ники? У меня TTT

Такой же, как и тут+stockfish_pool_worker частично моё

[Maratka]

Цитата: Сообщение от Rom77

Кстати, про причины успеха Рыбки, в том числе и про методы тестирования, есть интересная статья Энтони Коззи (автора Заппы).

Любопытная статистика:

Приведу личный пример: после выхода Стрелки, я сделал попытку внедрения futility pruning. Самая большая разница между Zappa Mexico и Zappa Mexico II состоит в том, что в последней futility pruning включена по умолчанию. Новая версия крушила старую в играх между собой, но против других движков улучшения были незначительными.

И что-то мне подсказывает, что об этом я вчера уже писал: для оценки прогресса нужны матчи с другими движками.
Это понятно не значит, что нужно прогонять каждый патч против Komodo или Houdini, однако коммулятивные сборки патчей за месяц вполне можно и проверить.

Все то же самое IMHO и с тестами на Contempt: коль уж нам нужно некоторое его значение для максимального выноса хвоста, то почему бы не проверить это значение на "хвосте", а не на позапрошлой версии самого себя?

Ведь по игре мы видим именно то, что видим: SF в этом сезоне отвратительно сиграл с движками, занимающими 5-7 места (жаль Chiron выбыл), в сравнении с прямым конкурентом - Komodo, и набрав максимум среди первых четырех, в итого таки проиграл Komodo .5 очка, и с приличной вероятностью мог вообще в финал не попасть (проиграть одну партию из шести занявшему третье место Houdini практически столь же вероятно, что и выиграть одну партию у Komodo, а это SF сделал).

[otodranik]

Цитата: Сообщение от Maratka

Любопытная статистика:

Приведу личный пример: после выхода Стрелки, я сделал попытку внедрения futility pruning. Самая большая разница между Zappa Mexico и Zappa Mexico II состоит в том, что в последней futility pruning включена по умолчанию. Новая версия крушила старую в играх между собой, но против других движков улучшения были незначительными.

И что-то мне подсказывает, что об этом я вчера уже писал: для оценки прогресса нужны матчи с другими движками.
Это понятно не значит, что нужно прогонять каждый патч против Komodo или Houdini, однако коммулятивные сборки патчей за месяц вполне можно и проверить.

Все то же самое IMHO и с тестами на Contempt: коль уж нам нужно некоторое его значение для максимального выноса хвоста, то почему бы не проверить это значение на "хвосте", а не на позапрошлой версии самого себя? Это куча-мала будет!

Ведь по игре мы видим именно то, что видим: SF в этом сезоне отвратительно сиграл с движками, занимающими 5-7 места (жаль Chiron выбыл), в сравнении с прямым конкурентом - Komodo, и набрав максимум среди первых четырех, в итого таки проиграл Komodo .5 очка, и с приличной вероятностью мог вообще в финал не попасть (проиграть одну партию из шести занявшему третье место Houdini ничуть не менее вероятно, чем выиграть одну партию у Komodo, а это SF сделал.

Ты, представляешь как увеличится объем работы авторам? И что брать за основу?

[otodranik]

Как же жесток Стокфиш в позициях по Филидору (фигуры позади пешек) Просто разрывает ящера, накатывая подкрепленные пешки фигурами! Это проецирование одноразвого опыта со старого проекта. У Комодо есть такая возможность - его настраивают как могут под Стокфиш (сильнейшего), а лидеру это просто вредно будет!

[Maratka]

Цитата: Сообщение от otodranik

Ты, представляешь как увеличится объем работы авторам? И что брать за основу?

Никак он не увеличится. Взять бесплатные движки из середины-конца первой десятки табели о рангах, и проверить на них - эту работу выполнят добровольные тестеры вроде тебя. Т.е. ровным счетом ничего не меняется, просто вместо 50 тыс. партий с SF7 играется 10 тыс. против Gull, 10 тыс против Andscacs и т.д, после чего выводится среднеарифметический результат, который и есть преимущество над хвостом. Реальным хвостом, с которым придется играть в отборочном турнире, а не со смоделированным из SF7.

[otodranik]

Цитата: Сообщение от Maratka

Никак он не увеличится. Взять бесплатные движки из середины-конца первой десятки табели о рангах, и проверить на них - эту работу выполнят добровольные тестеры вроде тебя. Т.е. ровным счетом ничего не меняется, просто вместо 50 тыс. партий с SF7 играется 10 тыс. против Gull, 10 тыс против Andscacs и т.д, после чего выводится среднеарифметический результат, который и есть преимущество над хвостом. Реальным хвостом, с которым придется играть в отборочном турнире, а не со смоделированным из SF7.

Регресс-тесты можно прогонять, на значение контемпта - вот тут согласен.

[Vizvezdenec]

Цитата: Сообщение от Maratka

Никак он не увеличится. Взять бесплатные движки из середины-конца первой десятки табели о рангах, и проверить на них - эту работу выполнят добровольные тестеры вроде тебя. Т.е. ровным счетом ничего не меняется, просто вместо 50 тыс. партий с SF7 играется 10 тыс. против Gull, 10 тыс против Andscacs и т.д, после чего выводится среднеарифметический результат, который и есть преимущество над хвостом. Реальным хвостом, с которым придется играть в отборочном турнире, а не со смоделированным из SF7.

И покажут они абсолютно то же самое, что и тесты против SF7, как и показывают реальные рейтинг-листы с более высоким Contempt.

[Maratka]

Абсолютно то же самое - это с какой точностью?
+/- 50 набранных очков в ~40000 партий - это первое место в отборе TCEC, или второе (что и произошло неделю назад).

При этом никто не знает, какой Contempt (скажем 21 или может 23, а вдруг 20?) лучше против Andscacs, а какой - против Gull.

[Vizvezdenec]

Цитата: Сообщение от Maratka

Абсолютно то же самое - это с какой точностью?
+/- 50 набранных очков в ~40000 партий - это первое место в отборе TCEC, или второе (что и произошло неделю назад).

При этом никто не знает, какой Contempt (скажем 21 или может 23, а вдруг 20?) лучше против Andscacs, а какой - против Gull.

с точностью, в несколько десятков раз превышающую стандартную статистическую ошибку в 48 играх в премьер дивизионе TCEC.
Да в конце концов, Сток 3 раза обыграл Fire, Гудини ему вообще матч слил, там ошибки ОГРОМНЫЕ. Поэтому что-то утверждать на основании того, что Комодо набрал против более слабых движков на целое 1 очко больше, по меньшей мере весьма странно.
Значение Contempt оптимальное против Andscacs, Gull и прочих подобного рода движков вообще в районе 50, при этом значение 20 например, на IPON, показывало такой же процент набранных очков против Комодо и Гудини, как и значение 0 (с разницей в пределах полупроцента), но на 3-4% в среднем больше против всего остального.
Почему это должно именно сейчас быть по-другому, мне не очень понятно, если для SF9 это было так согласно 2 наборам тестов (второй это https://www.sp-cc.de/experiments.htm - тут вообще даже c=40 показывает перформанс против Комодо и Гудини почти равный с=0!) и внутреннему тестированию стокфиша.
Да и вообще, почему-то практически все графики эло против прошлой версии Sf или против sf7 почти идеально ложатся на данные Stefan Pohl https://www.sp-cc.de/index.htm - я за прошлые 2 года НИ РАЗУ не видел, чтобы графики эти расходились с внутренним тестированием за пределы ошибок, ну только что графики от Стефана бустятся увеличением contempt и всё.
Так что я лично вообще не наблюдаю никаких в принципе доказательств того, что то, что оттестировано на фиштесте, не будет работать против других движков. Вся история участия Стока в чём угодно показывает обратное и 1 поражение в королевском гамбите ничего тут не меняет.

[otodranik]

Цитата: Сообщение от Maratka

Абсолютно то же самое - это с какой точностью?
+/- 50 набранных очков в ~40000 партий - это первое место в отборе TCEC, или второе (что и произошло неделю назад).

При этом никто не знает, какой Contempt (скажем 21 или может 23, а вдруг 20?) лучше против Andscacs, а какой - против Gull.

А вот это уже ловля блох, и погоня за двумя зайцами.

Давайте держаться заданной темы, пишем далее про развитие Стокфиша в соотв. ветке!

[Vizvezdenec]

Да, мы как-то уклонились от темы
Тем временем Сток снёс Комодо в Пирце за 40 ходов, в ответной игре прошёл через поражение, но зарабатывает пол-очка (на 224 ядрах от drudru 31 ход g4 вместо Kg1 давал оценку за +2, что было, скорее всего, выиграно в таком эндшпиле), так что +4-1=13.

[otodranik]

Цитата: Сообщение от Vizvezdenec

Да, мы как-то уклонились от темы
Тем временем Сток снёс Комодо в Пирце за 40 ходов, в ответной игре прошёл через поражение, но зарабатывает пол-очка (на 224 ядрах от drudru 31 ход g4 вместо Kg1 давал оценку за +2, что было, скорее всего, выиграно в таком эндшпиле), так что +4-1=13.

У drudry этот ход Стокфиш, или Комодо поднял?

[Vizvezdenec]

Цитата: Сообщение от otodranik

У drudry этот ход Стокфиш, или Комодо поднял?

Стокфиш.
Комодо вообще не работает на таком количестве ядер, если я правильно помню, максимум 64.
Говорят, правда, что Гудини на 8 ядрах тоже g4 нашёл.

[sovaz1997]

У меня на 4-х ядрах SF быстро нашел g4 и увеличил оценку почти до 2. SF и так очень силен, а в эндшпиле ему вообще нет равных. Но я, кстати, не уверен, что +2 - это точно выигрыш в той позиции. Надо ещё глубже прочитать, до 2.5 хотя бы. Всё-таки, Sf завышает немного оценку.

[otodranik]

Цитата: Сообщение от sovaz1997

У меня на 4-х ядрах SF быстро нашел g4 и увеличил оценку почти до 2. SF и так очень силен, а в эндшпиле ему вообще нет равных. Но я, кстати, не уверен, что +2 - это точно выигрыш в той позиции. Надо ещё глубже прочитать, до 2.5 хотя бы. Всё-таки, Sf завышает немного оценку.

У меня Стокфиш даже на 1 ядре (контемпт = 0) g4 почти сразу находит! Не факт, что победа - нужно проверять!

[sovaz1997]

Stockfish постепенно выигрывает 5-ю партию. 2 слона побеждают 2-х коней

[Maratka]

Посмотрел статистику по матчу, что играется у меня: он дает очень близкие результаты:
На текущий момент:
+10 = 44 -2, набрано 57,14% очков из 100%

В матче TCEC SF взял 56,3%, и в 13 туре очень похоже чуть увеличит результат.

[Lotosok33]

подскажите как зайти на сайт и скачать партии между стокфиш и комодо

[Vizvezdenec]

Цитата: Сообщение от Lotosok33

подскажите как зайти на сайт и скачать партии между стокфиш и комодо

http://tcec.chessdom.com/archive.php
Вот здесь открываете season 12/superfinal и жмёте на значок дискетки.

[Vizvezdenec]

Цитата: Сообщение от sovaz1997

Stockfish постепенно выигрывает 5-ю партию. 2 слона побеждают 2-х коней

Вообще если смотреть партии, то обычно они идут по одному сценарию - за сильную сторону стокфиш очень сильно прессует и пытается выиграть, Комодо с трудом отбивается.
За слабую же сторону позиция становится равной уже через 10 ходов.
Кроме первой партии, где Комодо выиграл, и гамбита Дракулы-Франкенштейна, где Комодо так напортачил за сильную сторону, что вынужден был защищать чуть худшую позицию уже через 4 хода по выходу из дебюта, всё в таком ключе было.
Напоминает прошлый финал, Стокфиш существенно сильнее играет и в общем-то в каждой серии дебютов играет первым номером.

[otodranik]

Цитата: Сообщение от Vizvezdenec

Вообще если смотреть партии, то обычно они идут по одному сценарию - за сильную сторону стокфиш очень сильно прессует и пытается выиграть, Комодо с трудом отбивается.
За слабую же сторону позиция становится равной уже через 10 ходов.
Кроме первой партии, где Комодо выиграл, и гамбита Дракулы-Франкенштейна, где Комодо так напортачил за сильную сторону, что вынужден был защищать чуть худшую позицию уже через 4 хода по выходу из дебюта, всё в таком ключе было.
Напоминает прошлый финал, Стокфиш существенно сильнее играет и в общем-то в каждой серии дебютов играет первым номером.

Стокфиш снова громит своего оппонента!