TCEC-10 - чемпионат мира среди компьютерных движков!

[Bullet]

http://tcec.chessdom.com/live.php

Эта тема о 10 сезоне неофициального (хотя и общепризнанном) чемпионате мира среди компьютерных программ - TOP CHESS ENGINE CHAMPIONSHIP Season 10!
Старт мероприятия состоится с 7 по 10 октября 2017 года.
Список учаcтников:

Развернуть для просмотра

Alfil (заменен на Rybka)
Andscacs
Arasan
Bobcat
Booot
Chiron
Fire
Fizbo
Fruit
Gaviota
Ginkgo
Gull
Hakkapeliitta
Hannibal
Houdini
Jonny
Komodo
Laser
Nemorino
Nirvana
Rybka
Stockfish
Texel
Vajolet2
Wasp

[свернуть]

[otodranik]

Цитата: Сообщение от Maratka

Об этом мы узнаем через года два.
Во-первых, статически - какой прирост покажет Гудини на фоне прироста SF
Во-вторых, опять таки статически ;) : на тестовых наборах позиций количечество решенных задач будет стремится к количеству решенных задач SF, или нет, а если да - качественно не решенными будут те же задачи, или другие.

Так и было с Гудини 5 с настройкми по умолчанию на тестовых наборах.

[Maratka]

Один раз - совпадение
Два раза - закономерность
Три раза - статистика
Четыре раза - железная доказуха.

Так что еще года два нужно... ;)

[Alex_Zet]

Цитата: Сообщение от Otodranik

Прочитал в чате:
некто sterten
Quisinsky writes:
So the difference between the approximately 40 days old Stockfish version
And Komodo 10.2 is just 12.5 Elo.

I'm actually 80% sure ... Houdini 5 is the SF 8 40 days older version
And set a new Elo record for my list. And for this
you needn't be a prophet.

Типо, Гудини 5 - это версия Стокфиша, которая была за 40 дней до релиза Стокфиш 8:sm10:

Цитата: Сообщение от Bullet

Очень похоже на то.
Я вот какие вычисления сделал:
Пока только inwoba.de провели более менее внятный тест. Из 220 партий против стокфиша 8 завершились вничью 167, а это 75,91%, а против Комодо 64.5% ничьих у Гудка.
Процент ничьих Комодо против Стокфиша в последние годы колебался в пределах 62-65% на том же ресурсе.
Если учесть что Стокфиш против самого себя на контроле 60+0.6 играет стабильно 73-75% ничьих, то Гудини 5 похож на стокфиш примерно так же, как стокфиш похож сам на себя
Выводы делайте сами.

Цитата: Сообщение от Bullet

Интересно, что по оценке и мат. дисбалансу движки более-менее разные. Так что насчет того, что Гудини явный клон Стока, я возможно погорячился

без комментариея

[otodranik]

Цитата: Сообщение от Alex_Zet

без комментариея

Гударт скорее всего мог взять за основу в этот раз ассемблеровский порт Стокфиша - буст будет до нового года держаться. Я не верю в чудеса. Гударт начал с творческого переосмысления кода в первых версиях, он этим и продолжает ззаниматься. Не приумножайте сущностей по бритве Оккама.

[Maratka]

Плохо то, что оно не запрещено. Нельзя запетентовать алгоритм :(
Даже Васика в свое время повязали не за...... а за именно готовые исходники, которые он положил в основу своей Рыбы.

[Falstaf]

Я абсолютно не разбираюсь в программировании, могу только рассказать о своих впечатлениях от Гудини 5 и 6. На мой взгляд, все же Стокфиш и Гудини разные движки. Может, Гударт и перенимает какие-то идеи от авторов Стокфиша, но в своей основе это оригинальный проект. Сужу по результатам и идейному содержанию анализа с тем и другим. В каких-то позициях хорош Стокфиш, в каких-то - Гудини. Например, первый традиционно силен в голых счетных и с перспективой растерзания короля. Второй может найти интересные идеи в более нефорсированных. В том числе, и такие, какие не видит Стокфиш. Однажды, например, анализировал более-менее спокойную дебютную табию сначала со Стокфишем, потом с Гудини (тогда еще 5-м). Первый даже после длительного обдумывания показывал нули, скача с варианта на вариант. Второй же довольно быстро нашел перспективный путь к небольшому перевесу. Были и обратные примеры, где Гудини демонстрировал слепоту. В целом, стилевые различия (на мой вкус) ощущаются достаточно четко.

[otodranik]

Цитата: Сообщение от Maratka

Плохо то, что оно не запрещено. Нельзя запетентовать алгоритм :(
Даже Васика в свое время повязали не за...... а за именно готовые исходники, которые он положил в основу своей Рыбы.

Почему? - патентуй, как Штефан Майер Кален протокол ЮСИ.

[otodranik]

Цитата: Сообщение от Falstaf

Я абсолютно не разбираюсь в программировании, могу только рассказать о своих впечатлениях от Гудини 5 и 6. На мой взгляд, все же Стокфиш и Гудини разные движки. Может, Гударт и перенимает какие-то идеи от авторов Стокфиша, но в своей основе это оригинальный проект. Сужу по результатам и идейному содержанию анализа с тем и другим. В каких-то позициях хорош Стокфиш, в каких-то - Гудини. Например, первый традиционно силен в голых счетных и с перспективой растерзания короля. Второй может найти интересные идеи в более нефорсированных. В том числе, и такие, какие не видит Стокфиш. Однажды, например, анализировал более-менее спокойную дебютную табию сначала со Стокфишем, потом с Гудини (тогда еще 5-м). Первый даже после длительного обдумывания показывал нули, скача с варианта на вариант. Второй же довольно быстро нашел перспективный путь к небольшому перевесу. Были и обратные примеры, где Гудини демонстрировал слепоту. В целом, стилевые различия (на мой вкус) ощущаются достаточно четко.

В Стокфише много бонусов и констант, перенастроив которые можно добиться разительной разницы в анализе позиции. Прикручиваешь другие опции ЮСИ, кидаешь мусору для веса экзешника - вуаля! Простой пример - персоналии Чессмастера.

[Maratka]

Цитата: Сообщение от otodranik

Гударт скорее всего мог взять за основу в этот раз ассемблеровский порт Стокфиша - буст будет до нового года держаться

Если именно ASM (что видно по коротким контролям например тут:
http://www.computerchess.org.uk/ccrl..._6_64-bit_4CPU

то Гудини просто обязан перевесить SF в финале: движок будет не хуже, но быстрее.

Надежда команды SF - пяток сильных патчей во время второго круга, ибо перевести на ASM и протестировать их за неделю-две вряд-ли возможно.
А значит, таки полезно иметь козырь в рукаве: проверенный (дома) код, на проверку которого ушло две недели типичного домашнего восьмипоточного i7/FX, но который по результату проверки дает уверенные 2-3 Elo, и который можно выложить именно тогда, когда нужно его выложить, не раньше (успеют скопировать), и не позже (после драки кулаками не машут).

[otodranik]

Цитата: Сообщение от Maratka

Если именно ASM (что видно по коротким контролям например тут:
http://www.computerchess.org.uk/ccrl..._6_64-bit_4CPU

то Гудини просто обязан перевесить SF в финале: движок будет не хуже, но быстрее.

Надежда команды SF - пяток сильных патчей во время второго круга, ибо перевести на ASM и протестировать их за неделю-две вряд-ли возможно.
А значит, таки полезно иметь козырь в рукаве: проверенный (дома) код, на проверку которого ушло две недели типичного домашнего восьмипоточного i7/FX, но который по резульату проверки дает уверенные 2-3 Elo, и который можно выложить именно тогда, когда нужно его выложить, не раньше (успеют скопировать), и не позже (после драки кулаками не машут).

Гударту ничего не стоит выставить в финал версию 6.1 Думаю, ему ее сделать за пять минут-полчаса из свежего АСМа.

[Maratka]

Цитата: Сообщение от otodranik

Думаю, ему ее сделать за пять минут-полчаса из свежего АСМа.

При условии что будет свежий ASM.
Я про что и говорю: при всей открытости системы разработки и тестирования, у ведущих разработчиков, кто болеет не просто за красивый код, а за подтверждение, что этот код не просто красив, но и правилен - просто в обязательном порядке должны быть припасены 1-2-3 патча, на 1-2-3 Elo каждый, которые были выверены "в домашних условиях", но по методике того же Аброка - те же ~ 100K партий на той же книге.
И их нужно выкладывать в последний момент, причем одновременно с публичным стартом проверки, которая в свою очередь запускается за единицы часов до запуска следующего круга в TCEC (или на любом другом уважаемом ресурсе).

В этом случае скопировать будет просто некогда...

[otodranik]

Цитата: Сообщение от Maratka

При условии что будет свежий ASM.
Я про что и говорю: при всей открытости системы разработки и тестирования, у ведущих разработчиков, кто болеет не просто за красивый код, а за подтверждение, что этот код не просто красив, но и правилен - просто в обязательном порядке должны быть припасены 1-2-3 патча, на 1-2-3 Elo каждый, которые были выверены "в домашних условиях", но по методике того же Аброка - те же ~ 100K партий на той же книге.
И их нужно выкладывать в последний момент, причем одновременно с публичным стартом проверки, которая в свою очередь запускается за единицы часов до запуска следующего круга в TCEC (или на любом другом уважаемом ресурсе).

В этом случае скопировать будет просто некогда...

Так свежий АСМ уже есть от начала октября, а некоторые свежие патчи - он и сам зашьет в ассемблер(сам или с помощью других людей, тебя на фрилансе наймет, к примеру), ведь 99% костяка уже есть и на баги более-менее проверено!

[sergey1963]

получается... честных не осталось, эх-ма...

[otodranik]

Цитата: Сообщение от sergey1963

получается... честных не осталось, эх-ма...

Честных много, всё что мы имеем - мы имеем благодаря честным людям. Смартфон не будет работать, если сделать его не честно. Законы природы не обманешь...

[Maratka]

Цитата: Сообщение от otodranik

Так свежий АСМ уже есть от начала октября, а некоторые свежие патчи - они и сам зашьет в ассемблер(сам или с помощью других людей, тебя на фрилансе наймет, к примеру)

Еще раз: достать из под прилавка нычку.
Вам сколько лет? Фраза "из под прилавка" для лично Вас означает что-то буквальное, или это просто оборот речи?

Так вот, для меня "из под прилавка" - это вполне реальные события при покупке чего-то "дефицитного" (если Вам не более 30, то термин знаете, но теоретически, а не на шкуре).

Вот я буквально часа три как предложил выложить на... короче мой патч.
Не факт что он даже пройдет. Но если пройдет - сильно подумаю, есть ли смысл его выкладки СЕЙЧАС. Благо патч точечный, состоит из изменения весов, и его перевод на ASM - вопрос изменения двух байт в коде

[TCH]

Цитата: Сообщение от Maratka

полезно иметь козырь в рукаве: проверенный (дома) код, на проверку которого ушло две недели типичного домашнего восьмипоточного i7/FX, но который по результату проверки дает уверенные 2-3 Elo, и который можно выложить именно тогда, когда нужно его выложить, не раньше (успеют скопировать), и не позже (после драки кулаками не машут).

Перевес в несколько ЭЛО абсолютно никак не скажется на результате короткого (как TCEC) турнира, чтобы его почувствовать нужны многие тысячи партий.

[Maratka]

Цитата: Сообщение от TCH

Перевес в несколько ЭЛО абсолютно никак не скажется на результате короткого (как TCEC) турнира, чтобы его почувствовать нужны многие тысячи партий.

При условии, что нет запаса еще в несколько Elo на текущих версиях. ;)
Ну и опять же, рандомность никто не отменил.

Я писал простенькую софтину (результаты выкладывал еще на том дурацком форуме, где чтобы читать про движки, нужно играть партии).
Результат примерно такой: при заведомом преимуществе в сотню Elo сильного движка над слабым на бесконечном количестве партий, слабейший движок имеет шанс выиграть матч в 100 партий с вероятностью (по памяти, исходник - далеко) ~5-10%. Т.е. шансы вполне себе реальные, а не некая математическая вероятность.

Идя в обратную сторону, при заведомом преимуществе одного из движков всего в 15 Elo его шансы на победу ~70%.

Т.е. имея фору в десяток Elo и козырь в рукаве, SF выиграет с вероятностью в 70%

Подтверждение:
http://www.computerchess.org.uk/ccrl/4040/
Лучший двиг - SugaR, причем с очень приличным запасом.

Но он на короткой дистанции не выиграл у Komodo, и вообще проиграл древней версии SF:
http://www.computerchess.org.uk/ccrl..._2_64-bit_4CPU

[Maratka]

Кстати, возвращаясь к теме TCEC:
Какие значения contempt установлены у тройки лидеров?

[otodranik]

Цитата: Сообщение от Maratka

Кстати, возвращаясь к теме TCEC:
Какие значения contempt установлены у тройки лидеров?

По дефолту, если они не указаны в опциях(жать на шестерёнки)

[sovaz1997]

Моя программа в быстром контроле выиграла 1 из 10000 партий: https://lichess.org/RssjC4sN . У моей рейтинг 1900, у Stockfish - 3400)). В конце только из-за коллизий долго мат ставила (быстрый контроль сказался). По анализу lichess моя программа не сделала ни одной ошибки. Вот такая случайность)). (начальные позиции брались из EPD-файла).

[sovaz1997]

В длинном контроле, думаю, 10000 партий будет мало даже для одной ничьей

[Bullet]

Цитата: Сообщение от Maratka

Кстати, возвращаясь к теме TCEC:
Какие значения contempt установлены у тройки лидеров?

Настройку движков можно посмотреть, нажав на шестеренки, справа от логотипов движка. На текущем этапе у всей тройки настройки контемпта - по умолчанию (посмотрел, когда они играли).

[Maratka]

Цитата: Сообщение от otodranik

По дефолту, если они не указаны в опциях(жать на шестерёнки)

Ну умолчание то тоже может быть разным...
Его изменение, на примере SF с момента запуска MSVC и до выхода профилированного exe-файла порядка 10 минут на восьмиядерном FX.

Понятно, что тройка лидеров и без этого войдет в полуфинал из 8 (или 16, что там по правилам?), но интересно же как войдет, на каком месте?

Komodo например в прошлом году из-за агрессивно настроенного contempt громил все втроросоные движки, и занимал первые места в отборе.. Но в результате, дойдя до тура с примерно равными и сильнейшими - сдулся, и вообще в финал не попал.

[sovaz1997]

Трансляция TCEC также идет и здесь: https://chess24.com/en/watch/live-to...-stage-1/2/1/1. Будет забавно наблюдать оценку позиции на этом сайте, особенно при игре лидеров. У них еще есть мобильное приложение.

[Rom77]

Настройки, вроде бы, можно менять по пожеланию авторов движков.

[sovaz1997]

Цитата: Сообщение от Maratka

При условии, что нет запаса еще в несколько Elo на текущих версиях. ;)
Ну и опять же, рандомность никто не отменил.

Я писал простенькую софтину (результаты выкладывал еще на том дурацком форуме, где чтобы читать про движки, нужно играть партии).
Результат примерно такой: при заведомом преимуществе в сотню Elo сильного движка над слабым на бесконечном количестве партий, слабейший движок имеет шанс выиграть матч в 100 партий с вероятностью (по памяти, исходник - далеко) ~5-10%. Т.е. шансы вполне себе реальные, а не некая математическая вероятность.

Идя в обратную сторону, при заведомом преимуществе одного из движков всего в 15 Elo его шансы на победу ~70%.

Т.е. имея фору в десяток Elo и козырь в рукаве, SF выиграет с вероятностью в 70%

Подтверждение:
http://www.computerchess.org.uk/ccrl/4040/
Лучший двиг - SugaR, причем с очень приличным запасом.

Но он на короткой дистанции не выиграл у Komodo, и вообще проиграл древней версии SF:
http://www.computerchess.org.uk/ccrl..._2_64-bit_4CPU

Из-за этого VIP-доступа на том форуме в теме TCEC мало пишут теперь, похоже.

[otodranik]

Цитата: Сообщение от Maratka

Ну умолчание то тоже может быть разным...
Его изменение, на примере SF с момента запуска MSVC и до выхода профилированного exe-файла порядка 10 минут на восьмиядерном FX.

Понятно, что тройка лидеров и без этого войдет в полуфинал из 8 (или 16, что там по правилам?), но интересно же как войдет, на каком месте?

Komodo например в прошлом году из-за агрессивно настроенного contempt громил все втроросоные движки, и занимал первые места в отборе.. Но в результате, дойдя до тура с примерно равными и сильнейшими - сдулся, и вообще в финал не попал.

Та к Я говорю, где их смотреть, а авторам после каждого этапе решать самим как и что менять.

[Maratka]

Цитата: Сообщение от sovaz1997

Из-за этого VIP-доступа на том форуме в теме TCEC мало пишут теперь, похоже.

То не мои проблемы.
Хотели получать бабки - получили то что хотели.
____
просто ради постскриптума, а не чтобы раздувать...
хотели "кто не скачет, тот москаль", получили "кто не мерзнет, тот москаль" (актуально в связи с наступившим на европейской части РФ и Украине отопительным сезоном).

[Aster]

Цитата: Сообщение от Maratka

"кто не мерзнет, тот москаль" (актуально в связи с наступившим на европейской части РФ и Украине отопительным сезоном).

*не политика*
Звучало очень иронично из-за медленного включения батарей в Москве

[Maratka]

Цитата: Сообщение от otodranik

Та к Я говорю, где их смотреть, а авторам после каждого этапе решать самим как и что менять.

Вот то тоже не... не то чтобы не правильно, но не идеально.

Скажем мое пожелание к оболочкам (а-ля оболочки Chessbase) - учитывать рейтинг игроков на PS, и в зависимости от него выставлять тот же contempt.

Ну ей богу, глупо и примитивно играть с contempt=0 белыми против соперника с Elo меньше моего на полторы сотни, да еще и имея на выходе из дебюта +.35