TCEC 16 - Чемпионат Мира среди шахматных движков

[sovaz1997]

TCEC 16 начнется 14 Июля 2019 года в 17:00 (по МСК) с участием сильнейших шахматных движков в мире. Впервые в истории движок с нейронной сетью, Leela Chess Zero (Lc0), будет защищать как титул лиги, так и Кубок.



TCEC 16 будет представлен в новом формате. Он сохранит известный Премьер-дивизион и Суперфинал, как и в предыдущих сезонах, но даст больше шансов движкам, чтобы подняться в рейтинге. По этой причине будут созданы три лиги из 16 движков. Мероприятие начнется с Квалификационной лиги, где будут представлены все новички, включая новые движки AB и движки, использующие нейронные сети. Лучшие 6 из Квалификационной лиги перейдут в Лигу 2 (также 6 перейдут в низшую лигу), а лучшие 4 из Лиги 2 перейдут в Лигу 1 (также 4 перейдут в низшую лигу). Наконец, лучшие 2 движка из Лиги 1 будут квалифицированы в Премьер-дивизион (также 2 будут переведены в низшую лигу).

Изменение структуры для TCEC необходимо из-за быстрого развития компьютерных шахмат. С новым форматом больше движков получат шанс подняться и получить шанс войти в элиту.

Вот список участников для Премьер-дивизиона и вновь образованных лиг. Посев двигателей полностью основан на TCEC 15.

Суперфинал (100 игр с контролем 120′+10″ – используется новая дебютная книга от Jeroen Noomen)

Развернуть для просмотра

1. 1-е место Премьер-дивизиона
2. 2-е место Премьер-дивизиона

[свернуть]

Премьер-дивизион (3x DRR с контролем 90′+5″ – используется новая 8-ходовая книга от Cato (Nelson Hernandez))

Развернуть для просмотра

1. Lc0 – текущий чемпион TCEC
2. Stockfish
3. Komodo
4. AllieStein
5. Houdini
6. Komodo MCTS
7. 1-е место из Лиги 1
8. 2-е место из Лиги 1

[свернуть]

Лига 1 (1x DRR с контролем 45+5 - используется 6-ходовая дебютная книга, рандомизированная)

Развернуть для просмотра

1. Ethereal
2. Fire
3. Xiphos
4. Laser
5. Andscacs
6. Fizbo
7. Jonny
8. Chiron
9. Ginkgo
10. ChessBrainVB
11. Booot
12. Rofchade
13. из Лиги 2
14. из Лиги 2
15. из Лиги 2
16. из Лиги 2

[свернуть]

Лига2 (1x DRR with time control 30+5 – using a 4 move book, рандомизированная)

Развернуть для просмотра

1. Fritz
2. Nirvana
3. Arasan
4. Texel
5. Vajolet
6. Gull
7. Pedone
8. Nemorino
9. Rubichess
10. Pirarucu
11. из квалификационного раунда
12. из квалификационного раунда
13. из квалификационного раунда
14. из квалификационного раунда
15. из квалификационного раунда
16. из квалификационного раунда

[свернуть]

Квалификация (1x DRR с контролем 30+5 – используется 2-ходовая дебютная книга, рандомизированная)

18 движков бьются за 6 квалификационных позиций. Это смесь движков из 4-го дивизиона и новых.

Развернуть для просмотра

1. Bagatur 1.7b
2. The Baron 3.44.1
3. Cheese 2.1
4. chess22k 1.12
5. ChessFighterNN v2.1-n8x128c_7411
6. Igel 1.8.0
7. Jumbo 0.6.117
8. Marvin 3.4.0
9. Minic 0.76
10. ScorpioNN v2.9.0-n_maddex_INT8
11. Stoofvlees II a10
12. Topple 0.7.2_dev
13. Tucano 7.07
14. Wasp 3.68
15. Winter 0.6
16. Asymptote 0.6.2
17. Rodent III
18. Lc0 CPU

[свернуть]

Промо-движок в полевых условиях
Многие движки в настоящее время используют NN, полностью используя графические процессоры. Тем не менее, чемпион Lc0 выпустил сильную версию, играющую только на CPU! Это не уникальный движок по критериям TCEC, но, безусловно, приятно видеть, как он играет против реальных конкурентов с силой, превышающей 3000 пунктов Эло. Таким образом, Lc0 CPU входит в TCEC в качестве промо-движка. Он будет играть в дивизионе, но в конце турнира все результаты движка будут аннулированы.

[Омегазеро]

Цитата: Сообщение от sovaz1997

для получения точного значения мат. ожидания (истинного рейтинга Эло)

Вы исходите из того, что существует какое точное значение рейтинга на бесконечной выборке
А в системе Эло нет ничего подобного
Там формулы только для конечных выборок и каждый раз считается, что рейтинг посчитан точно
Это особенность системы
Потому что рейтинг придуман для белковых шахматистов, у которых не может быть одинаковой силы игры на бесконечном количестве партий

Более того - я не уверена, что у одной и той же версии программы есть фиксированная сила игры. Эта гипотеза не доказана

[Alex_Zet]

А что разве в Вики нет ошибок?
Забейте хотя бы слово Крым.
Что мы увидим? Страна Россия/Украина.
И что? По вашему где же живет все таки Маратка?
Нельзя быть наполовину беременной.

[sovaz1997]

Омегазеро, ладно, теории теориями, что там с практикой. Эло не скачет в пределах погрешности после нескольких перезапусков теста?

Просто чтобы теорией оперировать, надо в ней прекрасно разбираться как вам, так и мне. А сейчас я вижу только неверное оперирование понятиями, при этом сам не смогу вам это объяснить и доказать математически. Поэтому, лучше всего - практика.

[sovaz1997]

Цитата: Сообщение от Омегазеро

Вы исходите из того, что существует какое точное значение рейтинга на бесконечной выборке
А в системе Эло нет ничего подобного
Там формулы только для конечных выборок и каждый раз считается, что рейтинг посчитан точно
Это особенность системы
Потому что рейтинг придуман для белковых шахматистов, у которых не может быть одинаковой силы игры на бесконечном количестве партий

Более того - я не уверена, что у одной и той же версии программы есть фиксированная сила игры. Эта гипотеза не доказана

Мне кажется, что в принципе само по себе, система Эло имеет свои разночтения как для людей, так и для движков. У людей эта величина действительно скачет. У движков же нет, но, опять же, надо понимать, что такое сила игры. Практически фиксированная сила игры движка - величина, показывающая процент набранных очков против N движков на определенном железе, определенной ОС, определенным контролем времени и настройками движка (при бесконечном количестве партий). Это мое определение.
Идем дальше, что будет, если изменить контроль времени? В общем, сила игры - понятие относительное. И если привязываться к движку, то придется некоторые вещи обобщить.

Можно пойти дальше и сказать, что сила игры - это многомерная функция, зависящая от параметров движка, железа и т. д. И эта функция вычисляется в отдельных точках, но неизвестна в целом (хотя и существует). А уж как сравнивать эти функции, есть разные способы. Только они мало что имеют общего с практической стороны.

А еще можно мерить силу игры относительно 3-фигурной базы. И это будет лучший вариант. Можно померить для разного числа узлов на ход и понять точность хода для всех существующих шахматных позиций. Но, опять же, способ не рабочий.

[Maratka]

Цитата: Сообщение от Омегазеро

Общеизвестно, что этого предела в математическом смысле НЕ СУЩЕСТВУЕТ

Кому общеизвестно? Мне например нет.

[sovaz1997]

Цитата: Сообщение от Maratka

Кому общеизвестно? Мне например нет.

Мне тоже. Вроде, это вполне логично, что при увеличении выборки рейтинг куда-то стремиться. Это как с монетками.

[Maratka]

Цитата: Сообщение от Alex_Zet

И что? По вашему где же живет все таки Маратка?

Я живу в России. Написано в профиле. А что там по мнению других людей - то их проблемы.

Цитата: Сообщение от Alex_Zet

Что мы увидим? Страна Россия/Украина.

Но если так оно и есть на деле? Есть страны, которые признаю российский статус Крыма, есть страны, которые признают украинский. Так и что нужно написать?

[Омегазеро]

Цитата: Сообщение от sovaz1997

Омегазеро, ладно, теории теориями, что там с практикой. Эло не скачет в пределах погрешности после нескольких перезапусков теста?

Потому что там есть факторы, которые искажают случайность

Вы же знаете, что тестирование ведется в дебютных наборах. Хотя в теоретической модели этого нет

Результаты зависит от контроля веремени. В теоретической модели этого нет

Я уже месяц требую от Вызвезденца доказательства репрезентативности используемых им дебютных наборов и эквивалентности матриц тестирования.

Я сомневаюсь, что без дебютов 10 тысяч партий = 100 дебютов 100 раз = 1 дебют 10 тысяч раз черными и белыми

По факту мы видим, что Лила сильнее на распространенных дебютах и слабее на редких. А матрицы тестирования на 99% состоят не просто из редких, а из дурацких первых ходов

Могут быть патчи Стокфиша, которые проявляют такое же поведение - на одних дебютах играют сильнее, на других слабее. В итоге их отсеивают, хотя это дурость

[sovaz1997]

Цитата: Сообщение от Омегазеро

Потому что там есть факторы, которые искажают случайность

Вы же знаете, что тестирование ведется в дебютных наборах. Хотя в теоретической модели этого нет

Результаты зависит от контроля веремени. В теоретической модели этого нет

Я уже месяц требую от Вызвезденца доказательства репрезентативности используемых им дебютных наборов и эквивалетности матриц тестирования.

Я сомневаюсь, что без дебютов 10 тысяч партий = 100 дебютов 100 раз = 1 дебют 10 тысяч раз черными и белыми

По факту мы видим, что Лила сильнее на распространенных дебютах и слабее на редких. А матрицы тестирования на 99% состоят не просто из редких, а из дурацких первых ходов

Могут быть патчи Стокфиша, которые проявляют такое же поведение - на одних дебютах играют сильнее, на других слабее. В итоге их отсеивают, хотя это дурость

Дебютные наборы действительно искажают. Но приближенная модель тем не менее есть. Вот и можно сравнить модель с практикой, сравнить погрешности с реальными результатами (только не в 2 турнирах из 1000 партий, а в 1000 турнирах из 10 партий, например).

[Maratka]

Цитата: Сообщение от Омегазеро

По факту мы видим, что Лила сильнее на распространенных дебютах и слабее на редких. А матрицы тестирования на 99% состоят не просто из редких, а из дурацких первых ходов

Ну так очевидно, что это разный подход, и не более того: SF учится играть в шахматы вообще, LZ - точится под конкретные дебюты. Однако и у того движка, и другого все же есть некоторые количество ELO.

[sovaz1997]

Цитата: Сообщение от Maratka

Ну так очевидно, что это разный подход, и не более того: SF учится играть в шахматы вообще, LZ - точится под конкретные дебюты. Однако и у того движка, и другого все же есть некоторые количество ELO.

Скорее, Stockfish учится точнее считать, а Лила как раз обучается шахматам, строит паттерны и т. д. Да, не везде она права, но все равно получается на очень высоком уровне.

[Maratka]

Цитата: Сообщение от sovaz1997

Скорее, Stockfish учится точнее считать, а Лила как раз обучается шахматам, строит паттерны и т. д

Без точного расчета? ;)

[sovaz1997]

Цитата: Сообщение от Maratka

Без точного расчета? ;)

Ну, насколько я знаю, поиск там не особо улучшают. При этом, он достаточно точный и относительно простой в реализации.

[Омегазеро]

Цитата: Сообщение от sovaz1997

Мне тоже. Вроде, это вполне логично, что при увеличении выборки рейтинг куда-то стремиться

А вы понимаете, что мы говорим о разных вещах?
Я написала "предела в математическом смысле НЕ СУЩЕСТВУЕТ"
А вы пишете "рейтинг стремится"
Случайная величина не имеет предела - это доказано еще Колмогоровым
Но при этом она может иметь вероятностную сходимость, у которой имеется много типов

Цитата:

Случайные величины Х1 , Х2 ,… , Хn ,… сходятся при n →∞ к случайной величине Х

С вероятностью 1, если Р{ω: Xn (ω) → X(ω)} = 1

В среднеквадратичном, если Е (Xn − X)2 → 0

По вероятности, если для любого ε > 0 Р( |Xn − X| <ε) → 1

по распределению, если функции распределения случайных величин FXn сходятся к FX

Важно понимать отличие этих типов вероятностной сходимости от классического предела

Для случайной величины всегда будут колебания. А обычная величина всегда утыкается в предел на бесконечности

Вот принципиальное отличие этих видов сходимости

[sovaz1997]

Омегазеро, случайная величина не имеет предела, среднее значение случайной величины при увеличении числа выборок имеет (вроде, не всегда, но для ШАХМАТ ИМЕЕТ, т. к. там что-то типа НОРМАЛЬНОГО распределения). Вроде, банальные вещи.
Так что да, рейтинг (это относительная величина, поэтому РАЗНИЦА в рейтингах) стремится куда-то. При этом, чем больше партий сыграно, тем меньше вычисленная разница в рейтингах скачет (я уже выбираю слова, чтобы меня на словах не ловили при абсурдных обстоятельствах )

[Омегазеро]

Цитата: Сообщение от sovaz1997

не ловили при абсурдных обстоятельствах )

Я без нужды не ловлю
Просто в данном случае это принципиальное обстоятельство
Арпад Эло не подкидывал монетки
Он выдвинул математическую гипотезу, что сила игры имеет нормальное распределение (это такая математическая функция)
После чего посчитал матожидание этой величины как интеграл от распределения (т.е. считал он её по формулам, а не подбрасывая монетку в поисках сходимости)

Затем, сопоставляя две формулы, придумал, как можно считать рейтинг без интегралов

Получилась определенная математическая модель, по формулам которой сейчас считается рейтинг

И в рамках модели он всегда считается точно.

Резонный вопрос - насколько эта модель совпадает с реальностью? Для этого есть специальные математические критерии - критерии значимости

Например, посчитано, что распределение силы игры на 95% является нормальным

Можно специально подсчитать вклад разных дебютов и т.п.

[Омегазеро]

Цитата: Сообщение от sovaz1997

Вот и можно сравнить модель с практикой

Вот и надо это делать, вычисляя критерии значимости

А вы вместо этого распускаете слухи, что величина, которая в модели Эло является отклонением силы в одной партии от среднего рейтинга по всему матчу, якобы является погрешностью этого среднего

Это грубая математическая ошибка

[dew]

Цитата: Сообщение от Омегазеро

https://forchess.ru/showpost.php?p=1...postcount=5609
https://forchess.ru/showpost.php?p=1...postcount=5607

13422 cores / 1701 machines = 7,89
3432 cores / 452 machines = 7,59

То есть ваши "сервера" - шести-восьмиядерные

И вам не стыдно такое писать?

чего мне стыдно? я даю только свободные ресурсы - могу иногда всего 1 ядро выделить..

[sovaz1997]

Цитата: Сообщение от Омегазеро

Вот и надо это делать, вычисляя критерии значимости

А вы вместо этого распускаете слухи, что величина, которая в модели Эло является отклонением силы в одной партии от среднего рейтинга по всему матчу, якобы является погрешностью этого среднего

Это грубая математическая ошибка

Ну, т. е. вы считаете, что рейтинг (или разницу в рейтингах) можно посчитать точно? А то я не совсем понимаю, что там за грубая математическая ошибка. Где это написано вообще: "величина, которая в модели Эло является отклонением силы в одной партии от среднего рейтинга по всему матчу", если не учитывать ваше сообщение? В той диссертации? Тогда покажите, в каком месте.

[Alex_Zet]

Цитата: Сообщение от dew

чего мне стыдно? я даю только свободные ресурсы - могу иногда всего 1 ядро выделить..

dew а ради чего вы можете выделить 1 ядро?
Надеюсь что выделить это не то что выделяет улитка.

[dew]

Цитата: Сообщение от Alex_Zet

dew а ради чего вы можете выделить 1 ядро?
Надеюсь что выделить это не то что выделяет улитка.

Даже улитка за сутки уползет более чем на 8.5 километров

[Омегазеро]

Цитата: Сообщение от sovaz1997

Где это написано вообще: "величина, которая в модели Эло является отклонением силы в одной партии от среднего рейтинга по всему матчу"

Это даже в вашей википедии написано
https://ru.wikipedia.org/wiki/%D0%A1...BD%D0%B8%D0%B5

Цитата:

показатель рассеивания значений случайной величины относительно её математического ожидания

И там есть график, показывающий, откуда берется 95%

[Омегазеро]

Цитата: Сообщение от sovaz1997

Ну, т. е. вы считаете, что рейтинг (или разницу в рейтингах) можно посчитать точно?

Я ничего не считаю.
Арпад Эло вывел формулу пересчета рейтинга после каждого турнира, и эта формула - точная
В рамках его модели рейтинг всегда рассчитывается точно

А вы путаете рейтинг с реальной силой игры, которая неизвестна и случайна

[Омегазеро]

Цитата: Сообщение от sovaz1997

В той диссертации? Тогда покажите, в каком месте.

А в диссертации написано

Цитата:

сила игрока в разных партиях может меняться под воздействием различных факторов, поэтому ее значения в разных партиях можно рассматривать как независимые одинаково распределенные случайные величины, среднее значение которых равняется истинному уровню мастерства игрока.

При этом под рейтингом подразумевается некоторая эмпирическая оценка этого уровня мастерства.

При построении своей модели Эло пользовался следующими предпо-ложениями: во-первых, сила игрока имеет нормальное распределение, и, во-вторых, дисперсия этого распределения у всех игроков совпадает.

Поэтому стандартное отклонение имеет отношение к силе игрока, которая имеет нормальное распределение и дисперсию

А не к рейтингу, который является оценкой уровня мастерства, который, в свою очередь, является средней силы игры

То есть рейтинг - оценка средней силы игры (а не сама средняя сила). Я понимаю, что это математические дебри, но без их понимания будет путаница теплого с мягким

[Alex_Zet]

Не зарывайтесь Маратка, не зарывайтесь. Я все таки вас старше и по возрасту, и по званию.
Мюллер.

[sovaz1997]

Омегазеро, сила игрока - это не сила движка. Совершенно разные вещи: один меняется, другой нет.

[sovaz1997]

Цитата: Сообщение от Alex_Zet

Не зарывайтесь Маратка, не зарывайтесь. Я все таки вас старше и по возрасту, и по званию.
Мюллер.

Возраст никогда не являлся показателем ума или мудрости.

[dew]

Цитата: Сообщение от sovaz1997

Возраст никогда не являлся показателем ума или мудрости.

Особенно в шахматах

[Омегазеро]

Цитата: Сообщение от sovaz1997

Омегазеро, сила игрока - это не сила движка. Совершенно разные вещи: один меняется, другой нет.

Нет! Потому что речь идет о силе игры В ОДНОЙ КОНКРЕТНОЙ партии
Сила движка (и человека) - это случайная величина, которая меняется от партии к партии. Потому что движки играют недетерминированно, как и люди. Просто у движков меньше элемент случайности, чем у людей

А вот слова про матожидание, которые вы искали

[Омегазеро]

Цитата: Сообщение от Alex_Zet

Не зарывайтесь Маратка, не зарывайтесь. Я все таки вас старше и по возрасту, и по званию.
Мюллер.

Маратка написал, что тестировщики тестируют Стокфиш в восемь потоков, а Лилу нельзя так тестировать, потому что видеокарт с 16 Гигабайтами памяти не существует

Я не понимаю, откуда он взял, что одной Лиле нужно сразу 2 Гигабайта

У меня программа показывает, что Лила с сетью 20x256 занимает 750 Мб видеопамяти

Поэтому даже на бюджетной GTX1650 я могу запустить тестирование в 4 потока (и четыре Лилы занимают 3 Гига из 4-х)

А на RTX2060 в семь потоков (и семь Лил занимают 5,5 Гигов из шести)

Предполагаю, что на 2070 можно даже в 9 потоков

При этом я подозреваю, что нормальные тестировщики запускают тесты по количеству ядер (если их восемь - тогда восемь тестов)

Нормальные люди с 4-6 ядрами не будут запускать восемь тестов одновременно