TCEC 16 - Чемпионат Мира среди шахматных движков

[sovaz1997]

TCEC 16 начнется 14 Июля 2019 года в 17:00 (по МСК) с участием сильнейших шахматных движков в мире. Впервые в истории движок с нейронной сетью, Leela Chess Zero (Lc0), будет защищать как титул лиги, так и Кубок.



TCEC 16 будет представлен в новом формате. Он сохранит известный Премьер-дивизион и Суперфинал, как и в предыдущих сезонах, но даст больше шансов движкам, чтобы подняться в рейтинге. По этой причине будут созданы три лиги из 16 движков. Мероприятие начнется с Квалификационной лиги, где будут представлены все новички, включая новые движки AB и движки, использующие нейронные сети. Лучшие 6 из Квалификационной лиги перейдут в Лигу 2 (также 6 перейдут в низшую лигу), а лучшие 4 из Лиги 2 перейдут в Лигу 1 (также 4 перейдут в низшую лигу). Наконец, лучшие 2 движка из Лиги 1 будут квалифицированы в Премьер-дивизион (также 2 будут переведены в низшую лигу).

Изменение структуры для TCEC необходимо из-за быстрого развития компьютерных шахмат. С новым форматом больше движков получат шанс подняться и получить шанс войти в элиту.

Вот список участников для Премьер-дивизиона и вновь образованных лиг. Посев двигателей полностью основан на TCEC 15.

Суперфинал (100 игр с контролем 120′+10″ – используется новая дебютная книга от Jeroen Noomen)

Развернуть для просмотра

1. 1-е место Премьер-дивизиона
2. 2-е место Премьер-дивизиона

[свернуть]

Премьер-дивизион (3x DRR с контролем 90′+5″ – используется новая 8-ходовая книга от Cato (Nelson Hernandez))

Развернуть для просмотра

1. Lc0 – текущий чемпион TCEC
2. Stockfish
3. Komodo
4. AllieStein
5. Houdini
6. Komodo MCTS
7. 1-е место из Лиги 1
8. 2-е место из Лиги 1

[свернуть]

Лига 1 (1x DRR с контролем 45+5 - используется 6-ходовая дебютная книга, рандомизированная)

Развернуть для просмотра

1. Ethereal
2. Fire
3. Xiphos
4. Laser
5. Andscacs
6. Fizbo
7. Jonny
8. Chiron
9. Ginkgo
10. ChessBrainVB
11. Booot
12. Rofchade
13. из Лиги 2
14. из Лиги 2
15. из Лиги 2
16. из Лиги 2

[свернуть]

Лига2 (1x DRR with time control 30+5 – using a 4 move book, рандомизированная)

Развернуть для просмотра

1. Fritz
2. Nirvana
3. Arasan
4. Texel
5. Vajolet
6. Gull
7. Pedone
8. Nemorino
9. Rubichess
10. Pirarucu
11. из квалификационного раунда
12. из квалификационного раунда
13. из квалификационного раунда
14. из квалификационного раунда
15. из квалификационного раунда
16. из квалификационного раунда

[свернуть]

Квалификация (1x DRR с контролем 30+5 – используется 2-ходовая дебютная книга, рандомизированная)

18 движков бьются за 6 квалификационных позиций. Это смесь движков из 4-го дивизиона и новых.

Развернуть для просмотра

1. Bagatur 1.7b
2. The Baron 3.44.1
3. Cheese 2.1
4. chess22k 1.12
5. ChessFighterNN v2.1-n8x128c_7411
6. Igel 1.8.0
7. Jumbo 0.6.117
8. Marvin 3.4.0
9. Minic 0.76
10. ScorpioNN v2.9.0-n_maddex_INT8
11. Stoofvlees II a10
12. Topple 0.7.2_dev
13. Tucano 7.07
14. Wasp 3.68
15. Winter 0.6
16. Asymptote 0.6.2
17. Rodent III
18. Lc0 CPU

[свернуть]

Промо-движок в полевых условиях
Многие движки в настоящее время используют NN, полностью используя графические процессоры. Тем не менее, чемпион Lc0 выпустил сильную версию, играющую только на CPU! Это не уникальный движок по критериям TCEC, но, безусловно, приятно видеть, как он играет против реальных конкурентов с силой, превышающей 3000 пунктов Эло. Таким образом, Lc0 CPU входит в TCEC в качестве промо-движка. Он будет играть в дивизионе, но в конце турнира все результаты движка будут аннулированы.

[Corrs]

гонщик всё-таки ас

[dew]

Цитата: Сообщение от Corrs

гонщик всё-таки ас

Да, уж.. На английском мною предложенный вариант - несколько фееричен, согласен

[svoitsl]

Цитата: Сообщение от Maratka

что к следующему финалу LZ может таки успеть обучить свою более крупную сеть

за 50 дней обучения обучено 10 млн играм, можно попробовать спрогнозировать, когда будут 100 млн игр...

[dew]

Цитата: Сообщение от svoitsl

за 50 дней обучения обучено 10 млн играм, можно попробовать спрогнозировать, когда будут 100 млн игр...

Померять бы это все в килловатах ) А потом сказать: "Да нууу на ..."
И перейти в противоположный лагерь с лозунгом: "Убей гика - спаси планету!"

[Vizvezdenec]

Так вроде бы ни для кого не секрет, что по чистой стоимости разработки SF и Лила куда как опережают вообще все остальные движки и как бы не вместе взятые
У Комодо там 200 ядер, у Гудини было 150, у Стокфиша год с лишним крутилось 1300+, до этого 500, а сейчас вообще 5000, ну а сколько жрут видеокарты, все и без меня знают

[crem]

Цитата: Сообщение от svoitsl

за 50 дней обучения обучено 10 млн играм, можно попробовать спрогнозировать, когда будут 100 млн игр...

Кстати, автор Stein сказал что для следующей версии своей сети "добавил в смесь" 10 миллионов игр из test40..

Звучит почти безобидно, если не учитывать что небезызвестные сети J13B.2 ("терминатор") используют только 9 миллионов игр из test40 (и больше никаких игр не использует).

[sovaz1997]

Цитата: Сообщение от crem

Кстати, автор Stein сказал что для следующей версии своей сети "добавил в смесь" 10 миллионов игр из test40..

Звучит почти безобидно, если не учитывать что небезызвестные сети J13B.2 ("терминатор") используют только 9 миллионов игр из test40 (и больше никаких игр не использует).

В общем, получается так, что, даже если забыть о том, что Allie взял из кода Lc0, сеть, которая там используется, также использует наработки Lc0, а именно - наигранные партии. Думаю, этого предостаточно, чтобы закрыть дорогу в TCEC даже по их текущим правилам. TCEC начинает напоминать любой "кухонный" турнир на хорошем железе, который транслируется в сеть. А правила TCEC сделаны для того, чтобы поднять солидность турнира.

[svoitsl]

Цитата: Сообщение от crem

небезызвестные сети J13B.2 ("терминатор") используют только 9 миллионов игр из test40 (и больше никаких игр не использует).

интересно, были бы эти игры без остальных 50-55 млн?

[crem]

Цитата: Сообщение от svoitsl

интересно, были бы эти игры без остальных 50-55 млн?

Ну это 9 миллионов последних игр test40, без 50 миллионов "первых" игр эти последние просто некому было бы генерить.

[Vizvezdenec]

Это немного похоже как если бы кто-то взял SF9, закрыл код и дальше что-то бы разрабатывал сам, прибавив 20 эло (условно).
Что было бы достаточно, чтобы быть вторым AB - движком, при этом называться "как бы уникальным".

[Омегазеро]

Цитата: Сообщение от svoitsl

Их нужно друг с другом стравить или со Стокфишем?

А вы уже запустили тест?
У меня 12 ничьих подряд

[svoitsl]

Прошу прощение за ложные надежды, но мы не планировали...пока

[Alex_Zet]

Нет господа, не убедили. Правила есть правила. И согласно им вылетит либо Сток в случае третьего креша, либо Лила - уж очень мало побед. А Элли, той уготованно как минимум второе место в ТСЕС 16. Большому кораблю, большое плаванье.

Что интересно, ведь это Стокфиш настроен на вынос хвоста, это всячески подчеркивается как гениальный ход позволяющий чуть ли не 100% быть уверенном что место в суперфинале уже в кармане. Ан нет, вмешалось провидение и все планы псу под хвост. Теперь надо будет ждать еще пол года. А что там будет еще и не известно. Смотрите а если пара клонов еще зайдет в следующем и что тогда? В правилах одни дыры. Да и нынешние слабые NN, завтра могут накрутить Стоку хвост запросто. В общем перспектив никаких, зато и с патчами, которых кот наплакал, можно не торопиться. Теперь они вообще врядли понадобятся.

Для верности предлагаю вообще запретить всем движкам играть, тогда уж точно у Стока
первое место. Бедный Антон, сейчас такое начнется, будут беднягу даже по ночам доставать. Ну что изменил правила? Я бы на его месте все симки поменял. Или бы платно все, грех не воспользоваться чужими проблемами.

[Vizvezdenec]

https://www.tcec-chess.com/archive.h...div=p&game=100
Заметил такую вещь - Комодо стал быстрее Стокфиша (не на каждом ходу, но в среднем это так), чего, по-моему, вообще не случалось после того, как последний перешёл на LazySMP.

[Kesandr]

Цитата: Сообщение от Vizvezdenec

https://www.tcec-chess.com/archive.h...div=p&game=100
Заметил такую вещь - Комодо стал быстрее Стокфиша (не на каждом ходу, но в среднем это так), чего, по-моему, вообще не случалось после того, как последний перешёл на LazySMP.

Комодо всегда был медленнее Стока. И в одно время там даже был баг со скоростю которий удалили но скорость тоже была медлинее чем у Стокфиша.

[Vizvezdenec]

Так я и говорю.
А сейчас несколько быстрее.

[dew]

Что вернёт

if (Alex_Zet == A.R.B.)

true or false?

[Alex_Zet]

Очередная десятая победа Элли. И эта фраза - она натренированна на вынос аутсайдеров. Да не похож Комодо на аутсайдера. А вы что, свечку держали? Ни Сток, ни Лила что то не могут его обыграть. А Элли смогла. Так что не надо. Вы лучше в следующий раз компилируйте тщательней, что бы у вас не торчало. Без вас как нибудь разберемся. Обличителей пол форума, а толку нет. А с клонами мы покончим. Вот четкие правила установят и будем внимательно отсеивать. Антон слов на ветер не бросает. Просто у него руки не доходят. А вам бы только поиздеваться над человеком.
В общим ждем или третьего крэша или уж тогда Лила пойдет в расход. А третьего и не дано.

[sovaz1997]

Alex_Zet, Лила не пойдет в расход, т. к. одна из Лил точно попадет в финал

[Омегазеро]

Цитата: Сообщение от svoitsl

Прошу прощение за ложные надежды, но мы не планировали...пока

Ну у меня уже наработана некоторая статистика
Оценки Лилы и Элли удивительно похожи! Прямо как зеркало.
Конечно, сеть у них одна сейчас
Но ведь поиск-то разный и время подумать есть (2/2 контроль)
Опять же Элли показывает огромную скорость перебора, которая по логике должна влиять на оценку
Но пока вот такие результаты

[Омегазеро]

Цитата: Сообщение от Alex_Zet

Очередная десятая победа Элли. И эта фраза - она натренированна на вынос аутсайдеров

Алекс!
ЭллиСтейн состоит из двух половинок - Элли (перебор) и Стейн (сеть)
Сейчас главные подозрения по поводу клона касаются первой половинки - Элли

А по поводу Стейна никто не сомневается, что там другие веса. К Стейну другие претензии - то, что для тренировок использовались игры Т30 и Т40, т.е. чужой труд, миллионы человеко-часов. При этом алгоритмы тренировок у него свои, это никто не оспаривает

Однако jhortos в аналогичной ситуации считает свои сети типа "Терминатора" частью проекта "Лила", а не собственной разработкой "Хортос"

[Омегазеро]

Далее, Элли и Лила одинаково загружают видеопамять (по 750 Мб каждый) и одинаково грузят процессор (13% каждый)
Если у Элли гибридный поиск, получается, что он весь через GPU идет?

[sovaz1997]

Омегазеро, ещё по поводу скорости Элли: там, скорее всего, узлы по-другому считаются. Не думаю, что в реальности есть разница)

[Омегазеро]

И самое главное
Несмотря на одинаковые сети и одинаковую оценку, Лила ведет в счете
Элли ухитрилась несколько раз сильно зевнуть

[alchemist888]

Цитата: Сообщение от Омегазеро

Оценки Лилы и Элли удивительно похожи! Прямо как зеркало.
Конечно, сеть у них одна сейчас
Но ведь поиск-то разный и время подумать есть (2/2 контроль)
Опять же Элли показывает огромную скорость перебора, которая по логике должна влиять на оценку

Поиск у них один и тот же MCTS. Как сказал сам автор Allie использует примерно 85% MCTS и 15% AB. А вот что AB поиском перебирается я точно не знаю, но знаю, что узлы часто дублируются, к тому же процесс AB перебора судя по всему значительно быстрее. Поэтому не стоит обращать внимание на узлы в секунду. Главное это отличия в оценке и ошибки одного и другого движка.

Цитата: Сообщение от Омегазеро

ЭллиСтейн состоит из двух половинок - Элли (перебор) и Стейн (сеть)
Сейчас главные подозрения по поводу клона касаются первой половинки - Элли

К Штейну те же притензии: он использует базу партий сгенерированную проектом LCZero, при этом использует тот же lc0 client для тренировки сети. Получается и материал для обучения и сам алгоритм обучения во многом одни и те же. И лишь незначительная часть тренировочной базы - партии из других источников.

[crem]

Цитата: Сообщение от Омегазеро

И самое главное
Несмотря на одинаковые сети и одинаковую оценку, Лила ведет в счете
Элли ухитрилась несколько раз сильно зевнуть

Вроде бы Allie использует старую формулу для пересчёта в сантипешки, в Lc0 её можно включить при помощи --score-type=centipawn_2018.

По поводу nps ситуация такая:
где-то в мае Allie считал скорость так же как мы, но на большом количестве GPU показывал скорость гораздо большую, чем у нас.
Автор был очень рад по этому поводу и даже предлагал в обмен на лиловские сети решить все наши проблемы со скоростью.

Через пару дней он нашёл у себя баг, скорость как-то умножалась у него на количество GPU (то есть например если в системе 4 GPU, то nps по-настоящему увелиливался скажем в 2.5 раза, и сверх этого при выводе скорости умножалась ещё на 4).

Он исправил этот баг, извинился, и поменял подсчёт скорости так что она сейчас выводит не количество позиций оцененных NN, а что-то другое.

(но я не считаю что он специально скрыл "правильный nps" чтобы нельзя было сравнивать их с Lc0, я знаю такой подтекст может прочитываться)

[alchemist888]

Цитата: Сообщение от crem

Он исправил этот баг, извинился, и поменял подсчёт скорости так что она сейчас выводит не количество позиций оцененных NN, а что-то другое.

Да, я это тоже помню, но не знал, что вместо nps теперь выводится какое-то другое значение.

[Омегазеро]

Цитата: Сообщение от crem

Вроде бы Allie использует старую формулу для пересчёта в сантипешки

Я имела ввиду синхронное поведение оценки, одинаково растет и падает одновременно
А сама цифра оценки разная и действительно выглядит так, что у Элли старая формула

[crem]

Цитата: Сообщение от Омегазеро

Я имела ввиду синхронное поведение оценки, одинаково растет и падает одновременно
А сама цифра оценки разная и действительно выглядит так, что у Элли старая формула

Синхронное поведение оценок очень заметно на играх Allie в TCEC, там на графике синяя линия -- это оценка Lc0.

[Омегазеро]

Цитата: Сообщение от crem

Синхронное поведение оценок очень заметно на играх Allie в TCEC, там на графике синяя линия -- это оценка Lc0.

И у меня то же самое на GTX1650
Значит, везде так и это очень подозрительно!