TCEC 15 - чемпионат мира среди шахматных движков

[Maratka]

Цитата: Сообщение от ChessMan

75 минут + 30 секунд, я правильно понял?
Значит большого количества партий Вы ещё не успели наиграть, если конечно сетка та же что и в ТСЕС.

Конечно не успел. Большого количества партий на таких контролях никто не может наиграть. Но имеет смысл обычное арифметическое сложение: 20 человек по 50 партий есть 1000 партий, а найти ~20 человек думаю реально, если порыться по шахматным форумам.

[ChessMan]

Цитата: Сообщение от Maratka

Конечно не успел. Большого количества партий на таких контролях никто не может наиграть. Но имеет смысл обычное арифметическое сложение: 20 человек по 50 партий есть 1000 партий.

Я бы с радостью присоединился к тестированию, но у меня всего лишь GTX 460 (768 MB) и скорость Лилы в бенчмарке аж целых 52 нода в секунду (что бы это ни значило).

[Maratka]

Можно побаловаться на одном ядре... Но конечно тоже будет большой перекос.

[ChessMan]

Цитата: Сообщение от Maratka

Можно побаловаться на одном ядре... Но конечно тоже будет большой перекос.

Можно ещё в оболочке CuteChess запустить матч с контролем по количеству обсчитанных нодесов (скажем 1000), предварительно конечно изменив одну строчку в исходниках Стокфиша - разделить выводимое количество нодесов на 1000, чтобы соблюсти соотношение 1/1000.

[svoitsl]

Цитата: Сообщение от Maratka

Да, сыграно 55 партий из 120.

И в скольких Лила "зевала"?

Цитата: Сообщение от ChessMan

разделить выводимое количество нодесов на 1000, чтобы соблюсти соотношение 1/1000.

вроде в этом нет необходимости

[Maratka]

Цитата: Сообщение от ChessMan

Можно ещё в оболочке CuteChess запустить матч с контролем по количеству обсчитанных нодесов (скажем 1000), предварительно конечно изменив одну строчку в исходниках Стокфиша - разделить выводимое количество нодесов на 1000, чтобы соблюсти соотношение 1/1000.

Это все синтетика. Интересны реальные партии. Ну не блиц конечно (хотя на RTX даже при инкременте в две секунды LZ особо зевать не будет), но тем не менее желательно что-то хотя бы а-ля 3C (15+5). Это и не очень мало, и достаточно быстро, этакая "золотая середина".

Но это все для "много быстрых ядер vs RTX", на моей системе SF не успеет набрать глубины, а LZ будет безбожно зевать каждую пятую партию. Ну а т.к. я играю партии на абы принципа, а для книги, то этот контроль явно не для меня.

[ChessMan]

Цитата: Сообщение от svoitsl

вроде в этом нет необходимости

Спасибо! Но я использую GUI а не cli.
Или там тоже можно это разделить?

[ChessMan]

Цитата: Сообщение от Maratka

Это все синтетика. Интересны реальные партии. Ну не блиц конечно (хотя на RTX даже при инкременте в две секунды LZ особо зевать не будет), но тем не менее желательно что-то хотя бы а-ля 3C (15+5). Это и не очень мало, и достаточно быстро, этакая "золотая середина".

Желательно конечно видеокарту под стоимость моего процессора

[Maratka]

Цитата: Сообщение от svoitsl

И в скольких Лила "зевала"?

4, может 5, максимум 6.
Я их специально не считаю. Грубо - 7-10%.

[alchemist888]

Цитата: Сообщение от Maratka

Но ведь SF играет ровно на том же сервере, что и три года назад, не то что в прошлом сезоне?

Скорости Стокфиша и других АБ движков не изменились. А скорости всех NNs (не только LCZero) значительно упали. Понятия не имею почему, просто смотрю на цифры.

Цитата: Сообщение от Maratka

Все то же и тут. Ну не могут 4*RTX 2080 Ti быть медленнее, чем RTX 2080 Ti + RTX 2080! Другое дело, что в силу каких-то проблем движка, они работают не в 2,2 раза быстрее, чем положено при идеальном распараллеливании, а в меньшее количество раз. Но как думается, в реале ~30-60% прироста должно быть.

Могут не могут, а показатели скорости на лицо. И я не говорил, что медленнее, чем в турнире TCEC, лишь заметил, что скорости сопоставимы.

[Maratka]

Цитата: Сообщение от ChessMan

Желательно конечно видеокарту под стоимость моего процессора

Увы.
У меня со старой работы осталось почти десять ноутбуков (с учетом нетбуков), LZ не работает ни на одном из них на GPU. Тоже знаете ли весьма обидно... Мог бы пустить какую-никакую железяку на обучение. Но на CPU смысла нет, проще отдать под тесты SF (там любое старье пойдет, возможно даже чисто x86 (не x86-64).

________
Придет "инструктор" - сделаем, сам разбираться не... ....не то что не тяну, но смысла не вижу, при ~1500 ядер на FishTest мои +15 погоды не сделают.
А под пиво и хорошую компанию - реально вполне, мое железо, его работа на первой тачке, дальше я повторяю, а он проверяет, как то так...

[Maratka]

Цитата: Сообщение от alchemist888

Скорости Стокфиша и других АБ движков не изменились. А скорости всех NNs (не только LCZero) значительно упали. Понятия не имею почему, просто смотрю на цифры.

Цифры имеют свойство врать.

____
Два сотрудника из отдела статистики пошли на охоту. Пальнули по зайцу, один в метр слева от зайца, другой - справа. Смотрят друг на друга, ржут: "а по статистике, мы добыли одного зайца на двоих"!

[Maratka]

Цитата: Сообщение от ChessMan

Желательно конечно видеокарту под стоимость моего процессора

Копите, и да прибудет с Вами Сила!

Лично я в замешательстве от выбора: на мой бюджет реально взять GTX 1650... Но через пару месяцев будет Navi. Вопрос в fp16 (его поддерживает даже Polaris, но правда без роста производительности, этакий "пробный камень", т.е. за такт Polaris исполняет или одну fp16, или одну fp32). В Vega уже все нормально, скорость исполнения fp16 вдвое выше, чем fp32 (т.е либо две fp16 за такт, либо одну fp32). Очевидно, что Navi будет исполнять fp16 ровно так же (быстрее невозможно технологически), но... нет данных по поддержке fp16 для LZ в OpenCL, crem словно воды в рот набрал, а без этого покупать плату вслепую как бы не очень хочется.

_____
Понятно, плата нужна не только для LZ, но и для кодирования видео, и обычных 3D-игрушек, а-ля "убить вечер", тут Navi за те же деньги явно будет предпочтительнее. Но для LZ важна не просто пиковая производительность, но и поддержка "правильного" API (т.е. CUDA), а ее на платах AMD явно не будет. Т.е. паритет с GTX 1650 (и его 896 процессоров) сможет держать лишь Navi, у которого ~ 2200 процессоров. А этот вариант уже не факт, что будет не дороже.

____
Короче выбор - либо общая производительность на AMD, либо задешево - на nVidia, и только в LZ. Сложный выбор, честно скажу.

[w64]

Итак, оценки в пользу Лилы сейчас: 7-Лила и 2.5-Стокфиш. Т.е. скорее всего будет первая победа Лилы в одном дебюте и белыми и чёрными, а счёт - 10:5. Этот матч безвозвратно проигран Стоком. Патчи в 2 эло за треть года не помогут в следующих матчах, надо кардинально что-то менять. Вроде разрабатывают какой-то StockfishMCTS?

[Asunta]

Было 8:3... Потом Лила 20 партий не могла выиграть... 8:5...
И тут озарение! Две подряд... 10:5 : )

Причём партию #61 Сток белыми просто безобразно слил..
За 38 оставшихся партий что-то успеть сложно...

[sovaz1997]

Психология движков как у человека: когда выигрывает, сразу выигрывает ещё одну. Когда проигрывает, расстроен и продолжает проигрывать и делать ничьи))
Хотя по статистике ничего не меняется.

[ChessMan]

Цитата: Сообщение от Maratka

Копите, и да прибудет с Вами Сила!

Лично я в замешательстве от выбора: на мой бюджет реально взять GTX 1650... Но через пару месяцев будет Navi. Вопрос в fp16 (его поддерживает даже Polaris, но правда без роста производительности, этакий "пробный камень", т.е. за такт Polaris исполняет или одну fp16, или одну fp32). В Vega уже все нормально, скорость исполнения fp16 вдвое выше, чем fp32 (т.е либо две fp16 за такт, либо одну fp32). Очевидно, что Navi будет исполнять fp16 ровно так же (быстрее невозможно технологически), но... нет данных по поддержке fp16 для LZ в OpenCL, crem словно воды в рот набрал, а без этого покупать плату вслепую как бы не очень хочется.

_____
Понятно, плата нужна не только для LZ, но и для кодирования видео, и обычных 3D-игрушек, а-ля "убить вечер", тут Navi за те же деньги явно будет предпочтительнее. Но для LZ важна не просто пиковая производительность, но и поддержка "правильного" API (т.е. CUDA), а ее на платах AMD явно не будет. Т.е. паритет с GTX 1650 (и его 896 процессоров) сможет держать лишь Navi, у которого ~ 2200 процессоров. А этот вариант уже не факт, что будет не дороже.

____
Короче выбор - либо общая производительность на AMD, либо задешево - на nVidia, и только в LZ. Сложный выбор, честно скажу.

Думал, что RTX лучший выбор.

[Alex_Zet]

Цитата: Сообщение от Maratka

Не вижу я тут сильной игры. Чуть обходит по очкам. На 3C наоборот, отстает (и опять же, на какие-то копейки). В целом - паритет.

И дебютный набор в общем то не самый кривой из того что уже было

1. d4 Nf6 2. Bg5 Ne4 3. Bf4 c5 4. f3 Qa5+ 5. c3 Nf6 6. d5 Qb6 7. Bc1

[Alex_Zet]

А вообще если движок проигрывает дебют обоим цветом, это просто слив в турнире. И 4 - 16 было не случайно. Но как доказать Маратке, как?
Должно же быть какое то оправдание пролету Стока. Не может не быть такого что бы не нашлось.

[sovaz1997]

Alex_Zet, Причем и белыми, и черными, Лила выиграла в 82 хода

[Alex_Zet]

А с учетом двух халявных очков Стока, счет сейчас должен быть бы равен 10 - 3 и эта та пропасть, которую вот так просто, после полугода застоя, не закроешь. Дело то идет к концу.

[Alex_Zet]

Атака Тромповского — шахматный дебют, начинающийся ходами: 1. d2-d4 Kg8-f6 2. Cc1-g5. Относится к полузакрытым началам. Ведёт к острой игре со взаимными шансами. Википедия

Ну как, как он умудрился проиграть два раза подряд то, что казалось бы его вотчиной на 150%, как такое возможно? После этого как говориться и жить то не хочется, дело всей жизни летит под откос со страшной скоростью.

[Омегазеро]

Цитата: Сообщение от Maratka

нет данных по поддержке fp16 для LZ в OpenCL, crem словно воды в рот набрал

Maratka, такому опытому программисту как Вы ответ должен быть известен без cremа

[sovaz1997]

Немного отойду от темы и напишу по поводу AlphaZero. Мой вывод заключается в том, что AlphaZero имеет над Stockfish 8 преимущество в 32 пункта Эло со счетом: +139 -46 =815. Это именно с дебютной книгой для Stockfish (у AZ ее не было). Матч же, в котором был результат +155 -6 =839 был без дебютной книги. Доказательство есть в их же статье на страницах 7 и 32 (в Acrobat есть возможность измерять графики): https://deepmind.com/documents/260/a...o_preprint.pdf

Т. е. опять матч был не совсем честным. Вернее не сам матч, а счет +155 -6 =839. Почему же SF 9 набрал примерно столько же очков против AZ? Все просто: AZ действительно хорошо играет с начальной позиции. А матч против SF 9 (хотя это не совсем 9, к слову) был именно из начальной позиции. Вообще, я планирую все это в ordo рассчитать и, возможно, статейку сделать. Чтобы не было "спекуляций" и неверных выводов. Лила сделала намного больше, чем кажется на первый взгляд.

P. S. Допускаю, что это вообще был Brainfish. В общем, статья слишком запутанная, нет полной картины со всеми результатами и версиями движков.
Да, похоже это Brainfish. Сколько он добавляет: 50 пунктов? Тогда все примерно ясно: AZ превосходит SF 8 на ~82 пункта. А в начальных позициях у нее результат не поддается метрике Эло в каком-то смысле

[Alex_Zet]

Цитата: Сообщение от Maratka

Увы.
У меня со старой работы осталось почти десять ноутбуков (с учетом нетбуков), LZ не работает ни на одном из них на GPU. Тоже знаете ли весьма обидно... Мог бы пустить какую-никакую железяку на обучение. Но на CPU смысла нет, проще отдать под тесты SF (там любое старье пойдет, возможно даже чисто x86 (не x86-64).

Теперь я кажется начинаю понимать почему дела Стока так плохи.

А вообще если уж начистоту, то вроде у Стока и все нормальненько. Ну сами посудите, В ССС Сток на первом месте, У Маратки в кухонном тесте в сыгранных около 60 партий из 120 Сток тоже громит Лилу. А что до ТСЕС, так себе турнирчик, с допотопным железом. Получается что счет то как бы 2 - 1 по турнирам. Вот так вот и нечего здесь панику разводить.

[Maratka]

Цитата: Сообщение от sovaz1997

А в начальных позициях у нее результат не поддается метрике Эло в каком-то смысле

В начальных позициях играется 5, может 10 дебютов. Т.е. там и измерять то особо нечего. Все что известно, что AZ сильнее вот именно в этих дебютах, никаких других выводов быть не может.

[Vizvezdenec]

Цитата: Сообщение от sovaz1997

Немного отойду от темы и напишу по поводу AlphaZero. Мой вывод заключается в том, что AlphaZero имеет над Stockfish 8 преимущество в 32 пункта Эло со счетом: +139 -46 =815. Это именно с дебютной книгой для Stockfish (у AZ ее не было). Матч же, в котором был результат +155 -6 =839 был без дебютной книги. Доказательство есть в их же статье на страницах 7 и 32 (в Acrobat есть возможность измерять графики): https://deepmind.com/documents/260/a...o_preprint.pdf

Т. е. опять матч был не совсем честным. Вернее не сам матч, а счет +155 -6 =839. Почему же SF 9 набрал примерно столько же очков против AZ? Все просто: AZ действительно хорошо играет с начальной позиции. А матч против SF 9 (хотя это не совсем 9, к слову) был именно из начальной позиции. Вообще, я планирую все это в ordo рассчитать и, возможно, статейку сделать. Чтобы не было "спекуляций" и неверных выводов. Лила сделала намного больше, чем кажется на первый взгляд.

P. S. Допускаю, что это вообще был Brainfish. В общем, статья слишком запутанная, нет полной картины со всеми результатами и версиями движков.
Да, похоже это Brainfish. Сколько он добавляет: 50 пунктов? Тогда все примерно ясно: AZ превосходит SF 8 на ~82 пункта. А в начальных позициях у нее результат не поддается метрике Эло в каком-то смысле

Ещё вопрос, что такое "примерно столько же".
Потому что там видно, что побед чуть меньше, но на сколько? И сколько игр наигралось, те же 1000? Или 100? Или 50?
Если, допустим, против SF8 было +155 -6 =839, а против SFdev, близкому к 9, было +145 - 8 = (соответственно), можно ли сказать, что это "примерно столько же", если разница между ними 25 эло по измерениям SF? Или это просто погрешность, а на деле результаты отличались бы на 25 эло, если бы было наиграно по 100к партий? И была ли эта версия с contempt = 20 по умолчанию, который ввели незадолго до sf9, что снизило бы (?) её результаты против более сильного противника?
Репрезентация результатов в этой статье просто мерзкая и выводы, соответственно, делать крайне тяжело. Я вот считаю, что уже 30 сеть была сильнее A0, но доказать, конечно, никак не могу
Ну кроме того, что Лила должна против SF8 при таком же соотношении со стартовой позиции изобразить куда больше, чем 32 эло...

[sovaz1997]

Цитата: Сообщение от Vizvezdenec

Ещё вопрос, что такое "примерно столько же".
Потому что там видно, что побед чуть меньше, но на сколько? И сколько игр наигралось, те же 1000? Или 100? Или 50?
Если, допустим, против SF8 было +155 -6 =839, а против SFdev, близкому к 9, было +145 - 8 = (соответственно), можно ли сказать, что это "примерно столько же", если разница между ними 25 эло по измерениям SF? Или это просто погрешность, а на деле результаты отличались бы на 25 эло, если бы было наиграно по 100к партий? И была ли эта версия с contempt = 20 по умолчанию, который ввели незадолго до sf9, что снизило бы (?) её результаты против более сильного противника?
Репрезентация результатов в этой статье просто мерзкая и выводы, соответственно, делать крайне тяжело. Я вот считаю, что уже 30 сеть была сильнее A0, но доказать, конечно, никак не могу
Ну кроме того, что Лила должна против SF8 при таком же соотношении со стартовой позиции изобразить куда больше, чем 32 эло...

Верно, статья крайне запутанная и ее можно было лучше сделать, конечно. Думаю, здесь точно кто-то из отдела пиара постарался. По поводу того, почему 1000 партий: я измерил и там получилось, что A0 проиграла лишь одну партию черными из 1000. Было бы там меньше партий, такой маленькой величины не могло бы существовать

Здесь в любом случае нужен доп. анализ, я всего лишь сделал поверхностные выводы с линеечкой.
То, что LZ превосходит AZ, это действительно факт. Вот только не все понимают это)

[Омегазеро]

Цитата: Сообщение от Maratka

нет данных по поддержке fp16 для LZ в OpenCL, crem словно воды в рот набрал

Разъяснения, кстати, тут давно публиковались

Поддержки fp16 на видеокарте и в драйвере недостаточно для эффективной работы нейросетей. Необходима специальная библиотека, оптимизирующая и ускоряющая вычисления.

Для nvidia и ее карточек такая библиотека сделана самими производителями https://developer.nvidia.com/cudnn

Цитата:

NVIDIA CUDA® Deep Neural Network library (cuDNN) is a GPU-accelerated library of primitives for deep neural networks

И эта библиотека используется в версии Лилы-CUDA. Причем весит она ого-го!
lc0-cuda.zip - 249 MB
lc0-opencl.zip - 3.95 MB

А вот для AMD и Opengl такой библиотеки нет! Более того, её даже не планируют делать

В итоге можете погуглить в интернете - всерьез обсуждается возможность написать эту библиотеку на коленке независимыми разработчиками! Было предложение портировать cuDNN на Opengl, но оказалась, что это невозможно сделать из-за различий в архитектуре и т.п.

Поэтому я не понимаю, что вы хотите от crem. Чтобы он сел и написал Deep Neural Network library для AMD Opengl? 250 Мегабайт кода?

[Омегазеро]

Удивительные результаты опроса: до сих пор большинство форумчан считает, что суперфинал выиграет Стокфиш!
То есть Лила до конца матча должна проиграть минимум 6 игр
Вот люди, которые в этом уверены

Цитата:

AAM, alex1957, Alex_Lk, Arikchess, arm, Asunta, ChessMan, ck195708, FlashNeo, Ghppn, Husniddin_ASI, Kesandr, Maratka, pokoko, w64, Александр Руденко, Алексей, Виталий В., Философ