TCEC 19

[sergey1963]

Да Дэвик писал об этом в своих книгах- "у многих не было в квартирах отдельных рабочих кабинетов, приходилось настраиваться на игру во время самой партии"... Кстати- иззюмительный шахматист, чуть не дошедший до пьедестала, в лучшие годы- не хуже Иванчука- гроза всех топов. Ботвинник не мог у него выиграть... с лишней ладьей... и это в чемпионском-то матче...

Qn2qrk1/2p3pp/pb1p1n2/3Ppp2/8/1P2PPP1/1P1BN1BP/R3K2R b KQ - 0 18

[Омегазеро]

Цитата: Сообщение от Maratka

Имеем же разницу по победам в два раза, если же убрать мусор, где было 1:0 с радачи, то у LZ побед будет считанные единицы

Я признаю свою ошибку в плане прогноза, но в плане разницы в силе остаюсь при своем мнении
Дебюты на TCEC были нерепрезентативны и несбалансированы
Тут Переяслав процитировал пост Венатора

Цитата:

Самый низкий выход из книги, который привел к выигрышу, составил 0,43 (что довольно много по стандартам Лилы). Все остальные партии белыми для Лилы с более низкими выходами завершились вничью.

В победах SF, оценки выхода из книги для SF были: 1,14 / 0,99 / 0,77 / 0,63 / 0,98 / 1,39 / 1,06 / 1,19 / 1,14 / 1,20 / 0,70 / 0,66 / 1,38 / 1,05 / 0,91 / 1,27 / 1,00 / 0,85 (примечание : с contempt=24)

Т.е. самый низкий выход из книги, который привел к выигрышу, составил 0,63. Все остальные игры белыми для SF с меньшими выходами закончились вничью.

Выводы:

1. Все сбалансированные линии, слегка несбалансированные линии и слегка сомнительные линии закончились вничью = коэффициент ничьих для таких линий составляет 100%;
2. ЕДИНСТВЕННЫЕ победы в этом суперфинале были получены по (очень) сомнительным позициям.

И вывод Виндхука

Цитата:

Вывод тут на самом деле только один - Сток заметно сильнее Лилы только в "сомнительных" шахматах. В нормальных шахматах он бы просто никогда не получил бы таких дебютов.

Так что "хрюкаю" я не одна

[Maratka]

Цитата: Сообщение от Viktor

Думают и здесь причина не в самом первом ходе, а в том какой дебют получить и какие варианты из них более приемлемы для данного соперника. А также насколько сам шахматист готов играть эти возможные продолжения. Да и турнирную стратегию всегда надо учитывать, а отсюда игра на определенный результат.
Справедливости ради следует отметить, что, конечно, это недоработки по подготовке перед партией. Но и играть приходится порой не одну партию в день и готовиться к сопернику времени нет.

Разумеется. Но Вы же знаете, какие дебюты Вы лучше других знаете?
А подготовка к турниру - это отдельная песня, она опять же никак не связана с раздумьем над первым ходом над доской - он в любом случае пройдет быстро.

[Maratka]

Цитата: Сообщение от Омегазеро

Дебюты на TCEC были нерепрезентативны и несбалансированы

А по мне вполне сбалансированы. SF доказал, что эти ~10 дебютов, которые и дали разницу в очках можно и выиграть за одну из сторон, и не проиграть за другую из сторон.
Просто... нужно уметь играть как SF, а не как LZ.

Вон там Komod'а по этим же дебютам в клочья рвет SF с рукописной оценкой:


NN_версия тут бы выступила явно еще лучше.
Так и причем тут дебюты? Просто нужно играть сильнее, чтобы выигрывать.

Ну а ежели Вы таки настаиваете, что:

Цитата: Сообщение от Омегазеро

Дебюты на TCEC были нерепрезентативны и несбалансированы

То о чем разговор, давайте выкинем мусор, где было 1:0 с раздачи, и получим гораздо более репрезентативные дебюты, на который SF не ограничится двухкратной разницей в счете, и доведет ее где-то до 2,2.

Ибо играть 0,2-0,3 с раздачи - это совсем уже скукота: практически все эти партии закончились вничью, т.е. победителя как определять будем, по единственному зевку при игре на флажке?

[Alvir]

Цитата: Сообщение от Jeweller

турнир интересен тем, что играют 3 лилы и 3 стока, включая классический
много кругов на короткой книге без изнасилования
по итогам турнира будут интересны результаты микроматчей

А известно какие сети играют за Лилу?

[Maratka]

Цитата: Сообщение от Омегазеро

Так что "хрюкаю" я не одна

Хрюкните-ка партий 200 с начальной позиции на контроле где-нить 10+3, посмотрим, какие корректные дебюты будут играть движки, и насколько это им поможет?

[Vizvezdenec]

Когда сток проиграл финал 17 сезона, я, помнится, писал, что дебюты мне не очень понравились, но проигрыш был по делу и надо просто стать сильнее. А тут вот я читаю... Дебюты не те, сеть не та, контроль не тот, железо не то, ничего не забыл вроде бы? Ну каждому своё, как я уже говорил. Кто-то воспринимает поражения как мотивацию что-то улучшить, а кто-то ноет про то, что его-де не было. Ну правда чтобы что-то улучшить, надо таки не только на форуме всем рассказывать, как надо делать, а несколько более конкретно действовать.

[Переяслав]

Надо бы классик прогнать против этой же лилы. Чо они комодо то взяли для избиения?

[Переяслав]

При сбалансированных дебютах, долгом контроле и идеально уравновешенном железе получаем:



Пока что так
https://www.twitch.tv/navratil25

[Asunta]

Примерно треть дебютов в этом матче - стрёмные : )
Адвансера в них даже пинками не загонишь...

И всё равно ( +1 =32 -0 )
В конце будет куча староиндиек... Может где-то что-то доедет...

[Maratka]

Цитата: Сообщение от Переяслав

При сбалансированных дебютах, долгом контроле и идеально уравновешенном железе получаем:

Всегда интересовался, что такое "идеально уравновешенное железо" для двух программ, использующих в принципе разное железо.

Что до дебютов, то и так понятно, что они будут вести к ничьей, если после выхода из них оценка в районе 0,3. Однако, это вовсе не значит, что движки одинаковы: если дать ограничение по трассе в 90 км/ч, то ни одна малолитражка не проиграет мощной спортивной машине. Но это не значит, что та машина имеет не бОльшую скорость или худшую динамику разгона, просто ее ограничили в возможности это использовать.

[Переяслав]

Цитата: Сообщение от Maratka

Всегда интересовался, что такое "идеально уравновешенное железо"

Я про пресловутое Лила рацио=1
Там в комментах все написано.

Матч при условиях наиболее приближенных к НАЧАЛУ: А0 vs sf8

[Maratka]

Цитата: Сообщение от Переяслав

Я про пресловутое Лила рацио=1

И как его считать, когда у LZ растут размерности сети (что повышает их интеллект, но садит производительность), растет мощность видеоплат (повышает производительность), а у SF появилась сеть, которая просадила производительность, но подняла на полтораста Elo силу игры?

Т.е. если отталкиваться от SF'ша - то я например вполне согласен: он стал гораздо медленее из-за сети, и гораздо умнее из-за нее же. Потому давайте LZ ставить не RTX, а GTX, чтобы выдержать норму
Вот TCEC текущий например - какого черта у LZ не забрали одну Теслу? SF то стал считать медленнее, значит и LZ нужно замедлить!

Ну не смешно ли? И какое тут отношение имеет гугловский движок, который играл вообще по другим правилам, причем играл против очень старого SF'ша, про который многие уже и забыли?

[Переяслав]

Цитата: Сообщение от Maratka

И как его считать, когда у LZ растут размерности сети

Это Hardware Ratio

Там все написано как его считал автор

Цитата:

a0 Ratio Formula
leela_nps / sf_nps = 1 : 875
Hardware is setup to match this ratio.

The above ratio was benchmarked by using SF 8_x64_bmi2 and lc0 42850 (20x256) measured over 100 games

[Maratka]

Цитата: Сообщение от Переяслав

leela_nps / sf_nps = 1 : 875

О, шикарная идея, я же писал выше, NN-версия SF стала где-то на 30% медленнее, чем та что была до начала августа, т.е. у LZ нужно убирать 30% мощности видеоплат, попросту -в TCEC скажем запускать LZ на 3, а не 4 Теслы.
А кто тестировал до конца июля скажем на RTX 2080, сейчас должен ставить RTX 2060 или 2060S

Зато все будет объективно.
Да свершится соотношение 1 : 875!!!

[Переяслав]

Цитата: Сообщение от Maratka

О, шикарная идея, я же писал выше, NN-версия SF стала где-то на 30% медленнее, чем та что была до начала августа

Да причем здесь кто стал медленнее!
Просто соблюдают соотношение железа как в ПЕРВОМ матче. Как ориентир. И все.
А там уже ускоряйся как хочешь, замедляйся, сети меняй. Константа остается.

[Maratka]

Цитата: Сообщение от Переяслав

Да причем здесь кто стал медленнее!

При том, что SF c августа ЗАМЕДЛИЛСЯ, т.е. необходимо также замедлить и его соперника, ибо иначе он имеет фору.

Цитата: Сообщение от Переяслав

Просто соблюдают соотношение железа как в ПЕРВОМ матче. Как ориентир. И все.

А как было в первом матче? Я например понятия не имею, что там было, как там было. Все со слов Гугла, а верить им - это как верить в то, что их ИИ исключительно для вывода вакцин против вирусов, но никак не затрагивает самоуправляемые танки или беспилотники.

[Переяслав]

Цитата: Сообщение от Maratka

При том, что SF c августа ЗАМЕДЛИЛСЯ

Какая разница кто замедлился, если железо осталось то же, а он стал сильнее?

Цитата: Сообщение от Maratka

Все со слов Гугла, а верить им - это как верить в то, что

А ну ок

[Maratka]

Цитата: Сообщение от Переяслав

Какая разница кто замедлился, если железо осталось то же, а он стал сильнее?

И что с того, что он стал сильнее? Молодцы те, кто это придумал, добились лучшего качества даже ценой падения скорости! Но скорость таки упала, значит соотношение nps стало в пользу LZ, не так ли?

Завтра LZ переведут на сети 512, где он едва ворочаться будет на практически любой "домашней" видеоплате, играя (после должного обучения конечно же) в целом сильнее на том же количестве узлов. Но будет зевать на реальных турнирах, ибо банально не успеет досчитать до чего-то там.

Это является основанием для того, чтобы LZ остался на старом железе?

[Переяслав]

Цитата: Сообщение от Maratka

Но скорость таки упала

Железо осталось то же!
Скорость и у Лилы упала в 3,3 раза. Напоминаю, что тестилось сф8 против лилы на 256 сетке
Я как со стеной говорю.

[Maratka]

Запустили турнир NN против классики.
Интересно будет увидеть, что получится, с учетом железа.

[Maratka]

Цитата: Сообщение от Переяслав

Железо осталось то же!

Именно. А надо поменять - либо дать SF'шу еще ~25 ядер, либо забрать у LZ одну из четырех видеоплат.

Цитата: Сообщение от Переяслав

Скорость и у Лилы упала в 3,3 раза. Напоминаю, что тестилось сф8 против лилы на 256 сетке

SF8 сроду не играл ни в каких турнирах против LZ: последний слишком молод для этого. На первом же турнире играла уже бета версия SF10 или поздняя бетка 9.
Скорее 10.

______
Я как со стеной говорю.

[Vizvezdenec]

Цитата: Сообщение от Asunta

Примерно треть дебютов в этом матче - стрёмные : )
Адвансера в них даже пинками не загонишь...

И всё равно ( +1 =32 -0 )
В конце будет куча староиндиек... Может где-то что-то доедет...

Не знаю, в 31 финале ICCF чёрными держат скандинавку и голландку, так что почему бы и не поиграть вариант винавера?
Причём белыми там не лохи играют, голландку против Дронова удержали
Нет, понятно, что таким выбором против хоть сколько-нибудь компетентного соперника вообще нет шансов выиграть чёрными, но удержать позицию, имхо, более чем возможно.
Пул дебютов, которые "при правильной игре чёрными держатся", очень широк, и большинство побед стока в последнем финале, имхо, как раз в них.

[Jeweller]

Цитата: Сообщение от Alvir

А известно какие сети играют за Лилу?

во время партии выводится полное название, например
Lc0 Jhorthos SuFi 19 0.26.3 by 101020 + J92-270
но ведь SuFi 19 была другая конфигурация - 0.26.3-rc1_T60.SV.JH.92-190
непонятно

в качестве классического стока, там не версия конца июля, а версия от 18окт, ручная ОФ

[Jeweller]

Цитата: Сообщение от Омегазеро;

Дебюты на TCEC были нерепрезентативны и несбалансированы

Noomen-книги достаточно репрезентативны и сбалансированы по ECO, также как
SedatCanbaz-книги, HarrySchnapp-книги
в отличие от StefanPohl-книг, где автор считает, что баланс по ECO не влияет на результат тестирования и его важность - это сказка (я так не думаю)

сбалансированности по оценкам у TCEC-книг нет, но это Drawkiller-книги для шоу-турнира, никто по таким книгам замерять реальную разницу в силе конечно не будет

насколько TCEC-книги делают EloZoom, или наоборот сжимают разницу в силе, вопрос открытый для меня, сейчас идут развернутые-большие тесты на эту тему

[Jeweller]

что касается
1. замечания Vizvezdenec'а - "Сложно судить о силе в нормальных шахматах, когда там просто ничьи в 98% игр"
--- высокий % ничьих резко снижает дисперсию, поэтому легче судить о разнице в силе, и если эта разница мала (на нормальной книге без EloZoom), значит мала

2. замечания Maratk'и - "Проверьте их с начальной позиции. Это и будут самые настоящие "нормальные" шахматы, где движок будет с первого же хода поднимать все свои знания."
--- никто не тестирует движки с начальной позиции для замеров разницы между ними - это ненормальные шахматы для движков. используют сбалансированные книги без EloZoom, позволяющие прогнать их по широкому множеству вариантов

3. замечания Виндхук'а - "Сток заметно сильнее Лилы только в "сомнительных" шахматах. В нормальных шахматах он бы просто никогда не получил бы таких дебютов."
--- высокий процент "сомнительных" дебютов в TCEC-книгах в разы повышает результативность, но вот насколько он объективно растягивает/сокращает разницу в силе пока непонятно. пмм, субъективно - растягивает, и на норм книге разница должна быть меньше

[Viktor]

Вот поэтому должны быть разные тесты и в том числе такие как в ТСЕС. И ругать их за это просто бессмысленно. Сила движка должна определяться, может быть, в первую очередь на основании тестов позиций с чьим-то перевесом. Если движок выигрывает такие позиции белыми и делает ничью черными, то это весьма весомый показатель! По крайней мере, более значимый, чем перекатание равных позиций.

[Jeweller]

Цитата: Сообщение от Viktor

Сила движка должна определяться, может быть, в первую очередь на основании тестов позиций с чьим-то перевесом

здесь вопрос учета нюансов и правильной интерпретации
--- EloZoom-книги - замечательная вещь, позволяющая за меньшее число партий намного рельефней увидеть разницу в силе движков, но
--- если при этом происходит существенное снижение % ничьих, это существенно увеличивает дисперсию, что снижает достоверность теста, длину теста нужно уже увеличить для приведения к эквивалентной достоверности, в итоге то на то часто и выходит (уменьшения числа партий нет)
--- если EloZoom=3, т.е. книга в 3 раза увеличивает реальную разницу между движками, и мы в тесте получили разницу 60 пунктов (надо понимать что это не пункты Эло, это "растянутые" Эло), правильная интерпретация - разница в силе равна 60/3 = 20 пунктов (эти пункты уже близки по масштабу Эло)
--- но интерпретация,что полученные 60 пунктов на книге EloZoom=3 - это и есть реальная разница - ни в коем случае неверна!

что такое реальная разница? - это вопрос масштабирования и правильной нормировки, при которой "движковая" шкала Эло хорошо соответствует человеческой шкале, по всей своей длине, по разным точкам соответствия, в частности - рейтинг самых слабых движков должен упереться в район 0, первый разряд людей и движков ~1800, гроссы движков и людей ~2500+, движки с которыми играли люди-ЧМ в район движков ~2700-2800

имеем мы такую шкалу? - шкала CCRL в этом плане неплохая (но не идеальная)

мы знаем какие книги там используются, на каких книгах получается неплохая нормировка и масштабирование шкалы Эло? - да, эти книги известны, это специальные сбалансированные книги для тестов движков (не для игры людей), в которых позиции с дисбалансом не сведены к нулю, они там есть, но в таком объеме чтобы соответствовать калибровке по шкале Эло
т.е. хорошие книги для тестов движком не сводят риск к нулю, они сбалансированы в том числе и по риску

наконец, что будет происходить в случае неправильной интерпретации результатов, полученных на EloZoom-книгах?
1. ломается масштабирование шкалы Эло, и если мы привязываем например Сток к уровню 3600, на EloZoom-книге=3
а) уровень "ЧМ-человек=2800" сползает до 1200
б) уровень "1разряд-человек=1800" становится равен у нас -1800 (минус1800)
в) уровень самого слабого рендомного движка становится равен -7200 (минус7200)

но это не самое страшное
2. т.к. масштабирование на EloZoom-книгах происходит неравномерно, и по другим причинам - массово нарушается транзитивность и аддитивность по различным сочетаниям движков
рейтинг-лист превращается в месиво ничего не значащих цифр

поэтому, для корректной интерпретации результатов тестов, полученных на EloZoom-книгах, нужно знать коэффициент растяжения разницы в силе движков, которое они дают
и полученные результаты на этот коэффициент делить, приводя полученные EloZoom-пункты к масштабу Elo-пунктов

+

а еще лучше,
для определения реальной разницы (по хорошо масштабированной шкале Эло) использовать специальные хорошо сбалансированные книги для тестов движков
а не EloZoom-книги, и тем более не Drawkiller-книги


а EloZoom-книги - для быстрых тестов на определения самого факта наличия разницы, для его более рельефного выражения, также и для различных шоу-турниров (ничего плохого в шоу-турнирах нет, они тоже могут быть полезны)

[Maratka]

Цитата: Сообщение от Viktor

Вот поэтому должны быть разные тесты и в том числе такие как в ТСЕС. И ругать их за это просто бессмысленно. Сила движка должна определяться, может быть, в первую очередь на основании тестов позиций с чьим-то перевесом. Если движок выигрывает такие позиции белыми и делает ничью черными, то это весьма весомый показатель! По крайней мере, более значимый, чем перекатание равных позиций.

Но не нужно увлекаться, а то так и до +2 с раздачи в следующем сезоне увидим!
Даже сейчас слишком много партий вышло два по 1:0, что смазало результат.

[Vizvezdenec]

Цитата: Сообщение от Jeweller

что касается
замечания Vizvezdenec'а - "Сложно судить о силе в нормальных шахматах, когда там просто ничьи в 98% игр"
--- высокий % ничьих резко снижает дисперсию, поэтому легче судить о разнице в силе, и если эта разница мала (на нормальной книге без EloZoom), значит мала

Нет.
Сложнее судить о том, кто в принципе сильнее, если у вас одни ничьи.
Ставим тогда движкам позицию "король + конь против короля" - ну а что, тут вообще дисперсии никакой не будет, правда проблема в том, что тогда и у меня 0 разницы в эло получится против стокфиша.
Для именно выявления сильнейшего чем меньше ничьих, тем лучше, причём именно ничьих в парах игр.