Обгонит ли Лила Стокфиш? Разговор о перспективах

[Magystr]

Хотелось бы обсудить перспективы противостояния Стокфиша и Лилы в среднесрочной перспективе.
Кто будет сильнее через полгода? А через год? А через 5 лет? И почему?
Наверное простое голосование вряд ли поможет в этом разобраться.

Начну с примерной оценки средней скорости усиления (отношение прибавки рейтинга к календарным дням).

Что касается Стокфиша.
Высказывается мнение, что скорость усиления Стокфиша примерно постоянна и составляет около 50 Эло за несколько (6 - 9) месяцев. На основании опыта, и на основании утверждения, что эта скорость будет примерно постоянной в течение еще длительного промежутка времени. И за этой скоростью Лиле никак не угнаться.

Мои контраргументы:
1. Данный прирост Эло фиксируется с высокой степенью точностью. И оспаривать это неумно.
Но! Этот прирост фиксируется на контроле 60 + 0.6 на одном (!) потоке. (Время - в секундах.)
Какой будет реальный прирост рейтинга при контроле, большем в 100 (сто) раз и при использовании 40 ядер?
Объективных данных нет. Субъективно мне представляется, что прирост будет в районе 5 - 15 единиц рейтинга.
2. По мере приближения к эталону, скорость усиления будет постепенно падать.

Что касается Лилы.
Делаются попытки аппроксимации скорости ее роста.
Можно привести такой довод. В первом своем чемпионате Лила заняла последнее место в самом слабом дивизионе. В последнем (на данный момент) чемпионате, она заняла общее второе место. Предполагая, что средняя разница между дивизионами составляет не менее 50 Эло, легко определить, что скорость роста Лила в несколько раз превышает скорость Стокфиша.
Верный такой расчет? думаю, что нет.
А как оценить по-другому?
Какие есть реальные перспективы роста?
Текущая сеть (t40) возможно (вероятно) еще далека от насыщения. По некоторым прикидкам она отстает от Стокфиша примерно на 100 Эло. Обгонит или нет? Неизвестно. Известно, что сеть t30 почти догнала Стокфиш. Разница составляет 15 - 30 Эло, не больше. Есть большая вероятность, что текущая сеть окажется сильнее предшественницы.
Предположим, что этого не произошло. Какие есть дальнейшие перспективы? Можно изменить существующие константы. Какие именно?
1. Размерность сети. Нет никакого подтверждения, что размерность 20 - оптимальная. Исследования не проводились.
Почему бы сети с размерностью 18 не быть лучше? Размера сети может вполне хватить для хранения всех необходимых коэффициентов, а скорость расчета при этом увеличится.
Или наоборот. Сеть с размером 22 сможет хранить в себе больше данных, а некоторое замедление скорости расчета будет абсолютно не критично.
2. Заданная скорость тренировки сети. Сейчас она 800 позиций в секунду. А если изменить ее на 600 или 1000? Как это повлияет на обучение? А если новую сеть создавать не через 30 тысяч тренировочных игр, а через 1000? или 100 000?
3. Там еще есть несколько констант, которыми также можно поиграться.

Я думаю, что исследования в этих областях также позволят повысить рейтинг, возможно, что и значительно.

Наконец программисты говорят о программных корректировках, которые также могут существенно улучшить процесс обучения. В частности скоро планируется запуск t50.

Неужели никакой путь не приведет к прорыву?
И насколько Лила сможет превзойти свой текущий уровень?

[Vizvezdenec]

"Какой будет реальный прирост рейтинга при контроле, большем в 100 (сто) раз и при использовании 40 ядер?
Объективных данных нет. Субъективно мне представляется, что прирост будет в районе 5 - 15 единиц рейтинга."
А объективно наблюдается те же 50, если смотреть все турниры.
Конечно, не без погрешности, но можно сравнить вот здесь.
http://fastgm.de/60-0.60.html
sf 10->9->8
+41 +73
http://fastgm.de/60min.html
sf 10->9->8
+49 +63
Проще говоря, при увеличении временного контроля в 60 раз никакой компрессии эло не наблюдается вообще.
Ещё больше интересностей
https://github.com/glinscott/fishtest/wiki/UsefulData
sf7->sf8 sf8->s9 sf9->sf10
elo STC 95.91 +-2.3 58.28 +-2.3 71.03 +-2.4
elo LTC 100.40 +-2.1 68.55 +-2.1 65.55 +-2.2
Тут вот выясняется, что на бОльшем в 6 раз временном контроле разница эло зачастую больше, причём далеко за пределами погрешности это лежит.
Более того, при бОльшем количестве ядер разница тоже вырастает за счёт улучшения мультипроцессинга постепенного.
Так что никакие "5-15" и в помине нет. Если бы было "5-15", то Комодо и Гудини до сих пор были бы в TCEC ровнёй стокфишу (ну отставали бы на 30 эло), но этого нет - да, они могут удачно выступить на отрезке из 10 партий, но на отрезке из хотя бы 50 они уже проигрывают, а на отрезке из 100 показывают 50-150 эло разницы, т.е. примерно то же самое, что и на одном, с учётом погрешности измерения именно в те самые 50 эло. В общем по моим наблюдениям разных турниров с 2016~ года (TCEC, YLCET, Clemens Ceck, CCRL, FastGM) движки с хорошим мультипроцессингом показывают на очень длинных временных контролях и на большом количестве ядер результаты ВСЕГДА в пределах погрешностей от одноядерных. Вот ни одного выпадающего случая в случае SF/K/H я не помню.
Скорость усиления - можно оценить вот по этому графику.
https://github.com/glinscott/fishtes...gression-Tests
Тут можно заметить, что самое медленное усиление было во времена sf8->sf9. Потом же SF получил 800 ядер для тестирования.
Дальше же темпы усиления сильно выросли и в последний год держатся примерно на одинаковом уровне. Возможно, она и будет падать, но пока что этого нету с новым китайским железом.

По поводу Лилы - вопрос непростой и тут куда меньше данных и ещё меньше возможных и не выглядящих глупыми предсказаний.
Безусловно, можно играться с константами. Вопрос в том, что каждое "поиграться" - это почти полгода обучения со, скорее всего, худшим результатом (т.к. у гугла, у которого обучение занимает 4 часа, стоит константа определённая, т.е., вероятно, они пробовали другие значения и они показали себя хуже).
Я бы сказал, что будущее - какой-то гибридный подход, который может использовать хорошую стратегию нейронных сетей и шлифовать её техникой и тактикой альфабеты, но это, пожалуй, более сложная задача, чем сделать всё это работающим по-отдельности.

[Magystr]

Я свое предположение (5 - 15 Эло) сделал исходя из того, какой результат будет в матче Сток10 против Сток9 на оборудовании ТСЕС.
Вы считаете, что Сток9 настолько слаб, чтобы проиграть примерно "-14" ?
Мне представляется, что разница будет существенно меньше. Может быть не 5-15, а 10-20. Вряд ли больше.

ОК. Нынешний Сток10 проиграет будущему Сток11 примерно 43:57? Вы в это верите?

[Vizvezdenec]

Цитата: Сообщение от Magystr

Я свое предположение (5 - 15 Эло) сделал исходя из того, какой результат будет в матче Сток10 против Сток9 на оборудовании ТСЕС.
Вы считаете, что Сток9 настолько слаб, чтобы проиграть примерно "-14" ?
Мне представляется, что разница будет существенно меньше. Может быть не 5-15, а 10-20. Вряд ли больше.

ОК. Нынешний Сток10 проиграет будущему Сток11 примерно 43:57? Вы в это верите?

Вполне.
Если Гудини 6, который существенно сильнее стока 8, проигрывал стоку "чуть за 9" +2-20=78?
Если на 4с результаты на 96 потоках 3-месячной давности были что-то вроде +44-4=152 ?
Если посмотреть прошлые результаты финалов TCEC SF-H/K, то там будет +20-2=78, +29-9=62, +16-6=78. Вроде бы не 10-15 эло, и даже не дважды по 10-15, а каждый из этих движков существенно сильнее SF8 и несколько слабее SF9. Т.е. разница на одном ядре в районе 100~ эло.

[Magystr]

Да, Сток9 громил и Гудини, и Комодо.
А Сток8 при этом им проигрывал? Тем же самым версиям?
Откуда следует вывод, что Гудини и Комод сильнее Стока8 на этом оборудовании и при этом контроле?

[Vizvezdenec]

Цитата: Сообщение от Magystr

Да, Сток9 громил и Гудини, и Комодо.
А Сток8 при этом им проигрывал? Тем же самым версиям?
Откуда следует вывод, что Гудини и Комод сильнее Стока8 на этом оборудовании и при этом контроле?

Потому что они сильнее на любом временном контроле от 10+0.1 до 3600/партию.
Оттуда, что Гудини 5 проиграл стоку 8 на 30 эло в своё время, а Гудини 6 сильнее Гудини 5 на добрые 60-80.

[Magystr]

Гудини5 играл против Гудини6 на ТСЕС?

Вы сравниваете рейтинги при АБСОЛЮТНО разных контролях и непрямым методом.
Я уважаю это Ваше право.
Для меня такое сравнение отнюдь не бесспорно.

[Vizvezdenec]

Цитата: Сообщение от Magystr

Гудини5 играл против Гудини6 на ТСЕС?

Вы сравниваете рейтинги при АБСОЛЮТНО разных контролях и непрямым методом.
Я уважаю это Ваше право.
Для меня такое сравнение отнюдь не бесспорно.

Ну конечно.
А ещё можно сказать, что, например, если они и обыграли sf8, то это им повезло.

Гудини 6 обошёл sfdev в 10 сезоне TCEC, тогда sf dev был на 1 ядре сильнее sf8 на 30 эло и УЖ ВРЯД ЛИ слабее на 43 ядрах.

Тем не менее от sf dev через полгода он получил -63 эло в финале, и никаких не 10-15.

Вы утверждаете то, что противоречит всем турнирам движков, которые я наблюдал за последние года 4, но при этом требуете от меня доказательств того, что это не так.
Да, никто не проводил прямые матчи H6-sf8, потому что никто не хочет заниматься откровенной ерундой и жечь электричество просто так.

[Magystr]

Я думаю, что ситуация, когда на больших контролях на дорогом оборудовании лидирует один движок, а на коротких и ультракоротких контролях - другой, очень даже возможна. Как раньше, так и сейчас (возможно), так и в будущем (очень вероятно).

[Vizvezdenec]

Цитата: Сообщение от Magystr

Я думаю, что ситуация, когда на больших контролях на дорогом оборудовании лидирует один движок, а на коротких и ультракоротких контролях - другой, очень даже возможна. Как раньше, так и сейчас (возможно), так и в будущем (очень вероятно).

Если ультракороткие это 60+0.6, а движки одинакового типа алгоритма, то я такой ситуации не наблюдаю, не наблюдал и вряд ли буду наблюдать в будущем.
Разница возможна лишь при существенной смене алгоритма (YBWC -> LazySMP, AB minimax -> MCTS).
Конечно, скейлинг даже у движков одного алгоритма разный, но он очень мало отличается, в пределах, возможно, десятка эло на 40 процессорах.

[Maratka]

Цитата: Сообщение от Magystr

Я думаю, что исследования в этих областях также позволят повысить рейтинг, возможно, что и значительно.

Для таких исследований нужно иметь не миллион партий в сутки, а хотя бы миллионов пятьдесят. Иначе исследование займет много месяцев, а вероятность угадать, что нужно значение правильное с первой же попытки явно невысока.
Скажем для проверки сетей 18, 20 и 22 может хватить одной попытки (если 18 заметно лучше чем 20, то 22 можно не проверять, как минимум в ближайшее время). Но есть еще два варианта - 18 хуже чем 20, но 20 хуже чем 22 (потребуется проверка 22), таким образом, две проверки по 3 месяца каждая дадут нам бонус, но это уже полгода! А ведь есть еще и третий вариант -все сети +/- равных с точностью до погрешности: в результате укатали полгода на две сети с нулевым выхлопом.

И это проверка всего-то двух дополнительных констант (результат 20 мы уже знаем). Что будет, если констант больше - представить несложно.

[sovaz1997]

http://fastgm.de/60-0.60.html

5) Houdini 6 x64             3363 :  35250 (+29205,=5324,-721),  90.4 %

     vs.                             :  games (     +,    =,   -),   (%) :   Diff,   SD, CFS (%)
     Stockfish 10 64                 :    250 (    30,  135,  85),  39.0 :    -86,    4,    0.0
     Stockfish 9 64                  :    250 (    37,  160,  53),  46.8 :    -45,    6,    0.0
     asmFish 171004 x64              :    250 (    27,  148,  75),  40.4 :    -15,    4,    0.0
     asmFish 170628 x64              :    250 (    33,  168,  49),  46.8 :    -14,    6,    0.7
     Stockfish 8 64                  :    250 (    54,  160,  36),  53.6 :    +29,    3,  100.0

[Vizvezdenec]

А, недавно делали матч на дебютах из финала 9 сезона TCEC на 16-ядерном Ryzen и 10+2
Sf dev vs sf 8
+39 - 2 = 59
Да, это слабее железа TCEC и временного контроля TCEC где-то в 20-25 раз, но сильнее 60+0.6 в куда большее количество раз. А результат те же 100-150 эло (от книги зависит многое).

[svoitsl]

Цитата: Сообщение от Maratka

Для таких исследований нужно иметь не миллион партий в сутки, а хотя бы миллионов пятьдесят

Все таки разработчики нашли возможность проверять свои предположения на сети меньшей размерности и вроде бы от этого достоверность не сильно пока пострадала
Например сети 35 и 37 были кажется 10х128, и ничего, не просто чего там проверили, но и в придачу игры пошли на обучение сети40
И все это на том же самом 1-1.5 млн игр в сутки

[svoitsl]

На мой взгляд у Лилы всего две проблемы, которые существенно сказываются на уровне.
1 Ошибки, возможно из-за не очень хорошего тактического виденья,все таки проиграть за 1 ход она очень даже запросто может, и если сопер
ник тупит и никак не хочет выигрывать, то она с удовольствием и в поддавки сыграет
2 И все таки эндшпиль.
Первая проблема возможно скоро будет ослаблена,если удастся реализовать матрицу глубокого ума
Вторая тоже решаемая, возможно можно обучить специальную сеть на 7-и фигурных эндшпилях, хотя и так уже кое какой прогресс тут есть
Есть ещё правда ещё она мелкая проблемка - неравномерная сила по дебютам, но она тоже скорее всего решаемая.

[Maratka]

Все обозначенные проблемы решаемы.

Остается вопрос в потолке силы игры. Скажем если LZ и выиграет текущий TCEC, то очень сомневаюсь, что с большим перевесом в ELO. До следующего финала SF наберет к текущим еще 20-40 ELO. А вот наберет ли их LZ - вопрос, т.к. сеть 3xx уже возможно на пределе, а сеть 4xx еще учить и учить. Да и не факт, что она в итоге превзойдет сеть 3xx.

А вот что бессорно - так это то, что
1) Текущий год пройдет интересно.
2) Komodo и Houdini уже вне всякого сомнения второсортные движки, которые будут между собой делить третье место, не претендуя на первые два.

[svoitsl]

Цитата: Сообщение от Maratka

выиграет текущий TCEC, то очень сомневаюсь, что с большим перевесом в ELO

Даже если выиграет и Стокфиш то тоже вряд ли с большим перевесом
На 100 играх его рейтинг скорее всего не выйдет далеко за погрешность.
А вот если посмотреть последние игры Лилы, то её не выигрыши на 70-80% именно двумя вышеозначенными причинами и объясняются, а теперь представьте, что хотя бы половина их станет выигрышами!!!! Это наверное сразу увеличит рейтинг на 70-100 Эло
А если обучать на дебютах TCEC???

Цитата: Сообщение от Maratka

Komodo и Houdini уже вне всякого сомнения второсортные движки

Я все же списывать их не стал, и автор Гудини может взять отпуск, а уж Комодо то натаскивают со знанием дела.

[sovaz1997]

Ну, обычный Komodo перестал развиваться уже как минимум год назад, судя по тестам. Вот Komodo MCTS может обогнать обычный Komodo в ближайшем будущем теоретически.

[Maratka]

Цитата: Сообщение от svoitsl

Я ты все же списывать их не стал, и автор Гудини может взять отпуск, а уж Комодо то натаскивают со знанием дела.

Причем тут отпуск? Набрать в одиночку 100 ELO и догнать SF не получится, драть код из SF - так получится движок уровня SF (реально - чуть ниже, т.к. не все патчи можно перетянуть). Ну а Komodo - то уже другой Komodo. Привычный a-b по сути заброшен года полтора назад, Chess.com не для того покупал его, чтобы трупы реанимировать, а что из нового получится - никому не известно.

[Maratka]

Цитата: Сообщение от svoitsl

А вот если посмотреть последние игры Лилы, то её не выигрыши на 70-80% именно двумя вышеозначенными причинами и объясняются, а теперь представьте, что хотя бы половина их станет выигрышами!!!! Это наверное сразу увеличит рейтинг на 70-100 Эло

А если посмотреть на SF на 384 потоках (он кстати играет в TCEC как некий арбитр), да с семифигурками? Авось и какие-то стратегически ходы уже сможет находить, которые сейчас зевает?

[Vizvezdenec]

Цитата: Сообщение от Maratka

А если посмотреть на SF на 384 потоках (он кстати играет в TCEC как некий арбитр), да с семифигурками? Авось и какие-то стратегически ходы уже сможет находить, которые сейчас зевает?

2/3 поражений он бы не оформил. Это как минимум.

[Maratka]

[Magystr]

Если единственным доводом в пользу того, что Лила никогда не сможет догнать Стокфиш является величина среднего прироста Стокфиша, то предлагаю считать этот спор завершенным, или привести другие аргументы.
Год назад разрыв в Эло составлял между этими программами пропасть, сейчас он практически нулевой. Какая бы огромная скорость не была у Стокфиша, Лила показала еще большую скорость роста. Если просто экстраполировать эти данные - через год пропасть будет в другую сторону.
Почему некоторые участники дискуссии считают, что Стокфиш продолжит рост, а Лила остановится - непонятно.

[svoitsl]

Цитата: Сообщение от Magystr

Почему некоторые участники дискуссии считают

насчет Стокфиша - потому такая скорость роста уже держится довольно давно, и хотя конечно же прирост скорее всего замедлится, но не факт что на много и факт что на не совсем.
Насчет Лилы тут другое дело, считается что DM все же не неплохо постаралась и её алгоритм создания и движка и и сети A0 недалек от оптимального, и даже оптимисты, кто считает что не так уж и близок все равно сходятся во мнении, что приблизить к оптимуму хоть и можно, но это будет не враз.
Пока рост уровня игры Лилы во многом объяснялся тем, что постепенно устранялись ошибки и в поиске и в обучении, но и то не все они устранены до сих пор, но их остается все меньше, а из нового, только в 40 сети стали использовать алгоритм SW, уже было видно на 35 сети что он не плох, но вот насколько хорош- узнаем примерно через месяц. То есть пока только приближаемся к А0, но известно что DM, остановила обучение, потому что оно показалась ей малоперспективным, то есть получается, что даже на 100 Эло превысить уровень A0 пока вряд ли получится.

[Maratka]

Цитата: Сообщение от Magystr

Почему некоторые участники дискуссии считают, что Стокфиш продолжит рост, а Лила остановится - непонятно.

Потому что в сеть конечного размена вместится конечное количество данных.
А сеть бОльшего размера:
1) Заметно дольше обучается.
2) Работает медленнее, т.е. вполне возможны ситуации, когда лучшее мозги большой сети не дают ничего из-за медленной ее работы.

[sovaz1997]

Сила игры зависит далеко не только от одной нейронной сети. У Stockfish тоже глобально что-то изменить сложно, стоит заметить.

А по поводу AZ: Lc0 уже достигла уровня AZ, судя по результатам.

[Burcontovk]

Думаю шанс перегнать есть и он реален, во Французской защите белыми лила очень сильна, обыграла рыбку 4.1 на 24потоках и сичесс на 6ядрах. Читал разговоры что в тактике не шарит совсем. Все же не соглашусь, Французскую она шарит идейно там и тактика проскакивает , по последней партии правда не в свою пользу, но тактику движок все же смотрит за партией. Я думаю ей и тактику нет смысла "прикручивать" просто длительно обучать нужно и тактика в автомате развиваться будет. Посмотрите одну из партий, чего стоит только ход f5 и позже жертва ладьи. сф 24 потока 25мин на партию:
[Event "BURCONTOVK-ПК, Блиц:25'"]
[Site "BURCONTOVK-ПК"]
[Date "2019.02.11"]
[Round "1"]
[White "Lc0 v0.20.2 weights_run2_33004"]
[Black "Stockfish 030219 64 POPCNT"]
[Result "0-1"]
[ECO "C11"]
[WhiteElo "3300"]
[BlackElo "3300"]
[Annotator "0.56;0.03"]
[PlyCount "52"]
[TimeControl "1500"]

1. e4 {0.56/11 21 Оба Последний ход в книге} e6 {0.
03/28 50} 2. d4 {0.67/16 18 (Кc3)} d5 {0.00/28 11} 3. Nc3 {0.68/17 17 (Кd2)}
Nf6 {0.00/31 43} 4. e5 {0.68/15 21} Nfd7 {-0.01/34 53} 5. f4 {0.68/14 18} c5 {
0.10/28 20 (Сe7)} 6. Nf3 {0.65/13 27} Nc6 {0.00/30 38 (Сe7)} 7. Be3 {0.66/12 36
} Be7 {0.00/30 58} 8. Qd2 {0.65/12 68} O-O {-0.10/30 30 (a6)} 9. dxc5 {0.70/10
23} Nxc5 {0.00/29 10} 10. O-O-O {0.64/12 20 (Сe2)} b6 {0.00/26 17 (Лb8)} 11. h4
{0.92/9 49 (Крb1)} Bb7 {0.00/27 17} 12. Qe1 {0.91/10 23} a6 {0.00/27 12 (Лc8)}
13. f5 {0.78/11 29 (Фg3)} Qc7 {0.15/30 35 (Лc8)} 14. Qg3 {1.20/10 17} Kh8 {0.
35/30 23} 15. Bf4 {1.02/13 20} Qd7 {0.24/29 14 (Фc8)} 16. Bg5 {0.63/10 44 (h5)}
Qc7 {0.16/28 37 (Лac8)} 17. Qg4 {1.14/11 32 (Сf4)} Nxe5 {0.00/26 8 (f6)} 18.
Nxe5 {1.47/19 18} Bxg5+ {0.00/32 11} 19. hxg5 {1.50/22 13} Qxe5 {0.00/36 16}
20. f6 {1.20/13 15} gxf6 {0.00/38 17} 21. Rxh7+ {3.09/19 28 (g:f6)} Kxh7 {-3.
15/33 15} 22. Qh4+ {3.67/19 16} Kg8 {-3.20/35 19 (Крg7)} 23. gxf6 {5.54/15 34}
Ne4 {-3.29/36 29 (Фf5)} 24. Nxe4 {-1.09/12 40} Qxe4 {-3.40/34 12} 25. Qf2 {-1.
43/17 48 (Фg5+)} Qf5 {-3.18/40 96 (Лfc8)} 26. Qh4 {-3.43/13 49 (Фg3+)} Qh7 {-3.
61/37 11 adjud.} 0-1

[Neofelis]

По поводу мысли, что DM достигли практического потолка нейронок. На самом деле ребята решали совсем другую задачу. У них была жесткая привязка к zero human knowledge + метод должен быть универсальным и подходить для любой игры (го, сеги и т.д.) У проекта LZ задача выжать максимум из метода именно для шахмат. Здесь сразу помогают очевидные вещи типа tablebase rescoring и opening diversity. И это даже без изменений в нейронке и движке. Дальше больше. Сама теория сетей за последние 2 года развивалась быстрыми темпами и появились более эффективные архитектуры и методы обучения. Добавим сюда такую еще плюшку как tournament learning, то-есть, запускается парочка паралельных ранов с разными параметрами и генерятся партии между ними. Этот подход DM использовали при тренировке бота AlphaStar, для игры в Старкрафт.

В общем, мысль, что Альфазеро -- это практический оптимум нейронок, неверна.

[Neofelis]

Ну и по поводу железа. Понятно, что видеокарты -- это временная затычка. Скоро появится специализированный хард для АИ. Вот к примеру https://www.ibm.com/blogs/research/2...rdware-center/

[Maratka]

Цитата: Сообщение от Neofelis

Ну и по поводу железа. Понятно, что видеокарты -- это временная затычка.

Ну не совсем так. Это универсальная затычка для домашнего применения.
Для серверов очевидно нужны специализированные решения, но на серверах специализированные решения и используются (на чем AZ обучался и играл полтора года назад)?