LCZero

[Maratka]

Цитата: Сообщение от sovaz1997

Погрешности очень большие (я взял игры DivP, SuFi и end of season bonus):

Погрешности даже меньше, чем в реальном отборе пары финалистов.
Так что скорее все зависит от позиции "оптимист/пессимист" в отношении LZ:

Первый скажет, что обнаружились две группы: SF + LZ и K +H: первые борются за финал, вторые - статисты, предназначенные для того, чтобы дать финалистам возможность набрать больше очков.
А второй (ну я например) скажет, что SF обеспечил себе финал, а остальные за него борются.

Правда естественно где-то посредине: с одной стороны, глядя на очки, сложно сказать, что у Komodo нет шансов, с другой, зная реальные уровни игры LZ и Komodo, понятно, что LZ свое скорее всего возьмет.
Но это опять же, матч на четверых. А в реальном турнире будет восемь участников, и насколько LZ сможет вырубить самую нижнюю часть хвоста? В прошедшем отборе, месяц назад, оказалось, что вообще говоря шансы равные и у LZ, и у Komodo, и у Houdini. Один SF прошел в финал без натяжки.

[crem]

Цитата: Сообщение от Maratka

Да вот как бы нет... Когда тренировали сеть 2xx, многие уже писали, что мол сетка во-что там уперлась, и говорили, что 3xx наше все. А потом ровно то же писали про сеть 4xx. Теперь походу придется ждать 5xx и держать в уме на всякий случай 6xx.

test40 планировался быть хорошей сильной сетью, лучшей, чем test30, и до сих пор планируется. Иногда её начинает оверфиттить и сила отдельных сетей проседает, но с этим успешно борются и сеть продолжает быть многообещающей.

test50 -- это серия тестов (таких же как был test35), сейчас идёт первый, а будет тестов 5 как минимум. В test5x сильных сетей не планируется, это просто эксперименты, чтобы знать параметры для сети test60 (или test70, потому что test5x скорее всего перешагнут за число 60).

[Maratka]

Цитата: Сообщение от crem

test40 планировался быть хорошей сильной сетью, лучшей, чем test30, и до сих пор планируется.

А когда планируется ее тренировку закончить?

И еще вопрос:
Выше несколько раз писал, что ELO сетей и ELO SF идут в разные направления: сети в общее понимание шахмат, SF - в тактику. Не возниктнет ли ситуации, что LZ грубо говоря прибавит 200 ELO (реальных, которые можно выловить на длинном матче против себя же со старой сетью), но это ровно ничего не даст против SF, т.к. LZ будет его переигрывать ровно там, где и сейчас переигрывает, а там где возникает позиция для тактики - SF будет брать свои очки ровно так, как и сейчас берет?

Ваше мнение?

Ну например:

[Event "213 LZ21 RC1 33004 vs SF_10+, Slow 75m+"]
[Site "?"]
[Date "2019.02.26"]
[Round "8.1"]
[White "Lc0 v0.21.0-rc1"]
[Black "Stockfish 220219 64 POPCNT"]
[Result "1/2-1/2"]
[ECO "C58"]
[Annotator "0.75;0.07"]
[PlyCount "60"]
[EventDate "2019.02.25"]
[EventType "tourn"]
[SourceTitle "Fritz Engine Tournament"]

{AMD FX-8370 Eight-Core Processor 4013 MHz W=16.1 plies; 17kN/s B=51.1
plies; 8*145kN/s; 2*756*099 TBAs} 1. e4 e5 2. Nf3 Nc6 3. Bc4 Nf6 4. Ng5 {
0.75/16 66} d5 {0.07/34 113} 5. exd5 {0.74/17 55} Na5 {0.25/36 100} 6. Bb5+ {
0.67/18 59} c6 {-0.13/36 61 (Bd7)} 7. dxc6 {0.66/20 105} bxc6 {0.07/38 96} 8.
Bd3 {0.73/22 87} Nd5 {0.00/38 165} 9. Nf3 {0.61/17 79} Bd6 {0.00/39 59} 10. O-O
{0.53/17 96} Nf4 {0.00/39 58} 11. Nc3 {0.41/19 174 (Re1)} Nxd3 {-0.13/34 60}
12. cxd3 {0.40/14 1} O-O {-0.29/35 77} 13. Re1 {0.34/17 369 (Ne4)} c5 {0.00/39
312} 14. Nxe5 {0.38/21 91} Bb7 {0.00/38 38} 15. b3 {0.38/22 19} Re8 {0.00/41 61
} 16. Nc4 {0.35/22 108} Rxe1+ {0.00/45 58 (Nxc4)} 17. Qxe1 {0.72/22 0} Nxc4 {
0.08/43 84} 18. dxc4 {0.42/21 253 (bxc4)} Bxh2+ {0.00/50 66} 19. Kxh2 {0.35/20
85} Qh4+ {0.00/53 57} 20. Kg1 {0.32/18 0} Bxg2 {0.00/66 64} 21. Kxg2 {0.28/16
127} Qg4+ {0.00/69 78} 22. Kh2 {0.20/14 461 (Kh1)} Qf4+ {0.00/60 112 (Qh4+)}
23. Kh1 {0.38/14 219 (Kg1)} Qf3+ {0.00/63 325 (Qh4+)} 24. Kg1 {0.27/12 127}
Qg4+ {0.00/71 80} 25. Kh2 {0.19/10 125 (Kf1)} Qf4+ {0.00/71 74} 26. Kg2 {
0.13/8 95} Qg4+ {0.00/69 215} 27. Kh1 {0.09/8 140} Qh4+ {0.00/68 102 (Qh3+)}
28. Kg1 {0.10/5 101 (Kg2)} Qg4+ {0.00/77 146} 29. Kh1 {0.05/4 126} Qh3+ {
0.00/76 115 (Qh5+)} 30. Kg1 {0.03/3 0} Qg4+ {0.00/78 60} 1/2-1/2

[sovaz1997]

Maratka, думаю, что прирост против SF тоже будет, но не такой большой, как над собой. Причем, я почти уверен, что обогнать SF - вообще не проблема на текущий момент. Lc0, конечно, будет зевать тактику иногда. Но попадать в такие ситуации будет всё реже и реже. Думаю, Stockfish для Lc0 превратиться примерно в то же самое, во что превратился Ethereal во 2-й половине 2018-го против LZ))

[Maratka]

Цитата: Сообщение от sovaz1997

Lc0, конечно, будет зевать тактику иногда. Но попадать в такие ситуации будет всё реже и реже

За счет чего?

Напомню, что SF весьма агрессивно гребет таблицы, с ответом вида "выигрыш, ничья, или проигрыш после такого-то хода". Естетсвенно, ветка может пойти не в ту сторону, куда смотрел SF, но и там он подглядит в таблицы, и выберет себе ход.

А LZ может положиться только на свои личные мозги, т.к. на поиск в таблцах ему банально не хватает глубины и количества узлов.

И это без учета того, что SF сам по себе прибавляет не сказать, что очень мало.

[sovaz1997]

Цитата: Сообщение от Maratka

За счет чего?

Напомню, что SF весьма агрессивно гребет таблицы, с ответом вида "выигрыш, ничья, или проигрыш после такого-то хода". Естетсвенно, ветка может пойти не в ту сторону, куда смотрел SF, но и там он подглядит в таблицы, и выберет себе ход.

А LZ может положиться только на свои личные мозги, т.к. на поиск в таблцах ему банально не хватает глубины и количества узлов.

И это без учета того, что SF сам по себе прибавляет не сказать, что очень мало.

Ну, как за счет чего? За счет того, что он будет лучше понимать, в какие позиции идти, лучше обрабатывать дерево поиска. Ведь у LZ качество поиска намного лучше, чем у SF, стоит заметить. Число узлов не имеет решающее значение. И как бы не выглядела страшно скорость Stockfish в 1000 раз быстрее, объединение очень качественной оценочной функции и хорошей селективности позволит Лиле обойти Sf.
У Лилы другой поиск. Абсолютно другой. Houdini и Komodo для Stockfish вполне предсказуемые движки, на самом деле, т. к. они делают ходы, которые может ожидать Stockfish. А Лила спокойно может сделать такой ход, который Stockfish не исследовал глубоко. А за этим ходом может стоять глубокая стратегическая идея, например, которую очень тяжело считать, тем более, если сортировка ходов не зависит от типа позиции. В общем, слишком много причин. Я не просто так предсказываю рост Лилы в этом году. По очень многим причинам Лила выглядит перспективнее и, соответственно, у нее еще очень много путей для развития.

[Maratka]

Цитата: Сообщение от sovaz1997

Ведь у LZ качество поиска намного лучше, чем у SF, стоит заметить.

С чего Вы так решили?
В SF достаточно несложно уменьшить обрезание веток (дабы он резал не условные 99% веток, а всего-то 97%), что резко увеличит вероятность нахождения правильного хода (который он сейчас зачастую выбраковывает).
Это приведет к лучшей позиционной оценке путем небольшой жертвы тактики. Но т.к. в плане тактики SF уже далеко оторвался от преследователей, то это как мне кажется вполне оправданная жертва.

Работать оно будет на длинных контролях (а-ля TCEC), в блицах будет некоторое падение ELO за счет резкого падения глубины, но на этот случай пишется две ветки кода, и чекбокс в настройки.

[sovaz1997]

Цитата: Сообщение от Maratka

С чего Вы так решили?
В SF достаточно несложно уменьшить обрезание веток (дабы он резал не условные 99% веток, а всего-то 97%), что резко увеличит вероятность нахождения правильного хода (который он сейчас зачастую выбраковывает).
Это приведет к лучшей позиционной оценке путем небольшой жертвы тактики. Но т.к. в плане тактики SF уже далеко оторвался от преследователей, то это как мне кажется вполне оправданная жертва.

Работать оно будет на длинных контролях (а-ля TCEC), в блицах будет некоторое падение ELO за счет резкого падения глубины, но на этот случай пишется две ветки кода, и чекбокс в настройки.

Если бы это было так просто, уже давно бы так и сделали и получили прирост Эло. Видимо, не все так просто. Увы, архитектурных проблем ab не избежать.

[Maratka]

Цитата: Сообщение от sovaz1997

Видимо, не все так просто.

Видимо раньше и без этого вполне обходились: все a-b движки для SF уже давно не конкуренты.

[sovaz1997]

Maratka, хорошо, давайте конкретно: как расширить поиск Stockfish. Какие именно тихие ходы исследовать более глубоко? Я поясню, как работает сортировка в среднестатическом движке: сначала исследуется ход, который находится в хеш-таблице. Далее исследуются взятия от лучшего к худшему (здесь есть 2 основные техники, но не суть), после идут "ходы-киллеры" (лучший ход в похожей позиции может быть лучшим для позиции с незначительными изменениями в положении фигур), далее - тихие ходы, отсортированные по истории (здесь накапливается статистика и по ней уже происходит сортировка). Прекрасно! Но проблема заключается в том, что тихие ходы не исследуются раньше взятий обычно. А LMR напрочь губит все это и на большой глубине очень мало веток исследуется. В свое время LMR был большим прорывом и отказываться от него смерти подобно)).
А ведь эти ходы могут быть очень хорошими! И ни один ab-движок не исследует их достаточно хорошо. А если последовательность хороших тихих ходов? Вот здесь загвоздка: это может быть вообще неподъемно для движка.

Чтобы не быть голословным: мат в 5 ходов. Stockfish на большой глубине все равно вместо мата находит взятие ладьи. А к мату приводит последовательность тихих ходов:

rk6/p1r3p1/P3B1Kp/1p2B3/8/8/8/8 w - - 0 1

Проверить это можно с помощью математически точного ab-поиска. Например, движок Hedgehog.

И таких нюансов в партии встречается огромное количество. Просто мы их не видим. Не видим, т. к. ab-движки никогда их не покажут. Это и есть те самые ошибки, которые мы не замечаем. А замечаем мы только тактические просчеты Лилы.

Итог такой: нужна "адаптивная" сортировка ходов. Надо видеть эти последовательности тихих ходов. А ab-движок все равно будет тихие ходы рассматривать в последнюю очередь. И как это сделать в ab-движке - вопрос очень сложный. Возможно, это задача хорошо решается только MCTS+NN.

P. S. Лила, кстати, за 37 секунд на моей видеокарте нашла решение

[Maratka]

Цитата: Сообщение от sovaz1997

Чтобы не быть голословным: мат в 5 ходов. Stockfish на большой глубине все равно вместо мата находит взятие ладьи. А к мату приводит последовательность тихих ходов:

[Asunta]

MultiPV ( 1 ... 500 )

Параметр косвенно влияет на отсечения.
Если, например, вместо 1 задать 20, то время обдумывания для некоторого Depth(N) увеличится в 15-25 раз ( смотря какая позиция )
Аналогично увеличивается число просмотренных узлов. И всё это не переходя за границу Depth(N).

О чём думаем? Что просматриваем? "То", что при ( MultiPV: 1 ) было бы выброшено в мусор мгновенно.
А можно не 20, а даже 500 задать. Хоть это не полный перебор будет, но совсем "не такой" перебор как в 1-ну линию.

Понятно, что для турниров или матчей движков момент спорный. Хотя TCEC-железо легко позволяет задать участникам ( MultiPV: 10 )
и посмотреть, кто из них лучше умеет находить хорошие ходы там, где при ( MultiPV: 1 ) их никто никогда не искал : )
Т.е. какой алгоритм лучше в шахматы играть умеет, а не "в Чапаева"...

Для бесконечного адванс-анализа на ICCF-контролях ( а-ля 10ходов / 50дней ) можно подкручивать MultiPV в район 20-30.
Разные оболочки имеют разные максимумы для MultiPV. Пускай это и медленно, но можно иметь большой перевес над адвансерами,
которые играют в ( 1 ... 6 ) линий...

Характерный пример. В позиции 2-3 нормальных хода - остальное проигрывает... Человек, исходя из текущей "диспозиции" задаёт
( MultiPV: 3 ), т.к. остальные линии его не интересуют. Радостно доходит до Depth(50) и думает, что всё хорошо... А его соперник
играет в те же Depth(50), но в 5-10 раз медленнее ( MultiPV: 20 ). При таком раскладе можно и чёрными что-то выигрывать иногда...

MultiPV это не только количество линий, которые интересуют пользователя. Косвенно это количество дополнительно найденных
хороших ходов, т.е. своего рода регулятор отсечений. И тут не с 99% на 97% переход. При ( MultiPV: 500 ) можно и 70% получить.

[Asunta]

rk6/p1r3p1/P3B1Kp/1p2B3/8/8/8/8 w - -

[ SF10 / MultiPV: 20 / Threads: 4 / Hash: 4Gb ]:
~10min Depth(32): +8.90 ---- 1. Bd7 b4 2. Kxg7 b3 3. Kf8 b2 4. Bf5 b1=Q 5. Bxb1 Kc8 6. Ke8 Rf7 7. Kxf7 Kd7 8. Bf5+ Kd8 9. Bh2 h5 10. Bg3 Rc8 11. Bxc8
~12min Depth(33): +9.00 ---- 1. Bd7 b4 2. Kxg7 b3 3. Kf8 b2 4. Bf5 b1=Q 5. Bxb1 Kc8 6. Ke8 Rf7 7. Kxf7 Kd8 8. Bf5 Rc8 9. Bxc8 Kxc8 10. Ke8 h5 11. Bh2 h4
~16min Depth(34): ( M5 ) ---- 1. Bd7 b4 2. Kf7 g5 3. Ke8 g4 4. Kd8 g3 5. Bxc7#

[Asunta]

Для сравнения ( локатор ослабили немного )

rk6/p1r3p1/P3B1Kp/1p2B3/8/8/8/8 w - -

[ SF10 / MultiPV: 8 / Threads: 4 / Hash: 4Gb ]:
~03min Depth(37): +8.25 ---- 1.Bd7 b4 2.Kxg7 b3 3.Kf8 b2 4.Bf5 b1Q 5.Bxb1 Kc8 6.Ke8 Rf7 7.Kxf7 Kd7 8.Bf5+ Kd8 9.Bg4 Rc8 10.Bxc8 Kxc8 11.Ke8 h5
~07min Depth(38): +10.1 ---- 1.Bd7 b4 2.Kxg7 b3 3.Kf8 b2 4.Bf5 b1Q 5.Bxb1 Kc8 6.Ke8 Rf7 7.Kxf7 Kd7 8.Bf5+ Kd8 9.Bg4 h5 10.Be6 h4 11.Bd6 h3
~13min Depth(39): ( M5 ) ---- 1.Bd7 b4 2.Kf7 h5 3.Ke8 h4 4.Kd8 b3 5.Bxc7#



И ещё ослабили.. Всё логично : )

[ SF10 / MultiPV: 4 / Threads: 4 / Hash: 4Gb ]:
~03min Depth(41): +56.9 ---- 1.Bd7 b4 2.Kxg7 b3 3.Kf8 b2 4.Bf5 b1Q 5.Bxb1 Kc8 6.Ke8 Rf7 7.Kxf7 Kd7 8.Bf5+ Kc6 9.Be4+ Kb6 10.Bxa8 Kxa6 11.Bd4 Kb5
~03min Depth(42): +57.0 ---- 1.Bd7 b4 2.Kxg7 b3 3.Kf8 b2 4.Bf5 b1Q 5.Bxb1 Kc8 6.Ke8 Rf7 7.Kxf7 Kd7 8.Bf5+ Kc6 9.Be4+ Kb6 10.Bxa8 Kxa6 11.Bd4 h5
~04min Depth(43): ( M5 ) ---- 1.Bd7 b4 2.Kf7 b3 3.Ke7 b2 4.Kd8 b1Q 5.Bxc7#

[sovaz1997]

Цитата: Сообщение от Maratka

А в 3 линии - это не то. Попробуйте в одну MultiPV ослабляет движок и это просто не имеет смысл. Вы же прекрасно видите, что движок плохо с этим справляется, зачем себя обманывать?

[Maratka]

Цитата: Сообщение от sovaz1997

MultiPV ослабляет движок и это просто не имеет смысл.

А где Вы видите у меня MultiPV?

[sovaz1997]

Maratka, запустите у себя движок, а не на сервере движок chess.com, который выводит 3 линии. Ну а так, на 45-й глубине найти мат в 5 ходов - такой себе результат. Как раз показывает основную мысль, которую я озвучивал выше.

[Asunta]

На Chess.com скорее всего по умолчанию стоит: ( Threads: 1 / Hash: 1Gb )
Правда, позиция и для одного ядра вполне съедобная...

[sovaz1997]

Движок Hedgehog (около 2000-2200 пунктов) находит решение на одном ядре за 133 миллисекунды:

info depth 8 score mate 5 time 133 nodes 526040 nps 3955187 pv e6d7 b5b4 g6f7 g7g5 f7e8 b4b3 e8d8 b3b2

Это всего лишь пример позиции. Не для того, чтобы мучить настройки Stockfish-а. Движок должен выдавать результат мгновенно, а не за 3 минуты здесь. Сколько таких Stockfish пропускает в партиях с Лилой? Огромное количество! Посмотрите, сколько у Лилы было выигранных позиций и сколько у SF. А все потому, что Лила в миттельшпиле играет лучше, но к эндшпилю начинает сдуваться. Вот и 10-9))

[Vizvezdenec]

Удивительно, но движок с очень слабым отсечением находит мат быстрее движка с сильным, где надо найти 4 точных хода!
Никогда такого не было и вот опять.

[sovaz1997]

Цитата: Сообщение от Vizvezdenec

Удивительно, но движок с очень слабым отсечением находит мат быстрее движка с сильным, где надо найти 4 точных хода!
Никогда такого не было и вот опять.

У слабого движка просто идеальная альфа-бета (без рискованных отсечений). Поэтому за 8 полу-ходов и продлениями на шахах он в любом случае находит мат в 4-5 ходов при любом раскладе
А так, эта позиция будет проблемной не только для SF, а для целого класса (или его части) движков из ТОП-100.

[Maratka]

Цитата: Сообщение от sovaz1997

Maratka, запустите у себя движок, а не на сервере движок chess.com, который выводит 3 линии. Ну а так, на 45-й глубине найти мат в 5 ходов - такой себе результат. Как раз показывает основную мысль, которую я озвучивал выше.

Гораздо быстрее. Да и по времени меньше минуты. На простейшем восьмиядернике, который когда либо был.

[sovaz1997]

Maratka, MultiPV выключите на простейшем 8-ядернике и очистите Хеш. Но, как я уже сказал, цепляться к позиции не надо, это просто пример, выявляющий слабости. А MultiPV не надо использовать, это уже читы.

[Maratka]

Про что собственно выше писал Asunta:
MultiPV =2 вместо умолчания =1 увеличивает колиество просомотренных узлов примерно вдвое.



И этого оказывается достаточным, чтобы находить верные позицонные ходы куда как быстрее (а возможно и просто находить).

Причем я практически уверен, что изменение этого параметра даст скорее в плюс, чем в минус на двухчасовом контроле TCEC, ценой совершенно незначительного падения средней глубины с где-то там 50.3 до 49,9, что крайне мало снизит остроту SF в тактике.

[sovaz1997]

Maratka, это тестировать надо. Думаю, пунктов 50-70 в минус сразу. А так, можно найти позиции, в которых SF даже с Multi PV ничего не увидит, а LZ увидит.

[Maratka]

Цитата: Сообщение от sovaz1997

Maratka, MultiPV выключите на простейшем 8-ядернике и очистите Хеш.

Оно не выключается, потому как не включается. Движок по каким-то причинам нужно собирать с этой настройкой.

Цитата: Сообщение от sovaz1997

Но, как я уже сказал, цепляться к позиции не надо, это просто пример, выявляющий слабости.

Этот пример не выявил никакой слабости.

Цитата: Сообщение от sovaz1997

А MultiPV не надо использовать, это уже читы.

А специализированный сопроцессор для перемножения матриц использовать - это тоже чит.
Пусть LZ на обычном CPU работает, как все нормальные движки.

[Maratka]

Цитата: Сообщение от sovaz1997

А так, можно найти позиции, в которых SF даже с Multi PV ничего не увидит, а LZ увидит.

А можно найти позиции, где SF сразу увидит, а LZ в прицнипе ничего не увидит.
Вон тактический тест в оболочках Fitz например.

[sovaz1997]

Цитата: Сообщение от Maratka

А можно найти позиции, где SF сразу увидит, а LZ в прицнипе ничего не увидит.
Вон тактический тест в оболочках Fitz например.

Можно. Вот только нужно видеть 2 стороны, а вы только 1 видите.

[Maratka]

Цитата: Сообщение от sovaz1997

Можно. Вот только нужно видеть 2 стороны, а вы только 1 видите.

Я обе вижу. Вон ваш пример оказался замечательными примером, как не нужно давать примеры. Второй раз уже (первый что-то там у Вас SF не нашел в 8 потоков, но быстро нашел в 40 на крошечной глубине менее 30).

Т.е. пока что я не вижу каких-то особых проблем у SF в плане улучшения понимания им позиционной игры. Это будет неизбежно ухудшать тактику, но как мне кажется, вполне можно найти золотую середину для бодания именно с LZ, в случае если он вдруг начнет буквально что доминировать (что само по себе конечно же маловероятно, ибо у сетей куча своих проблем).

[sovaz1997]

Maratka, отключите MultiPV. Если вам кажется, что MultiPV не ухудшает игру, то это только вам так кажется, субъективно. А искать мат в 5 ходов 3 минуты - это проблема. Проблема ab.