TCEC 15 - чемпионат мира среди шахматных движков

[Maratka]

Цитата: Сообщение от sovaz1997

А Сток оставить без оценочной функции (просто return 0 поставить).

С чего бы это?
У SF все что есть - это он сам. А у LZ есть двиг, который обсчитывает базу, а в базе находятся вполне себе приличные знания по дебютам (насчет эндшпильных не в курсе).

[Maratka]

Цитата: Сообщение от crem

В Allie теперь добавлены элементы A/B поиска, и он считает nps как-то по-другому. Nps не равен у него количеству позиций, переданных нейронной сети.

Но тогда это уже и не клон: другой движок с другими принципами, и сеть, обученная на других партиях. Т.е. он вполне себе имеет этическое право играть в любом турнире наравне с вашей разработкой.

[svoitsl]

Цитата: Сообщение от Maratka

тогда как сеть LZ фактически либо растет в час по ложке,

Хорошо, если по 1 Эло в день (при 300 тыс игр)

Цитата: Сообщение от crem

В Allie теперь добавлены элементы A/B поиска

Этого уже может быть достаточно, то б снизить вероятность "зевков" и при прочих равных повысить уровень на 50 Эло.

[Maratka]

Цитата: Сообщение от svoitsl

Хорошо, если по 1 Эло в день (при 300 тыс игр)

Вы хотели написать 1/10 или 1/100?

[sovaz1997]

Цитата: Сообщение от svoitsl

Хорошо, если по 1 Эло в день (при 300 тыс игр)


Этого уже может быть достаточно, то б снизить вероятность "зевков" и при прочих равных повысить уровень на 50 Эло.

1 Эло в день - это 365.25 Эло в год

[svoitsl]

1 Эло в день на примерно настоящий момент, +- месяц, раньше было больше, позже будет меньше

[magbash]

Цитата: Сообщение от crem

В Allie теперь добавлены элементы A/B поиска, и он считает nps как-то по-другому. Nps у него учитывает не только позиции переданные нейронной сети.
Быстрый просмотр исходников не нашёл какой-то рукописной оценочной функции, так что я не знаю что именно там считается.

Цитата: Сообщение от magbash

По поводу клонов ЛСО.
Играющая сейчас AllieStein на ТСЕС в рапиде имеет от Fire ½ ½ 0, в тоже время счет у LCZero против Fire 3 - 0. И это уже не в первом турнире.
Вроде бы клон, если это клон, не должен так лететь.

Хотелось бы ясности по этому вопросу.

[Maratka]

Цитата: Сообщение от svoitsl

1 Эло в день на примерно настоящий момент, +- месяц, раньше было больше, позже будет меньше

Если бы был 1 ELO в день, про сети 5xx и 6xx бы даже не думали.

[Maratka]

Цитата: Сообщение от magbash

Хотелось бы ясности по этому вопросу.

Ясность на основе 3-х партий?

[magbash]

Цитата: Сообщение от Maratka

Ясность на основе 3-х партий?

Вы годами выставляете свои тест турниры из 7 партий и потом все это яростно обсуждаете.

[Maratka]

Цитата: Сообщение от magbash

Вы годами

Да я на форуме всего-то два года

Цитата: Сообщение от magbash

выставляете свои тест турниры из 7 партий

Можно примеры? Вот так чтобы именно 7 партий?

У меня действительно нет большой статистики сравнения конкретных версий движков, т.к. у меня партии от часа, но так чтобы вот прямо 7 партий, на основе которых я что-то утверждал?

[magbash]

Надо ещё разобраться почему сразу после вашего ухода immorta обвалился.

[sovaz1997]

Цитата: Сообщение от Maratka

SF двоевластия не терпит, а сети любят зевать.
Потому в личной встрече SF vs AllieStein все встало на свои места.

_____
Прошло ~20% турнира, и лидерство Fish'а начинает вырисовываться.
Он как и LZ единственный, кто ни кому не проиграл, но в отличии от LZ он также и единственный, кто взял по очку против конкурентов LZ за второе место.

Продолжим традицию:
Прошло ~60% турнира и лидерство Лилы начинает вырисовываться. Она - единственный движок, никому не проигравший, в отличие от Stockfish, который сумел проиграть Allie.

[magbash]

В продолжении темы

ЛСО обошла Стокфиш по набранным очкам и занимает первое место, а у AllieStein которая идет на втором месте, наибольшее количество побед и лучшая игра с хвостом, видимо и в правду ab поиск.
И что то мне подсказывает что следующий Суперфинал пройдет без Стокфиш, который прибавляет ЭЛО, как курочка по зернышку

[magbash]

Цитата: Сообщение от sovaz1997

в отличие от Stockfish, который сумел проиграть Allie.

не сумел, а умудрился

А вообще Allie напоминает ЛСО 14 сезона, которую ловили на тактике, этакая не стабильная субстанция, никогда не знаешь что может получиться. Но с учетом опыта 15 сезона мы уже знаем что из гадкого утенка получится царская птица.
Вообще, если подытожить баланс, мы уже имеем:
1. - ЛСО, действующий чемпион Мира, самый лучший движок.
2. - Allie, развивающаяся семимильными шагами, второй претендент на Суперфинал ТСЕС 16. Пока ещё не отшлифаванный движок, но к ТСЕС 16 будет полностью готов.

Собственно на этом, в русле темы предстоящегно Суперфинала ТСЕС 16 можно было бы и закончить, но я продолжу.

3. - Stoofvlees - гибрид, рвущий Xiphos и прочее. За последний месяц взлетел и уже на подступах к Премьер дивизиону.
4. - DarkQueen - новая сеть опережающая сейчас на СССС и Xiphos и Laser.

Другими словами, любая вновь созданная сеть, за месяц проходит путь до Премьер дивизиона. И конца этому нет.

[sovaz1997]

Цитата: Сообщение от magbash

не сумел, а умудрился

Я, кстати, выбирал из 2-х вариантов

[magbash]

Если внимательно присмотреться к рапиду то мы видим

1. - Места с 9 по 14, количество поражений зашкаливает по отношению к победам
2. - 7 - 8 места - Ethereal и Fire , очень много поражений, но побед уже больше, но эти движки уже никогда не приблизятся к зоне Суперфинала.\
3. - Места с 4 по 6, троекратное превышение побед над поражениями, но поражений очень много, то есть проигрывают лидерам и шансов на выход в суперфинал практически НЕТ.
4. - Места с 3 по 1 Группа лидеров, расширилась до трех за счет новой сети. Эта группа будет множиться и размножаться семимильными шагами.

Резюме. Сети, как саранча, вскоре заполонят собой все турниры. Человеческий эгоизм не искореним, зачем тратить месяцы и годы жизни, если успех, вот он, стоит лишь войти в райский сад под названием сеть и уже понятна парадигма развития нового течения. Глупо не замечать этого.

[Омегазеро]

Цитата: Сообщение от sovaz1997

Продолжим традицию:
Прошло ~60% турнира и лидерство Лилы начинает вырисовываться. Она - единственный движок, никому не проигравший, в отличие от Stockfish, который сумел проиграть Allie.

Ваш прогноз оправдался!
В TCEC Лила тоже вышла на первое место, когда наиграли достаточно игр

Чем это объяснят фанаты Стокфиша? Там тоже играет версия с багом?

[Maratka]

Цитата: Сообщение от Омегазеро

Чем это объяснят фанаты Стокфиша? Там тоже играет версия с багом?

Разумеется.

Это когда проблему внесли:

Author: Marco Costalba
Date: Sun Jun 9 14:57:08 2019 +0200
Timestamp: 1560085028
Assorted trivial cleanups 5/2019
No functional change.
bench: 4178282





А это когда поправили:

Author: syzygy1
Date: Thu Jun 20 16:09:40 2019 +0200
Timestamp: 1561039780

Partial revert of "Assorted trivial cleanups 5/2019".

Since root_probe() and root_probe_wdl() do not reset all tbRank values if they fail,
it is necessary to do this in rank_root_move(). This fixes issue #2196.
Alternatively, the loop could be moved into both root_probe() and root_probe_wdl().

No functional change


_______

Все сборки между двумя этими пачтами, плюс собственно "виновник" - с данным багом.

А у не-фанатов SF'ша есть объяснение, почему в TCEC разница около нуля, и SF борется за первое место, а в 3C все в общем-то уже ясно?

[Омегазеро]

Цитата: Сообщение от Maratka

А у не-фанатов SF'ша есть объяснение, почему в TCEC разница около нуля, и SF борется за первое место, а в 3C все в общем-то уже ясно?

Конечно есть

Во-первых, в TCEC и СССС играют разные версии сетей Лилы.
В TCEC - 42547, в СССС - 42482. По всем тестам 42482 сильнее 42547

Во-вторых, в CCCC нет сильных Houdini, Komodo и KomodoMCTS

[Maratka]

Хорошее объяснение, но ничего не объясняет:
1) Разница в сетях LZ вряд-ли составляет ~50 ELO.
2) Houdini и Komodo - это мясо для набора очков у SF.

______
А у меня объяснение проще: в TCEC победа присуждается, а в 3C - до мата.
Плюс в TCEC шестифигурки, а в 3C - семифигурки.

Потому в TCEC сколь-нибудь радикально зевнуть сложно (хотя выбрать не самый лучший ход по таблицам таки возможно), ну уж хотя бы потому, что попаданий в таблицы в разы меньше, а в 3C - запросто, особенно когда доигрываются малофигурные эндшпили с известным итогом по этим самым таблицам.

[sovaz1997]

Кстати, вот партия Stockfish - Fire: https://cd.tcecbeta.club/archive.htm...rapid&game=333. На 51-м ходу Сток показывал +7.31. Партия закончилась... в ничью.
И, похоже, это не баг, а действительно просчет Stockfish.

[crem]

Цитата: Сообщение от Maratka

Разумеется.

Это когда проблему внесли:

А это когда поправили:

Насколько я понял, баг стокфиша проявлялся только при наличии неполного комплекта эндшпильных таблиц (на CCCC семифигурные, но не все). На TCEC таблицы шестифигурные и все.

[Maratka]

Значит фокус в присуждении в TCEC, и игре до мата на 3C.

______
Отдельно хотелось бы понять, что есть "полные": все n-фигурные WDL, но без DTZ- это полные или нет? И какие используются в TCEC.

[Maratka]

Цитата: Сообщение от sovaz1997

И, похоже, это не баг, а действительно просчет Stockfish.

Ну как просчет... банально не хватило глубины.

[magbash]

ЛСО догнала Стокфиш по количеству побед и тема лучшего выноса хвоста заглохла

1 LCZero	49	34.0	0	19 [14/5]	0 [0/0]	813.50	3990	25 [4015]
2 Stockfish     49	33.5	0	19 [13/6]	1 [0/1]	779.75	3985	20 [4005]
3 AllieStein 	50	33.5	0	20 [13/7]	3 [0/3]	757.00	3858	188 [4046]

Впрочем как и заглохли темы прироста ЭЛО, наивысший рейтинг ЭЛО, лучший в мире движок и прочее, прочее, прочее.

[magbash]

Цитата: Сообщение от Maratka

Да уже они улучшились. Исправили в SF проблему с таблицами три дня назад, все!

Если не какой-то внезапный очередной косяк, то SF возьмет свое первое место в отборе, а кто возьмет второе, LZ или AllieStein без разницы, ибо это два клона, причем очень не факт, что в команде LZ не берут идеи из AllieStein, т.е. это вполне может оказаться два взаимозависимых клона.

Сколько же здесь заключено не сбывшихся надежд, чаяний и веры в деда мороза.

Не Стокфиш с его улиточным обновлением опасен для ЛСО, а именно AllieStein таит в себе угрозу. Никто не знает что от неё ожидать. Той старой AllieStein, что протаранила весь ТСЕС 15 начав с 4-го дивизиона и до Премьер, заняв там 4! место, её больше нет. А есть новая AllieStein, очень опасная и не предсказуемая с инстинктом убийцы, чем так раньше славился Стокфиш, правда ещё сыроватая и не до конца оперившеяся. И я не поставлю теперь даже на ЛСО, нет уверенности, что при всей её монументальности и труднопробиваемости, она сможет устоять.

[Alex_Zet]

Цитата: Сообщение от crem

В Allie теперь добавлены элементы A/B поиска, и он считает nps как-то по-другому. Nps у него учитывает не только позиции переданные нейронной сети.
Быстрый просмотр исходников не нашёл какой-то рукописной оценочной функции, так что я не знаю что именно там считается.

Ok, so details. How is she different?

Well, I was inspired during the original CCC to see if you could pair traditional Minimax/AlphaBeta search with an NN. This is still her main purpose and the focus going forward. However, the initial versions were using a similar pure MCTS algorithm as Lc0 and AlphaZero. The current versions of Allie use a modified hybrid search of Minimax and Monte Carlo.

Here is a non-exhaustive list of differences:

UCI protocol code
Input/Output
Time managment
Board representation
Move generation
Zobrist keys
Hash implementation
The threading model
Search algorithm
Tree structure
The multi-gpu scaling code
Fpu-reduction
Mate distance eval
Testing framework and tests
Debugging code

What bits are used from the Lc0 project?

Here is what Allie uses from the Lc0 codebase:

Protocol buffers for an NN weights file
Code for discovering/loading the NN weights file
Backend code for GPU to get evaluations given an NN weights file

All right, brass tacks how strong is she?

Depends. First, her ELO will obviously depend upon which network is used. However, head-to-head using the same network on my limited hardware setup she is very competitive with Lc0 and SF.

Why did you develop her rather than just help out Leela?

A couple reasons. First, my original inspiration was to see if I could implement an alternative search using Minimax/AlphaBeta rather than MCTS. Second, I wanted to teach myself the AlphaZero concepts and algorithms and this was the best way to do it. Allie is now using a hybrid Minimax Monte Carlo search.

https://github.com/manyoso/allie

[Alex_Zet]

Сток снова впереди.
Звуки фанфар и труб разрезают небеса.

[Alex_Zet]

В субботу, 22 июня июня 2019 г. на площадке Lichess состоялся блиц-турнир с участием многих сильнейших "пулевиков", а также чемпиона мира Магнуса Карлсена.
Контроль 1+0, продолжительность 2 часа, формат - "арена".

Призовой фонд: 1. $500, 2. $250, 3. $125, 4. $75, 5. $50