Chess.com Computer Chess Championship 9

[alchemist888]

Цитата: Сообщение от Омегазеро

Вы сами выслали мне дебюты для теста из 100 партий, видимо вам они нравятся

Я присылал Вам дебюты для матчей из 100 партий, потому что Вы именно такие тесты и проводите, а это все же лучше чем ничего.

Цитата: Сообщение от Омегазеро

"Почему 30 Elo, а не 50, или 100? Как Вы вычислили это значение?" (c)
А вы не догадываетесь?
Интересно, что сейчас на CCCC играет сеть 63604. Если она гораздо слабее SV-3010 в перерасчете на nps, зачем её туда послали?

Нет, не догадываюсь.
В CCCC могут выставлять все, что они хотят. Там админ в развлекательных ивентах делает то что ему интересно, не спрашивая сообщество LCZero.
Тот турнир игрался с armageddon параметрами, а сеть 63604 была выставлена с целью посмотреть, как проявит себя MLH режим.

Цитата: Сообщение от Омегазеро

То есть вы признаете, что рейтинг может меняться на десятки Эло в зависимости от подбора дебютов?
Отлично, это уже прогресс!

Я этого никогда не отрицал. Есть дебюты, которые Лила играет хорошо, а есть которые плохо. Тоже самое справедливо для SF. Причем эта ситуация может меняться с увеличением, или уменьшением контроля времени на партию.
Но проводя тесты на 100 партий, Вы во-первых получаете ограниченную картину, а во-вторых результат отдельно взятой партии оказывает слишком большое значение на финальный результат и разницу в Elo.
Другое дело когда у нас 2000 различных дебютов, причем по-настоящему различных, а не таких, когда одна и та же партия повторяется несколько раз, как было в недавнем Megamatch на CCCC.

Цитата: Сообщение от Омегазеро

Если позиции брать из базы реальных партий с учетом их результативности, мусора там не будет
А "разнообразные дебюты" - это только начала реальных партий, вдобавок сильно разбавленные нереальными мусорными дебютами. Правильные стратегии могут потонуть в статистическом шуме

Так у Вас есть такая база позиций? Тысяч десять для фиштеста вполне хватило бы.

Цитата: Сообщение от Омегазеро

То есть вы категорически исключаете возможность, что движок может усиливаться на мусорных дебютах и ослабевать на классических?
Всегда ли оптимизация на нестандартных, граничных значениях может привести к оптимизации на стандартных, распространенных?

Вероятность того, что движок будет усиливаться именно на "мусорных" дебютах, а на обычных слабеть крайне мала. Чаще всего там будет некое распределение в не зависимости от того к какому классу Вы отнесли тот, или иной дебют. Для AB движков такой эффект еще менее вероятен. Это у нейронных сетей могут совершенно странные "слепые пятна". AB движки в этом плане несколько стабильнее.