LCZero

[alchemist888]

Цитата: Сообщение от svoitsl

А вот тест сети 56222 наоборот показал,что она сильнее Рыбки 4.1 на 164 Эло (7-29-14), и таким образом, её уровень можно оценить примерно 3050+164=3214 Эло,что для сети 10х128 довольно достойный результат.

При сравнивании разных сетей рекомендую уточнять сколько игр играется между двумя сетками. T50-56 наигрывает 60-64 тыс. игр прежде чем выходит новая сеть, а у T60 в свою очередь всего порядка 16 тыс.
Таким образом, чтобы сравнить потенциалы сетей, нужно к примеру 56222 сетку сравнивать с 60800+. Количество тренировочных игр в таком случае будет схожим.

[Maratka]

Цитата: Сообщение от Омегазеро

3. Когда шахматист играет партию, сила его игры (как СЛУЧАЙНАЯ величина) может отклониться от рейтинга (среднего).

Зависит от того, с кем он играет: Карпов как мне думается даже сейчас возьмет 990+ очков из тысячи скажем против Вас. Но против Каспарова он возьмет что-то около 500, не так ли?

Цитата: Сообщение от Омегазеро

Но у программ нет проблем с памятью, настроением, самочувствием и тараканами в голове,

Зато есть проблемы с багами в коде, тормозящим комьютером, сбоями железа, отключенным электричеством, а также - рандомайз, вызванный мультипоточностью.
И чем короче турнир, тем бОльшее влияние они оказывают. Скажем некий движок неправильно делает пятый ход во французской. Вероятность того, что встретится французская - 1/20. Как следствие, на 1000 партиях оно встретится где-то раз 50, а на 40 - где-то раза два. Но это в среднем, если мы сиграем много турниров по 1000 и по 40 партий. А в вполне конкретном турнире на 1000 партиях количество будет таки около 50 (ожидаемо от 35 до 65), а вот на 40 партиях очень запросто может быть и пять, и нуль. И как следствие, если пять - то движок получит на 3 поражения больше, чем в среднем должен был бы, что очень много для 40 партий. А если нуль, то движок выступит гораздо лучше, чем должен.

Цитата: Сообщение от Омегазеро

Самое важное, что эта погрешность не имеет никакого отношения к "ошибке" (отклонению в 95% партий для силы игры).

Потому что Вы так решили?
А какая будет погрешность в матче Komodo vs Houdini на одной партии?
А у Каспарова против Карпова?

[Maratka]

И еще один весьма интересный вопрос: зачем играть турниры вообще? Ведь можно на основе рейтинга просто рассчитать результат, и назначить места от 1 до N, где N - количество участников турнира.

[Alex_Zet]

Цитата: Сообщение от Maratka

И еще один весьма интересный вопрос: зачем играть турниры вообще? Ведь можно на основе рейтинга просто рассчитать результат, и назначить места от 1 до N, где N - количество участников турнира.

Если бы так было то Стокфишу уже бы давно 5000 накрутили и все первые места на 200 лет вперед. Счет кухонным тестам шел бы на миллионы.
А так нет, уже не первый. А скоро и не второй.

[Maratka]

Цитата: Сообщение от Alex_Zet

Если бы так было то Стокфишу уже бы давно 5000

Вопрос не в как бы если бы.
Вопрос в:

Цитата: Сообщение от Омегазеро

Но у программ нет проблем с памятью, настроением, самочувствием и тараканами в голове, их код является неизменным.

Т.е. уважаемая Юленька считает, что программа делает заведомо известные ходы, которые вообще говоря можно посчитать и на листике с карандашиком в руках, по известному алгоритму, и имея достаточное время. Ну а раз так, то турнир движков не имеет смысла, т.к. места в обязательном порядке будут заняты исходя из их рейтинга.

[sovaz1997]

Для того, чтобы убедится, что погрешости работают, достаточно запустить огромное число турниров из, например, 10 партий и отсечь 5% крайних результатов. Взять максимум и минимум - это и будет примерно погрешность. Это если так хочется проверить теорию на практике.

[Rom77]

Цитата: Сообщение от sovaz1997

Для того, чтобы убедится, что погрешости работают, достаточно запустить огромное число турниров из, например, 10 партий и отсечь 5% крайних результатов. Взять максимум и минимум - это и будет примерно погрешность. Это если так хочется проверить теорию на практике.

Можно даже просто взять двадцать последних тестов из https://nextchessmove.com/dev-builds и посмотреть разброс крайних значений (если не хочется считать, то можно просто посмотреть на нижнем графике).

[Alex_Zet]

Цитата: Сообщение от Maratka

программа делает заведомо известные ходы

Пару тройку лет назад на иммортале на мой вопрос: - разве не движек выбирает какой ход сделать из трех вариантов, Bullet ответил: - движки ничего не выбирают.
- А кто тогда?
- Оболочка. Ну или GUI.

Кстати скоро у Bulleta день рождения не забудте поздравить.

[Maratka]

Цитата: Сообщение от Alex_Zet

- Оболочка. Ну или GUI.

Спросите у Bulleta пожалуйста, в чем разница между оболочкой и GUI?

[Alex_Zet]

Цитата: Сообщение от Maratka

Спросите у Bulleta пожалуйста, в чем разница между оболочкой и GUI?

Вы как обычно не разобрались. Я имел в виду что оболочка по другому называется GUI.
Ну а если не верите, то спросите сами. А я вам не испорченный телефон.

[svoitsl]

Цитата: Сообщение от alchemist888

При сравнивании разных сетей рекомендую уточнять

В данном случае вся инфа доступна, если пожелаете, то можете уточнить и самостоятельно (номера сетей приведены)
Но по мне, так все равно, сколько там было игр, мне важно сколько времени потрачено компом на это,то есть нужно учитывать, что для большой сети и и игры генерируются дольше.

[alchemist888]

Цитата: Сообщение от svoitsl

В данном случае вся инфа доступна, если пожелаете, то можете уточнить и самостоятельно (номера сетей приведены)
Но по мне, так все равно, сколько там было игр, мне важно сколько времени потрачено компом на это,то есть нужно учитывать, что для большой сети и и игры генерируются дольше.

Вообще-то я Вам и уточнил В посте подробно описал сравнение количества игр для тренировки сети T56 и T60.
Также не понятно при чем здесь ресурсы, которые тратятся на обучение сети и то насколько сильно она играет в сравнению с другой сеткой на равном железе.

[svoitsl]

Цитата: Сообщение от alchemist888

Также не понятно

Тоже уточню....
Без разницы сколько там игр было создано для обучения, эффективность алгоритма определяется его ресурсоемкостью.
Если за месяц круглосуточной работы моего компа (например) по алгоритму 56 я получу на 100 Эло больше, чем за это же время работы алгоритма 60, то 56- лучше (на данный момент)
При этом, конечно, если я буду тренировать 2 года,то возможно лучшим окажется алгоритм 60. (но у меня нет 2-х лет, допустим )

[alchemist888]

Цитата: Сообщение от svoitsl

Тоже уточню....
Без разницы сколько там игр было создано для обучения, эффективность алгоритма определяется его ресурсоемкостью.
Если за месяц круглосуточной работы моего компа (например) по алгоритму 56 я получу на 100 Эло больше, чем за это же время работы алгоритма 60, то 56- лучше (на данный момент)
При этом, конечно, если я буду тренировать 2 года,то возможно лучшим окажется алгоритм 60. (но у меня нет 2-х лет, допустим )

А как оценить эффективность, если, к примеру, через пол года одна сеть будет играть на 3400 Elo, а другая на 3500. При том, что как потом не тренируй первую сеть, добраться до уровня 3500 она физически не сможет. Как в Вашу формулу эффективности встраивается максимальный потенциал сети?
Еще момент в том, что приведенный Вами тест сети T56 к эффективности вообще не имеет отношения. Сеть тестовая, нужна лишь для того, чтобы оценить потенциал параметров, и затем забросить ее обучение. И все для того, чтобы потом тренировать неэффективные, громоздкие сети, но со значительно большим потенциалом

[svoitsl]

Цитата: Сообщение от alchemist888

А как оценить эффективность

Это делается на одинаковой сети , и 51-56 сети одного размера и потенциальные возможности определяются лишь алгоритмом обучения.
Конечно если сети разные то и перспективы разные, но возвращаясь у теме, неправильно сравнивать сети только по числу игр, не учитывая затраты на их
создание

Цитата: Сообщение от alchemist888

неужели помогаете проекту?

Бывает и такое,только доля уж слишком маленькая получается...

[svoitsl]

Жонглирование одними и теми же играми все таки дело полезное

Прибавка почти в 10 Эло (по сравнению с 42850)

[svoitsl]

Кому понравилась GUI Nibbler могут скачать новую версию 1.04

Цитата:

When in single-colour mode (versus mode) optionally play the best move when hitting the node limit (requires there to be a node limit).

This should work but is fairly experimental. Do report any bugs.

A minor bug related to this in v1.0.3 was fixed for v1.0.4.

[Alex_Zet]

Цитата: Сообщение от svoitsl

Жонглирование одними и теми же играми все таки дело полезное

Прибавка почти в 10 Эло (по сравнению с 42850)

Стокфиш все больше и больше похож на движок второй десятки.

[svoitsl]

Цитата: Сообщение от Alex_Zet

Стокфиш все больше и больше похож на движок второй десятки.

Даже тест с отключенным по сути тайм менеджментом показывает лишь незначительное преимущество Лилы , а он все таки наверное лучше в Стокфиш, чем в Лиле. К тому же у разработчиков Стокфиша есть порядочно времени,что бы сравняться, или может даже опередить Лилу, вряд ли можно выжать из неё ещё более 5-10 Эло в ближайшие полгода (если конечно серьезно не озаботиться поиском). Из 40 сети больше не получится, а 60-я ещё не скоро сравняется с 40-й, и тем более опередит Стокфиш (пока она проигрывает Рыбки 4.1)

[svoitsl]

Весьма приблизительный оценочный тест показал что:
Сеть 60197 пока не сравнялась с Рыбкой 4.1, и отстает от неё на 42 Эло
(19-13-18)
Но все равно видна высокая результативность игры.
То есть, как я и предполагал ранее,сравняется только может завтра к вечеру ()
(хочется надеяться,что очередной мой оценочный тест, который состоится скорее всего в понедельник вечером, должен это зафиксировать)
Примерный уровень все же на 3000 Эло,что не может не радовать

[svoitsl]

А вот новая сеть 56251 согласно моему оценочному тесту показала себя не плохо
+50 Эло по сравнению с Ethereal 11.47 (12-19-19)
То есть уровень игры даже такой небольшой сети как 56251 (10х128) достиг около 3200 Эло

[Alex_Zet]

Цитата: Сообщение от svoitsl

согласно моему оценочному тесту

А вот согласно моему ощущению разница между Лилой и Стокфиш достигла 100 - 150 эло и разрыв
продолжает стремительно расти.

[Maratka]

Цитата: Сообщение от svoitsl

Примерный уровень все же на 3000 Эло,что не может не радовать

Я же писал уже, до 3000 ELO реально прокачаться за недели. Проблема будет, когда имея эти 3000 нужно прокачаться до условных 3500, скажем уровень Houdini, на что вполне может уйти и два месяца. А самая проблема, когда нужно набрать последнюю сотню, чтобы догнать SF, тут может быть еще два, а то и поболее месяцев.

Вот тем, кто в курсе, вопрос: сколько набрала сеть 4xx за последнее два месяца обучения?

[sovaz1997]

Цитата: Сообщение от Maratka

Вот тем, кто в курсе, вопрос: сколько набрала сеть 4xx за последнее два месяца обучения?

Не сильно меньше, чем Stockfish за полгода

[Maratka]

Я не спрашиваю, кто больше/меньше. Я спрашиваю "сколько", дабы было понятно, что эти сегодняшние 3000 ELO вообще ничего не значат.

[svoitsl]

Цитата: Сообщение от Maratka

Я же писал уже, до 3000 ELO реально прокачаться за недели.

Вот тем, кто в курсе, вопрос: сколько набрала сеть 4xx за последнее два месяца обучения?

Я читаю ваши сообщения, в данном случае это произошло примерно за две недели.
Насколько больше вы можете посмотреть и сами (я сейчас не могу), но где то на 10 -15 Эло примерно.

[Alex_Zet]

Цитата: Сообщение от Maratka

Я же писал уже, до 3000 ELO реально прокачаться за недели. Проблема будет, когда имея эти 3000 нужно прокачаться до условных 3500, скажем уровень Houdini, на что вполне может уйти и два месяца. А самая проблема, когда нужно набрать последнюю сотню, чтобы догнать SF, тут может быть еще два, а то и поболее месяцев.

Вот тем, кто в курсе, вопрос: сколько набрала сеть 4xx за последнее два месяца обучения?

До 3000 за неделю.
До 3500 два месяца.
До уровня Стокфиш 3700 за 4 месяца.

Ну что же, я примерно так и думал. Значит Элли в этом сезоне реально будет бороться со Стоком за одну из путевок. Вторая уже в кармане у Лилы.
ТСЕС 17 это уже плюс Скорпион и мясной гибрид из 1 лиги в борьбе за суперфинал.
А где же будет Стокфиш? Правильно, будет выживать в Премьер и бороться что бы не вылететь. А вылетит Сток из Премьер в 19 сезоне.

[Alex_Zet]

Ну и что что вылетит. Ведь когда страдают все вместе, это половина утешения.

[svoitsl]

Цитата: Сообщение от svoitsl

я сейчас не могу

я уже могу,
если считать сеть 40 двух месячной давности за lc0.net.T40.T8.610 , то её уровень +12.4 Эло, а последнюю за c0.net.T40B.1-106 с ее уровнем 28.9 Эло (ещё уточняется), то 2 мес обучения принесли примерно 28.9-12.4=16.5 Эло (с ошибкой около 8.5 Эло)

[Maratka]

Цитата: Сообщение от svoitsl

если считать сеть 40 двух месячной давности за lc0.net.T40.T8.610

Я имею в виду сети, выложенные на официальном сайте.