LCZero

[Омегазеро]

Цитата: Сообщение от alchemist888

Какой контроль? И в чью пользу счет?

Контроль 2/2
Если написано lc0 против stockfish, первая цифра побед относится к lc0

[Maratka]

Понятно. Контроль очень мал, LZ на нем безбожно зевает.
Лучше что-то вроде 2+12 (важнее добавленное время, чем основное).

[svoitsl]

Цитата: Сообщение от Maratka

LZ на нем безбожно зевает.

Если судить по результату - Стокфиш "зевает" больше

[alchemist888]

Цитата: Сообщение от Maratka

Понятно. Контроль очень мал, LZ на нем безбожно зевает.
Лучше что-то вроде 2+12 (важнее добавленное время, чем основное).

С бОльшим инкрементом соглашусь, но 12 сек перебор. Очень медленно будет набираться выборка. 5 kn/s уже какая-никакая, а скорость, вполне комфортная для Лилы. Думаю 2+5 будет в самый раз.
Тем не менее LCZero даже в таких кондициях удается серьезно вести в счете. Хотя результативность странным образом зашкаливает, точнее удивляет такое большое количество поражений у Cтокфиша.

[Maratka]

Цитата: Сообщение от alchemist888

Хотя результативность странным образом зашкаливает, точнее удивляет такое большое количество поражений у Cтокфиша.

Книга на 1 ход для SF по сути мало отличается от стартовой позиции.
LZ же все это прошел миллионами партий во время обучения, ну может если только совсем уж кривые начала играл тысяч по сто...

[Maratka]

Цитата: Сообщение от alchemist888

Счет 22-8-40

Походу мы оба не поняли. И svoitsl возмжно тоже

Обычно пишется что-то вроде +n -m =l

А тут читай как хочешь, 22 победы и 8 поражений, или 22 победы и 8 ничьих (остальное -поражения).

[Омегазеро]

Цитата: Сообщение от Maratka

А тут читай как хочешь, 22 победы и 8 поражений, или 22 победы и 8 ничьих (остальное -поражения).

Это cutechess выводит результаты в таком формате
победы-поражения-ничьи

[Maratka]

Цитата: Сообщение от alchemist888

С бОльшим инкрементом соглашусь, но 12 сек перебор. Очень медленно будет набираться выборка.

Ну насколько медленно? 5-6 партий в час, около 150 в сутки. За неделю вполне достаточная точность для предварительной оценки.

А вот что касается зевков, то у меня на +30 секунд их каждая 10-15 партия со стороны LZ, пусть и при ~2knps

_____
Может еще настройки покрутить у LZ?
CPuct 3.4 - 3.6 вместо умолчания 3.0?

[Омегазеро]

Цитата: Сообщение от svoitsl

Если судить по результату - Стокфиш "зевает" больше

Лила действительно "зевает" из-за короткого контроля
По-хорошему счет должен быть 22:2

Самый важный вывод - не нужно гнаться за дорогими видеокартами, GTX1650 теперь достаточно

[Maratka]

Цитата: Сообщение от Омегазеро

Это cutechess выводит результаты в таком формате

Т.е. LZ разгромил с неприличным счетом SF'ша?

Тем более, интересно, какая производительность у SF на Вашем процессоре.
4.300.000 уж извините, но очень мало для четырехядрного Core, к тому же bmi2-версии.

Запустите в консоли:

uci
setoption name Threads value 4
setoption name Hash value 8192
position fen rnbqkbnr/pppppppp/8/8/8/8/PPPPPPPP/RNBQKBNR w KQkq - 0 1
go wtime 720000 winc 3000 btime 720000 binc 3000

Какой результат?

[Омегазеро]

Цитата: Сообщение от Maratka

Книга на 1 ход для SF по сути мало отличается от стартовой позиции

Ранее обсуждался этот вопрос в этой теме
В качестве компромисса между отсутствием книги и многоходовой книгой была предложена одноходовая для того, чтобы не ограничивать творчество движков

И отличия от стартовой позиции этом случае существенные

У меня на предыдущей версии Лилы (с fp32 и скоростью 2200nps) при отсутствии книги Лила выигрывала с +50 Эло!

А при одноходовой книге - проигрывала с -50 Эло

[Maratka]

Цитата: Сообщение от Омегазеро

Самый важный вывод - не нужно гнаться за дорогими видеокартами, GTX1650 теперь достаточно

Для тестов любой видеоплаты достаточно: берете одномодульный APU AMD года так 2013, запускаете SF на одном ядре, и там по уши будет даже GT 750

Нет APU? Не проблема! В BIOS снижаете частоту того что есть до нужного уровня.
Наоборот, слишком мощная видеоплата? Снижаете ее частоты, и/или запускаете не CUDA, а OpenCL версию. Все равно много? Запускаете LZ на CPU!

[Maratka]

Цитата: Сообщение от Омегазеро

У меня на предыдущей версии Лилы (с fp32 и скоростью 2200nps) при отсутствии книги Лила выигрывала с +50 Эло!
А при одноходовой книге - проигрывала с -50 Эло

На каком количестве партий и с какой достоверностью результата?

______
Я уже приводил пример, ~1500 партий при определенной удаче - это вообще ни о чем не говорит.

[alchemist888]

Цитата: Сообщение от Maratka

Следовательно, мат в 49 ходов и в 15 для LZ равноценны. Однако в жизни мат в 15 ходов ставят все же чаще. ;)

Смотрим на обучение: нашли мат. Начали ставить каким-то там непонятным способом. Зевнули (всякое бывает), и не поставили. Получили ничью и скорректировали коэффициенты, что это - ничья.
Теперь Налимов: получили все тоже, начали ставить мат, зевнули... И база Налимова нашла, что теперь она ставит мат. В результате -проигрыш.

Т.е. в зависимости от баз, мы в математически абсолютно выигрышной позиции по Налимову получили или ничью, что очень плохо, или поражение, что... хуже, чем "очень плохо", и изменили коэффициенты в сети на соответствующие.

Теперь нам ставят мат. Одно дело syzygy: мы знаем лишь то, что мы обязаны проиграть при идеальной игре соперника.
И другое дело Налимов: бы обязательно проиграем даже при идеальной нашей игре.

Т.е. если при обучении с базами syzygy есть вариант соскока, в силу ошибки соперника, то с Налимовым не прокатит: мы обязаны проиграть, но при этом обязаны дотянуть до мата в максимальное количество ходов. IMHO, на втором варианте учиться лучше, ибо это самые худшие для нас условия, и если при мате в 28 ходов мы сможем протянуть эти 28 ходов, то в реальных партиях сможем и соскочить, ибо у соперника далеко не факт, что будут таблицы Налимова, ну или попросту: велика вероятность, что соперник не будет играть идеально, а потому мы имеем шансы на ничью.
Или я может что-то не до конца понял?

Ох и запутанный у Вас пост Все намного проще. Отличие Syzygy от Налимова в том, что последние знают, как максимально быстро ставить мат. Все... Но цена тому в 10-ть раз больше занимаемого пространства на диске, и соответственно потребность в большем объеме оперативной памяти, или супер быстрых и объемных SSD. Cравните 1.2 TB для 6-и фигурок Налимова, 140 TB для 7-и фигурных таблиц. Когда 6-и фигурки Syzygy с WDL и DTZ - 150 GiB, а 7-и фигурки 17 TB.
Причем LCZero Налимов абсолютно без надобности. Еще раз, партии Лилы проверяются на наличие ошибок, чтобы потом поменять оценку ее ошибочных ходов. Допустим, что она, играя белыми, в выигранном окончании проигрывает, что само по себе почти фантастика, то проигрывающему ходу будет присвоено значение "-1", если ход ведет к ничьей, то будет присвоено значение "0".
Скажите мне, в чем здесь будет отличие от Налимова?

Цитата: Сообщение от Maratka

Походу мы оба не поняли. И svoitsl возмжно тоже
Обычно пишется что-то вроде +n -m =l
А тут читай как хочешь, 22 победы и 8 поражений, или 22 победы и 8 ничьих (остальное -поражения).

Я прочитал правильно 22 поражения у Стокфиша из 70. Lose ratio - 31.5%, весьма много не так ли?

[Maratka]

Цитата: Сообщение от alchemist888

Скажите мне, в чем здесь будет отличие от Налимова?

В том, что не будет найден ход, ведущий к выигрышу. Это в свою очередь ведет при дальнейшем обучении к перебору всех вариантов, пока не...

Налимов же на месте LZ просто сыграет идеально правильно, т.е. обучение будет и короче, и коэффициенты точнее (не нужно будет мусорить в сети дурацкими ходами).

[Омегазеро]

Цитата: Сообщение от Maratka

4.300.000 уж извините, но очень мало для четырехядрного Core, к тому же bmi2-версии.
Запустите в консоли

Вот один француз тестировал Стокфиш, у него для i3 (другой модели) было 5000 knps

4.300.000 определялось на глаз через 30 секунд в начале партии

Безусловно, лучше в консоли запустить, только тестовая машина в другом месте находится

В любом случае я согласна, что i3 не является равноценным GTX1650, несмотря на равенство цены и энергопотребления, так как является устаревшим

Видимо, надо добавить еще одно требование при выборе тестовой конфигурации: видеокарта и процессор должны был зарелизены в одном месяце

[alchemist888]

Цитата: Сообщение от Maratka

В том, что не будет найден ход, ведущий к выигрышу. Это в свою очередь ведет при дальнейшем обучении к перебору всех вариантов, пока не...

Налимов же на месте LZ просто сыграет идеально правильно, т.е. обучение будет и короче, и коэффициенты точнее (не нужно будет мусорить в сети дурацкими ходами).

Подождите, похоже Вы совсем запутались Никто не сообщает LCZero какой ход правильный. Проверяются ее партии, ходам, которые изменили оценку позиции присваивается новое значение, на этом процесс обучения закончен. Там есть какие-то нюансы еще, но я в них не вникал.
От Налимова соответственно нужно будет тоже самое. И если на выходе получаем одно и тоже, зачем платить в 10 раз больше?
Напомню, у нас Zero проект, и никто не будет рассказывать LCZero, как правильно играть в шахматы

[svoitsl]

Цитата: Сообщение от Омегазеро

В качестве компромисса между отсутствием книги и многоходовой книгой была предложена одноходовая для того, чтобы не ограничивать творчество движков
И отличия от стартовой позиции этом случае существенные

И есть ещё одно преимущество - объективность такой книги, так как невозможно придумать никакое другое сочетание ходов, но ,правда в полноценной книги 400 вариантов,и надо проиграть хотя бы 800 партий,что бы получить объектную оценку

Цитата: Сообщение от alchemist888

Никто не сообщает LCZero какой ход правильный

Видимо Маратка считает (как и я) как было бы хорошо,что бы обучаемые игры генерировались при наличии таблиц Налимова

[Maratka]

Цитата: Сообщение от Омегазеро

что i3 не является равноценным GTX1650

Он вышел год назад, что там устареть могло.
Нет конечно есть у него приемник, в нем Intel рассщедриласть на TurboBoost, т.е. его типовые частоты где-то в районе 4.3 Ghz вместо 4.0 в Вашем случае, но это ~10%, которые ничего не меняют.

Цитата: Сообщение от Омегазеро

Безусловно, лучше в консоли запустить, только тестовая машина в другом месте находится

Ну так запустите в другом месте. Иначе хрень какая-то непонятная.

[Maratka]

Цитата: Сообщение от svoitsl

но ,правда в полноценной книги 400 вариантов,и надо проиграть хотя бы 800 партий,что бы получить объектную оценку

Вот то и оно. А лучше в 2 и более кругов, дабы отсеять явные зевки.

[Maratka]

Цитата: Сообщение от alchemist888

Проверяются ее партии, ходам, которые изменили оценку позиции присваивается новое значение

Эти ходы запросто могут изменить оценку ошибочно. Ведь это всего лишь невероятно упрощенный алгоритм поиска лучшего хода, а не Налимов с его железными 100%

[alchemist888]

Цитата: Сообщение от svoitsl

Видимо Маратка считает (как и я) как было бы хорошо,что бы обучаемые игры генерировались при наличии таблиц Налимова

Сомневаюсь, что он это имел ввиду, но вообще такой подход очень дорогой. Нужно, чтобы у каждого участника были 6-и фигурные таблицы эндшпилей, да вы еще и Налимова предлагаете, вместо Syzygy. Совершенно непрактичный подход.
В тоже самое время люди уже обучают LCZero на 7-и фигурных таблицах, пример тому сеть, которая играет в финале TCEC S15.

[Maratka]

Цитата: Сообщение от Maratka

Вот то и оно. А лучше в 2 и более кругов, дабы отсеять явные зевки.

А вообще книги нужно составлять не методом генератора всех возможных 1-х (вторых, стосороковых) ходов.

Тут, на вот этом самом форуме приводились примеры оптимизации стандартной 2_movies, и они однозначно имеют право быть применены и к любой другой тестовой книге. Ну скажем был пример, когда SF3 заведомо переигрывает SF-dev.
Естественно, в обратке уже все ровно наоборот. Т.е. это просто обмен очками, который ничего не дает в плане понимания "кто из них лучше", но засоряет матч при тестировании лишними обменами очков, чем затрудняет набор очков для патча, который объективно дает ELO.

[Maratka]

Цитата: Сообщение от alchemist888

Сомневаюсь, что он это имел ввиду, но вообще такой подход очень дорогой. Нужно, чтобы у каждого участника были 6-и фигурные таблицы эндшпилей, да вы еще и Налимова предлагаете, вместо Syzygy. Совершенно непрактичный подход.

Правильно сомневаетесь!
Я предлагаю шлифовать сеть LZ эндшиплями, где изначально не более 6 фигур, и где LZ играет чисто против таблиц (т.е. вторая сторона - вообще не движок, это по сути своей чистой воды оболочка для Налимова, и ничего более).

[alchemist888]

Цитата: Сообщение от Maratka

Правильно сомневаетесь!
Я предлагаю шлифовать сеть LZ эндшиплями, где изначально не более 6 фигур, и где LZ играет чисто против таблиц (т.е. вторая сторона - вообще не движок, это по сути своей чистой воды оболочка для Налимова, и ничего более).

И как Вы предлагаете это реализовать?

[Maratka]

Цитата: Сообщение от alchemist888

ужно, чтобы у каждого участника были 6-и фигурные таблицы эндшпилей, да вы еще и Налимова предлагаете, вместо Syzygy.

Шестифигурки всего-то терабайт с копейками. Играются мгновенно даже на медленном HDD, и дают абсолютно точный ответ "выигрыш/ничья/проигрыш", и если не ничья, то последовательность ходов до победы одной из сторон. Чем плохо?

____
А теперь мы ставим LZ на тренировку против них. Позиция: мат в 42 хода. LZ продержался 19. Плохо! После обучения продержался 27. Уже лучше! Ну и в пределе - продержался те самые 42 - идеально!

Почему? Потому что в реальном матче соперник вряд-ли выдержит последовательность из 42 единственно правильных ходов, а значит у LZ будет шанс "соскочить" на ничью, а то выиграть (зависит от неточности соперника).


_____
Это в чем-то очень похоже на матчи против SF, когда последний нашел железную ничью, а LZ еще мусолит партию сотню ходов. А каждый его ход - это ~0.1% вероятность зевка, который SF заведомо не простит. Т.е. сто ходов - это зевок с вероятностью 10%, и поражение.

[Maratka]

Цитата: Сообщение от alchemist888

И как Вы предлагаете это реализовать?

Ровно так и реализовать: тот же Fritz при нужных настройках отключает движки, и доигрывает партию по таблицами Налимова при их наличии и естественно подключении (ну т.е. как выше и написал, при нужных настройках). Правда не нашел в нем опции, как бы так сделать, чтобы таблицы применялись только к черным или белым, ну или только к движку с таким-то именем.

Тем не менее, я не думаю, что это очень "тяжелый" для написания код, когда LZ играет сам, а соперник - это всего лишь надстройка над таблицами.

[alchemist888]

Цитата: Сообщение от Maratka

Шестифигурки всего-то терабайт с копейками. Играются мгновенно даже на медленном HDD, и дают абсолютно точный ответ "выигрыш/ничья/проигрыш", и если не ничья, то последовательность ходов до победы одной из сторон. Чем плохо?

____
А теперь мы ставим LZ на тренировку против них. Позиция: мат в 42 хода. LZ продержался 19. Плохо! После обучения продержался 27. Уже лучше! Ну и в пределе - продержался те самые 42 - идеально!

Почему? Потому что в реальном матче соперник вряд-ли выдержит 42 хода единственно правильных ходов, а значит у LZ будет шанс "соскочить" на ничью, а то выиграть (зависит от неточности соперника).

_____
Это в чем-то очень похоже на матчи против SF, когда последний нашел железную ничью, а LZ еще мусолит партию сотню ходов. А каждый его ход - это ~0.1% вероятность зевка, который SF заведомо не простит. Т.е. сто ходов - это зевок с вероятностью 10%, и поражение.

Вы в курсе, что Лилу тренируют обычные пользователи на своих или арендованных компьютерах? Ваше предложение загрузить большинству из них терабайт с копейками? Это первое.
Второе. Оценки LCZero в 6-и фигурных эндшпилях должны быть абсолютны. То есть победа белых "1", ничья "0", победа черных "-1". Теперь, как Вы предлагаете корректировать эти оценки, чтобы они давали представление о точном ходе? Будем менять коэффициенты к примеру на 0,99 -0.01 -0.99, если ход ведет к более длинному мату, или если ничья откладывается? И для чего? Чтобы чуть-чуть на 0.1% улучшить результаты в эндшпилях?
Ваши 10% на зевок в 6-и фигурных окончаниях - это фантастика. Там и 0.1% нет.
Единственная реальная польза от наигрывания партий с эндшпильными таблицами - проработка редких окончаний, который в партиях не часто встречаются. Но цена этому процессу огромна.
Уж лучше на тактику партии проверять, дешевле и выхлопа намного больше.

[Maratka]

Цитата: Сообщение от Maratka

Тем не менее, я не думаю, что это очень "тяжелый" для написания код, когда LZ играет сам, а соперник - это всего лишь надстройка над таблицами.

В ручном режиме кстати это во Fritz без проблем: Вы играете как умеете, а он просто смотрит в таблицы Налимова. Движок вообще не имеет значения, в принципе, ибо на этой стадии управление перехватывает оболочка.

[Maratka]

Цитата: Сообщение от alchemist888

Вы в курсе, что Лилу тренируют обычные пользователи на своих или арендованных компьютерах? Ваше предложение загрузить большинству из них терабайт с копейками?

Я в курсе, что год назад собирали круглую сумму под некую машину для разработчиков (надеюсь, это не тот сервер, который недавно накрылся)?
В любом случае - доучивание - это и есть доучивание.
Добрые самаритяне наигрывают партии как есть, а на "сервере" можно целенаправленно запустить то, что требуется.
Ну и само обучение: когда от самаритян приходят 6 и менее фигур - их перенаправлять на этот сервер (плохой вариант), ибо мощности 1080 Ti заведомо не хватит, либо просто не обучаться на этих концовках, а обучаться на своих (тоже не идеально, но уже лучше).

Идеально: попросить народ использовать базы Налимова. Учитывая, что 80% партий генерирует 5 человек с явно не самым бедным железом - это не очень сложно, у них явно есть и терабайт для таблиц, и канал для их скачивания. Но конечно нужно будет дописать нужный код, без этого никуда во всех трех случаях.