LCZero

[Maratka]

Цитата: Сообщение от Омегазеро

Хотя тестеры как раз пытались выбрать такое соотношение, которое на больших скоростях равнозначно по Эло для 1:1000

Стесняюсь спросить, если вдруг завтра LZ обойдет SF на 150 ELO, какое соотношение будет правильным?

[Омегазеро]

Цитата: Сообщение от Maratka

Стесняюсь спросить, если вдруг завтра LZ обойдет SF на 150 ELO, какое соотношение будет правильным?

Маратка, ну вы знаете, что я против "соотношений"
Я пытаюсь тестировать на равном оборудовании при равном энергопотреблении

И там получается выгодное для Стокфиша соотношение 1:2200

[svoitsl]

Правильным было и будет соотношение 1:875 на ход, при этом не имеет никакого значения кто там выигрывает или проигрывает, это константа

[Maratka]

Цитата: Сообщение от svoitsl

Правильным было и будет соотношение 1:875 на ход, при этом не имеет никакого значения кто там выигрывает или проигрывает, это константа

Обоснуйте, откуда эта константа?

[Maratka]

Цитата: Сообщение от Омегазеро

Я пытаюсь тестировать на равном оборудовании при равном энергопотреблении
И там получается выгодное для Стокфиша соотношение 1:2200

Т.е. опять же, подбираете оборудование. Не в лоб, так по лбу.

[svoitsl]

Цитата: Сообщение от Maratka

Обоснуйте, откуда эта константа?

странно, что вы не знаете....
вот тут

[svoitsl]

Цитата: Сообщение от Омегазеро

которые все раскритиковали

Раскритиковали условия проведения теста. так разумеется эти условия так же надо соблюдать, хотя бы те, которые соблюсти не сложно (типа хеша в 1Г, без книг...)

[Maratka]

Цитата: Сообщение от svoitsl

странно, что вы не знаете....

Точно не знал, но предполагал.

Итак:
Its derived from the reported ratio between Alpha Zero’s and Stockfish 8’s nodes per second – 80k and 70m – during their match. So Stockfish 8 was searching 875 times as many nps as A0.

Ну считал SF8 70 миллионов узлов, а AZ считал 80 тысяч. И что из этого?
А если бы SF считал 79 млн. узлов, а AZ 62 тысячи, то что это бы меняло?

Какое отношение это имеет к LZ (а не AZ), играющего против dev.-сборок (а не SF8, который на ~150 ELO слабее)?

[svoitsl]

Цитата: Сообщение от Maratka

то что это бы меняло?

было бы соотношение 1:1275

Цитата: Сообщение от Maratka

Какое отношение это имеет к LZ

Что бы сравнить LZ и A0 , раз уж напрямую это не возможно, то хотя бы как то

[Maratka]

Цитата: Сообщение от svoitsl

Что бы сравнить LZ и A0

А зачем их сравнивать? Второй в турнирах не выступает, по сути это вообще можно считать, что проект закрытый: показали, что умеют за 4 часа сделать такую-то сеть, показали что может эта сеть, и разошлись.

Опять же, что такое nps? А фиг его знает! Каждый считает как умеет.

https://yadi.sk/d/LtuUMFkh36ZD_g
Поменял всего одну константу. Теперь движок в ~90 раз "медленнее".
Подберите под него конфиг LZ!
Думаю идеально будет запускать на CPU

Результат такого матча Вы представляете, или хотите проверить?

[alchemist888]

Цитата: Сообщение от Maratka

Опять же, что такое nps? А фиг его знает! Каждый считает как умеет.
https://yadi.sk/d/LtuUMFkh36ZD_g
Поменял всего одну константу. Теперь движок в ~90 раз "медленнее".
Подберите под него конфиг LZ!
Думаю идеально будет запускать на CPU

Результат такого матча Вы представляете, или хотите проверить?

Не имеет значения как движок считает nps. Для вычисления соотношения 1:875 бралась скорость Stockfish 8. От этого и нужно исходить.

[Maratka]

Ну как же не имеет, если "бралась скорость Stockfish 8"?
А если бы SF нес туфту? А вообще известно ли, что там действительно не туфта?

Вот например в текущей сборке оно считается так:

nodesSearched * 1000 / elapsed;

Первое и последнее понятно, кол-во узлов и потраченное время, а вот зачем множитель 1000?

Далее, сам nodesSearched считается как

nodesSearched = Threads.nodes_searched();

Вопрос:
Это с учетом попаданий в хеш, или все, что чисто переработанно процессором?

[crem]

Идея брать соотношение 1:875 (или какое-нибудь другое соотношение) в качестве какого-то уравнивающего фактора неправильна.
Получается, что если например мы смогли пооптимизировать и ускорить Lc0 скажем на 10%, тем самым перекосив соотношение в нашу сторону, соотношение сил внезапно становится "нечестным" и надо это компенсировать железом?
В другую сторону это тоже работает (если Stockfish ускорится из-за какой-нибудь хитрости в коде, Lc0 не должна получать автоматом видеокарту побыстрее).

[Maratka]

Про то и разговор.

Но не имея некого коэффициента пересчета производительности заведомо разного железа, любой турнир по сути не имеет значения. Скажем не уверен, что много у кого дома найдется железка, более-менее похожая на TCEC'овску, а тем более - 3C.

А значит, невозможно и сказать, кто сильнее, ибо все это завязано на железо. Все что можно сказать - так то, что "такой-то движок на таком-то железе и таком-то списке дебютов выступил так-то против другого движка".
a-b (и даже Komodo MCTS) в этом плане уровнять куда как проще: даешь им столько потоков, сколько есть. А если они их переварить не могут - их проблема (пишите товарищи нормальный код!).

[alchemist888]

Цитата: Сообщение от crem

Идея брать соотношение 1:875 (или какое-нибудь другое соотношение) в качестве какого-то уравнивающего фактора неправильна.
Получается, что если например мы смогли пооптимизировать и ускорить Lc0 скажем на 10%, тем самым перекосив соотношение в нашу сторону, соотношение сил внезапно становится "нечестным" и надо это компенсировать железом?
В другую сторону это тоже работает (если Stockfish ускорится из-за какой-нибудь хитрости в коде, Lc0 не должна получать автоматом видеокарту побыстрее).

Соотношение скоростей - это на данный момент лучшее, что есть. Понятно, что из-за разницы в подходах между AB и NN движками вряд-ли можно прийти к точному сравнению их силы.
Соотношение цены на оборудование также не помогает. Тут разные сегменты - low level/middle/high end. Соотношение цена/производительность сильно варьируется от модели процессора/видеокарты. Энергопотребление у железок также отличается.
С другой стороны, соотношения скоростей 1:850 - 1:1000 хорошо себя зарекомендовали. Конечно, эти числа нужно модифицировать: при изменении размерности сети, технологий и внедрения различных фишек в оба движка.

[Maratka]

Цитата: Сообщение от alchemist888

Соотношение скоростей - это на данный момент лучшее, что есть. Понятно, что из-за разницы в подходах между AB и NN движками вряд-ли можно прийти к точному сравнению их силы.

А мне вполне нравится вариант вида "запускай на том что есть". От того, что LZ запущен на медленной видеоплате, он думает не хуже, а медленнее, что можно компенсировать временем. Скажем для адвансеров (а кому еще нужен LZ?) вполне обычное дело ~сутки на ход, и 5 или 15 тыс. узлов тут не играют никакой роли.

Цитата: Сообщение от alchemist888

С другой стороны, соотношения скоростей 1:850 - 1:1000 хорошо себя зарекомендовали.

Да никак они себя не зарекомендовали: будь сеть 11248 на уровне Fritz, врубили бы для "компенсации" соотношение 1:200, или даже 1:100. А потом, обучив сеть на других алгоритмах, вышли бы на уровень SF... И чего делать? Запускать SF на шести ядрах против пары RTX 2080?

Цитата: Сообщение от alchemist888

Конечно, эти числа нужно модифицировать: при изменении размерности сети, технологий и внедрения различных фишек в оба движка.

Но если менять, то пропадает возможность соревнований. Сеть LZ 4xx же обучили иначе, чем сеть 3xx? Ну значит давайте 1:1400! Но тогда ведь LZ не выиграет? Да, не выиграет. Будет что-то около 50:50, как в первом их очном финале. Причем всегда, на любой стадии развития LZ и SF. И смысл турниров?

________
Потому мои условия простые: соревнуются на том железе, которое реально впихнуть в одну коробку. У Intel это Xeon'ы на 384 ядра, у LZ это где-то с 6-7 Тесел.

[Омегазеро]

Цитата: Сообщение от Maratka

А значит, невозможно и сказать, кто сильнее, ибо все это завязано на железо

Если выбор железа сделать однозначным, то возможно

Цитата: Сообщение от alchemist888

Соотношение цены на оборудование также не помогает. Тут разные сегменты - low level/middle/high end

Помогает!
Надо просто отдельно выбирать low level/middle/high end

Я предложила критерии
1. Равная цена
2. Равное энергопотребление
3. Оборудование должно быть лучшим для движков (дающим наибольшую скорость)
4. Оборудование должно быть выпущенным в одно время

С первыми тремя все согласились, с четвертым не согласны фанаты Стокфиша. Им хочется старые мощные уценнные процессоры продвинуть

но вы же понимаете, что без четвертого критерия выбор становится неоднозначным
не нравится мой критерий - предложьте свой

но я считаю его разумным, потому что там получается отношение скоростей 1:2200, которое очень интересно. Так как Лила и Стокфиш там бьются на равных, и это всего интереснее, чем доминирование

[EngMatch]

Цитата: Сообщение от crem

(если Stockfish ускорится из-за какой-нибудь хитрости в коде, Lc0 не должна получать автоматом видеокарту побыстрее).

Cfish на 20 (2х10) ядрах под Linux на 37% быстрее.
http://www.talkchess.com/forum3/view...hp?f=2&t=71013
"Stockfish's Local/Remote Memory Access Ratio was 1.0, while Cfish's was 1.8."
"Summary: Stockfish's NUMA performance seems much worse than Cfish's, which likely results in suboptimal performance by Stockfish on high-end systems (like the one at TCEC, for example)."
http://talkchess.com/forum3/viewtopic.php?f=7&t=71027

Протестировать бы Cfish vs Stockfish на NUMA машине под Windows в плане Эло и выставить в будущем суперфинале TCEC c Сontempt 0. Желательно включить HT и large memory pages.

[EngMatch]

asmFish, который тоже с NUMA awareness, еще быстрее, но он сильно отстает по патчам.

[alchemist888]

Цитата: Сообщение от Омегазеро

Если выбор железа сделать однозначным, то возможно

Помогает!
Надо просто отдельно выбирать low level/middle/high end

Я предложила критерии
1. Равная цена
2. Равное энергопотребление
3. Оборудование должно быть лучшим для движков (дающим наибольшую скорость)
4. Оборудование должно быть выпущенным в одно время

Согласен, это очень хорошие критерии для сравнения движков. Но здесь слишком много условий, соблюсти которые крайне тяжело. Причем на разных конфигурациях соотношения сил между Стокфишом и LCZero будет меняться.

[sovaz1997]

Ну, поэтому, собственно, и появилось соотношение 1:1000, т. к. оно близкое к среднему при одинаковой цене/энергопотреблении. Естественно, привязываться к соотношению не нужно и оно запросто может измениться.

[Maratka]

Цитата: Сообщение от sovaz1997

Естественно, привязываться к соотношению не нужно и оно запросто может измениться.

В смысле менять железо в зависимости от динамики роста SF и LZ?
Ну это да, правильно, у LZ обучение 4xx сейчас буксует, а новая сеть хорошо если месяцев через 3-4 будет, причем не факт, что она обойдет 4xx сильнее, чем 4xx 3xx (может и вообще там пшик будет вида +10 ELO к концу обучения).
SF же похоже только за сегодня-завтра получит 10+ ELO за счет лучшего мультипроцессинга. С учетом прошлых патчей - это 15 за две недели.
Т.е. явно нужна ставить вторую RTX 2080 Ti вместо 2080.

Кстати, интересный вопрос, может crem подскажет: насколько вообще это хорошо, когда две разные видеоплаты с точки зрения распараллеливания нагрузки между ними?

[sovaz1997]

Maratka, я имею ввиду, что соотношение может поменяться за счёт выхода новых процессоров/видеокарт с той же стоимостью, либо путем внесения существенных изменений в код движка

[Maratka]

Ну а я про что?
Разве это не существенное изменение в коде SF, если теперь он похоже дает где-то около 2-2,5 ELO плюсом на каждые десять дополнительных потоков? Т.е. просто увеличиваем количество потоков с 8 до 30, и получаем около 6-7 ELO вместо 2,5 против ровно того же самого мастера. По моему скромному мнению, это весьма существенное изменение!

Ну а то, что железо в TCEC устарело, я пишу уже добрый год. Его конечно можно еще оставить "пожить", но SF'шу теперь явно на 43 ядрах будет тесно. 80 потоков (из 88 имеющихся) было бы вполне разумно. Да и сети на двух разных платах крутить не факт, что идеальный вариант. Я даже допускаю, что для LZ было бы лучше две 2080, чем одна плюс одна Ti'шка (но это crem должен прикинуть, вопрос ему выше задан).

[sovaz1997]

Maratka, я имею ввиду такое изменение, при котором nps меняется. Не о силе игры речь. Сил игры не должна влиять на железо.

[Maratka]

nps меняется от любого патча.

[alchemist888]

Цитата: Сообщение от Maratka

nps меняется от любого патча.

На 10-20%?

[sovaz1997]

Цитата: Сообщение от Maratka

nps меняется от любого патча.

Средний nps по всем матчам

[Vizvezdenec]

Цитата: Сообщение от alchemist888

На 10-20%?

Ну, вообще говоря, в 2014 году стокфиш был быстрее процентов на 60
Особенно замедляют его всякие истории контрходов и прочие вещи, Andrew Grant с Ethereal в своё время так написал кипу патчей по истории ходов, nps сразу с 85 mnps до 65 в TCEC рухнул.
Правда, эло приросло на 50.

[alchemist888]

Цитата: Сообщение от Vizvezdenec

Ну, вообще говоря, в 2014 году стокфиш был быстрее процентов на 60
Особенно замедляют его всякие истории контрходов и прочие вещи, Andrew Grant с Ethereal в своё время так написал кипу патчей по истории ходов, nps сразу с 85 mnps до 65 в TCEC рухнул.
Правда, эло приросло на 50.

Что получаем в среднем 12% падение скорости в год? Тогда раз в год можно и пересматривать
Вообще зачем мерить скорость SFdev версий, если есть нормальный эталонный Stockfish 8, по которому можно калибровать оборудование для соревнований с поправкой на изменение скоростей самой LCZero