LCZero

[Maratka]

Оно и в Windows делается.



Единственное, не знаю, можно ли это задать наперед, чтобы сразу после запуска процесса он работал на нужных ядрах.

[dew]

Можно, и в Linux, и в Windows на уровне кода управления нитками и форками

[Maratka]

Цитата: Сообщение от Vizvezdenec

Нет, было бы очень интересно сделать нормальную реализацию пондера с точки зрения инженерной задачи, но это, в общем-то, никому абсолютно не нужно, поэтому текущая реализация - просто "есть"

Ну значит имелось в виду сказанное выше.

[Vizvezdenec]

Ну Andrew Grant поддержку Ponder сделал совсем недавно, например, т.к. считал это весьма бесполезной ерундой, которой никто не пользуется.
Собственно, только один рейтинг-лист имеет пондеровый рейтинг-лист, и то он там далеко не основной.

[Омегазеро]

Цитата: Сообщение от Vizvezdenec

Вы перед тем, как нести бред

Сравним то, что я написала, с тем что вы написали

Вы писали

Цитата:

считает, что противник ответит по первой линии прошлого хода (по крайней мере оно так в SF реализовано)

Я писала

Цитата:

оптимизированы для пондера (вместо анализа в ширину углубляются в наиболее вероятные ходы)

первая линия прошлого хода - это и есть то, что движок считает наиболее вероятным ходом
То есть мои слова являются обобщением ваших
И если я написала бред, то вы тоже

Вы писали

Цитата:

насколько хорошо ваш противник попадает в ваши же ходы

Я писала

Цитата:

движки равной силы рассматривают реально сделанный ход соперника в числе вероятных

Это по смыслу вообще одно и то же
И если я написала бред, то вы тоже

Цитата: Сообщение от Vizvezdenec

Текущие реализации дают примерно 60% эффективности

А вот эту вашу цифру я предвидела. И написала

Цитата:

Мне кажется, причины вызвезденства в незнании матстатистики
Он считает, что основное время используется гораздо эффективнее пондер-времени
На самом деле эффективность оценивается процентом процессорного времени, потраченного впустую - то есть на отброшенные ветки

А вы это опровергнуть не смогли. Написали длинный пост, где проигнорировали эти аргументы
Ваша цифра 60% показывает лишь, "насколько хорошо ваш противник попадает в ваши же ходы"
А эффективность зависит не только от этого

Цитата: Сообщение от Vizvezdenec

Кстати говоря, это измерялось исключительно для ABminimax движков, а для MCTS не измерялось никем

Померяйте
Только как измерять будете?

[Омегазеро]

Цитата: Сообщение от Maratka

Откуда эти 40 пунктов?

Вопрос совершенно правильный
Сейчас gblchess64 протестировал сеть "терминатор" J13 на скоростях 1500npm против 1500knpm - и с удивлением обнаружил, что она на 37 пунктов отстает от Стокфиша
О чем это говорит? О том, что неизвестно, как такое отношение скоростей правильно пересчитывать в то, что бывает на реальном оборудовании

[Омегазеро]

Цитата: Сообщение от Maratka

Кто-то провел хотя бы тысяч десять партий на хотя-бы 10-16 ядрах у SF против GTX 1660 Ti- 2070 на контроле хотя бы минут пять на партию?

Давайте так

Возьмем за базовый уровень партию в пять минут на четырехядернике против GTX1650 (9mps/4knps)
После чего эмулируем эту скорость на шестнадцатиядернике против 2060 (45mps/20knps)

Либо запустим пять потоков, либо сократим время с пяти минут до одной. Фактически это одно и то же

Получим 1 минуту на партию, 1440 партий в сутки
10 тысяч партий будут сыграны за 7 суток

Я согласна при одном условии - прямоугольная матрица тестирования

[Vizvezdenec]

"Контроль 2+1,5 с пондером (фактически - 4+3)" (оригинальная фраза)
"Он считает, что основное время используется гораздо эффективнее пондер-времени"
Да, я считаю и тесты это подтверждают.
Поэтому первое утверждение - бред. "Фактически 4+3" - это просто НЕВЕРНО и всё.
Конец диалога.
Дальше строчите хрень, больше я на неё отвечать не буду. Потому что облажаться, но лезть в бутылку, что "я тут писала то, это", при этом соврав по факту - у меня с такими дурачками желания разговаривать нет. Можете проводить ещё триллион корявых тестов, ссылаясь на кандидатские диссертации кого угодно, при этом не понимая самых базовых вещей. От ссылок на чёрт знает что они более весомыми не становятся.

[Омегазеро]

alchemist888! Alex_Lk! Alvir!

Давайте я на пальцах покажу, как вас дурит Вызвезденец

Итак, предположим, что шахматный движок тратит время на вычисления и находит сильный ход, который ставит на первую линию.
Хорошо бы на этом остановиться, но в реальности движки продолжают вычислять в надежде найти лучший ход в соседних ветках. Но не находят - и вынуждены сделать ход, который нашли раньше

Предположим, что в среднем движок тратит 60% времени на вычисления в ветке, по которой он сделал ход, и 40% - на вычисления в других ветках после того, как ход уже был поставлен на первую линию

В таком случае 60% проделанных вычислений эффективны, так как помогли найти и просчитать ветку, по которой сделан ход, а 40% вычислений неэффективны, так как их наработки окажутся полностью потеряны после того, как ход сделан

Итак, ход сделан и начинается пондер-время. Не зная, какой ход сделает соперник, программа берет из предыдущих эффективных вычислений ход противника, который посчитала наиболее вероятным, и начинает вычисления

Предположим, что в среднем в 60% случаев противник действительно сделает этот ход. Тогда в 40% случаев вычисления будут полностью потеряны (противник сделал другой ход) - этот процент вычислений неэффективен

А в тех 60% случаев, когда ход противника угадан, все проделанные вычисления в среднем окажутся полностью эффективными, потому что пондер-время в среднем составит лишь 50% от общего времени размышлений движка, а мы предположили, что движок тратит 60% времени на выбор хода, который будет сделан.

50% меньше 60%, то есть пондер-вычисления полностью пригодятся для выбора хода (эффективны), если ход противника угадан правильно

Так как в среднем это происходит в 60% случаев, мы получаем, что эффективность пондер-времени - в среднем тоже именно 60%

Основное время - 60%, и пондер-время - тоже 60%. Одинаково!

Это объяснение "на пальцах", математически тут более сложная ситуация, связанная с условными вероятностями. Однако с точностью до величин второго порядка эффективность основного и пондер-времени действительно окажется близка

При условии, что сами движки близки по силе. Иначе они плохо будут предсказывать ходы друг друга и неэффективно расходовать основное время

[Alex_Zet]

Что такое условные вероятности тут на форуме мало кто понимает, а следовательно это не тот путь.
Но я бы обратил внимание на две вещи.
Почему то как всегда админы оставили без внимания то что чел начинает обзывать собеседника. Это первое.
И просто присмотритесь. Более чем за год чел поблагодарил форумчан всего лишь 28 раз. В то же время ему самому рукоплескали 2657 раз. Чел привык купаться в лучах софитов и любит что если он говорит то все вокруг умолкает. Это вполне характеризует его, ведь на его месте любой был бы менее черств и высокомерен.

[Омегазеро]

Цитата: Сообщение от Alex_Zet

ему самому рукоплескали 2657 раз. Чел привык купаться в лучах софитов

Вот как играет Стокфиш после патчей Вызвезденца
Мат на 11-м ходу

[Event "My Tournament"]
[Site "?"]
[Date "2019.09.01"]
[Round "1"]
[White "lc0"]
[Black "stockfish_19082608_x64_bmi2"]
[Result "1-0"]
[ECO "A01"]
[GameDuration "00:02:07"]
[GameEndTime "2019-09-01T16:58:08.885 RTZ 2 (зима)"]
[GameStartTime "2019-09-01T16:56:01.574 RTZ 2 (зима)"]
[Opening "Nimzovich-Larsen attack"]
[PlyCount "47"]
[TimeControl "120+1.5"]
[Variation "Classical Variation"]

1. b3 {book} d5 {book} 2. Bb2 {book} Nf6 {book} 3. Nf3 {+0.09/8 2.3s}
Bg4 {+0.19/25 11s} 4. e3 {+0.13/9 2.3s} e6 {+0.31/24 0s} 5. h3 {+0.16/10 3.5s}
Bxf3 {+0.17/23 5.5s} 6. Qxf3 {+0.42/8 3.4s} Be7 {+0.17/23 1.9s}
7. g4 {+0.60/10 4.2s} O-O {-0.41/22 4.7s} 8. h4 {+0.55/11 7.4s}
Ne4 {+0.17/24 2.8s} 9. g5 {+0.50/10 2.7s} Nd6 {-0.07/23 0.97s}
10. Bd3 {+0.84/8 3.0s} c5 {-0.33/25 7.3s} 11. Bxh7+ {+3.71/14 2.8s}
Kxh7 {-M22/68 5.6s} 12. Qh5+ {+4.87/14 0.32s} Kg8 {-M20/68 0.001s}
13. Bxg7 {+5.63/12 0.37s} Kxg7 {-M18/71 1.6s} 14. Qh6+ {+5.83/12 1.6s}
Kg8 {-M16/75 0.001s} 15. g6 {+7.33/10 1.8s} fxg6 {-M14/79 0s}
16. Qxg6+ {+128.00/2 7.7s} Kh8 {-M12/115 0s} 17. Qh6+ {+128.00/2 6.0s} Kg8
18. Rg1+ {+128.00/2 5.4s} Bg5 19. Qg6+ {+128.00/3 10s} Kh8
20. hxg5 {+128.00/2 3.3s} Rf4 21. exf4 {+128.00/2 5.3s} Qg8 {-M4/245 0.010s}
22. Qh6+ {+128.00/2 3.8s} Qh7 {-13.17/1 0.001s} 23. Qf8+ {+128.00/4 3.8s} Qg8
24. Rh1# {+128.00/4 4.2s, White mates} 1-0

[Alex_Lk]

Цитата: Сообщение от Омегазеро

alchemist888! Alex_Lk! Alvir!
Давайте я на пальцах покажу, как вас дурит Вызвезденец

Все таки, лучше ссылку давать на конкретный пост. Просто искать неудобно.

Цитата: Сообщение от Омегазеро

Итак, предположим, что шахматный движок тратит время на вычисления и находит сильный ход, который ставит на первую линию.
Хорошо бы на этом остановиться, но в реальности движки продолжают вычислять в надежде найти лучший ход в соседних ветках. Но не находят - и вынуждены сделать ход, который нашли раньше

Предположим, что в среднем движок тратит 60% времени на вычисления в ветке, по которой он сделал ход, и 40% - на вычисления в других ветках после того, как ход уже был поставлен на первую линию

Все согласны, что эффективность игры под пондером зависит от вероятности угадать ход соперника.
И "средняя" вероятность 60%.

Теперь осталось сделать маленький шажок.

В половине случаев ответ очевиден и вероятность ответа почти 100%.

А случаях где действительно надо выбирать ход, вероятность угадать ответ 10-40%.


Но на очевидные ходы можно тратить очень мало времени думаю меньше 1%. Особо копать в глубину не к чему, да и глубина в таких позициях набирается очень быстро. Просто "time manager" в таких случаях перестраховывается.
Вот для этого 1% пондер хорошо работает.

99% ресурсов тратятся на те позиции где действительно надо выбирать ход. И здесь эффективность пондера равна вероятности угадать ход соперника. Если рассматривать не один ответ соперника а несколько, то вероятность угадать все равно не увеличится.

Так что к.п.д. пондера вряд ли выше 20-25%.

Ну и обычно оба движка делят один комп, память и ядра. И в таком случае оставлять пондер, это снижать эффективность вашей железки почти вдвое.

Цитата: Сообщение от Омегазеро

Это объяснение "на пальцах", математически тут более сложная ситуация, связанная с условными вероятностями. Однако с точностью до величин второго порядка эффективность основного и пондер-времени действительно окажется близка

Точность результата зависит не только от точности вычислений, но и от достоверности данных.
Можно под супер-точный вычислительный аппарат засыпать ерунду. И ничего, кроме ерунды всеравно не получите.
Так что "умные" величины второго порядка тут скорее всего можно отбросить без потери точности.
Впрочем, если не лень можете и более высокие "порядки" считать.

З.Ы. Кстати если никто тут не силах понять, что такое условная вероятность. Приведите примеры безусловной вероятности.

[Maratka]

Цитата: Сообщение от Alex_Lk

Можно под супер-точный вычислительный аппарат засыпать ерунду. И ничего, кроме ерунды всеравно не получите.

Пятилетка - шаг к коммунизму. Анекдот такой был тридцать лет назад: японцы построили супер-пупер компьютер, наши решили его загрузить, ну и задали вопрос: когда будет коммунизм в СССР. Ответ: через 5000 км.

[Maratka]

Цитата: Сообщение от Alex_Lk

Ну и обычно оба движка делят один комп, память и ядра. И в таком случае оставлять пондер, это снижать эффективность вашей железки почти вдвое.

Для LZ это условно работает. Но только условно, ибо для домашних тестов, где 4-8 ядер, если отдать LZ даже всего пару (а больше крайне редко когда нужно) - то все одно уже будет заметно.

[Alex_Lk]

Цитата: Сообщение от Maratka

Пятилетка - шаг к коммунизму. Анекдот такой был тридцать лет назад: японцы построили супер-пупер компьютер, наши решили его загрузить, ну и задали вопрос: когда будет коммунизм в СССР. Ответ: через 5000 км.

От Кевина ближе.

Извините за оффтоп

[Alex_Lk]

Цитата: Сообщение от Maratka

Для LZ это условно работает. Но только условно, ибо для домашних тестов, где 4-8 ядер, если отдать LZ даже всего пару (а больше крайне редко когда нужно) - то все одно уже будет заметно.

Почти согласен.
Но память они общую делят.

Для АВ-движков на длинных контролях hash должен быть как можно больше.

[svoitsl]

Цитата: Сообщение от Омегазеро

Давайте я на пальцах покажу, как вас дурит Вызвезденец

Все таки теория конечно хорошо, без неё практика слепа, но вот как это реализовано в коде все таки уже совсем другое дело.
То что пондер реализован "на отстань", в это я поверить могу. Режим редкий и на домашних компах редкий в квадрате (до недавнего времени). Поэтому вложение в него труда в среднем какого то профита могут и не принести. Этого труда и на нужные то вещи не очень то и хватает (например тайммнеджмент в Лиле не могут починить с мая)

Цитата: Сообщение от Alex_Lk

Для АВ-движков на длинных контролях hash должен быть как можно больше.

да и Лила память сжирает довольно быстро на хорошем проце

[Maratka]

Цитата: Сообщение от svoitsl

То что пондер реализован "на отстань", в это я поверить могу. Режим редкий и на домашних компах редкий в квадрате (до недавнего времени).

Используется в игре движками на PlayChess, но там нет проблемы деления ресурсов одной железки по определению. Поэтому работает, как работает - ну и хорошо, угадали - получили бонус по времени, не угадали - не получили, но ничего и не потеряли.

[dew]

Я бы не стал, говорить, что ponder - вещь сомнительная.
Например, я однажды не вкурил, как Cfish делает BestMove из книги с пондером... Точнее вкурил - не фига он не делает
Поэтому было решено произвести эксперимент на больших книгах - при пондере чесать все ветвления книги, чтобы на выходе получить самую выгодную позицию.. и и был достигнут профит!

[Maratka]

Не совсем понял, как оно связано с книгой?

[Maratka]

Цитата: Сообщение от Омегазеро

Вот как играет Стокфиш после патчей Вызвезденца

Я так понимаю, Вы уже проверили, и без них результат лучше?

[Vizvezdenec]

На примере 3 партий, как обычно.
О том, насколько в стокфише проработан пондер, свидетельствует, например, тот факт, что создать тест с пондером на фиштесте невозможно. Соответственно и улучшать его тоже.

[Maratka]

Цитата: Сообщение от Vizvezdenec

На примере 3 партий, как обычно.

Да вот сомневаюсь.... в ее примере то ровно одна партия!
Ну и еще одна была тот же дебют, но очевидно против SF без Ваших патчей.

Кстати, когда Вы так успели для нашей тестерши аккуратненько вырезать Ваши правки (с учетом того, что за время их существования на них наложились в той или иной степени другие правки)? Причем как напрямую, перехлестом кода, так и косвенно - без Вашего кода какой-то другой патч даст не тот результат, который дал?

Или не Вы, а сама код резала?

[dew]

Цитата: Сообщение от Maratka

Не совсем понял, как оно связано с книгой?

я описывал это тут:

https://github.com/syzygy1/Cfish/issues/96

[Alex_Zet]

Омегазеро, не связывайтесь с этой стаей. Было бы с кем связываться.

[alchemist888]

Цитата: Сообщение от Омегазеро

alchemist888! Alex_Lk! Alvir!
Давайте я на пальцах покажу, как вас дурит Вызвезденец

Я поставил "+" к посту, потому что увидел в нем полезную информацию. Не знаю насколько цифры Viz'a правильные, но без всяких сомнений проводить тесты лучше с выключенным пондером.
Во-первых, даже если бы ponder работал идеально, то все равно крайне сложно разделить мощности и память ровно 50/50
Во-вторых, ponder может давать преимущество одному из движков, для которого он наиболее благоприятен. Предполагаю, что LCZero, из-за особенностей поиска, будет использовать его на все 100%. В то время как SF - нет.
В-третьих чисто логически не вижу смысла использовать ponder. Зачем давать движкам 50% мощностей перманентно, если можно использовать все 100%, но поочередно? Да, в случае с NN и AB движками мы можем получить прирост, но даже в этом случае есть нейронные сети используют процессор, а AB движкам видеокарта без надобности, поэтому у последние несколько обделены.

[Vizvezdenec]

Я тут вспомнил, что где-то незадолго до релиза SF9 был такой человек с никнеймом Lesterson74.
Я тогда никаким разработчиком ещё не был, был просто обычным фанатом
В общем там что было, как раз вышел Гудини 6. И он в рейтинг листах оказался чуть выше SF (рабочего Contempt тогда ещё не было). Этот самый лестерсон где-то 20 тестов сделал, ничего не добился (ну точнее из них было 2-3 "неплохих" жёлтых) и стал спамить на форуме Fishcooking про то, что методология разработки SF безнадёжно устарела, надо тестировать не по книге, а по набору готовых позиций и нахождению в них лучшего хода, и по матчам против Гудини и Комодо, что прогресса в ближайшем будущем вообще не будет с текущей методикой и т.д.
Даже запустил свой матч на очень длинном временном контроле между SF dev и H6.
И спамил поражениями SF на форуме под лозунгом того, что "я же говорил".
Ну в общем всё это замечательно было (хотя я ему много раз намекал, что занимается он какой-то фигнёй) до того, как его матч был в пользу Гудини, после 100 игр было аж +11-4 или что-то такое.
А потом как поехало... Через ещё 50 игр счёт был уже +13-13, а ещё через 20 +13-19. И как-то посты про плохую методологию и результаты этого турнира очень резко вообще пропали с форума и больше этого лестерсона никто и никогда не видел (хотя он обещался то ли 200, то ли 300 игр сыграть, но прекратил всё после 170). Все совпадения с действительными событиями абсолютно случайны.
"Собака лает - караван идёт".

[Alex_Zet]

Поучительная история о том как борются с инакомыслием в лагере стокфиша.
Не знаю что сподвигло Vizvezdenec к написанию мемуаров, может быть запоздалое раскаяние, но только можно себе представить через что прошел Лестерсон, человек который пошел против системы.
Оказывается, если человек делится результатами своих тестов то это называется И спамил поражениями SF на форуме.
И по примеру с Омегазеро, когда идет вал словесной обструкции в ее адрес, я представляю что означала для Лестерсона вот эта фраза - (хотя я ему много раз намекал, что занимается он какой-то фигнёй)
А уж вот это - и больше этого лестерсона никто и никогда не видел, вообще звучит зловеще.

Показательно расправились. И таких лестерсонов десятки, если не сотни.

PS. Но память о Лестерсоне - человеке легенде, человеку с большой буквы, который пошел против системы, будет жить в наших сердцах. И даже здесь на ТСЕС, турнир проходит под его лозунгом - надо тестировать не по книге, а по набору готовых позиций и нахождению в них лучшего хода Нынешние дебютные расстановки от Като этому свидетельство.

[Maratka]

Цитата: Сообщение от Омегазеро

Возьмем за базовый уровень партию в пять минут на четырехядернике против GTX1650 (9mps/4knps)
После чего эмулируем эту скорость на шестнадцатиядернике против 2060 (45mps/20knps)

Ничего мы не эмулируем. Ну хотя бы потому, что патч SF от конца июля явно идет в гору по мере увеличения контроля. Было проверенно на сверхнизких ~2 секунд/партия, 10 секунд, минута и две или три, и нет вообще никаких причин считать, что эти две или три минуты - предел, наоборот, очень похоже, что это чуть ли не стартовая точка.

[Programmist]

А что будет, если с Лилой сыграть a4, b3, c3? Она не заглючит? Если она плохо играет фишеровские позиции, не будет ли она в не стандартных дебютах плавать?