Forchess - форум о заочных шахматах  

Вернуться   Forchess - форум о заочных шахматах > Заочные турниры и партии > Шахматные программы и движки

Ответ
 
Опции темы Опции просмотра
Старый 13.02.2020, 01:09   #61
Maratka
Эксперт
ТС
 
Аватар для Maratka
 
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,829
Сказал(а) спасибо: 3,286
Поблагодарили 5,916 раз(а) в 4,232 сообщениях
Репутация: 250
По умолчанию Re: Оптимизации SF в зависимости от компилятора, профилирования и ключей компилятора

И как научная работа помогает объяснить, что патч после 500 партий был золотым, платиновым, а то и добрым алмазным, а после 16 тыс партий стал обычным (статистически) неудачником?
Maratka вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Владимир001 (13.02.2020)
Старый 14.02.2020, 01:51   #62
Омегазеро
Гроссмейстер
 
Аватар для Омегазеро
 
Регистрация: 20.01.2019
Сообщений: 1,067
Сказал(а) спасибо: 2
Поблагодарили 701 раз(а) в 343 сообщениях
Репутация: 92
По умолчанию Re: Оптимизации SF в зависимости от компилятора, профилирования и ключей компилятора

Цитата: Сообщение от Maratka
патч после 500 партий был золотым, платиновым, а то и добрым алмазным, а после 16 тыс партий стал обычным (статистически) неудачником?
Мы только что говорили об этом
Такой патч неравномерно усиливает движок на разных группах дебютов. Оказавшись в море мусорных дебютов, патч играет хуже и необоснованно признается неудачником

Подобная методика тестирования губит хорошие патчи, которые плохо играют на мусорных дебютах, и продвигает плохие патчи, которые хорошо играют на мусоре и плохо играют на классических дебютах

Гипотеза Вызвезденца о сцепленности (сильный патч на мусоре якобы всегда должен являться сильным на норме) в общем случае неверна. Шахматы не являются случайной игрой в кости и абсурдно предполагать, что одни и те же игровые ситуации (которые улучшает патч) будут с одинаковой частотой встречаться в играх по разным дебютам, тем более если речь идет о неправильных дебютах, которые сбивают все логику игры

В любом случае идея тратить 90% ресурсов для тестирования патчей на мусоре является контрпродуктивной
Омегазеро вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
АЛЕКСЕЙ1976 (09.06.2020), Владимир001 (14.02.2020)
Старый 14.02.2020, 03:47   #63
Maratka
Эксперт
ТС
 
Аватар для Maratka
 
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,829
Сказал(а) спасибо: 3,286
Поблагодарили 5,916 раз(а) в 4,232 сообщениях
Репутация: 250
По умолчанию Re: Оптимизации SF в зависимости от компилятора, профилирования и ключей компилятора

Цитата: Сообщение от Омегазеро
Оказавшись в море мусорных дебютов, патч играет хуже и необоснованно признается неудачником
SF играет в шахматы. Нет там мусор или не мусор. Зарядите его против любого движка 10-20 летней давности. По Вашей логике, там будут сплошные "мусорные ходы", ибо эти движки на много сотен ELO слабее, чем SF. И что теперь, SF'шу это выигрывать не нужно? :D
Maratka вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Viktor (14.02.2020)
Старый 14.02.2020, 08:36   #64
Rom77
Мастер
 
Аватар для Rom77
 
Регистрация: 11.08.2017
Адрес: Киров
Сообщений: 912
Сказал(а) спасибо: 888
Поблагодарили 1,197 раз(а) в 632 сообщениях
Репутация: 132
По умолчанию Re: Оптимизации SF в зависимости от компилятора, профилирования и ключей компилятора

Развернуть для просмотра

Цитата: Сообщение от ChessMan
1 core, concurrency 12
TC 30+0.3, hash 32 MB.


Цитата: Сообщение от Омегазеро
Маратка вам врет - разница Эло многократно выше ошибки
Вот формула для расчета, убедитесь https://ru.wikipedia.org/wiki/%D0%A1...B1%D0%BA%D0%B0
4.96 - это удвоенная выборочная дисперсия, ее надо разделить на квадратный корень из числа партий, деленный на два
к получившемуся результату надо добавить ошибку дебютов. А какова она, зависит от того, какой дебютный набор вы использовали
[свернуть]

Посчитал стандартную ошибку по формуле Омегазеро на данных ChessMan'а. Результаты вполне себе совпали со значением выводимым Cutechess в тесте ChessMan'а. В общем +/- 4.96 это и есть та самая ошибка, то есть диапазон указан вполне корректно. Выкладки прилагаю. Кроме того, выкладываю калькулятор рейтинга, если кто-то захочет посчитать рейтинги самостоятельно для других исходов.

Честно говоря даже немного не ожидал такого совпадения результатов, поскольку Cutechess по-видимому вычисляет свои цифры на основе BayesElo, считающего свои интервалы несколько иначе. Рейтингов вычисленных по Ordo это тоже касается.

Также хочу отметить, что стандартный метод имеет некоторые ограничения при вычислениях на больших перевесах в рейтинге и с малым количеством партий. Это в свое время вызвало активное обсуждение на форумах, что в конечном итоге и привело к тому, что Реми Кулом создал калькулятор BayesElo.
Вложения
Тип файла: zip Обоснование.zip (33.7 Кб, 7 просмотров)
Тип файла: zip Калькулятор эло.zip (8.2 Кб, 5 просмотров)

Последний раз редактировалось Rom77; 14.02.2020 в 09:27.
Rom77 вне форума   Ответить с цитированием
4 пользователя(ей) сказали cпасибо:
alchemist888 (14.02.2020), ChessMan (15.02.2020), Viktor (14.02.2020), АЛЕКСЕЙ1976 (09.06.2020)
Старый 14.02.2020, 10:08   #65
Омегазеро
Гроссмейстер
 
Аватар для Омегазеро
 
Регистрация: 20.01.2019
Сообщений: 1,067
Сказал(а) спасибо: 2
Поблагодарили 701 раз(а) в 343 сообщениях
Репутация: 92
По умолчанию Re: Оптимизации SF в зависимости от компилятора, профилирования и ключей компилятора

Цитата: Сообщение от Rom77
Посчитал стандартную ошибку по формуле Омегазеро на данных ChessMan'а. Результаты вполне себе совпали со значением выводимым Cutechess в тесте ChessMan'а. В общем +/- 4.96 это и есть та самая ошибка, то есть диапазон указан вполне корректно
Лестно слышать, что какая-то формула называется моим именем
Но то, что вы считали, не имеет отношения к тому, что я писала

У вас формула стандартной ошибки среднего применяется для дисперсии s величины x, которая является средним числом очков, набранных в матче

После чего доверительные интервалы для x пересчитываются в рейтинг Elo по формуле 400 log10 (x+/(1 - x+)). Тем самым считается интервал для мгновенного рейтинга

А у меня речь шла о применении формулы стандартной ошибки среднего для дисперсии Эло - не мгновенного, а среднего по всему матчу
Омегазеро вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
АЛЕКСЕЙ1976 (09.06.2020)
Старый 14.02.2020, 10:11   #66
Rom77
Мастер
 
Аватар для Rom77
 
Регистрация: 11.08.2017
Адрес: Киров
Сообщений: 912
Сказал(а) спасибо: 888
Поблагодарили 1,197 раз(а) в 632 сообщениях
Репутация: 132
По умолчанию Re: Оптимизации SF в зависимости от компилятора, профилирования и ключей компилятора

Цитата: Сообщение от Омегазеро
А у меня речь шла о применении формулы стандартной ошибки среднего для дисперсии Эло - не мгновенного, а среднего по всему матчу
У меня приведены вычисления именно для среднего по всему матчу. В обосновании все ссылки есть.
Rom77 вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Владимир001 (14.02.2020)
Старый 15.02.2020, 20:03   #67
ChessMan
Super Moderator
 
Аватар для ChessMan
 
Регистрация: 04.01.2017
Сообщений: 3,629
Сказал(а) спасибо: 2,879
Поблагодарили 6,463 раз(а) в 2,331 сообщениях
Репутация: 354
По умолчанию Re: Оптимизации SF в зависимости от компилятора, профилирования и ключей компилятора

Цитата: Сообщение от Maratka
И как научная работа помогает объяснить, что патч после 500 партий был золотым, платиновым, а то и добрым алмазным, а после 16 тыс партий стал обычным (статистически) неудачником?
Так это фиштест. Там патч тестируется на множестве ПК и на каждом из них контроль времени отличается, например не 10+0,1 а 9+0,09 или 13+0,13 (зависит от производительности ЦП/ядер).
Плюс в тестовом наборе очень много позиций.
ChessMan вне форума   Ответить с цитированием
Старый 15.02.2020, 23:22   #68
Maratka
Эксперт
ТС
 
Аватар для Maratka
 
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,829
Сказал(а) спасибо: 3,286
Поблагодарили 5,916 раз(а) в 4,232 сообщениях
Репутация: 250
По умолчанию Re: Оптимизации SF в зависимости от компилятора, профилирования и ключей компилятора

Ну и что это меняет?
При обучении сетей например, одна плата делает 5 ходов в секунду, а другая -120. И вся разница лишь в том, что первая наиграет где-то там условные 1000 партий в сутки, а вторая - 25 тыс. партий.

На FishTest по сути то же: железо калибруется к некоторому эталону, дабы могло за имеющееся время перебрать нужно количество узлов.
Maratka вне форума   Ответить с цитированием
Старый 16.02.2020, 00:01   #69
ChessMan
Super Moderator
 
Аватар для ChessMan
 
Регистрация: 04.01.2017
Сообщений: 3,629
Сказал(а) спасибо: 2,879
Поблагодарили 6,463 раз(а) в 2,331 сообщениях
Репутация: 354
По умолчанию Re: Оптимизации SF в зависимости от компилятора, профилирования и ключей компилятора

Цитата: Сообщение от Maratka
Ну и что это меняет?
При обучении сетей например, одна плата делает 5 ходов в секунду, а другая -120. И вся разница лишь в том, что первая наиграет где-то там условные 1000 партий в сутки, а вторая - 25 тыс. партий.

На FishTest по сути то же: железо калибруется к некоторому эталону, дабы могло за имеющееся время перебрать нужно количество узлов.
В теории так и задумано, но на практике в одной и той же позиции на разном железе Стокфиш сделает разные ходы - из-за тайм-менеджмента. Было бы фиксированное время на ход - ходы были бы идентичные.
ChessMan вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
АЛЕКСЕЙ1976 (09.06.2020)
Старый 16.02.2020, 00:05   #70
ChessMan
Super Moderator
 
Аватар для ChessMan
 
Регистрация: 04.01.2017
Сообщений: 3,629
Сказал(а) спасибо: 2,879
Поблагодарили 6,463 раз(а) в 2,331 сообщениях
Репутация: 354
По умолчанию Re: Оптимизации SF в зависимости от компилятора, профилирования и ключей компилятора

Maratka
Думаю тот тест, что Вы привели, вписывается в погрешность, о которой говорила Омегазеро

Цитата: Сообщение от Омегазеро
Вот формула для расчета, убедитесь https://ru.wikipedia.org/wiki/%D0%A1...B1%D0%BA%D0%B0
4.96 - это удвоенная выборочная дисперсия, ее надо разделить на квадратный корень из числа партий, деленный на два
к получившемуся результату надо добавить ошибку дебютов. А какова она, зависит от того, какой дебютный набор вы использовали
- дебютов слишком много.
ChessMan вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
АЛЕКСЕЙ1976 (09.06.2020)
Старый 16.02.2020, 01:53   #71
Омегазеро
Гроссмейстер
 
Аватар для Омегазеро
 
Регистрация: 20.01.2019
Сообщений: 1,067
Сказал(а) спасибо: 2
Поблагодарили 701 раз(а) в 343 сообщениях
Репутация: 92
По умолчанию Re: Оптимизации SF в зависимости от компилятора, профилирования и ключей компилятора

Цитата: Сообщение от Rom77
У меня приведены вычисления именно для среднего по всему матчу. В обосновании все ссылки есть.
Среднего для числа очков, набранных в матче
А не среднего рейтинга Эло
Омегазеро вне форума   Ответить с цитированием
Старый 16.02.2020, 02:00   #72
Омегазеро
Гроссмейстер
 
Аватар для Омегазеро
 
Регистрация: 20.01.2019
Сообщений: 1,067
Сказал(а) спасибо: 2
Поблагодарили 701 раз(а) в 343 сообщениях
Репутация: 92
По умолчанию Re: Оптимизации SF в зависимости от компилятора, профилирования и ключей компилятора

Цитата: Сообщение от ChessMan
дебютов слишком много.
В том-то и дело!
Расчет, который привел здесь Rom77, опирается на два предположения

а) сила игры движка белыми и черными одинакова
на самом деле давно известно, что игра белыми дает большое преимущество
с этой целью и придумали тестирование с переменой цвета

б) сила игра движка в разных дебютах одинакова
На самом деле давно известно, что в некоторой группе дебютов движки могут играть лучше, чем в другой группе. Особенно очевидно это стало с появлением Лилы

Для правильного расчета должна применяться модель, которая учитывает оба фактора
Омегазеро вне форума   Ответить с цитированием
Старый 16.02.2020, 07:13   #73
Rom77
Мастер
 
Аватар для Rom77
 
Регистрация: 11.08.2017
Адрес: Киров
Сообщений: 912
Сказал(а) спасибо: 888
Поблагодарили 1,197 раз(а) в 632 сообщениях
Репутация: 132
По умолчанию Re: Оптимизации SF в зависимости от компилятора, профилирования и ключей компилятора

Цитата: Сообщение от Омегазеро
Среднего для числа очков, набранных в матче
А не среднего рейтинга Эло
В принципе, не вижу здесь особой темы для обсуждения. Вы указали на страницу в Википедии с расчетной формулой. На английской версии той же страницы, прямо под формулой приводится ссылка на то, как расчитывается s:
https://en.wikipedia.org/wiki/Standa...dard_deviation

Если вы все же полагаете, что считать надо как-то иначе, то попробуйте по-своему. Ведь вы наверное делали какие-то прикидки, если уже знаете значение, которое считаете правильным?

Относительно белого и черного цвета - их как раз учитывают Ordo и BayesElo. Но даже там результаты получаются примерно такие же, как и в моих выкладках.
Rom77 вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Владимир001 (16.02.2020)
Старый 16.02.2020, 11:57   #74
Maratka
Эксперт
ТС
 
Аватар для Maratka
 
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,829
Сказал(а) спасибо: 3,286
Поблагодарили 5,916 раз(а) в 4,232 сообщениях
Репутация: 250
По умолчанию Re: Оптимизации SF в зависимости от компилятора, профилирования и ключей компилятора

Цитата: Сообщение от Омегазеро
Для правильного расчета должна применяться модель, которая учитывает оба фактора
Для правильного расчета достаточно взять просто очень много партий, которые играются по книге с первыми двумя рандомными по-сути ходами, но обработанной таким образом, чтобы не было чего-то вроде 1. Nc3 d5 2. Ne4 dxe4, ибо такие дебюты заведомо дают по очку известной стороне, т.е. являются шумом. Если вдруг двух ходов мало -ну пусть будет три или восемь.

Причем не обязательно даже играть зеркальные партии на тот же дебюте с переменой цвета, количество все решает. Просто в этом случае, количество станет несколько бОльшим, и потому перемена цвета выгоднее с точки зрения ресурсов.
Maratka вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Владимир001 (16.02.2020)
Старый 19.02.2020, 18:29   #75
Омегазеро
Гроссмейстер
 
Аватар для Омегазеро
 
Регистрация: 20.01.2019
Сообщений: 1,067
Сказал(а) спасибо: 2
Поблагодарили 701 раз(а) в 343 сообщениях
Репутация: 92
По умолчанию Re: Оптимизации SF в зависимости от компилятора, профилирования и ключей компилятора

Цитата: Сообщение от Rom77
Если вы все же полагаете, что считать надо как-то иначе, то попробуйте по-своему. Ведь вы наверное делали какие-то прикидки, если уже знаете значение, которое считаете правильным
Считать нужно именно так, как вы делали, там нет ошибок.
Вопрос в интерпретации полученного результата

Вы полагаете, что если формула стандартной ошибки применена к количеству очков, то она не может применяться к рейтингу?

А ведь у этих величин разная природа. Количество очков есть случайная величина, зависящая от разницы рейтингов.

В свою очередь, рейтинг не является случайной величиной. Это точная величина, определяемая с определенной ошибкой.

Поэтому формула стандартной ошибки может применяться дважды: один раз к случайной величине, второй раз для неслучайной величины, имеющей ошибку измерения
Омегазеро вне форума   Ответить с цитированием
Старый 19.02.2020, 18:37   #76
Maratka
Эксперт
ТС
 
Аватар для Maratka
 
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,829
Сказал(а) спасибо: 3,286
Поблагодарили 5,916 раз(а) в 4,232 сообщениях
Репутация: 250
По умолчанию Re: Оптимизации SF в зависимости от компилятора, профилирования и ключей компилятора

Цитата: Сообщение от Омегазеро
А ведь у этих величин разная природа. Количество очков есть случайная величина, зависящая от разницы рейтингов.
Это стабильная величина, при вычислении в процентах очков от максимальных 100%, при стремлении кол-ва партий к бесконечности.


Цитата: Сообщение от Омегазеро
В свою очередь, рейтинг не является случайной величиной. Это точная величина, определяемая с определенной ошибкой.
Это стабильная величина, определяемая с нулевой ошибкой при стремлении кол-ва партий к бесконечности, при сравнении с одним и тем же соперником.
Maratka вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Владимир001 (19.02.2020)
Старый 19.02.2020, 18:54   #77
Rom77
Мастер
 
Аватар для Rom77
 
Регистрация: 11.08.2017
Адрес: Киров
Сообщений: 912
Сказал(а) спасибо: 888
Поблагодарили 1,197 раз(а) в 632 сообщениях
Репутация: 132
По умолчанию Re: Оптимизации SF в зависимости от компилятора, профилирования и ключей компилятора

Цитата: Сообщение от Омегазеро
Вопрос в интерпретации полученного результата
Я интерпретирую так же как и большинство людей - что авторы программ для обсчета рейтингов выводят не какую-то, никому не нужную величину, а именно то, что ожидают от них те, кто этими рейтингами пользуется.

Цитата: Сообщение от Омегазеро
Поэтому формула стандартной ошибки может применяться дважды: один раз к случайной величине, второй раз для неслучайной величины, имеющей ошибку измерения
Нигде не видел утверждения, что эту формулу нужно применять дважды.

Но все же, какие будут конкретные цифры? Правильно ли я понимаю, что вы предлагаете разделить +/- 4,96 на корень из числа партий, для примера ChessMan'а? Если так, то это очень сомнительно с практической точки зрения. Или я вас неправильно понимаю? Посчитайте стандартную ошибку для данного примера с вашей точки зрения.
Rom77 вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Владимир001 (19.02.2020)
Старый 21.02.2020, 09:25   #78
Омегазеро
Гроссмейстер
 
Аватар для Омегазеро
 
Регистрация: 20.01.2019
Сообщений: 1,067
Сказал(а) спасибо: 2
Поблагодарили 701 раз(а) в 343 сообщениях
Репутация: 92
По умолчанию Re: Оптимизации SF в зависимости от компилятора, профилирования и ключей компилятора

Цитата: Сообщение от Rom77
Я интерпретирую так же как и большинство людей - что авторы программ для обсчета рейтингов выводят не какую-то, никому не нужную величину, а именно то, что ожидают от них те, кто этими рейтингами пользуется
Да, вы неправильно интерпретируете

Это именно никому не нужная величина, которая вводит в заблуждение тех, кто этими рейтингами пользуется

Последний пример

Вышел Стокфиш 11

Потом были патчи LTC тест на общую сумму 28 эло по сравнению с 11-м релизом.
Один патч был на 7 эло.
Ошибка якобы 1.5

Проверка версии от 28 января дала такой результат

20-01-28 Ala master diff
ELO: -2.47 +-1.3 (95%) LOS: 0.0%
Total: 60000 W: 7490 L: 7917 D: 44593
Ptnml(0-2): 330, 5657, 18424, 5285, 303

Если величины 1.3-1.5 действительно являются "нужной правильной величиной" - ошибкой рейтинга, то такого не может быть никогда от слова совсем

Потому что +28 с ошибкой 1.5 никогда не может быть равно -2.47 с ошибкой 1.3

Правильный ответ:
авторы программ для обсчета рейтингов не являются специалистами в математической статистике
они действительно считают никому не нужную величину, которая уже завела в тупик разработчиков Стокфиша
Омегазеро вне форума   Ответить с цитированием
Старый 21.02.2020, 10:22   #79
Омегазеро
Гроссмейстер
 
Аватар для Омегазеро
 
Регистрация: 20.01.2019
Сообщений: 1,067
Сказал(а) спасибо: 2
Поблагодарили 701 раз(а) в 343 сообщениях
Репутация: 92
По умолчанию Re: Оптимизации SF в зависимости от компилятора, профилирования и ключей компилятора

Цитата: Сообщение от Rom77
как и большинство людей
миллионы мух не могут ошибаться?

вот вам второй пример.
Всем известное "само-Эло" Лилы
Оно рассчитывается по тем же формулам
В каждой само-игре там 32 тысячи партий, что по вашим формулам дает ошибку меньше 3 Эло

Между тем в прошлом тесте указанное само-Эло резко шло вверх и в итоге достигло 10 тысяч. Даже если считать, что случайная игра соответствует отрицательному рейтингу -2000, эта цифра никак не стыкуется с реальным рейтингом порядка 3500 Эло

Получаем 8000 с ошибкой 3 равно 3500 с ошибкой 3
Омегазеро вне форума   Ответить с цитированием
Старый 21.02.2020, 10:33   #80
Rom77
Мастер
 
Аватар для Rom77
 
Регистрация: 11.08.2017
Адрес: Киров
Сообщений: 912
Сказал(а) спасибо: 888
Поблагодарили 1,197 раз(а) в 632 сообщениях
Репутация: 132
По умолчанию Re: Оптимизации SF в зависимости от компилятора, профилирования и ключей компилятора

Цитата: Сообщение от Омегазеро
Один патч был на 7 эло.
Ошибка якобы 1.5
Который затем просто перетестировали, и он показал совсем не 7 эло, а гораздо меньше. По-моему более яркого свидетельства, что ошибка уж ни как не в разы меньше 1.5, даже трудно представить.

Расчетная ошибка там, кстати, была не 1.5, а заметно больше.

Цитата: Сообщение от Омегазеро
Потому что +28 с ошибкой 1.5 никогда не может быть равно -2.47 с ошибкой 1.3
Интересно, как вы получили общую ошибку 1.5, для семи(?) патчей, каждый из которых имеет расчетную ошибку как минимум около 1.0 ?

Цитата: Сообщение от Омегазеро
Да, вы неправильно интерпретируете

Это именно никому не нужная величина, которая вводит в заблуждение тех, кто этими рейтингами пользуется
<...>
авторы программ для обсчета рейтингов не являются специалистами в математической статистике
Извините, но уж никак не могу согласиться, что большинство людей в сообществе компьютерных шахмат либо вводят в заблуждение всех вокруг, либо ничего не понимают. Вы делаете им замечания, но при этом почему-то ссылаетесь на их работы. Одновременно почему-то не желая даже немного посчитать самостоятельно, как я предлагал вам выше. Какое же тогда может быть у меня мнение? Вполне определенное.

Цитата: Сообщение от Омегазеро
они действительно считают никому не нужную величину, которая уже завела в тупик разработчиков Стокфиша
В каком "тупике" находятся разработчики Стокфиша мы наблюдаем уже лет десять.
Rom77 вне форума   Ответить с цитированием
3 пользователя(ей) сказали cпасибо:
Alex_Lk (21.02.2020), Viktor (21.02.2020), АЛЕКСЕЙ1976 (09.06.2020)
Старый 21.02.2020, 10:57   #81
Rom77
Мастер
 
Аватар для Rom77
 
Регистрация: 11.08.2017
Адрес: Киров
Сообщений: 912
Сказал(а) спасибо: 888
Поблагодарили 1,197 раз(а) в 632 сообщениях
Репутация: 132
По умолчанию Re: Оптимизации SF в зависимости от компилятора, профилирования и ключей компилятора

Цитата: Сообщение от Омегазеро
В каждой само-игре там 32 тысячи партий, что по вашим формулам дает ошибку меньше 3 Эло
Результаты обучающих (если я вас правильно понял) партий не используются для расчета самоэло Лилы. Проводятся отдельные матчи,...

Цитата: Сообщение от Омегазеро
Между тем в прошлом тесте указанное само-Эло резко шло вверх и в итоге достигло 10 тысяч. Даже если считать, что случайная игра соответствует отрицательному рейтингу -2000, эта цифра никак не стыкуется с реальным рейтингом порядка 3500 Эло
..., но вообще, самоэло Лилы тема для отдельного разговора.
Rom77 вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Владимир001 (21.02.2020)
Старый 22.02.2020, 17:19   #82
Омегазеро
Гроссмейстер
 
Аватар для Омегазеро
 
Регистрация: 20.01.2019
Сообщений: 1,067
Сказал(а) спасибо: 2
Поблагодарили 701 раз(а) в 343 сообщениях
Репутация: 92
По умолчанию Re: Оптимизации SF в зависимости от компилятора, профилирования и ключей компилятора

Цитата: Сообщение от Rom77
По-моему более яркого свидетельства, что ошибка уж ни как не в разы меньше 1.5, даже трудно представить
Ошибка там в десятки раз больше, о чем я неоднократно говорила, приводя пример, когда тестирование на 40 тысячах партий с двумя разными дебютными наборами дало результаты, отличающиеся на 9 Эло
Хотя по вашей методике расчета там гораздо меньше - чуть ли не в 10 раз
Цитата: Сообщение от Rom77
Извините, но уж никак не могу согласиться, что большинство людей в сообществе компьютерных шахмат либо вводят в заблуждение всех вокруг, либо ничего не понимают
А как иначе понимать вашу позицию - вы видете, что ошибка гораздо больше той, которую пишут, но почему-то молчите и даже защищаете избранную методику тестирования и расчета Эло?
Омегазеро вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Владимир001 (22.02.2020)
Старый 22.02.2020, 17:36   #83
Rom77
Мастер
 
Аватар для Rom77
 
Регистрация: 11.08.2017
Адрес: Киров
Сообщений: 912
Сказал(а) спасибо: 888
Поблагодарили 1,197 раз(а) в 632 сообщениях
Репутация: 132
По умолчанию Re: Оптимизации SF в зависимости от компилятора, профилирования и ключей компилятора

Цитата: Сообщение от Омегазеро
Ошибка там в десятки раз больше, о чем я неоднократно говорила, приводя пример, когда тестирование на 40 тысячах партий с двумя разными дебютными наборами дало результаты, отличающиеся на 9 Эло
Естественно, что при 2-ходовом дебютном наборе у Стока будет больше возможностей выиграть, чем при восьмиходовом. Разве вы не видите, что сравниваете результаты разных тестов, а не одного? С таким же успехом можно сравнивать результаты на разных контролях.

Цитата: Сообщение от Омегазеро
А как иначе понимать вашу позицию - вы видете, что ошибка гораздо больше той, которую пишут, но почему-то молчите и даже защищаете избранную методику тестирования и расчета Эло?
См. выше. Базовый дебютный набор должен быть одинаковым в сравниваемых тестах.
Rom77 вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Alex_Lk (23.02.2020)
Старый 22.02.2020, 17:49   #84
Омегазеро
Гроссмейстер
 
Аватар для Омегазеро
 
Регистрация: 20.01.2019
Сообщений: 1,067
Сказал(а) спасибо: 2
Поблагодарили 701 раз(а) в 343 сообщениях
Репутация: 92
По умолчанию Re: Оптимизации SF в зависимости от компилятора, профилирования и ключей компилятора

Цитата: Сообщение от Rom77
Или я вас неправильно понимаю?
Видимо, вы меня неправильно понимаете
Попытаюсь объяснить на пальцах

Предположим, что движки А и Б играют детерминированно
В дебюте а движок А всегда проигрывает
В дебюте б движок Б всегда проигрывает

Сделаем дебютный набор из миллиона а
Получим миллион побед Б, то есть движок А слабее движка Б на десятки тысяч Эло

Сделаем дебютный набор из миллиона б
Получим миллион побед А, то есть движок Б слабее движка А на десятки тысяч Эло

Сделаем дебютный набор из миллиона смеси а и б
Получим любую наперед заданную заданную разницу Эло в зависимости от соотношения а и б

То есть в данном случае ошибка Эло равно бесконечности

Да, в реальной жизни в игре движков есть элемент случайности и дебютные наборы более разнообразны

Внимание, вопрос

Насколько высоким должен быть элемент случайности в игре движков и насколько высоко разообразие дебютов, чтобы ошибка, вызыванная указанными выше факторами, стремилась к нулю?

Мой ответ: она не стремится к нулю и может быть очень велика. Да, не бесконечность, как в случае с детерминированными движками и двумя дебютами, но число все равно большое

Но большинство людей в компьютерных шахматах намеренно игнорируют эту проблему, а возможно, сознательно обманывают
Омегазеро вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Владимир001 (22.02.2020)
Старый 22.02.2020, 18:48   #85
Maratka
Эксперт
ТС
 
Аватар для Maratka
 
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,829
Сказал(а) спасибо: 3,286
Поблагодарили 5,916 раз(а) в 4,232 сообщениях
Репутация: 250
По умолчанию Re: Оптимизации SF в зависимости от компилятора, профилирования и ключей компилятора

Цитата: Сообщение от Омегазеро
Предположим, что движки А и Б играют детерминированно
В дебюте а движок А всегда проигрывает
В дебюте б движок Б всегда проигрывает

Сделаем дебютный набор из миллиона а
Получим миллион побед Б, то есть движок А слабее движка Б на десятки тысяч Эло

Сделаем дебютный набор из миллиона б
Получим миллион побед А, то есть движок Б слабее движка А на десятки тысяч Эло
Неверно. Будет деление на нуль. Т.е. разница рейтингов не определена.


Цитата: Сообщение от Омегазеро
Насколько высоким должен быть элемент случайности в игре движков и насколько высоко разообразие дебютов, чтобы ошибка, вызыванная указанными выше факторами, стремилась к нулю?
Нескольких сотен дебютов достаточно... Т.е. книга 2_movies перекрывает все возможные ситуации многократно.
Maratka вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Alex_Lk (23.02.2020), Владимир001 (22.02.2020)
Старый 22.02.2020, 18:58   #86
alchemist888
КМС
 
Аватар для alchemist888
 
Регистрация: 25.04.2019
Сообщений: 674
Сказал(а) спасибо: 293
Поблагодарили 639 раз(а) в 343 сообщениях
Репутация: 61
По умолчанию Re: Оптимизации SF в зависимости от компилятора, профилирования и ключей компилятора

Цитата: Сообщение от Омегазеро
Между тем в прошлом тесте указанное само-Эло резко шло вверх и в итоге достигло 10 тысяч. Даже если считать, что случайная игра соответствует отрицательному рейтингу -2000, эта цифра никак не стыкуется с реальным рейтингом порядка 3500 Эло
Получаем 8000 с ошибкой 3 равно 3500 с ошибкой 3
Рост само-Эло Лилы скорее всего был связан с тем, что каждая новая сеть пытается заэксплуатировать предыдущую. WinPooh c форума kc привел отличную аналогию с камень-ножницы-бумага. Когда уверенная победа над одной версией не означает автоматическую победу над предшествующей ей. Этот феномен Вы можете увидеть, посмотрев лист матчей для любого тренировочного теста, например http://training.lczero.org/matches/1
Цитата: Сообщение от Maratka
Неверно. Будет деление на нуль. Т.е. разница рейтингов не определена.
Разница рейтингов будет стремиться к бесконечности. Это как бы важно.
alchemist888 вне форума   Ответить с цитированием
2 пользователя(ей) сказали cпасибо:
Rom77 (23.02.2020), Владимир001 (22.02.2020)
Старый 22.02.2020, 20:33   #87
Maratka
Эксперт
ТС
 
Аватар для Maratka
 
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,829
Сказал(а) спасибо: 3,286
Поблагодарили 5,916 раз(а) в 4,232 сообщениях
Репутация: 250
По умолчанию Re: Оптимизации SF в зависимости от компилятора, профилирования и ключей компилятора

Цитата: Сообщение от alchemist888
Разница рейтингов будет стремиться к бесконечности. Это как бы важно.
Формально - да.
Но если строго, то будет деление на нуль, можете попробовать подсчитать на калькуляторе.

_____
Просто мне не очень понятно, когда один и тот же человек сначала обсуждает теории расчета ELO с выкладками для технического ВУЗа, а потом совершает ошибку для четвертого класса средней школы.
Maratka вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Владимир001 (22.02.2020)
Старый 22.02.2020, 20:40   #88
Maratka
Эксперт
ТС
 
Аватар для Maratka
 
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,829
Сказал(а) спасибо: 3,286
Поблагодарили 5,916 раз(а) в 4,232 сообщениях
Репутация: 250
По умолчанию Re: Оптимизации SF в зависимости от компилятора, профилирования и ключей компилятора

//offtop

Все знают знаменитую формулу E=M*C^2
Но не все понимают, что она не очень правильная, с точки современных зрения единиц измерения по системе СИ:
когда Эйнштейн писал свою теорию, то единицей длины был контрольный брусок, который принимался за метр.
Сейчас же единица длины привязана к скорости света, а значит C^2=1, и соответственно E=M


https://ru.wikipedia.org/wiki/%D0%94...B5%D0%BC%D0%B0
Maratka вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Владимир001 (22.02.2020)
Старый 22.02.2020, 23:00   #89
ChessMan
Super Moderator
 
Аватар для ChessMan
 
Регистрация: 04.01.2017
Сообщений: 3,629
Сказал(а) спасибо: 2,879
Поблагодарили 6,463 раз(а) в 2,331 сообщениях
Репутация: 354
По умолчанию Re: Оптимизации SF в зависимости от компилятора, профилирования и ключей компилятора

Цитата: Сообщение от Maratka
//offtop

Все знают знаменитую формулу E=M*C^2
Но не все понимают, что она не очень правильная, с точки современных зрения единиц измерения по системе СИ:
когда Эйнштейн писал свою теорию, то единицей длины был контрольный брусок, который принимался за метр.
Сейчас же единица длины привязана к скорости света, а значит C^2=1, и соответственно E=M


https://ru.wikipedia.org/wiki/%D0%94...B5%D0%BC%D0%B0
Энергия килограммах измеряется?


================

Метрическая система
Метрическая система считается самой удобной из всех придуманных из-за своей простоты. В основе метрической системы лежит единица измерения метр. Все остальные единицы измерения являются кратными степеням десяти от метра (например, километр — это 10³ метров и т. п.), что позволяет облегчить подсчёты. До 1960 года у метра был специальный эталон, ныне хранящийся в Международном бюро мер и весов, расположенном в городе Севр (предместье Парижа, Франция). Сегодня, по определению, метр равен расстоянию, которое проходит свет в вакууме за 1/299 792 458 долю секунды.
ChessMan вне форума   Ответить с цитированием
Старый 22.02.2020, 23:31   #90
Maratka
Эксперт
ТС
 
Аватар для Maratka
 
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,829
Сказал(а) спасибо: 3,286
Поблагодарили 5,916 раз(а) в 4,232 сообщениях
Репутация: 250
По умолчанию Re: Оптимизации SF в зависимости от компилятора, профилирования и ключей компилятора

Цитата: Сообщение от ChessMan
Энергия килограммах измеряется?
Да, энергия есть эквивалент массы, и наоборот. При любой реакции с выделением энергии масса "золы" будет меньше массы вступивших в реакцию веществ на дельту, равную выхлопу тепла (т.е. энергии).

Вплоть до абсолюта: аннигиляция есть по сути 100% способ превращения привычного нам вещества в фотоны (т.е. чистую энергию).


Цитата: Сообщение от ChessMan
Метрическая система считается самой удобной из всех придуманных из-за своей простоты. В основе метрической системы лежит единица измерения метр. Все остальные единицы измерения являются кратными степеням десяти от метра (например, километр — это 10³ метров и т. п.), что позволяет облегчить подсчёты. До 1960 года у метра был специальный эталон, ныне хранящийся в Международном бюро мер и весов, расположенном в городе Севр (предместье Парижа, Франция). Сегодня, по определению, метр равен расстоянию, которое проходит свет в вакууме за 1/299 792 458 долю секунды.
Имеенно. Т.е. метр привязан к скорости света. Соответственно в формуле E=M*C^2 С=1, ибо чему же может быть еще равна скорость света, измеренная в скоростях света? ;)

Отсюда выкладка E=M выше.
Maratka вне форума   Ответить с цитированием
Пользователь сказал cпасибо:
Владимир001 (23.02.2020)
Ответ


Здесь присутствуют: 1 (пользователей: 0 , гостей: 1)
 

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход


Текущее время: 09:02. Часовой пояс GMT +3.


Powered by vBulletin® Version 3.8.7
Copyright ©2000 - 2024, vBulletin Solutions, Inc. Перевод: zCarot
Рейтинг@Mail.ru