Разные полезные тесты

[ChessMan]

Тема создана для "исследовательских" тестов Стокфиша (и дериватов).

[Maratka]

Цитата: Сообщение от ChessMan

В тесте 3*AVX2 против 6*SSE2 ожидаю 36-22=14 ЭЛО в пользу AVX2

Добавьте еще пару потоков SSE2!
Сколько получится попугаев?

[ChessMan]

Цитата: Сообщение от Maratka

Добавьте еще пару потоков SSE2!
Сколько получится попугаев?

У меня всего 6 физических ядер

[Maratka]

А на турнире TCEC 88, но SF играет на 172 потока, и получает по всей видимости с этого бонус, иначе зачем бы это делали?
Аналогично CCC, там 256 потоков при 128 ядрах.

__________
Т.е. это я к тому, что оно в целом нормально, и к тому же, скорость подобрать позволяет максимально гибко.

Цитата: Сообщение от ChessMan

В пределе - 1978 ядра медленной версии против 1122 быстрой - скорость будет вообще равной.

[ChessMan]

Цитата: Сообщение от Maratka

А на турнире TCEC 88, но SF играет на 172 потока, и получает по всей видимости с этого бонус, иначе зачем бы это делали?
Аналогично CCC, там 256 потоков при 128 ядрах.

__________
Т.е. это я к тому, что оно в целом нормально, и к тому же, скорость подобрать позволяет максимально гибко.



В пределе - 1922 ядра медленной версии против

Вы же видели этот мой тест?

Цитата: Сообщение от ChessMan

Core i5-11400f
concurrency 1
TC: 10s+0.1s
book: 8moves_v3.pgn
Stockfish_x64_310821_ssse_12_threads hash 256 MB
Stockfish_x64_310821_ssse_6_cores hash 128 MB

   # PLAYER                                  :  RATING  ERROR  PLAYED   (%)    W     D    L  D(%)  CFS(%)
   1 Stockfish_x64_310821_ssse_12_threads    :    3202      3    1173  50.5   56  1072   45  91.4      88
   2 Stockfish_x64_310821_ssse_6_cores       :    3198      3    1173  49.5   45  1072   56  91.4     ---

White advantage = 20.04 +/- 2.97
Draw rate (equal opponents) = 93.45 % +/- 0.86

Games: https://pixeldrain.com/u/cehUBcDW

Тест скорости 12 потоков против 6 ядер:

Развернуть для просмотра

[свернуть]

x1.316

Большой тут прирост от потоков?
Для классического Стокфиша он естественно больше. Но мы то используем NNUE

[ChessMan]

Цитата: Сообщение от Maratka

В пределе - 1978 ядра медленной версии против 1122 быстрой - скорость будет вообще равной.

Вот только 1122 ядра запросто порвут 1978 ядер ))

[Maratka]

Цитата: Сообщение от ChessMan

Большой тут прирост от потоков?

Мне интересно не насколько высока становится скорость, а максимально ее приблизить к скорости быстрой версии, но так, чтобы ее таки не превзойти.

[ChessMan]

Цитата: Сообщение от Maratka

Мне интересно не насколько высока становится скорость, а максимально ее приблизить к скорости быстрой версии, но так, чтобы ее таки не превзойти.

Для этого нужен будет мой Райзен с 12 ядрами

[svoitsl]

Цитата: Сообщение от ChessMan

1 Stockfish_x64_310821_ssse_12_threads :
2 Stockfish_x64_310821_ssse_6_cores

Интересно, а вот как (правильно) провести такой тест?
Ведь если я задам одному 6 потоков то это не значит, что он будет работать на 6 ядрах.

[Maratka]

Будет работать на 6 ядрах.
Диспетчер процессов в любой современной ОС не грузит виртуальные ядра, до тех пор, пока простаивают физические.

[ChessMan]

Цитата: Сообщение от ChessMan

                Engine# (NPS)                     Speedup     Sp     Conf. 99.5%  S.S.
1  (5*852*339,4   ) ---> 2  (3*390*734,2   ) ---> 72,598%  45*282,2     Yes       No

Ожидается +36 ЭЛО для AVX2

SSE2 на 6-ти ядрах:



Ожидается +22 ЭЛО от удвоения ядер SSE2

В тесте 3*AVX2 против 6*SSE2 ожидаю 36-22=14 ЭЛО в пользу AVX2

После 300 партий небольшой перевес у AVX2 на 3-х ядрах.

Score of Stockfish_x64_310821_avx2_3_cores vs Stockfish_x64_310821_sse2_6_cores: 14 - 11 - 275 [0.505]
... Stockfish_x64_310821_avx2_3_cores playing White: 10 - 3 - 137 [0.523] 150
... Stockfish_x64_310821_avx2_3_cores playing Black: 4 - 8 - 138 [0.487] 150
... White vs Black: 18 - 7 - 275 [0.518] 300
Elo difference: 3.5 +/- 11.3, LOS: 72.6 %, DrawRatio: 91.7 %
300 of 20000 games finished.

[Maratka]

Цитата: Сообщение от ChessMan

Elo difference: 3.5 +/- 11.3,

Подождем, когда числа поменяются местами....

[Maratka]

Цитата: Сообщение от ChessMan

Для этого нужен будет мой Райзен с 12 ядрами

А на кой ляд Вы Core покупали? ;)

Помню, спрашивал уже.... в целом - мысли вслух:

Понятно, что интересно было посмотреть на AVX512, но... там в целом и так было понятно, что прирост будет, и было понятно, примерно какой он будет: шестиядерный i5 по скорости на одной частоте выйдет на уровень примерно ZEN2, или (от силы) ZEN3 с 8 ядрами. Последнее впрочем скорее всего так и осталось мечтой, т.е. предел - не сильно проиграть 8-ядерному 3800x.

12-ядерный ZEN2, а тем более ZEN3 в любом случае будет в большом отрыве. Рискну предположить, что даже Ryzen TR первого поколения (1920 вроде модель) с 12 ядрами, в режиме SSSE3/POPCNT отказался бы быстрее: новые инструкции это все круто, но в два раза отличающееся количество ядер/потоков... Грубая сила на мультипотоке всяко возьмет!

При этом, на тяжелых задачах, где вовсю используется мультипоток, но AVX512 не задействуется - количество ядер по любому решает... та же компиляция кучи разных сборок с профилированием, чем Вы вовсю занимаетесь - уверен!

Нет, я конечно же не против подобных опытов за Ваши деньги, но... все предсказуемо там!

[svoitsl]

Цитата: Сообщение от Maratka

А на кой ляд Вы Core покупали? ;)

так он и подешевле будет ... вроде, даже в сравнении с r5 5600x

Цитата: Сообщение от Maratka

что интересно было посмотреть на AVX512,

Но его наверное лучше всего "смотреть" с водянкой,можно и пакет увеличить...немного

[ChessMan]

Core i5-11400f
concurrency 1
TC: 10s+0.1s
book: 8moves_v3.pgn
Stockfish_x64_310821_avx2_3_cores hash 32 MB
Stockfish_x64_310821_sse2_6_cores hash 64 MB

   # PLAYER                               :  RATING  ERROR  PLAYED   (%)    W     D    L  D(%)  CFS(%)
   1 Stockfish_x64_310821_avx2_3_cores    :    3201      3    1454  50.3   70  1322   62  90.9      75
   2 Stockfish_x64_310821_sse2_6_cores    :    3199      3    1454  49.7   62  1322   70  90.9     ---

White advantage = 20.76 +/- 2.60
Draw rate (equal opponents) = 92.97 % +/- 0.77

Games: https://pixeldrain.com/u/RHJuUwe5

===============
SSE2 на 6-ти ядрах быстрее чем AVX2 на 3-х,
6693000 ку/с против 5852339, но не смотря на это AVX2 сильнее в этом тесте.

[sergey1963]

Картина маслом... "а нужно ли огромное количество ядер и особенно- НТ? Похоже минусы "много ядер и потоков"- перевешивают плюсы-
- минусы- падает частота процессора и надо больший хэш
- плюсы- все это ради удвоения- учетверения ядер...
Логично было бы провести такие же тесты на удвоении-учетверениии времени. Т.е. "а как дела на практике?", если удвоение ядер дает 22 эло, то удвоение времени-...

[ChessMan]

Хэш действительно нужен больше.
Частота процессора в этом тесте не падала.

Боюсь, что при увеличении времени SSE2_6_cores будет сильнее, и дело даже не в сомнительном утверждении "более широкий поиск", а кое в чём другом, что я в данный момент пытаюсь как-то проверить.

[ChessMan]

Core i5-11400f
concurrency 5
TC: 60s+0.6s, hash 64 MB
book: 8moves_v3.pgn

   # PLAYER                              :  RATING  ERROR  PLAYED   (%)    W     D    L  D(%)  CFS(%)
   1 Stockfish_x64_120921_SSE2_popcnt    :    3200      2    1753  50.1   63  1631   59  93.0      64
   2 Stockfish_x32_120921_SSSE3          :    3200      2    1753  49.9   59  1631   63  93.0     ---

White advantage = 16.81 +/- 2.15
Draw rate (equal opponents) = 94.86 % +/- 0.60

Games: https://pixeldrain.com/u/1eXPELMu



=========
Stockfish_x32_120921_SSSE3 быстрее чем Stockfish_x64_120921_SSE2_popcnt на 11,8%

Есть предположения почему x64_SSE2 оказался немного сильнее?))

[sergey1963]

а что не видно?- 32 и 64- разрядная...
такая же разница и в скорости винды и приложений...
И еще- раз с удвоением времени никак, то может провести тест на Сток- Сток без сети... определим разницу...

[ChessMan]

Цитата: Сообщение от sergey1963

а что не видно?- 32 и 64- разрядная...

Так 32-х битная быстрее на 11,8% !!!

[sergey1963]

Вот это и вводит в заблуждение многих пользователей... да 32-битная и будет быстрее, но работать (считать, играть) всегда будет хуже, плюс инструкции другие... "одноядерные времена" остались в далеком прошлом, как и... "64кб ОЗУ- которого хватит на все"...
- попроще... пока мы быстро складываем единицы- другой чуть медленнее складывает десятки...

[ChessMan]

Цитата: Сообщение от sergey1963

да 32-битная и будет быстрее

От чего она будет быстрее?

[ChessMan]

А теперь правильный (надеюсь) ответ:

Мы забываем что кроме NNUE оценки у движков присутствует классическая оценка и особенно вполне себе "классический" поиск.
А так как 64-х битные движки в "классическом" режиме быстрее чем 32-х битные аж на 50% - получаем такой результат теста.

=====================
Те же два движка
bench 16 1 13 default depth classical


Build Tester: 1.4.7.0
Windows 10 (Version 10.0, Build 0, 64-bit Edition)
11th Gen Intel(R) Core(TM) i5-11400F @ 2.60GHz
SafeMode: No
Running In VM: No
HyperThreading Enabled: Yes
CPU Warmup: No
Command Line: bench 16 1 13 default depth classical
Tests per Build: 5
ANOVA: n/a

Engine# (NPS) Speedup Sp Conf. 99.5% S.S.
2 (2*720*900,0 ) ---> 1 (1*747*682,2 ) ---> 55,686% 2*110,5 Yes No

[sergey1963]

ну это как загадка-
стоит на крыше и показывает на букву "М"
ответ- телевизор...

[Maratka]

Цитата: Сообщение от ChessMan

Core i5-11400f
concurrency 5
TC: 60s+0.6s, hash 64 MB
book: 8moves_v3.pgn

   # PLAYER                              :  RATING  ERROR  PLAYED   (%)    W     D    L  D(%)  CFS(%)
   1 Stockfish_x64_120921_SSE2_popcnt    :    3200      2    1753  50.1   63  1631   59  93.0      64
   2 Stockfish_x32_120921_SSSE3          :    3200      2    1753  49.9   59  1631   63  93.0     ---

White advantage = 16.81 +/- 2.15
Draw rate (equal opponents) = 94.86 % +/- 0.60

Games: https://pixeldrain.com/u/1eXPELMu



=========
Stockfish_x32_120921_SSSE3 быстрее чем Stockfish_x64_120921_SSE2_popcnt на 11,8%

Есть предположения почему x64_SSE2 оказался немного сильнее?))

Потому что партий мало.

[ChessMan]

Цитата: Сообщение от Maratka

Потому что партий мало.

Согласен.
Было бы больше партий - преимущество х64 было бы отчетливей.

[ChessMan]

Core i5-11400f
concurrency 2
TC: 10s+0.1s
book: 8moves_v3.pgn
Stockfish_x64_310821_avx2_2_cores hash 32 MB
Stockfish_x64_310821_avx2 hash 16 MB (1 core)

   # PLAYER                               :  RATING  ERROR  PLAYED   (%)    W     D    L  D(%)  CFS(%)
   1 Stockfish_x64_310821_avx2_2_cores    :    3216      2    3258  54.6  360  2838   60  87.1     100
   2 Stockfish_x64_310821_avx2            :    3184      2    3258  45.4   60  2838  360  87.1     ---

White advantage = 24.56 +/- 2.02
Draw rate (equal opponents) = 92.13 % +/- 0.60

Games: https://pixeldrain.com/u/hQYq39sU

[ChessMan]

Core i5-11400f
concurrency 1
TC: 10s+0.1s
book: 8moves_v3.pgn
Stockfish_x64_310821_avx2_2_cores hash 32 MB
Stockfish_x64_310821_avx2 hash 16 MB (1 core)

   # PLAYER                               :  RATING  ERROR  PLAYED   (%)    W     D    L  D(%)  CFS(%)
   1 Stockfish_x64_310821_avx2_2_cores    :    3215      3    1790  54.2  189  1561   40  87.2     100
   2 Stockfish_x64_310821_avx2            :    3185      3    1790  45.8   40  1561  189  87.2     ---

White advantage = 22.31 +/- 2.59
Draw rate (equal opponents) = 91.28 % +/- 0.76

Партии: https://pixeldrain.com/u/BMw5vvoY

[sergey1963]

ну- да, первичное удвоение с сетью дает уже не 40 эло, а 30-32. Далее неуклонно падает- 22- 15 и тд, думаю смысла в тестах при минуте на ход 32-64 ядра- как бы и нет, ну может 5 эло в прыжке... Получается осязаемую разницу можно увидеть только при учетверении ядер- с 4 до 16 или с 8 до 32...

[ChessMan]

Цитата: Сообщение от ChessMan

Core i5-11400f
concurrency 1
TC: 10s+0.1s
book: 8moves_v3.pgn
Stockfish_x64_310821_ssse_12_threads hash 256 MB
Stockfish_x64_310821_ssse_6_cores hash 128 MB

   # PLAYER                                  :  RATING  ERROR  PLAYED   (%)    W     D    L  D(%)  CFS(%)
   1 Stockfish_x64_310821_ssse_12_threads    :    3202      3    1173  50.5   56  1072   45  91.4      88
   2 Stockfish_x64_310821_ssse_6_cores       :    3198      3    1173  49.5   45  1072   56  91.4     ---

White advantage = 20.04 +/- 2.97
Draw rate (equal opponents) = 93.45 % +/- 0.86

Games: https://pixeldrain.com/u/cehUBcDW

Тест скорости 12 потоков против 6 ядер:

Развернуть для просмотра

[свернуть]

x1.316

Core i5-11400f
concurrency 1
TC: 10s+0.1s
book: 8moves_v3.pgn
Stockfish_x64_310821_ssse_9_threads hash 128 MB
Stockfish_x64_310821_ssse_6_cores hash 64 MB

   # PLAYER                                 :  RATING  ERROR  PLAYED   (%)    W     D    L  D(%)  CFS(%)
   1 Stockfish_x64_310821_ssse_9_threads    :    3202      2    1667  50.6   74  1539   54  92.3      97
   2 Stockfish_x64_310821_ssse_6_cores      :    3198      2    1667  49.4   54  1539   74  92.3     ---

White advantage = 15.99 +/- 2.39
Draw rate (equal opponents) = 93.80 % +/- 0.64

Games: https://pixeldrain.com/u/pYxrExqp

[sergey1963]

Мдааа- получается пшик от НТ... на современных процах...
Можно еще учетверение хэша проверить 0,25--1гб