Разные полезные тесты

[ChessMan]

Тема создана для "исследовательских" тестов Стокфиша (и дериватов).

[ChessMan]

В текущей версии Стокфиша на моём i5-11400f и при контроле 10+0,1, разница в 1% скорости даёт немного больше чем 0,5 ЭЛО.

Core i5-11400f
1 core, concurrency 5
TC: 10s+0.1s, hash 16 MB
book: 8moves_v3.pgn

   # PLAYER                         :  RATING  ERROR  PLAYED   (%)    W     D    L  D(%)  CFS(%)
   1 Stockfish_x64_310821_avx2      :    3206      2    3534  51.7  282  3091  161  87.5     100
   2 Stockfish_x64_310821_modern    :    3194      2    3534  48.3  161  3091  282  87.5     ---

White advantage = 23.17 +/- 2.16
Draw rate (equal opponents) = 89.53 % +/- 0.55

Games: https://pixeldrain.com/u/f1reTDZQ

============
SF_modern = 64bit SSSE3 SSE2 POPCNT

Engine# (NPS)                                  Speedup     Sp     Conf. 99.5%  S.S.
1  (1*980*977,4   ) ---> 2  (1*620*800,8   ) ---> 22,222%  11*445,5     Yes       No

[ChessMan]

Core i5-11400f
concurrency 1
TC: 10s+0.1s
book: 8moves_v3.pgn
Stockfish_x64_310821_avx2_4_cores hash 64 MB
Stockfish_x64_310821_avx2_2_cores hash 32 MB

   # PLAYER                               :  RATING  ERROR  PLAYED   (%)    W     D    L  D(%)  CFS(%)
   1 Stockfish_x64_310821_avx2_4_cores    :    3211      3    1393  53.1  115  1250   28  89.7     100
   2 Stockfish_x64_310821_avx2_2_cores    :    3189      3    1393  46.9   28  1250  115  89.7     ---

White advantage = 20.47 +/- 2.74
Draw rate (equal opponents) = 93.12 % +/- 0.71

Games: https://www27.zippyshare.com/v/YbN2p1Av/file.html

[sergey1963]

Т.е на УКК удвоение ядер и хэша дает уже только 22 эло вместо бывших 45... интересненько. Получается даже при идеальном распаралеливании при сравнении 8 и 32 ядер мы получим 40эло, которые вполне компенсируются удвоением времени на ход...

[ChessMan]

Core i5-11400f
concurrency 1
TC: 10s+0.1s
book: 8moves_v3.pgn
Stockfish_x64_310821_avx2_3_cores hash 64 MB
Stockfish_x64_310821_avx2_6_cores hash 128 MB

   # PLAYER                               :  RATING  ERROR  PLAYED   (%)    W     D    L  D(%)  CFS(%)
   1 Stockfish_x64_310821_avx2_6_cores    :    3211      3    1497  53.2  121  1351   25  90.2     100
   2 Stockfish_x64_310821_avx2_3_cores    :    3189      3    1497  46.8   25  1351  121  90.2     ---

White advantage = 20.23 +/- 2.69
Draw rate (equal opponents) = 93.92 % +/- 0.71

Games: https://pixeldrain.com/u/q347sZD4

[ChessMan]

Какой следующий тест будет интереснее: 1 ядро против 6 или проверить как распараллеливается Стокфиш с классической оценкой?
Думаю, с классической оценкой по прежнему получит свои +45-50 ЭЛО

==========
Партий мало, но всё же:

   # PLAYER                               :  RATING  ERROR  PLAYED   (%)    W    D    L  D(%)  CFS(%)
   1 Stockfish_x64_310821_avx2_2_cores    :    3226     14     122  57.4   24   92    6  75.4     100
   2 Stockfish_x64_310821_avx2            :    3174     14     122  42.6    6   92   24  75.4     ---

White advantage = 11.75 +/- 15.70
Draw rate (equal opponents) = 79.49 % +/- 3.62

[ChessMan]

Core i5-11400f
concurrency 1
TC: 10s+0.1s
book: 8moves_v3.pgn
Stockfish_x64_310821_ssse_12_threads hash 256 MB
Stockfish_x64_310821_ssse_6_cores hash 128 MB

   # PLAYER                                  :  RATING  ERROR  PLAYED   (%)    W     D    L  D(%)  CFS(%)
   1 Stockfish_x64_310821_ssse_12_threads    :    3202      3    1173  50.5   56  1072   45  91.4      88
   2 Stockfish_x64_310821_ssse_6_cores       :    3198      3    1173  49.5   45  1072   56  91.4     ---

White advantage = 20.04 +/- 2.97
Draw rate (equal opponents) = 93.45 % +/- 0.86

Games: https://pixeldrain.com/u/cehUBcDW

Тест скорости 12 потоков против 6 ядер:

Развернуть для просмотра

[свернуть]

x1.316

[Maratka]

А теперь на 12 потоков каждый.... но - один медленный (SSE2, или какой там самый медленный), а второй - самый быстрый.
Можно?

[ChessMan]

Цитата: Сообщение от Maratka

А теперь на 12 потоков каждый.... но - один медленный (SSE2, или какой там самый медленный), а второй - самый быстрый.
Можно?

Попробую, если перегрева не будет то завтра запущу.

Что именно Вы хотите увидеть в таком тесте?

[Maratka]

Что дает скорость. Что же еще

[ChessMan]

Цитата: Сообщение от Maratka

Что дает скорость. Что же еще

А на одном ядре не пойдёт?
https://forchess.ru/showpost.php?p=206125&postcount=2

[sergey1963]

Т.е. получается удвоение ядер дает 22 эло, ушестерение- только 52, значит и 6 ядер против 36- даст эти же 52 эло, что вполне компенсируется удвоением- утроением времени... Ну а НТ- это вообще пшик... 4 эло на практике, потому что падает частота процессора, нужен больший хэш, а он сильно тормозит сам кэш-3 процессора. Т.о. 32-ядерник с удвоенным временем вполне устоит против 128-ядерника...

[ChessMan]

Цитата: Сообщение от sergey1963

Ну а НТ- это вообще пшик... 4 эло на практике, потому что падает частота процессора

У меня частота не падает в этом тесте, так как процессор не упирается в лимит по TDP.

В моём процессоре HT не очень - всего ~30% к скорости.
На Ryzen 3900X было +50%.
Возможно снова соберу ПК на рязане, тогда и проверю сколько ЭЛО будет от SMT.

[Maratka]

Цитата: Сообщение от ChessMan

В моём процессоре HT не очень - всего ~30% к скорости.
На Ryzen 3900X было +50%.

Оно походу у всех Ryzen'ов так. На 3Dnews в 2017-м писали, при обзоре ZEN1, что мол посмотрите, сколько оно выходит!

[Maratka]

Цитата: Сообщение от ChessMan

А на одном ядре не пойдёт?
https://forchess.ru/showpost.php?p=206125&postcount=2

За неимением другого - пойдет.

[ChessMan]

Core i5-11400f
1 core, concurrency 5
TC: 10s+0.1s, hash 16 MB
book: 8moves_v3.pgn

Развернуть для просмотра

Score of Stockfish_x64_310821_avx2 vs Stockfish_x64_310821_sse2: 1120 - 239 - 6877 [0.553]
... Stockfish_x64_310821_avx2 playing White: 812 - 42 - 3264 [0.593] 4118
... Stockfish_x64_310821_avx2 playing Black: 308 - 197 - 3613 [0.513] 4118
... White vs Black: 1009 - 350 - 6877 [0.540] 8236
Elo difference: 37.3 +/- 3.0, LOS: 100.0 %, DrawRatio: 83.5 %
8241 of 20000 games finished.

[свернуть]

   # PLAYER                       :  RATING  ERROR  PLAYED   (%)     W     D     L  D(%)  CFS(%)
   1 Stockfish_x64_310821_avx2    :    3219      2    8236  55.3  1120  6877   239  83.5     100
   2 Stockfish_x64_310821_sse2    :    3181      2    8236  44.7   239  6877  1120  83.5     ---

White advantage = 28.44 +/- 1.50
Draw rate (equal opponents) = 88.56 % +/- 0.41

Games: https://pixeldrain.com/u/agffbeuA

                Engine# (NPS)                     Speedup     Sp     Conf. 99.5%  S.S.
1  (1*978*759,3   ) ---> 2  (1*122*585,6   ) ---> 76,268%  3*673,1      Yes       No

[Переяслав]

Result:
------------------------------------------------------------------------------
  #  name              games    wins   draws  losses   score    elo    +    -
  1. Stockfish 100921   1000     216     655     129   543.5     24    9    9
  2. Stockfish 14       1000     129     655     216   456.5      0    9    9

Tech:
------------------------------------------------------------------------------

Tech (average nodes, depths, time/m per move, others per game):
  #  name                nodes/m         NPS  depth/m   time/m    moves     time
  1. Stockfish 100921       656K      814842     21.2      0.8     53.6     43.1
  2. Stockfish 14           780K      960805     21.8      0.8     53.6     43.5

30"+0.3"

[ChessMan]

Core i5-11400f
1 core, concurrency 5
TC: 30s+0.3s, hash 32 MB
book: 8moves_v3.pgn

   # PLAYER                       :  RATING  ERROR  PLAYED   (%)    W     D    L  D(%)  CFS(%)
   1 Stockfish_x64_310821_avx2    :    3212      2    2371  53.3  207  2115   49  89.2     100
   2 Stockfish_x64_310821_sse2    :    3188      2    2371  46.7   49  2115  207  89.2     ---

White advantage = 21.12 +/- 2.14
Draw rate (equal opponents) = 92.75 % +/- 0.59

Games: https://pixeldrain.com/u/dvWdbbMK

===============
Увеличение контроля времени с 10+0,1 до 30+0,3 уменьшило разницу ЭЛО с 38 пунктов до 24.
Напомню, разница в скорости более чем 75%

[Maratka]

А теперь можно подобрать количество потоков так, чтобы скорость была максимально близкой (точно понятно не выйдет, в этом случае у AVX пусть будет чуть больше, чем у SSE, ну а последнему - больше потоков).
Навскидку, это будет 4-5 ядер у AVX против 12 потоков у SSE.

Хочу увидеть подтверждение, что при равной скорости потоки дают Elo за счет более широкого поиска. Ну или опровержение

[Maratka]

Цитата: Сообщение от ChessMan

Увеличение контроля времени с 10+0,1 до 30+0,3 уменьшило разницу ЭЛО с 38 пунктов до 24.
Напомню, разница в скорости более чем 75%

Ну это очевидно. В пределе, при абсолютно равных мозгах, и бесконечном времени разница схлопнется до нуля.
А т.к. мозги тут явно равные, то мы эту тенденцую собственно и наблюдаем.

[ChessMan]

Цитата: Сообщение от Maratka

А теперь можно подобрать количество потоков так, чтобы скорость была максимально близкой (точно понятно не выйдет, в этом случае у AVX пусть будет чуть больше, чем у SSE, ну а последнему - больше потоков).
Навскидку, это будет 4-5 ядер у AVX против 12 потоков у SSE.

Хочу увидеть подтверждение, что при равной скорости потоки дают Elo за счет более широкого поиска. Ну или опровержение

При равной скорости меньше потоков лучше.

[Maratka]

На ультракоротком контроле, когда получится глубина 22 против 20 - вероятно.
А вот если хотя бы минуты три уже есть - не факт, т.к. будет где-то 35 против 35 же (ну может против 34). На таких глубинах вероятность зевка уже мала, а вот "широкий поиск" возможно себя и проявит.

Нас же в рамках тематики форума больше интересуют длинные контроли, а не "пули"?

[ChessMan]

На ультракоротком контроле удвоение ядер, при равной скорости, будет примерно на 22 ЭЛО слабее.
Во всяком случае, такое предположение обосновано моими тестами выше.

================
Думаю, в тесте AVX2 ~2 ядра против SSE2 ~4 ядра разница будет 16 ЭЛО (+38 ЭЛО от скорости AVX2 и -22 ЭЛО от удвоения ядер для SSE2).
Естественно, с увеличением контроля разница ЭЛО будет уменьшаться. И, возможно, на очень большом контроле больше ядер даже будет сильнее.
Но насколько большой контроль нужен?

[Alvir]

Цитата: Сообщение от ChessMan

Core i5-11400f
concurrency 1
TC: 10s+0.1s
book: 8moves_v3.pgn
Stockfish_x64_310821_ssse_12_threads hash 256 MB
Stockfish_x64_310821_ssse_6_cores hash 128 MB

Жаль, что на Ryzen такой тест (потоки против целых ядер) не провести на 1ом компьютере...
Или как то можно?

[ChessMan]

Цитата: Сообщение от Alvir

Жаль, что на Ryzen такой тест (потоки против целых ядер) не провести на 1ом компьютере...
Или как то можно?

У меня сейчас Райзен не собран.
Проведу тест 2*AVX2 против 4*SSE2 тогда скорее всего буду собирать.

[Maratka]

Цитата: Сообщение от ChessMan

Естественно, с увеличением контроля разница ЭЛО будет уменьшаться. И, возможно, на очень большом контроле больше ядер даже будет сильнее.
Но насколько большой контроль нужен?

Очевидно такой, чтобы средняя глубина была практически одинаковой, в этом случае AVX версия не получит преимуществ в зевках SSE версии.
К сожалению, найти эти параметры можно лишь эмпирически, но разницу в полуход думаю минуты 2-3 должны обеспечить. А на 5 минутах и того уже не будет.

[Maratka]

Цитата: Сообщение от ChessMan

Проведу тест 2*AVX2 против 4*SSE2 тогда скорее всего буду собирать.

4 SSE судя по бенчам выше будут быстрее.
Тут нужно вероятнее всего 3 AVX vs 5 SSE, либо 4 AVX vs 8-9 SSE (последний случай - уже пойдут виртуальные ядра).

Обязательное условие: AVX версия должна быть не медленнее, лучше даже чуть быстрее. Но именно чуть! Такая вот ей фора. Скажем на 1-м потоке и контроле в 3 минуты имея фору в 15% скорости, она наберет ~5-7 Elo сверх. Но тут не один поток, и у SSE потоков больше, так что если я прав - ничего не должна набрать, более того - вероятно даже потерпит поражение.

[ChessMan]

Цитата: Сообщение от Maratka

4 SSE судя по бенчам выше будут быстрее.
Тут нужно вероятнее всего 3 AVX vs 5 SSE, либо 4 AVX vs 8-9 SSE (последний случай - уже пойдут виртуальные ядра).

Обязательное условие: AVX версия должна быть не медленнее, лучше даже чуть быстрее. Но именно чуть! Такая вот ей фора. Скажем на 1-м потоке и контроле в 3 минуты имея фору в 15% скорости, она наберет ~15 Elo сверх. Но тут не один поток, и у SSE потоков больше, так что если я прав - ничего не должна набрать, более того - вероятно даже потерпит поражение.

Просьба писать полное название инструкций, чтобы избежать недопонимания.
AVX2 и SSE2 !

[ChessMan]

                Engine# (NPS)                     Speedup     Sp     Conf. 99.5%  S.S.
1  (5*852*339,4   ) ---> 2  (3*390*734,2   ) ---> 72,598%  45*282,2     Yes       No

Ожидается +36 ЭЛО для AVX2

SSE2 на 6-ти ядрах:



Ожидается +22 ЭЛО от удвоения ядер SSE2

В тесте 3*AVX2 против 6*SSE2 ожидаю 36-22=14 ЭЛО в пользу AVX2

[Maratka]

Да понятно это же всем!
В общем, самые быстрые версии.... Может даже есть смысл собрать AVX512!
Нас интересует совпадение исходников, если они равны - инструкции на Ваше усмотрение, какие у Вас быстрее - те и используйте!

Собственно, не обязательно даже SF, можно и CFish