LCZero

[Омегазеро]

Цитата: Сообщение от Maratka

От дополнительных ядер CUDA (768 против 896, и улучшенной архитектуры). Также допускаю, что и частоты будут повыше (техпроцесс все же хоть на грош, да тоньше).

Ибо если в младших платах нет тензорных ядер, то fp16 выполняется там же, где и все остальное: на ядрах CUDA, больше физически негде, а значит производительность напрямую зависит от их количества.

А эти слова для вас не авторитет?

Цитата: Сообщение от crem

Там где-то не там где надо поддержка fp16, поэтому бОльшая часть вычислений не ускорится. Он говорит, что ускорение будет не больше +30%, а не +250% как было с RTX картами.

[Maratka]

Цитата: Сообщение от Омегазеро

А эти слова для вас не авторитет?

Конечно нет!
Зная, как nVidia умеет душить драйверами любое железо, дабы покупали поновее и подороже, сложно поверить, тем более, что теоритически fp16 обязан выполняться ровно вдвое быстрее, чем fp32 (грубо - два машинных слова за такт на одном процессоре вместо одного), в случае, если архитектура там хоть отдаленно сделана по-человечески.

Т.е. никакого ускорения на 250% там естественно быть не может, ибо не должно. Но 100% было бы вполне логичным.

[crem]

Цитата: Сообщение от Maratka

Конечно нет!
Зная, как nVidia умеет душить драйверами любое железо, дабы покупали поновее и подороже, сложно поверить, тем более, что теоритически fp16 обязан выполняться ровно вдвое быстрее, чем fp32 (грубо - два машинных слова за такт на одном процессоре вместо одного), в случае, если архитектура там хоть отдаленно сделана по-человечески.

Т.е. никакого ускорения на 250% там естественно быть не может, ибо не должно. Но 100% было бы вполне логичным.

Скорость работы с fp16 в 8 раз быстрее чем fp32 (смотри например
http://blog.gpueater.com/en/2018/03/...s_benchmark_2/ и http://cms.ipressroom.com.s3.amazona...scom_FINAL.pdf)
Но для fp16 плохая поддержка преобразования Винограда, ускоряющегося умножение матриц, поэтому ускорение получается не 8x а 3x.

[Maratka]

Ну тогда наверное было бы правильно говорить не об разницы скорости fp16 и fp32, а об использовании этой разницы для задач ИИ, ибо скорость их в чистом виде отличается все же вдвое, при выполнении на одних и тех же ядрах.

Ну вот например, описание Веги:

The best way too look at it is Polaris can only execute one FP32 instruction per core. You can put FP16 inside a FP32 execution unit, but you are still only able to use half the width so you gain no performance benefit. This is great for saving on memory and memory bandwidth, but offers no performance benefit. Vega allows for two FP16 instructions to be executed simultaneously per FP32 core. TL;DR: Polaris can't benefit from FP16 the same way Vega can.

https://www.reddit.com/r/Amd/comment...polaris_cards/

Откуда "в 8 раз" не могли бы объяснить?

[crem]

Цитата: Сообщение от Maratka

Ну тогда наверное было бы правильно говорить не об разницы скорости fp16 и fp32, а об использовании этой разницы для задач ИИ, ибо скорость их в чистом виде отличается все же вдвое, при выполнении на одних и тех же ядрах.

Ну вот например, описание Веги:

The best way too look at it is Polaris can only execute one FP32 instruction per core. You can put FP16 inside a FP32 execution unit, but you are still only able to use half the width so you gain no performance benefit. This is great for saving on memory and memory bandwidth, but offers no performance benefit. Vega allows for two FP16 instructions to be executed simultaneously per FP32 core. TL;DR: Polaris can't benefit from FP16 the same way Vega can.

https://www.reddit.com/r/Amd/comment...polaris_cards/

Откуда "в 8 раз" не могли бы объяснить?

Умножением матриц в fp32 занимается cuda cores, а умножением матриц в fp16 -- tensor cores (fp32 оно не умеет).
Tensor cores умеет умножать матрицы 4x4 за один такт GPU, а cuda cores -- только 1x1.

[svoitsl]

Цитата: Сообщение от crem

а cuda cores -- только 1x1.

Занятный вид матриц придумали в Nvidia, с такими успехами и до 0х0 можно дойти

[Maratka]

Цитата: Сообщение от crem

Tensor cores умеет умножать матрицы 4x4 за один такт GPU, а cuda cores -- только 1x1.

Понятно, почему Tensor cores дают больше. Непонятно, почему переход на fp16 с fp32 на CUDA cores должен дать 30%, а не в два раза?

[crem]

Цитата: Сообщение от Maratka

Понятно, почему Tensor cores дают больше. Непонятно, почему переход на fp16 с fp32 на CUDA cores должен дать 30%, а не в два раза?

Потому что вычисление NN -- это не просто одно большое умножение, там есть и другие последовательные шаги, которые не ускоряются с fp16.

И ещё я не знаю что там с преобразованием Винограда, там вроде бы на каком-то шаге не хватает точности fp16, и поэтому такое ускорение как с fp32, он не даёт (насчёт Винограда не уверен, что именно поэтому, и не уверен что fp16 мешает Винограду вообще).

[Maratka]

Цитата: Сообщение от crem

Потому что вычисление NN -- это не просто одно большое умножение, там есть и другие последовательные шаги, которые не ускоряются с fp16.

Но тогда и от тензорных ядер на этих операциях толку нуль. А т.к. они дают потенциально больше, чем fp16 на CUDA-ядрах, то и просадка будет тем чувствительнее, чем больше операций, которые не-fp16, в пределе - строгий нуль и там, и тут, при стремлении операций не-fp16 к 100%.

Цитата: Сообщение от crem

там вроде бы на каком-то шаге не хватает точности fp16, и поэтому такое ускорение как с fp32, он не даёт

В этом случае fp16 по идее вообще не должнО использовать.

[sovaz1997]

41900 vs. 41800 (regression test): +616 -393 =2045
Elo diff: 25.4+-7.1

-----------

800 узлов/ход (следующий тест - 3200 узлов/ход):

# PLAYER           :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)
   1 lc0.net.41909    :      34      7   443.0     808  54.8     100  186  514  108  63.6
   2 lc0.net.41800    :       0      7   365.0     808  45.2     ---  108  514  186  63.6

White advantage = 44.03 +/- 7.53
Draw rate (equal opponents) = 65.92 % +/- 1.73

[Maratka]

Круто, че!

[svoitsl]

Очередной тест сети 41906 закончился

32930 119.11 (132-33-135)
33004 154.14 (168-43-89)
41052 177.22 (171-30-99)
41214 168.4 (168-33-99)
41369 143.07 (160-43-97)
41414 129.61 (149-42-109)
41453 105.00 +/-32 (140-52-108)
41500 142.05 +/-27 (199-44-157)
41508 115.23 +/-27 (189-61-150)
41541 136.97 +/-27 (196-46-158)
41585 99.95 +/-27 (177-65-158)
41640 109.45 +/- 27 (179-57-164)
41711 116.19 +/- 27 (186-57-157)
41786 84.12 +/- 27 (159-64-177)
41800 105.63 +/- 26 (175-57-168)
41812 104.68 +/- 27 (182-65-153)
41820 92.46 +/- 26 (166-62-172)
41852 97.13 +/- 26 (172-63-165)
41876 104.68 +/- 26 (170-53-177)
41906 86.89 +/- 25 (157-59-184))
Вот такие результаты......

Не самые плохие
Но Стокфиш все равно сильнее Лилы на почти 87 Эло

[svoitsl]

Лила, что то стала пробуксовывать....

[sovaz1997]

svoitsl, это свойство "паршивых" тестов с большими погрешностями

[svoitsl]

К вопросу о скейленке

Лила 21.1-41906 и Sf8

При 1.75 млн на 2 тыс узлов на ход
0 Эло, 11-11-24

При 0.875 млн и 1 тыс
-35 Эло 43-63-94

[sovaz1997]

Match: T40 progress check 41900
LC0-version: Lc0 v.0.21
LC0 options: moveoverhead 0ms, cudnn-fp16
Time control: 0.10 seconds per move
Hardware: Ryzen 5 2600 and i7-8700 CPU + RTX 2080
Speed: Leela ratio 1.24 (T40 avg 1.64knps, SF8 12CPU avg 1.15m).
Book: Chad's 8-ply 10k opening book, reversed selected sequentially
Tablebases: GUI adjudication at 6 or less pieces.
comment: 41900 new record!! Just 1 elo below SF10 12CPU and 14 elo above the previous record holder 41650!

   # PLAYER                :  RATING  ERROR   POINTS   (%)  PLAYED      W     L      D  D(%)  CFS(%)
   1 Stockfish 10 12CPU    :    3681   ----  13355.5  55.6   24000   8843  6132   9025  37.6      53
   2 lc0 v21 41900         :    3680     15    599.0  49.9    1200    381   383    436  36.3      90
   3 lc0 v21 41650         :    3666     15    575.5  48.0    1200    338   387    475  39.6      57
   4 lc0 v21 41625         :    3664     15    572.0  47.7    1200    335   391    474  39.5      54
   5 lc0 v21 41850         :    3663     15    570.0  47.5    1200    346   406    448  37.3      56
   6 lc0 v21 41700         :    3661     15    567.0  47.3    1200    333   399    468  39.0      50
   7 lc0 v21 41675         :    3661     16    567.0  47.3    1200    332   398    470  39.2      51
   8 lc0 v21 41750         :    3661     15    566.5  47.2    1200    342   409    449  37.4      52
   9 lc0 v21 41825         :    3660     15    565.5  47.1    1200    331   400    469  39.1      60
  10 lc0 v21 41725         :    3658     15    561.0  46.8    1200    328   406    466  38.8      62

White advantage = 46.98 +/- 1.16
Draw rate (equal opponents) = 39.86 % +/- 0.21

[Омегазеро]

Цитата: Сообщение от sovaz1997

Match: T40 progress check 41900
LC0-version: Lc0 v.0.21
LC0 options: moveoverhead 0ms, cudnn-fp16
Time control: 0.10 seconds per move
Hardware: Ryzen 5 2600 and i7-8700 CPU + RTX 2080
Speed: Leela ratio 1.24 (T40 avg 1.64knps, SF8 12CPU avg 1.15m)

Так как 2080 выдает ~30knps, а 12CPU ~20mnps, похоже, на этом оборудование запускалось 16-18-20 игр одновременно

А вообще соотношение 1.64knps против 1.15m напоминает GTX1050 против одного ядра AMD

[sovaz1997]

Омегазеро, похоже, так и есть. Главное, что одинаковые условия против Stockfish.

[Омегазеро]

Цитата: Сообщение от sovaz1997

Омегазеро, похоже, так и есть. Главное, что одинаковые условия против Stockfish.

Хотя временной контроль 0.10 seconds per move
в результате означает
164 nodes per move (Leela) против 115 knodes per move (Stockfish)

Может ли Лила раскрыться на таком минимуме?

[sovaz1997]

Омегазеро, не знаю. Такой контроль нужен чисто для сравнения сетей, это не сравнение Stockfish с Лилами. Это сравнение Лил через Stockfish. На месте Stockfish с тем же успехом мог быть тот же Ethereal

[sovaz1997]

Тесты sp-cc (сейчас тестируется 41800, 41665 - последняя протестированная):

   # PLAYER                 :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)  OppAvg
   1 Lc0 0.21.1 N:41665     :  3524.1   26.0   480.5     700    69      97  307  347   46    50  3378.2
   2 Lc0 0.21.1 N:32930     :  3500.0   ----   460.5     700    66      60  288  345   67    49  3378.2
   3 Stockfish 10 181129    :  3495.8   33.1    95.5     200    48     100   27  137   36    69  3512.1
   4 Houdini 6 pext         :  3431.1   34.0    78.0     200    39      63   21  114   65    57  3512.1
   5 Komodo 12.3 bmi2       :  3423.5   34.7    76.0     200    38     100   23  106   71    53  3512.1
   6 Ethereal 11.25 pext    :  3339.3   37.9    55.5     200    28      53   10   91   99    46  3512.1
   7 Xiphos 0.5 bmi2        :  3337.0   37.6    55.0     200    28      50   10   90  100    45  3512.1
   8 Fire 7.1 popc          :  3337.0   37.8    55.0     200    28      98   13   84  103    42  3512.1
   9 Laser 1.7 bmi2         :  3283.9   41.3    44.0     200    22     ---    9   70  121    35  3512.1

White advantage = 61.96 +/- 6.58
Draw rate (equal opponents) = 61.91 % +/- 1.66

https://www.sp-cc.de/lc0-testing.htm

Leela Ratio здесь 1.3, поэтому Лила выше стоит в том числе. Опять же: сравнение сетей - самое основное.

Head-to-Head:

Развернуть для просмотра

Head to head statistics:

 1) Lc0 0.21.1 N:41665  3524.1 :    700 (+307,=347,-46),  68.6 %

    vs.                        :  games (   +,   =,  -),   (%) :    Diff,    SD, CFS (%)
    Stockfish 10 181129        :    100 (  16,  72, 12),  52.0 :   +28.4,  17.0,   95.2
    Houdini 6 pext             :    100 (  37,  54,  9),  64.0 :   +93.0,  17.5,  100.0
    Komodo 12.3 bmi2           :    100 (  28,  62, 10),  59.0 :  +100.6,  17.7,  100.0
    Ethereal 11.25 pext        :    100 (  58,  40,  2),  78.0 :  +184.8,  19.6,  100.0
    Fire 7.1 popc              :    100 (  59,  37,  4),  77.5 :  +187.1,  19.4,  100.0
    Xiphos 0.5 bmi2            :    100 (  45,  51,  4),  70.5 :  +187.1,  19.5,  100.0
    Laser 1.7 bmi2             :    100 (  64,  31,  5),  79.5 :  +240.2,  21.4,  100.0

 2) Lc0 0.21.1 N:32930  3500.0 :    700 (+288,=345,-67),  65.8 %

    vs.                        :  games (   +,   =,  -),   (%) :    Diff,    SD, CFS (%)
    Stockfish 10 181129        :    100 (  20,  65, 15),  52.5 :    +4.2,  16.9,   59.9
    Houdini 6 pext             :    100 (  28,  60, 12),  58.0 :   +68.9,  17.4,  100.0
    Komodo 12.3 bmi2           :    100 (  43,  44, 13),  65.0 :   +76.5,  17.7,  100.0
    Ethereal 11.25 pext        :    100 (  41,  51,  8),  66.5 :  +160.7,  19.3,  100.0
    Fire 7.1 popc              :    100 (  44,  47,  9),  67.5 :  +163.0,  19.3,  100.0
    Xiphos 0.5 bmi2            :    100 (  55,  39,  6),  74.5 :  +163.0,  19.2,  100.0
    Laser 1.7 bmi2             :    100 (  57,  39,  4),  76.5 :  +216.1,  21.1,  100.0

 3) Stockfish 10 181129 3495.8 :    200 (+27,=137,-36),  47.8 %

    vs.                        :  games (  +,   =,  -),   (%) :    Diff,    SD, CFS (%)
    Lc0 0.21.1 N:41665         :    100 ( 12,  72, 16),  48.0 :   -28.4,  17.0,    4.8
    Lc0 0.21.1 N:32930         :    100 ( 15,  65, 20),  47.5 :    -4.2,  16.9,   40.1

 4) Houdini 6 pext      3431.1 :    200 (+21,=114,-65),  39.0 %

    vs.                        :  games (  +,   =,  -),   (%) :    Diff,    SD, CFS (%)
    Lc0 0.21.1 N:41665         :    100 (  9,  54, 37),  36.0 :   -93.0,  17.5,    0.0
    Lc0 0.21.1 N:32930         :    100 ( 12,  60, 28),  42.0 :   -68.9,  17.4,    0.0

 5) Komodo 12.3 bmi2    3423.5 :    200 (+23,=106,-71),  38.0 %

    vs.                        :  games (  +,   =,  -),   (%) :    Diff,    SD, CFS (%)
    Lc0 0.21.1 N:41665         :    100 ( 10,  62, 28),  41.0 :  -100.6,  17.7,    0.0
    Lc0 0.21.1 N:32930         :    100 ( 13,  44, 43),  35.0 :   -76.5,  17.7,    0.0

 6) Ethereal 11.25 pext 3339.3 :    200 (+10,=91,-99),  27.8 %

    vs.                        :  games (  +,  =,  -),   (%) :    Diff,    SD, CFS (%)
    Lc0 0.21.1 N:41665         :    100 (  2, 40, 58),  22.0 :  -184.8,  19.6,    0.0
    Lc0 0.21.1 N:32930         :    100 (  8, 51, 41),  33.5 :  -160.7,  19.3,    0.0

 7) Xiphos 0.5 bmi2     3337.0 :    200 (+10,=90,-100),  27.5 %

    vs.                        :  games (  +,  =,   -),   (%) :    Diff,    SD, CFS (%)
    Lc0 0.21.1 N:41665         :    100 (  4, 51,  45),  29.5 :  -187.1,  19.5,    0.0
    Lc0 0.21.1 N:32930         :    100 (  6, 39,  55),  25.5 :  -163.0,  19.2,    0.0

 8) Fire 7.1 popc       3337.0 :    200 (+13,=84,-103),  27.5 %

    vs.                        :  games (  +,  =,   -),   (%) :    Diff,    SD, CFS (%)
    Lc0 0.21.1 N:41665         :    100 (  4, 37,  59),  22.5 :  -187.1,  19.4,    0.0
    Lc0 0.21.1 N:32930         :    100 (  9, 47,  44),  32.5 :  -163.0,  19.3,    0.0

 9) Laser 1.7 bmi2      3283.9 :    200 (+9,=70,-121),  22.0 %

    vs.                        :  games ( +,  =,   -),   (%) :    Diff,    SD, CFS (%)
    Lc0 0.21.1 N:41665         :    100 ( 5, 31,  64),  20.5 :  -240.2,  21.4,    0.0
    Lc0 0.21.1 N:32930         :    100 ( 4, 39,  57),  23.5 :  -216.1,  21.1,    0.0

[свернуть]

41800 должна показать лучший результат, а последние из серии 419XX - еще чуть выше.

[Омегазеро]

Для выявления сильнейшего движка придуманы следующие требования

1. У процессора и видеокарты должна быть одинаковая стоимость и энергопотребление
2. Оборудование должно быть среднее по стоимости и энергопотреблению из наиболее распространенных для домашнего пользования

Мне кажется, что обоим требованиям хорошо удовлетворяет пара

AMD Ryzen 5 1600X - 95 TDP, цена 11
GTX 1060 - 120 TDP, цена 12

Ваши предложения, уточнения?

[sovaz1997]

Омегазеро, может быть, и удовлетворяла, но на данный момент это устаревшая конфигурация и надо в этом случае под RTX 2060 подбирать процессор.

[Омегазеро]

Цитата: Сообщение от sovaz1997

Омегазеро, может быть, и удовлетворяла, но на данный момент это устаревшая конфигурация и надо в этом случае под RTX 2060 подбирать процессор.

2. Оборудование должно быть среднее по стоимости и энергопотреблению из наиболее распространенных для домашнего пользования

Что касается RTX 2060, то для него идеальная пара AMD Threadripper 1900X. Но по цене (22 тысячи) и энергопотреблению (180 Ватт) эта пара не является средней

[Maratka]

Цитата: Сообщение от Омегазеро

1. У процессора и видеокарты должна быть одинаковая стоимость и энергопотребление

Это нереально.
Объясняю: "домашние" процессоры, сколь бы они многоядерными не были, не работают в более чем односокетной системе, а ограничивать количество ядер, когда его легко увеличить - не самая лучшая идея. Значит нужно брать Xeon'ы или Epic'и.
Но тогда в пару им нужно брать не GeForce, а Tesla, которая стоит.... недешево, а потому всегда хочется сэкономить, благо GeForce не медленнее, но дешевле, а на некоторых этапах могут быть и быстрее (скажем потому, что новый чип nVidia захочет сначала обкатать на дешевых платах).

В результате, получается дикий дисбаланс в ценах, а значит и в мощностях: дорогие Xeon против дешевых GeForce, которых в силу их дешевизны можно насыпать в GPU-сервер с горкой.

[sovaz1997]

Цитата: Сообщение от Омегазеро

2. Оборудование должно быть среднее по стоимости и энергопотреблению из наиболее распространенных для домашнего пользования

Что касается RTX 2060, то для него идеальная пара AMD Threadripper 1900X. Но по цене (22 тысячи) и энергопотреблению (180 Ватт) эта пара не является средней

Цены, кстати, надо смотреть в долларах, т. к. у нас цены на видеокарты завышены.
360$ за видеокарту, кстати, вполне можно считать средней. У нас доллар просто высокий, соответственно, даже карты среднего класса стоят намного выше, чем раньше))

[Омегазеро]

Цитата: Сообщение от sovaz1997

Цены, кстати, надо смотреть в долларах, т. к. у нас цены на видеокарты завышены.
360$ за видеокарту, кстати, вполне можно считать средней. У нас доллар просто высокий, соответственно, даже карты среднего класса стоят намного выше, чем раньше))

Цена 360$ за домашний процессор не является средней

[Asunta]

Нужно учитывать, что есть масса среднего железа под которое код Lc0
не прописан или недописан : )

Т.е. нужно брать железку, где Lc0 ведёт себя "правильно"..
А потом подбирать "эквивалент" для АВ-движков..

[Hendry]

Цитата: Сообщение от Омегазеро

Цена 360$ за домашний процессор не является средней

не является средней для России. для европы или Америки это сущие копейки.

[Maratka]

Вы очень хорошего мнения об Европе и Америке.