Оптимизации SF в зависимости от компилятора, профилирования и ключей компилятора

[ChessMan]

Цитата: Сообщение от Maratka

Желаю, но ценность VS не только в компиляторе, но и в привычной оболочке, я не зная С++ от слова "совсем", но работая с Vb.net, открыл исходники SF, и был там как дома...

Но в целом - да, если есть компилятор получше - чего бы и нет...

Тут хотелось бы что еще - тестов от владельцев Core (ибо этот вот мой бинарь - это из-под компилятора Intel), и на FX там, или может быть и Ryzen (вне зависимости от поколения) - он вероятно все же не генерит самый быстрый код.

Даже на Интелах скорость не будет выше.
В исходниках есть хак под MinGW компилятор...

[ChessMan]

Тем временем получилось сделать SF_NNUE ещё быстрее:



К сожалению, это работает только для AVX2 сборок (и выше).

https://www.mirrored.to/files/19MSBGJV/

[Rom77]

Народ, вы в курсе, что недавний "гибридный" патч в официальном Стоке подключает обычную оценку Стока вместо нейросетевой в позициях с большим перевесом одной из сторон? Это сильно влияет на скорость в компиляциях с аброка. И соответственно, должно сильно влиять на бенч.

[ChessMan]

Цитата: Сообщение от Rom77

Народ, вы в курсе, что недавний "гибридный" патч в официальном Стоке подключает обычную оценку Стока вместо нейросетевой в позициях с большим перевесом одной из сторон? Это сильно влияет на скорость в компиляциях с аброка. И соответственно, должно сильно влиять на бенч.

Подскажите, какой конкретно коммит?

[Rom77]

Цитата: Сообщение от ChessMan

Подскажите, какой конкретно коммит?

Первый же после интеграции:
https://github.com/official-stockfis...fish/pull/2916

Возможно какие-то из последующих коммитов тоже влияют.

[Maratka]

Цитата: Сообщение от ChessMan

Ваша сборка

Моя сборка

Еще раз можете проверить?
Ваши сборки те же, моя -
https://yadi.sk/d/X3m-4tKiiEeUBQ

Нашел в общем, что можно подкрутить...

[ChessMan]

Цитата: Сообщение от Maratka

Еще раз можете проверить?
Ваши сборки те же, моя -
https://yadi.sk/d/X3m-4tKiiEeUBQ

Нашел в общем, что можно подкрутить...

Заметно быстрее. Правда исходники немного другие...

[Maratka]

Цитата: Сообщение от ChessMan

Заметно быстрее. Правда исходники немного другие...

Исходники - те что были последними часа три тому, чего уж из старья собирать, коль столько патчей вышло!

[ChessMan]

Цитата: Сообщение от Maratka

Исходники - те что были последними часа три тому, чего уж из старья собирать, коль столько патчей вышло!

Вот движки: https://github.com/JavaMast/EXE/tree/SF_NNUE_SSE42
думаю скачаете без проблем

[ChessMan]

Maratka, залил на ГитХаб ещё одну сборку (под FX).
Проверьте какая у Вас быстрее

[Maratka]

Все же хотелось бы на Intel'е это дело проверить..
Ну не обязан их компилятор собирать максимально быстрые бинари для AMD!

[Maratka]

Цитата: Сообщение от ChessMan

Maratka, залил на ГитХаб ещё одну сборку (под FX).
Проверьте какая у Вас быстрее

Сделал по-культурному

[ChessMan]

Цитата: Сообщение от Maratka

Сделал по-культурному

Залил на ГитХаб очередную сборку. Проверите?
У меня она конечно медленнее... но вдруг у Вас быстрее будет?)

[Maratka]

А где ее брать?
____
Все, сообразил!

[ChessMan]

Цитата: Сообщение от Maratka

А где ее брать?

На ГитХабе... по старой ссылке

https://github.com/JavaMast/EXE/tree/SF_NNUE_SSE42

[Maratka]

Можно сказать, что равны!

[Maratka]

Я вот думаю, как тут аброковскую сборку протестировать....
У них же сеть по-умолчанию выключена!

[ChessMan]

Цитата: Сообщение от Maratka

Я вот думаю, как тут аброковскую сборку протестировать....
У них же сеть по-умолчанию выключена!

В БилдТестере никак не получится...

[Maratka]

Кстати интересный ворос: а под какую оценку теперь SF нужно профилировать для лучшей скорости?

Если под сетевую, то просядет ручная, и наоборот.

Кто-то смотрел FEN'ы в бенчмарке: там соблюдается условие, чтобы SF достаточно часто переходил на ручную оценку?

Или может быть есть смысл добавить FEN'ов?

p.s. FEN'ы по идее можно и не смотреть, просто отпрофилировать с NN включенным по умолчанию и выключенным, и сравнить скорость версии с ручной оценкой.
Насколько я представляю, если FEN'ов нужных мало, то скорость заметно просядет.

[Vizvezdenec]

Согласно vondele, у нас примерно 30% позиций оцениваются старой оценкой, 70% - NNUE
https://github.com/Vizvezdenec/Stock...5c766710667e97
Так что лучше оптимизировать под последнюю, имхо, там и оптимизация сама больше даст.

[ChessMan]

Мне до сих пор не понятно почему моя AVX2 компиляция заметно быстрее аброковской.
Особенно с
o["Use NNUE"] << Option(true, on_use_NNUE); (движок №3)



===============
Есть какие-то соображения на эту тему?

[Maratka]

Ну так компиляторы то сильно разные, возможно то, что используется на Аброке не сильно умеет в AVX2, но под предыдущие наборы уже наловчился, вот и бонус!

Что если Вы у себя с этим же компилятором попробуете? Если окажется, что разница в 1-2% (т.е. по сути - погрешность) - вот и причина!

Ну и конечно нюансы профилирования... Хотите мои сборки прогнать, вида "непрофилированная", и два варианта "профилированных"?
Я у себя вижу в районе 2% от одного только способа профилирования, хотя в целом MSVC дает код так себе, на уровне аброка...

Мне лично было бы интересно, что будет на ZEN2

[ChessMan]

Цитата: Сообщение от Maratka

Ну так компиляторы то сильно разные, возможно то, что используется на Аброке не сильно умеет в AVX2, но под предыдущие наборы уже наловчился, вот и бонус!

Что если Вы у себя с этим же компилятором попробуете? Если окажется, что разница в 1-2% (т.е. по сути - погрешность) - вот и причина!

Несколько коммитов назад скорость была почти одинаковая.
К тому же, у меня быстрее не только AVX2 сборка

[Maratka]

Я выше сообщение чуть дополнил...

[ChessMan]

Цитата: Сообщение от Maratka

Я выше сообщение чуть дополнил...

Давайте ссылку

[Maratka]

Минут через десять - двадцать.
Только просьба: запустите тест не в пять кругов, а хотя бы в 15, лучше - 30, так заметно точнее получается.

Ну и Вашу сборку тоже... для сравнения - было бы полезно.
Хорошо бы еще и аброковскую, но это как я понимаю не очень просто.

[ChessMan]

Цитата: Сообщение от Maratka

Хорошо бы еще и аброковскую, но это как я понимаю не очень просто.

Почему нет?
Просто рядом положить две сети nn.nnue и nn-82215d0fd0df.nnue

[Maratka]

А..

o["Use NNUE"]              << Option(false, on_use_NNUE);

- опция по-умолчанию - это как?

[ChessMan]

Цитата: Сообщение от Maratka

А..

o["Use NNUE"]              << Option(false, on_use_NNUE);

- опция по-умолчанию - это как?

Так я могу собрать тоже с o["Use NNUE"] << Option(false, on_use_NNUE);

[Maratka]

Так собрать то нужно одинаково!
Я собираю так:
o["Use NNUE"] << Option(true, on_use_NNUE);
o["EvalFile"] << Option("./Eval/nn.nnue", on_eval_file);

Путь понятно некритичен, можно просто создать каталог для "меня" или кинуть сеть в кучу у Вас, но вот true/false у "Use NNUE" должно все же как-то влиять, если конечно нет где-то в недрах движка хака, который игнорит эту опцию при определенных условиях (и одно из условий мы все знаем), но что если их больше?

Потому- либо одинаковый исходник, либо только мои сборки между собой.
Это не значит, что я настаиваю именно на моих, и я готов собрать и чисто "аброковский" вариант, но мне кажется, что для современного SF Use NNUE=false - это некорректное использование движка в принципе, и сборка с профилированием - в частности.