Сборки SF от Marat'ka

[Maratka]

В этой теме планирую выкладывать свои сборки, как правило - текущая версия с Abrok + свежие (на данный момент еще не прошитые) патчи.

[Maratka]

Описание из types.h:


/// When compiling with provided Makefile (e.g. for Linux and OSX), configuration
/// is done automatically. To get started type 'make help'.
///
/// When Makefile is not used (e.g. with Microsoft Visual Studio) some switches
/// need to be set manually:
///
/// -DNDEBUG | Disable debugging mode. Always use this for release.
///
/// -DNO_PREFETCH | Disable use of prefetch asm-instruction. You may need this to
/// | run on some very old machines.
///
/// -DUSE_POPCNT | Add runtime support for use of popcnt asm-instruction. Works
/// | only in 64-bit mode and requires hardware with popcnt support.
///
/// -DUSE_PEXT | Add runtime support for use of pext asm-instruction. Works
/// | only in 64-bit mode and requires hardware with pext support.


Т.е. мой случай:
/// When Makefile is not used (e.g. with Microsoft Visual Studio) some switches
/// need to be set manually:

Параметр
-DNDEBUG

Но это как я понимаю работает при сборке проекта из командной строки?

[Maratka]

Цитата: Сообщение от Maratka

Но не на 60%, что показывает встроенный бенч:
Oto:
===========================
Total time (ms) : 3522
Nodes searched : 6258930
Nodes/second : 1777095
Моя:
===========================
Total time (ms) : 6239
Nodes searched : 6258930
Nodes/second : 1003194

В общем с проблемой разобрался:
виноваты задержки при выводе в консоль больших объемов текста (все наши проанализированные линии в бенче).

Этим страдает в той или иной степени любая сборка, просто у otodranik - в меньшей степени, чем у меня.

Например, у него результат
===========================
Total time (ms) : 3705
Nodes searched : 6258930
Nodes/second : 1689319

тогда как без вывода в консоль больших массивов текста получается:
Total time (ms) : 3588
Nodes searched : 6258930
Nodes/second : 1744406

У меня разница больше:
Total time (ms) : 5785
Nodes searched : 5670504
Nodes/second : 980208

и соответственно
Total time (ms) : 3308
Nodes searched : 5670504
Nodes/second : 1714178

Правильный результат доступен по команде:
Filename bench > nul

В этом случае все линии просмотренных строк будут переправлены в пустоту, а в консоли будет только номер теста, вида:

Position: 1/42
Position: 2/42
...
...
Position: 42/42

[otodranik]

Цитата: Сообщение от Maratka

В общем с проблемой разобрался:
виноваты задержки при выводе в консоль больших объемов текста (все наши проанализированные линии в бенче).

Этим страдает в той или иной степени любая сборка, просто у otodranik - в меньшей степени, чем у меня.

Например, у него результат
===========================
Total time (ms) : 3705
Nodes searched : 6258930
Nodes/second : 1689319

тогда как без вывода в консоль больших массивов текста получается:
Total time (ms) : 3588
Nodes searched : 6258930
Nodes/second : 1744406

У меня разница больше:
Total time (ms) : 5785
Nodes searched : 5670504
Nodes/second : 980208

и соответственно
Total time (ms) : 3308
Nodes searched : 5670504
Nodes/second : 1714178

Правильный результат доступен по команде:
Filename bench > nul

В этом случае все линии просмотренных строк будут переправлены в пустоту, а в консоли будет только номер теста, вида:

Position: 1/42
Position: 2/42
...
...
Position: 42/42

У тебя и дольше обрабатывала.

[otodranik]

В твоем случае написано: When Makefile is not used (e.g. with Microsoft Visual Studio) some switches need to be set manually:
Когда мейкфайл не используется, нужно выставить некоторые перключатели(флаги) вручную. И список приведен! В твоем же #61 посте!

[Maratka]

Цитата: Сообщение от otodranik

У тебя и дольше обрабатывала.

Было дольше, т.к. была AVX-сборка, где AVX был лишь формально (проверил по бенчам - толку от него в пределах погрешности в сравнении с моей же SSE2-сборкой).
Сейчас же замерял на моей POPCNT-сборке

Ну и еще: в этой сборке прошил патч
http://tests.stockfishchess.org/test...bc593ea732d66d

Маловероятно, что он будет зеленым, но желтый - гарантировано.

[Maratka]

Цитата: Сообщение от otodranik

В твоем случае написано: When Makefile is not used (e.g. with Microsoft Visual Studio) some switches need to be set manually:
Когда мейкфайл не используется, нужно выставить некоторые перключатели(флаги) вручную. И список приведен! В твоем же #61 посте!

Я умею читать технические тексты (применительно к компьютерному железу/софту на английском

Если ты про:

Цитата: Сообщение от Maratka

Параметр
-DNDEBUG

то падения избежать не удалось: нет базы DTZ- сборка по прежнему падает.

Аналогично упала сборка, собранная компилятором Intel

[otodranik]

Цитата: Сообщение от Maratka

Я умею читать технические тексты (применительно к компьютерному железу/софту на английском

Если ты про:


то падения избежать не удалось: нет базы DTZ- сборка по прежнему падает.

Аналогично упала сборка, собранная компилятором Intel

Значит, может-быть, есть баги по сборке на этих средах.

[Maratka]

Возможно.
Но тогда это утверждение неверно:

Цитата: Сообщение от Aster

Эта директива затрагивает исключительно поведение MSVC с assert'ами

Если там конечно имелся в виду компилятор, а не оболочка.
Ключи я прописывал как раз таки в оболочке, и -DUSE_POPCNT (вернее /DUSE_POPCNT) сработал правильно, и собрал POPCNT-сборку (видно по скорости).

[Maratka]

https://yadi.sk/d/-DdD1kHn3KuNRL

Добавлены несколько желтых патчей (общий прирост с ними ~1,5 Elo)

---------
В связи с особенностью сборки, при работе с syzygy-базами необходимо указывать путь не только к WDL, но и к DTZ-базам.

[Maratka]

https://yadi.sk/d/9eMcYkGt3LKkUN

POPCNT -версия
Добавлены патчи:
http://tests.stockfishchess.org/test...bc5916ff649de3
http://tests.stockfishchess.org/test...bc5916ff649ca7
http://tests.stockfishchess.org/test...bc5916ff649b84

[Maratka]

https://yadi.sk/d/itI-nK_Z3MbGmb
Сборка POPCNT x64
Базируется на предпоследней версии с Аброка (патч syzygy отсутствует)

Добавлены патчи:
http://tests.stockfishchess.org/test...bc5916ff64aafc
- желтый

http://tests.stockfishchess.org/test...bc5916ff64adbb
- зеленый

С датой компиляции все нормально, последний патч был прошит тогда, когда еще не закончилось его тестирование, но вероятность "зеленого" была высока, а "желтого" - вообще 99%.

p.s.
Движок настроен на использование 8-ми ядер по умолчанию, просьба учитывать при подключении движка к оболочке.

[Maratka]

https://yadi.sk/d/AuXBDe593N5fmJ
Сборка POPCNT x64

Патч http://tests.stockfishchess.org/test...bc5916ff64aafc
заменен на
http://tests.stockfishchess.org/test...bc5916ff64ae87

Добавлен патч:
http://tests.stockfishchess.org/test...bc5916ff64aef5

p.s.
Движок настроен на использование 8-ми ядер по умолчанию, просьба учитывать при подключении движка к оболочке.

[Maratka]

https://yadi.sk/d/z95wQRag3N8e69
Сборка POPCNT x64

Добавлены патчи:
http://tests.stockfishchess.org/test...bc5916ff64b5c7
(зеленый)

http://tests.stockfishchess.org/test...bc5916ff64b4cd
(скорее всего будет желтым).

p.s.
Движок настроен на использование 8-ми ядер по умолчанию, просьба учитывать при подключении движка к оболочке.

[Maratka]

https://yadi.sk/d/OkvcDtxv3NGjBE
Сборка POPCNT x64


Добавлены патчи:
http://tests.stockfishchess.org/test...bc5916ff64b63e
http://tests.stockfishchess.org/test...bc5916ff64b6fd

p.s.
Движок настроен на использование 8-ми ядер по умолчанию, просьба учитывать при подключении движка к оболочке.

[Maratka]

https://yadi.sk/d/S0UtmrAG3NLroN
Сборка POPCNT x64

Добавлен патч:
http://tests.stockfishchess.org/test...bc5916ff64b9bc

p.s.
Движок настроен на использование 8-ми ядер по умолчанию, просьба учитывать при подключении движка к оболочке.

[ChessMan]

Цитата: Сообщение от Maratka

https://yadi.sk/d/S0UtmrAG3NLroN
Сборка POPCNT x64

Добавлен патч:
http://tests.stockfishchess.org/test...bc5916ff64b9bc

p.s.
Движок настроен на использование 8-ми ядер по умолчанию, просьба учитывать при подключении движка к оболочке.

Так Вы можете прикрутить автодетект ядер:
https://github.com/ChessMan3/Stockfi...dd863e1461R140

Как-то так:

 << (to_uci ? "" : "\n ")
 +	 << (to_uci ? "" : std::to_string(n))
 +	 << (to_uci ? "" : " processor(s) found")
 +	 << (to_uci ? "" : "\n");

[ChessMan]

Поправочка, надо добавить:
https://github.com/ChessMan3/Stockfi...dd863e1461L125


+ unsigned int n = std::thread::hardware_concurrency();

и

+ #include <thread>

[Maratka]

Кстати действительно неплохая идея.
Установил значение n-1, где n- количество ядер.

Вопрос: как они опознаются на i3/i5/i7?
Кто-то может проверить? (сборка медленная, использовать по прямому назначению можно, но лучше использовать ту, которую выложил несколько часов назад).

https://yadi.sk/d/GviLp4_-3NM5Xy

[Maratka]

Цитата: Сообщение от ChessMan

Поправочка, надо добавить:

Я разобрался уже...., спасибо!

[ChessMan]

В общем, только что проверил. Рабочий код вот:

#include <fstream>
#include <iomanip>
#include <iostream>
#include <sstream>
#include <vector>
#include <thread>

#include "misc.h"
#include "thread.h"
...

...
stringstream ss, date(__DATE__); // From compiler, format is "Sep 21 2008"

unsigned int n = std::thread::hardware_concurrency();

ss << "Stockfish " << Version << setfill('0');
...

ss << (Is64Bit ? " 64" : "")
<< (HasPext ? " BMI2" : (HasPopCnt ? " POPCNT" : ""))
<< (to_uci ? "\nid author ": " by ")
<< "T. Romstad, M. Costalba, J. Kiiski, G. Linscott";

ss << (to_uci ? "" : "\n ")
<< (to_uci ? "" : std::to_string(n))
<< (to_uci ? "" : " processor(s) found")
<< (to_uci ? "" : "\n");

return ss.str();
...


Выделил то, что необходимо добавлять.

[ChessMan]

Цитата: Сообщение от Maratka

Кстати действительно неплохая идея.
Установил значение n-1, где n- количество ядер.

Вопрос: как они опознаются на i3/i5/i7?
Кто-то может проверить? (сборка медленная, использовать по прямому назначению можно, но лучше использовать ту, которую выложил несколько часов назад).

https://yadi.sk/d/GviLp4_-3NM5Xy

Почему Вы не используете GCC/MinGW компилятор? Он вроде быстрее. Да и профилирует быстрее и лучше... Или нет?

[Maratka]

Потому что мне VS нравится, а скорость, когда есть ASM-версия - дело вторичное.

[ChessMan]

Цитата: Сообщение от Maratka

Потому что мне VS нравится, а скорость, когда есть ASM-версия - дело вторичное.

Если нравится то это другое дело. В GCC проще компилировать, да и сам процесс занимает 2-3 минуты на движок.


======
Что-то не хочет ставить 6 ядер при добавлении в Акву... я что-то пропустил походу...

[Maratka]

Цитата: Сообщение от ChessMan

В общем, только что проверил. Рабочий код вот:

Цитата: Сообщение от ChessMan

Что-то не хочет ставить 6 ядер при добавлении в Акву... я что-то пропустил походу...

ucioption еще править нужно, иначе детект ядер детектом и останется: продетектили, но не используем.

[Maratka]

ChessMan, проверьте пожалуйста мою сборку - она должна установить у вас 5 потоков по умолчанию.

[ChessMan]

Цитата: Сообщение от Maratka

ucioption еще править нужно, иначе детект ядер детектом и останется: продетектили, но не используем.

Ну да... lol

unsigned int n = std::thread::hardware_concurrency();
if (!n) n = 1;

[ChessMan]

Цитата: Сообщение от Maratka

ChessMan, проверьте пожалуйста мою сборку - она должна установить у вас 5 потоков по умолчанию.

Щас... врублю VPN и скачаю...

[ChessMan]

Есть контакт, 5 ядер включил

[Maratka]

Цитата: Сообщение от ChessMan

Если нравится то это другое дело. В GCC проще компилировать, да и сам процесс занимает 2-3 минуты на движок.

в VS сборка занимает секунд двадцать, а насчет простоты... Ну мне не тяжело нажать в меню Build > Rebuild Solution ;)

С PGO чуть сложнее, но не настолько, чтобы прямо совсем сложно.

Цитата: Сообщение от ChessMan

Есть контакт, 5 ядер включил

Спасибо!

[ChessMan]

А что это Вы патч не добавили?

Higher Move Overhead

https://github.com/official-stockfis...fd8b4f0c1945c1