О Stockfish

Цитата:

Авторы движка
Двигатель Stockfish был разработан Tord Romstad, Marco Costalba и Joona Kiiski. В настоящее время он развивается и поддерживается сообществом Stockfish.

Авторы приложений
Stockfish для Mac был собран Daylen Yang. Stockfish для iOS был собран Tord Romstad.

История
Проект Stockfish начался с движка Glaurung с открытым исходным кодом, созданного Tord Romstad. В ноябре 2008 года Марко Косталба разветвил код Glaurung 2.1 и представил Stockfish 1.0. Торд и Джоона Кииски присоединились к проекту «Стилфиш», и проект «Гларунг» постепенно исчез. Тем временем, Stockfish быстро поднялся, чтобы стать самым сильным шахматным движком с открытым исходным кодом, с частыми обновлениями каждые несколько месяцев. Сегодня он остается одним из самых сильных двигателей в мире.

О GPL
Stockfish является бесплатным и распространяется в соответствии с GNU General Public License Version 3 (GPLv3). По сути, это означает, что вы можете делать практически все, что хотите, с программой, включая ее распространение среди своих друзей, делая ее доступной для загрузки с вашего веб-сайта, продавая ее (либо самостоятельно, либо как часть некоторого более крупного программного пакета ) или использовать его в качестве отправной точки для собственного программного проекта.

Единственное реальное ограничение заключается в том, что всякий раз, когда вы каким-либо образом распространяете Stockfish, вы всегда должны включать полный исходный код или ссылку на исходный код. Если вы внесете какие-либо изменения в исходный код, эти изменения также должны быть доступны в GPL.

Для получения полной информации прочитайте GPL.

[свернуть]

Vizvezdenec · 28.12.2021, 20:28

Цитата: Сообщение от Vasilievich

Пожалуйста скинте Модерн с сетью!

Пожалуйста, вы можете перестать распространять клоны стокфиша, нарушающие его лицензию?
Добро бы они были измеримо сильнее, но даже этого нет же.
Я воспринимаю это как глубокое личное оскорбление, потею тут, понимаете, над улучшениями движка, чтобы какой-то мудак, простите за выражение, внёс 1,5 изменения, которые нифига не поменяли, и это потом распространял.
Но ладно бы только это, так он ещё и отказывается предоставить сами изменения, хоть он по факту паразитирует на том, что 10+ лет разрабатывалось с уровня 2800 эло и стало лучшим движком современности.
Максимальная мразь, так ещё и делающая это незаконно.
Хватит может быть уже, не?
Если он такой, сука, гений, пусть берёт там последний глаурунг с не гплВ3 и из него делает топовый движок, ну так спойлерну - нихрена у него не выйдет даже близко.

ChessMan · 28.12.2021, 20:32

Цитата: Сообщение от sergey1963

Можно было гораздо проще- в ДискМарк есть настройки- смените Т1 на Т12- это и есть потоки

В этом случае используется один файл на нескольких потоках.
У меня в тесте используются 12 разных файлов...
Мой тест ближе к реалиям использования эндшпильных таблиц.

Скачайте себе 500 и выше гигабайт таблиц на ССД и потом скажете, есть разница между SATA и хорошим NVMe или нет.

sergey1963 · 28.12.2021, 21:06

Не совсем так- в каждом отдельном случае при анализе в каждом варианте каждому потоку требуется всего лишь одна оценка таблиц весом в... полбайта. Адрес этот (как и всех позиций таблиц) находится в ОЗУ. Диск почти не нужен. Любой ССД запросто обслужит хоть 256 запросов потоков (это при 128ядрах!), не так уж сильно они доходят до 7-фигурок. А при приближении к 7-фигуркам- ну т.е. 8-9- там и считать-то нечего- Сток уже находит верный вариант с В-Н-П...
Дальнейшее обращение к таблицам сводится к 1-2-3-4 позициям 7-фигурок. Сам диск нужен при массовом переборе позиций ОЗУ- происходит их подкачка из ССД, но разных и страницами по 4кб (хотя в действительности по полбайта).
6-фигурки- это 67гб, плюс 100-200гб- нужные 7-фигурки, т.к - при 20 и менее фигур уже понятно в какие варианты лезет Сток- такие 7-фиги и ставим. А зачем все 8Тб и даже их четверть??? И не надо путать позицию и сочетание фигур- в одном только сочетании может быть миллионы позиций.

ChessMan · 28.12.2021, 21:10

Цитата: Сообщение от sergey1963

нужные 7-фигурки, т.к -. при 20 и менее фигур уже понятно в какие варианты лезет Сток- такие 7-фиги и ставим

Будете убивать ССД перезаписью таблиц под каждую партию которую сейчас играете на ИКЧФ (например)?

sergey1963 · 28.12.2021, 21:16

О какой перезаписи идет речь?- вся эта работа ССД- только чтение таблиц с передачей в ОЗУ. Перезапись хэша идет в самом ОЗУ- которому плевать и на запись и на чтение... Сами сочетания фигурок уже определены процентами- в большинстве случаев- это ладейник... Оставьте их и по мере надобности скачивайте следующие...
Насчет "убийства ССД"- там под 300Тб только гарантии (на самом деле и до ПБ доходит). На 5 лет- это 150гб в день...

ChessMan · 28.12.2021, 21:20

Цитата: Сообщение от sergey1963

в каждом отдельном случае при анализе каждому потоку требуется всего лишь одна оценка таблиц весом в... полбайта. Адрес этот (как и всех позиций таблиц) находится в ОЗУ. Диск почти не нужен. Любой ССД запросто обслужит хоть 256 запросов потоков (это при 128ядрах!), не так уж сильно они доходят до 7-фигурок

Вы откуда знаете как сильно они доходят до 7-ми фигурных окончаний?
У Вас сколько 7-фигурок используется?

============
1. Прежде чем попасть в ОЗУ, таблица считывается с диска.
2. "пол байта" это для одной позиции, а в процессе анализа этих позиций может быть сотни тысяч (миллионы?), даже пусть одного вида окончания.
Умножьте на количество потоков. Вычтите ХЭШ движка с общего объема ОЗУ - то что останется будет использовано для хранения позиций и оценок таблиц.

Сергей, хватит теории. Скачайте таблицы и проверьте.

ChessMan · 28.12.2021, 21:22

Цитата: Сообщение от sergey1963

плюс 100-200гб- нужные 7-фигурки, т.к - при 20 и менее фигур уже понятно в какие варианты лезет Сток- такие 7-фиги и ставим

Цитата: Сообщение от sergey1963

О какой перезаписи идет речь?- вся эта работа ССД- только чтение таблиц с передачей в ОЗУ.

Перезапись нужных таблиц на ССД.
Ведь в партии может возникнуть не очень распространенное окончание и 200 гигов окажется мало. Особенно, если очень хочется выиграть партию.

sergey1963 · 28.12.2021, 21:27

Разговор глухого со слепым... Почему нужны большие страницы памяти (ОЗУ)- да потому что миллион страниц по 4кб начинает тормозить хэш и это 4гб (при общем ОЗУ- 8гб). Сами большие страницы в 512 раз больше- 2мб и они также начинают тормозить при миллионе штук- но это 2тб!
Вопрос- при весе оценки в полбайта- сколько надо, чтобы начал тормозить хэш- в 8тысяч раз больше... Еще раз- самому ОЗУ не надо все сочетания- только отдельные позиции до которых дошел Сток- это и есть обращения к таблицам, которые видны и в оболочке и консоли. Нашел движок млрд окончаний 7-фигурок в рассматриваемых вариантах за 10минут- это много? посчитайте из всего количества позиций- и 1% не будет. Откройте при этом диспетчер задач- дай бог- сата-ссд нагружен на 10%!

ChessMan · 28.12.2021, 21:39

Цитата: Сообщение от sergey1963

Разговор глухого со слепым... Почему нужны большие страницы памяти (ОЗУ)- да потому что миллион страниц по 4кб начинает тормозить хэш и это 4гб (при общем ОЗУ- 8гб). Сами большие страницы в 512 раз больше- 2мб и они также начинают тормозить при миллионе штук- но это 2тб!
Вопрос- при весе оценки в полбайта- сколько надо, чтобы начал тормозить хэш- в 8тысяч раз больше... Ещк раз- самому ОЗУ не надо все сочетания- только отдельные позиции до которых дошел Сток- это и есть обращения к таблицам, которые видны и в оболочке и консоли. Нашел движок млрд окончаний 7-фигурок в рассматриваемых вариантах за 10минут- это много? посчитайте из всего количества позиций- и 1% не будет. Откройте при этом диспетчер задач- дай бог- сата-ссд нагружен на 10%!

Да забудьте Вы про ОЗУ.
Торможение идет при считывании таблиц с ССД.

sergey1963 · 28.12.2021, 21:44

Покажете по диспетчеру задач 100% загрузку сата-ссд? И это при мелкоблочном чтении. А не последовательной загрузке 100гб игры...
Не путайте с HDD- там да- 1мбс мелкоблочки и приплыли, в ссд- 20-80мбс...
Да есть у меня 970+ (Серега З передумал свой на 250гб продавать за 2,5тр, повезло с другим клиентом- продал за 5тр- 500гб)... Разницы с 850ево не увидел...
Разница там есть и офигеть какая, но она в другом- при загрузке ОС, игр, больших файлов... Даже не успеваешь проследить изменения, в браузере страницы как будто влитые... вместо одной при смене- просто другая...

ChessMan · 28.12.2021, 21:47

Цитата: Сообщение от sergey1963

Покажете по диспетчеру задач 100% загрузку сата-ссд? И это при мелкоблочном чтении. А не последовательной загрузке 100гб игры...
Не путайте с HDD- там да- 1мбс мелкоблочки и приплыли, в ссд- 20-80мбс...

Так я скрин выкладывал - там видно просадку по мелкоблочном.

=============
На моём NVMe просадки и нету))
А на обычном САТА будет.

sergey1963 · 28.12.2021, 22:05

У меня ССД с 2013г- 840ево на 120гб, затем в 2016 и 2017 взял 850ево на 250гб. Ни разу вот уже скоро 9лет не видел нагруженного ССД на 100%. Причем видел сотни других дисков при сборке ПК- такая же картина...

ChessMan · 28.12.2021, 22:13

Цитата: Сообщение от sergey1963

Ни разу вот уже скоро 9лет не видел нагруженного ССД на 100%.

Как это относится к теме беседы?
Я где-то утверждал, что диск будет загружен на 100%?

sergey1963 · 28.12.2021, 22:38

А что такое просадка ССД по-вашему? Это и есть нехватка скорости. Нужно столько-то за 1с, а загружается за 2с и быстрее никак- уперлись в 20-80мбс... С интернетом еще смешнее- даже 200 мбит- это всего лишь 25 мбайтс... У DDR- аж под 2000 мбайтс при мелкоблочке-то...

Maratka · 29.12.2021, 02:10

Цитата: Сообщение от sergey1963

Покажете по диспетчеру задач 100% загрузку сата-ссд?

Смотреть нужно не диспетчер задач, а монитор ресусов. В частности - дисковую очередь.

sergey1963 · 29.12.2021, 10:34

Мудрое замечание- видно сказать больше нечего...
Монитор ресурсов входит в диспетчер задач, а в самом диспетчере есть еще и скорость обмена данными с диском.
Решил проверить позицию на ноуте свежим Стоком- к моему удивлению решил- 2 ядра, 2,4 ггц, проц-4000м, хэш 2гб, бешенная скорость аж в 1,5мпс, причем за 6минут еще и хэш не закончился...

r4rk1/1bq1bppp/p1npp3/2nB1NP1/1p2P3/2N1B3/PPP1QP1P/2KR2R1 w - - 0 1

info depth 40 seldepth 50 multipv 1 score cp 61 lowerbound nodes 487498105 nps 1436158 hashfull 938 tbhits 125 time 339446 pv e2h5

Maratka · 29.12.2021, 10:39

Цитата: Сообщение от sergey1963

Монитор ресурсов входит в диспетчер задач, а в самом диспетчере есть еще и скорость обмена данными с диском.

Далеко не везде и не всегда. У меня например такого нет. И на большинстве *nix системах такого нет. Но отдельный монитор ресурсов есть везде, ибо без него администрировать систему банально невозможно.

Maratka · 29.12.2021, 10:44

Цитата: Сообщение от ChessMan

Как это относится к теме беседы?
Я где-то утверждал, что диск будет загружен на 100%?

Вообще говоря, большая очередь - это и есть загрузка на 100%. Собственно, очередь потому и образуется, что устройство не успевает отдавать запросы.

Очередь в свою очередь вовсе не предполагает, что будет высосана вся скорость интерфейса (~500 мегабайт для SATA, 3500 для NNUe на шине PCI-e 3.0 и т.д для других подключений). Но в скорость работы контроллера или самого флеша оно вполне может упереться, потому собственно и получается, что пиковые скорости чтения идут только на крупных блоках.

Но это все лирика. Главное, что любой накопитель имеет свой предел, и "положить" его можно вполне. Применительно к таблицам для шахмат - имея семифиругрки, и процессор на много десятков потоков, вполне получится "положить" любой NNUe, тем более - SATA. А шестифигурок по уши достаточно для любого механического дика. И именно по этой причине таблицы в том же TCEC хранятся на RAM-диске.

sergey1963 · 29.12.2021, 10:57

Да ну? 6-фиги с 67гб запросто ушатают любой HDD. Потому что разница идет не по последоваетельному чтению- где скорость меньше у HDD всего в 2 раза- 200мбс против 500 у SSD. Здесь важна мелкоблочка и скорость на ней совсем другая на любом накопителе и даже в ОЗУ. 0,5-1мбс- хард, 20-80мбс- ссд. Причем здесь нет разницы между nvme и sata, это и есть слабое место новых ССД. Оптэйн- 300мбс, но стоимость его приближается к ОЗУ.

svoitsl · 29.12.2021, 18:43

Цитата: Сообщение от Vizvezdenec

потею тут, понимаете, над улучшениями движка,

Надеюсь и в новом году вы не забросите свои усилия, несмотря на моральные затруднения, спасибо вам,что делаете движок сильнее.
Хотелось бы в предверии нового 2022 года немного помечтать о будущем, какие технологии (способы) могут быть использованы для его усиления, какие прогнозы по увеличению силы движка кто сколько даст.
Может быть как то удастся натренировать сеть непосредственно на 7 фиг окончаниях, без посредничества Лилы.
Какие прогнозы по изменению архитектуры и увеличению размера сети?
Удастся ли полностью отказаться от рукописной оценки? (и надо ли?)

ChessMan · 29.12.2021, 19:13

Цитата: Сообщение от sergey1963

Покажете по диспетчеру задач 100% загрузку сата-ссд? И это при мелкоблочном чтении.

В теме о железе несколько лет назад выкладывал (когда у меня был FX-8150).
Там скорость движка с таблицами просаживалась более чем в 10 раз. Правда ССД очень дешевый. Но и сейчас, мой Райзен 3900Х легко "ушатывает" Kingston A400 480 GB...

ChessMan · 29.12.2021, 19:25

После 9 часов БА:

970 EVO Plus 1 TB

TB Hits = 2 704 000 000 + 615 000 000
Ставил по 5 ядер каждому движку
ХЭШ - по 4096 МБ

32 ГБ ОЗУ очень даже заканчивается.

Суммарная скорость чтения таблиц ~150 MB/sec.
Во что там упор идёт по мелкоблочке? В 80 MB/sec?
И это после 9 часов анализа... Изначально скорость была естечтвенно выше, потом упала 600 (после заполнения SLC кеша) и со временем ещё упала так как большинство таблиц уже загрузились в ОЗУ. Но чтение с SSD все-равно не прекратилось.

sergey1963 · 29.12.2021, 19:57

Титаническая работа... но зачем- уже почти 3 года все есть в обзорах- вот они случайные операции, причем чтение... и 3500мбс превратились в 150мбс...

Развернуть для просмотра

[свернуть]

Почему скорость не упала до 60мбс? Так диск не все время обслуживал таблицы. У вас 166мбс при 51% активного времени... что-то шло и со скоростью 272мбс, таблицы- 60, средняя- 166...
Есть у 970+ и минусы... неслабые...
"Эффективно обслуживать смешанную нагрузку накопитель компании Samsung так и не научился. Несмотря на то, что пятиядерный контроллер Polaris располагает гигантской вычислительной мощностью, эффективно распорядиться ей в том случае, когда необходимо одновременно и читать, и записывать информацию, Samsung 970 EVO Plus почему-то не может"...

ChessMan · 29.12.2021, 20:15

Цитата: Сообщение от sergey1963

Так диск не все время обслуживал таблицы. У вас 166мбс при 51% активного времени... что-то шло и со скоростью 272мбс, таблицы- 60, средняя- 166...

Диск обслуживал таблицы со скоростью 110+42 МБ/с
Обычный САТА так сможет?

==========
Если вспомню в какой моей партии было и какие базы в тот момент были подключены - продемонстрирую скорость чтения таблиц 500+ MB/s через несколько часов после старта анализа и полного заполнения ОЗУ

sergey1963 · 29.12.2021, 20:20

Извините- но я больше верю обзорам, тем более- проверенных челов. У них и стенды соответствующие и знаний куда больше. Да они вынуждены работать на заказ, но кто мешает им выкладывать правду-матку на специализированных сайтах? Говорите хоть что- но на сегодня по мелкоблочке предел 80мбс... и то в прыжке. Вот сата-ССД- есть отличия?

Развернуть для просмотра

[свернуть]

ChessMan · 29.12.2021, 20:24

Цитата: Сообщение от sergey1963

Говорите хоть что- но на сегодня по мелкоблочке предел 80мбс... и то в прыжке.

да ну?

Цитата: Сообщение от ChessMan

В этом случае используется один файл на нескольких потоках.
У меня в тесте используются 12 разных файлов...
Мой тест ближе к реалиям использования эндшпильных таблиц.

Скачайте себе 500 и выше гигабайт таблиц на ССД и потом скажете, есть разница между SATA и хорошим NVMe или нет.

ChessMan · 29.12.2021, 20:26

Цитата: Сообщение от sergey1963

Извините- но я больше верю обзорам, тем более- проверенных челов. У них и стенды соответствующие и знаний куда больше. Да они вынуждены работать на заказ, но кто мешает им выкладывать праду матку на специализированных сайтах?

Они используют движки с таблицами?
Не используют. Поэтому они не компетентны в этом вопросе.

sergey1963 · 29.12.2021, 20:34

И что?- у меня на ноуте Самсунг-850ево покажет на мелкоблочке под 1000мбс и это с ДДР-3... Режим рапид в действии- часть ОЗУ напрямую используется как кэш ССД... но это маркетинг и только. Есть ССД, но стоимость... зашкаливает...

ChessMan · 29.12.2021, 21:00

sergey1963,
Набирал сообщение со ссылками на мои тесты ССД в одной позиции, в которой скорость упала с 14 000 Ку/с без таблиц до 1 500 Ку/с с таблицами, но случайно обновил окно браузера...

Поэтому только две ссылки
Начало: https://forchess.ru/showpost.php?p=84823&postcount=3015

Конец (приобрёл NVMe): https://forchess.ru/showpost.php?p=94269&postcount=3055

Там и у Маратки можете заметить "затык" ССД в этой позиции (диск загружен на 100%), хотя у него нормальный САТА ССД с восьмиканальным контроллером.

==============
Итак: для использования движка с таблицами, хороший NVMe SSD лучше чем хороший SATA SSD.

sergey1963 · 29.12.2021, 21:15

Ну в вашем примере- ССД-то был явно плох, в общем случае- да nvme лучше sata, ненамного но заметно лучше, как владелец Самсунга 850ево- подтверждаю- 970+ это что-то.
Вот картинка режима "рапид" 850- впечатляет? Поэтому и браузер и подобные проги- не лагают, не замедляются... совсем...

04.06.2016, 17:13	#1
Харлампий 2 разряд Регистрация: 03.06.2016 Сообщений: 441 Сказал(а) спасибо: 534 Поблагодарили 1,949 раз(а) в 431 сообщениях Репутация: 181	Stockfish и его производные Stockfish 14 Stockfish 14 для Android https://ufile.io/f/8ardx https://pixeldrain.com/l/ndVpnHXc#item=1 Архив предыдущих версий: https://www.dropbox.com/sh/75gzfgu7q...UfHbBr4r_RwhGa Официальный сайт стокфиш Обновления тестовых версий стокфиша: http://abrok.eu/stockfish/ Сборки Stockfish и CorChess от I. Ivec Развитие движка http://tests.stockfishchess.org/tests Stockfish_NNUE https://github.com/nodchip/Stockfish Сети: https://www.comp.nus.edu.sg/~sergio-v/nnue/ AsmFish Сборки от Maratka Компиляции движков от ChessMan Сборка Stockfish от Otodranik Sugar от Marco Zerbinati Shark и Orka О Stockfish Цитата: Авторы движка Двигатель Stockfish был разработан Tord Romstad, Marco Costalba и Joona Kiiski. В настоящее время он развивается и поддерживается сообществом Stockfish. Авторы приложений Stockfish для Mac был собран Daylen Yang. Stockfish для iOS был собран Tord Romstad. История Проект Stockfish начался с движка Glaurung с открытым исходным кодом, созданного Tord Romstad. В ноябре 2008 года Марко Косталба разветвил код Glaurung 2.1 и представил Stockfish 1.0. Торд и Джоона Кииски присоединились к проекту «Стилфиш», и проект «Гларунг» постепенно исчез. Тем временем, Stockfish быстро поднялся, чтобы стать самым сильным шахматным движком с открытым исходным кодом, с частыми обновлениями каждые несколько месяцев. Сегодня он остается одним из самых сильных двигателей в мире. О GPL Stockfish является бесплатным и распространяется в соответствии с GNU General Public License Version 3 (GPLv3). По сути, это означает, что вы можете делать практически все, что хотите, с программой, включая ее распространение среди своих друзей, делая ее доступной для загрузки с вашего веб-сайта, продавая ее (либо самостоятельно, либо как часть некоторого более крупного программного пакета ) или использовать его в качестве отправной точки для собственного программного проекта. Единственное реальное ограничение заключается в том, что всякий раз, когда вы каким-либо образом распространяете Stockfish, вы всегда должны включать полный исходный код или ссылку на исходный код. Если вы внесете какие-либо изменения в исходный код, эти изменения также должны быть доступны в GPL. Для получения полной информации прочитайте GPL. [свернуть] Последний раз редактировалось ChessMan; 04.07.2021 в 09:38. Причина: Добавил ссылку на Стокфиш 14 + ссылка на пред. версии + Android

28.12.2021, 20:28	#16171
Vizvezdenec Гроссмейстер Регистрация: 30.05.2018 Адрес: Севастополь Сообщений: 4,022 Сказал(а) спасибо: 56 Поблагодарили 5,291 раз(а) в 2,672 сообщениях Репутация: 216	Re: Stockfish и его производные Цитата: Сообщение от Vasilievich Пожалуйста скинте Модерн с сетью! Пожалуйста, вы можете перестать распространять клоны стокфиша, нарушающие его лицензию? Добро бы они были измеримо сильнее, но даже этого нет же. Я воспринимаю это как глубокое личное оскорбление, потею тут, понимаете, над улучшениями движка, чтобы какой-то мудак, простите за выражение, внёс 1,5 изменения, которые нифига не поменяли, и это потом распространял. Но ладно бы только это, так он ещё и отказывается предоставить сами изменения, хоть он по факту паразитирует на том, что 10+ лет разрабатывалось с уровня 2800 эло и стало лучшим движком современности. Максимальная мразь, так ещё и делающая это незаконно. Хватит может быть уже, не? Если он такой, сука, гений, пусть берёт там последний глаурунг с не гплВ3 и из него делает топовый движок, ну так спойлерну - нихрена у него не выйдет даже близко. __________________ Развернуть для просмотра [свернуть]

28.12.2021, 20:32	#16172
ChessMan Super Moderator Регистрация: 04.01.2017 Сообщений: 3,629 Сказал(а) спасибо: 2,879 Поблагодарили 6,463 раз(а) в 2,331 сообщениях Репутация: 354	Re: Stockfish и его производные Цитата: Сообщение от sergey1963 Можно было гораздо проще- в ДискМарк есть настройки- смените Т1 на Т12- это и есть потоки В этом случае используется один файл на нескольких потоках. У меня в тесте используются 12 разных файлов... Мой тест ближе к реалиям использования эндшпильных таблиц. Скачайте себе 500 и выше гигабайт таблиц на ССД и потом скажете, есть разница между SATA и хорошим NVMe или нет.

28.12.2021, 21:06	#16173
sergey1963 Эксперт Регистрация: 31.05.2016 Сообщений: 6,474 Сказал(а) спасибо: 10,473 Поблагодарили 6,624 раз(а) в 3,608 сообщениях Репутация: 467	Re: Stockfish и его производные Не совсем так- в каждом отдельном случае при анализе в каждом варианте каждому потоку требуется всего лишь одна оценка таблиц весом в... полбайта. Адрес этот (как и всех позиций таблиц) находится в ОЗУ. Диск почти не нужен. Любой ССД запросто обслужит хоть 256 запросов потоков (это при 128ядрах!), не так уж сильно они доходят до 7-фигурок. А при приближении к 7-фигуркам- ну т.е. 8-9- там и считать-то нечего- Сток уже находит верный вариант с В-Н-П... Дальнейшее обращение к таблицам сводится к 1-2-3-4 позициям 7-фигурок. Сам диск нужен при массовом переборе позиций ОЗУ- происходит их подкачка из ССД, но разных и страницами по 4кб (хотя в действительности по полбайта). 6-фигурки- это 67гб, плюс 100-200гб- нужные 7-фигурки, т.к - при 20 и менее фигур уже понятно в какие варианты лезет Сток- такие 7-фиги и ставим. А зачем все 8Тб и даже их четверть??? И не надо путать позицию и сочетание фигур- в одном только сочетании может быть миллионы позиций.

28.12.2021, 21:10	#16174
ChessMan Super Moderator Регистрация: 04.01.2017 Сообщений: 3,629 Сказал(а) спасибо: 2,879 Поблагодарили 6,463 раз(а) в 2,331 сообщениях Репутация: 354	Re: Stockfish и его производные Цитата: Сообщение от sergey1963 нужные 7-фигурки, т.к -. при 20 и менее фигур уже понятно в какие варианты лезет Сток- такие 7-фиги и ставим Будете убивать ССД перезаписью таблиц под каждую партию которую сейчас играете на ИКЧФ (например)?

28.12.2021, 21:16	#16175
sergey1963 Эксперт Регистрация: 31.05.2016 Сообщений: 6,474 Сказал(а) спасибо: 10,473 Поблагодарили 6,624 раз(а) в 3,608 сообщениях Репутация: 467	Re: Stockfish и его производные О какой перезаписи идет речь?- вся эта работа ССД- только чтение таблиц с передачей в ОЗУ. Перезапись хэша идет в самом ОЗУ- которому плевать и на запись и на чтение... Сами сочетания фигурок уже определены процентами- в большинстве случаев- это ладейник... Оставьте их и по мере надобности скачивайте следующие... Насчет "убийства ССД"- там под 300Тб только гарантии (на самом деле и до ПБ доходит). На 5 лет- это 150гб в день...

28.12.2021, 21:20	#16176
ChessMan Super Moderator Регистрация: 04.01.2017 Сообщений: 3,629 Сказал(а) спасибо: 2,879 Поблагодарили 6,463 раз(а) в 2,331 сообщениях Репутация: 354	Re: Stockfish и его производные Цитата: Сообщение от sergey1963 в каждом отдельном случае при анализе каждому потоку требуется всего лишь одна оценка таблиц весом в... полбайта. Адрес этот (как и всех позиций таблиц) находится в ОЗУ. Диск почти не нужен. Любой ССД запросто обслужит хоть 256 запросов потоков (это при 128ядрах!), не так уж сильно они доходят до 7-фигурок Вы откуда знаете как сильно они доходят до 7-ми фигурных окончаний? У Вас сколько 7-фигурок используется? ============ 1. Прежде чем попасть в ОЗУ, таблица считывается с диска. 2. "пол байта" это для одной позиции, а в процессе анализа этих позиций может быть сотни тысяч (миллионы?), даже пусть одного вида окончания. Умножьте на количество потоков. Вычтите ХЭШ движка с общего объема ОЗУ - то что останется будет использовано для хранения позиций и оценок таблиц. Сергей, хватит теории. Скачайте таблицы и проверьте.

28.12.2021, 21:22	#16177
ChessMan Super Moderator Регистрация: 04.01.2017 Сообщений: 3,629 Сказал(а) спасибо: 2,879 Поблагодарили 6,463 раз(а) в 2,331 сообщениях Репутация: 354	Re: Stockfish и его производные Цитата: Сообщение от sergey1963 плюс 100-200гб- нужные 7-фигурки, т.к - при 20 и менее фигур уже понятно в какие варианты лезет Сток- такие 7-фиги и ставим Цитата: Сообщение от sergey1963 О какой перезаписи идет речь?- вся эта работа ССД- только чтение таблиц с передачей в ОЗУ. Перезапись нужных таблиц на ССД. Ведь в партии может возникнуть не очень распространенное окончание и 200 гигов окажется мало. Особенно, если очень хочется выиграть партию.

28.12.2021, 21:27	#16178
sergey1963 Эксперт Регистрация: 31.05.2016 Сообщений: 6,474 Сказал(а) спасибо: 10,473 Поблагодарили 6,624 раз(а) в 3,608 сообщениях Репутация: 467	Re: Stockfish и его производные Разговор глухого со слепым... Почему нужны большие страницы памяти (ОЗУ)- да потому что миллион страниц по 4кб начинает тормозить хэш и это 4гб (при общем ОЗУ- 8гб). Сами большие страницы в 512 раз больше- 2мб и они также начинают тормозить при миллионе штук- но это 2тб! Вопрос- при весе оценки в полбайта- сколько надо, чтобы начал тормозить хэш- в 8тысяч раз больше... Еще раз- самому ОЗУ не надо все сочетания- только отдельные позиции до которых дошел Сток- это и есть обращения к таблицам, которые видны и в оболочке и консоли. Нашел движок млрд окончаний 7-фигурок в рассматриваемых вариантах за 10минут- это много? посчитайте из всего количества позиций- и 1% не будет. Откройте при этом диспетчер задач- дай бог- сата-ссд нагружен на 10%!

28.12.2021, 21:39	#16179
ChessMan Super Moderator Регистрация: 04.01.2017 Сообщений: 3,629 Сказал(а) спасибо: 2,879 Поблагодарили 6,463 раз(а) в 2,331 сообщениях Репутация: 354	Re: Stockfish и его производные Цитата: Сообщение от sergey1963 Разговор глухого со слепым... Почему нужны большие страницы памяти (ОЗУ)- да потому что миллион страниц по 4кб начинает тормозить хэш и это 4гб (при общем ОЗУ- 8гб). Сами большие страницы в 512 раз больше- 2мб и они также начинают тормозить при миллионе штук- но это 2тб! Вопрос- при весе оценки в полбайта- сколько надо, чтобы начал тормозить хэш- в 8тысяч раз больше... Ещк раз- самому ОЗУ не надо все сочетания- только отдельные позиции до которых дошел Сток- это и есть обращения к таблицам, которые видны и в оболочке и консоли. Нашел движок млрд окончаний 7-фигурок в рассматриваемых вариантах за 10минут- это много? посчитайте из всего количества позиций- и 1% не будет. Откройте при этом диспетчер задач- дай бог- сата-ссд нагружен на 10%! Да забудьте Вы про ОЗУ. Торможение идет при считывании таблиц с ССД.

28.12.2021, 21:44	#16180
sergey1963 Эксперт Регистрация: 31.05.2016 Сообщений: 6,474 Сказал(а) спасибо: 10,473 Поблагодарили 6,624 раз(а) в 3,608 сообщениях Репутация: 467	Re: Stockfish и его производные Покажете по диспетчеру задач 100% загрузку сата-ссд? И это при мелкоблочном чтении. А не последовательной загрузке 100гб игры... Не путайте с HDD- там да- 1мбс мелкоблочки и приплыли, в ссд- 20-80мбс... Да есть у меня 970+ (Серега З передумал свой на 250гб продавать за 2,5тр, повезло с другим клиентом- продал за 5тр- 500гб)... Разницы с 850ево не увидел... Разница там есть и офигеть какая, но она в другом- при загрузке ОС, игр, больших файлов... Даже не успеваешь проследить изменения, в браузере страницы как будто влитые... вместо одной при смене- просто другая...

28.12.2021, 21:47	#16181
ChessMan Super Moderator Регистрация: 04.01.2017 Сообщений: 3,629 Сказал(а) спасибо: 2,879 Поблагодарили 6,463 раз(а) в 2,331 сообщениях Репутация: 354	Re: Stockfish и его производные Цитата: Сообщение от sergey1963 Покажете по диспетчеру задач 100% загрузку сата-ссд? И это при мелкоблочном чтении. А не последовательной загрузке 100гб игры... Не путайте с HDD- там да- 1мбс мелкоблочки и приплыли, в ссд- 20-80мбс... Так я скрин выкладывал - там видно просадку по мелкоблочном. ============= На моём NVMe просадки и нету)) А на обычном САТА будет.

28.12.2021, 22:05	#16182
sergey1963 Эксперт Регистрация: 31.05.2016 Сообщений: 6,474 Сказал(а) спасибо: 10,473 Поблагодарили 6,624 раз(а) в 3,608 сообщениях Репутация: 467	Re: Stockfish и его производные У меня ССД с 2013г- 840ево на 120гб, затем в 2016 и 2017 взял 850ево на 250гб. Ни разу вот уже скоро 9лет не видел нагруженного ССД на 100%. Причем видел сотни других дисков при сборке ПК- такая же картина...

28.12.2021, 22:13	#16183
ChessMan Super Moderator Регистрация: 04.01.2017 Сообщений: 3,629 Сказал(а) спасибо: 2,879 Поблагодарили 6,463 раз(а) в 2,331 сообщениях Репутация: 354	Re: Stockfish и его производные Цитата: Сообщение от sergey1963 Ни разу вот уже скоро 9лет не видел нагруженного ССД на 100%. Как это относится к теме беседы? Я где-то утверждал, что диск будет загружен на 100%?

28.12.2021, 22:38	#16184
sergey1963 Эксперт Регистрация: 31.05.2016 Сообщений: 6,474 Сказал(а) спасибо: 10,473 Поблагодарили 6,624 раз(а) в 3,608 сообщениях Репутация: 467	Re: Stockfish и его производные А что такое просадка ССД по-вашему? Это и есть нехватка скорости. Нужно столько-то за 1с, а загружается за 2с и быстрее никак- уперлись в 20-80мбс... С интернетом еще смешнее- даже 200 мбит- это всего лишь 25 мбайтс... У DDR- аж под 2000 мбайтс при мелкоблочке-то...

29.12.2021, 02:10	#16185
Maratka Эксперт Регистрация: 11.04.2017 Адрес: РФ, Крым, Севастополь. Сообщений: 11,831 Сказал(а) спасибо: 3,291 Поблагодарили 5,923 раз(а) в 4,234 сообщениях Репутация: 250	Re: Stockfish и его производные Цитата: Сообщение от sergey1963 Покажете по диспетчеру задач 100% загрузку сата-ссд? Смотреть нужно не диспетчер задач, а монитор ресусов. В частности - дисковую очередь.

29.12.2021, 10:34	#16186
sergey1963 Эксперт Регистрация: 31.05.2016 Сообщений: 6,474 Сказал(а) спасибо: 10,473 Поблагодарили 6,624 раз(а) в 3,608 сообщениях Репутация: 467	Re: Stockfish и его производные Мудрое замечание- видно сказать больше нечего... Монитор ресурсов входит в диспетчер задач, а в самом диспетчере есть еще и скорость обмена данными с диском. Решил проверить позицию на ноуте свежим Стоком- к моему удивлению решил- 2 ядра, 2,4 ггц, проц-4000м, хэш 2гб, бешенная скорость аж в 1,5мпс, причем за 6минут еще и хэш не закончился... r4rk1/1bq1bppp/p1npp3/2nB1NP1/1p2P3/2N1B3/PPP1QP1P/2KR2R1 w - - 0 1 info depth 40 seldepth 50 multipv 1 score cp 61 lowerbound nodes 487498105 nps 1436158 hashfull 938 tbhits 125 time 339446 pv e2h5

29.12.2021, 10:39	#16187
Maratka Эксперт Регистрация: 11.04.2017 Адрес: РФ, Крым, Севастополь. Сообщений: 11,831 Сказал(а) спасибо: 3,291 Поблагодарили 5,923 раз(а) в 4,234 сообщениях Репутация: 250	Re: Stockfish и его производные Цитата: Сообщение от sergey1963 Монитор ресурсов входит в диспетчер задач, а в самом диспетчере есть еще и скорость обмена данными с диском. Далеко не везде и не всегда. У меня например такого нет. И на большинстве *nix системах такого нет. Но отдельный монитор ресурсов есть везде, ибо без него администрировать систему банально невозможно.

29.12.2021, 10:44	#16188
Maratka Эксперт Регистрация: 11.04.2017 Адрес: РФ, Крым, Севастополь. Сообщений: 11,831 Сказал(а) спасибо: 3,291 Поблагодарили 5,923 раз(а) в 4,234 сообщениях Репутация: 250	Re: Stockfish и его производные Цитата: Сообщение от ChessMan Как это относится к теме беседы? Я где-то утверждал, что диск будет загружен на 100%? Вообще говоря, большая очередь - это и есть загрузка на 100%. Собственно, очередь потому и образуется, что устройство не успевает отдавать запросы. Очередь в свою очередь вовсе не предполагает, что будет высосана вся скорость интерфейса (~500 мегабайт для SATA, 3500 для NNUe на шине PCI-e 3.0 и т.д для других подключений). Но в скорость работы контроллера или самого флеша оно вполне может упереться, потому собственно и получается, что пиковые скорости чтения идут только на крупных блоках. Но это все лирика. Главное, что любой накопитель имеет свой предел, и "положить" его можно вполне. Применительно к таблицам для шахмат - имея семифиругрки, и процессор на много десятков потоков, вполне получится "положить" любой NNUe, тем более - SATA. А шестифигурок по уши достаточно для любого механического дика. И именно по этой причине таблицы в том же TCEC хранятся на RAM-диске.

29.12.2021, 10:57	#16189
sergey1963 Эксперт Регистрация: 31.05.2016 Сообщений: 6,474 Сказал(а) спасибо: 10,473 Поблагодарили 6,624 раз(а) в 3,608 сообщениях Репутация: 467	Re: Stockfish и его производные Да ну? 6-фиги с 67гб запросто ушатают любой HDD. Потому что разница идет не по последоваетельному чтению- где скорость меньше у HDD всего в 2 раза- 200мбс против 500 у SSD. Здесь важна мелкоблочка и скорость на ней совсем другая на любом накопителе и даже в ОЗУ. 0,5-1мбс- хард, 20-80мбс- ссд. Причем здесь нет разницы между nvme и sata, это и есть слабое место новых ССД. Оптэйн- 300мбс, но стоимость его приближается к ОЗУ.

29.12.2021, 18:43	#16190
svoitsl Гроссмейстер Регистрация: 19.04.2017 Сообщений: 4,710 Сказал(а) спасибо: 1,201 Поблагодарили 2,834 раз(а) в 1,876 сообщениях Репутация: 159	Re: Stockfish и его производные Цитата: Сообщение от Vizvezdenec потею тут, понимаете, над улучшениями движка, Надеюсь и в новом году вы не забросите свои усилия, несмотря на моральные затруднения, спасибо вам,что делаете движок сильнее. Хотелось бы в предверии нового 2022 года немного помечтать о будущем, какие технологии (способы) могут быть использованы для его усиления, какие прогнозы по увеличению силы движка кто сколько даст. Может быть как то удастся натренировать сеть непосредственно на 7 фиг окончаниях, без посредничества Лилы. Какие прогнозы по изменению архитектуры и увеличению размера сети? Удастся ли полностью отказаться от рукописной оценки? (и надо ли?)

29.12.2021, 19:13	#16191
ChessMan Super Moderator Регистрация: 04.01.2017 Сообщений: 3,629 Сказал(а) спасибо: 2,879 Поблагодарили 6,463 раз(а) в 2,331 сообщениях Репутация: 354	Re: Stockfish и его производные Цитата: Сообщение от sergey1963 Покажете по диспетчеру задач 100% загрузку сата-ссд? И это при мелкоблочном чтении. В теме о железе несколько лет назад выкладывал (когда у меня был FX-8150). Там скорость движка с таблицами просаживалась более чем в 10 раз. Правда ССД очень дешевый. Но и сейчас, мой Райзен 3900Х легко "ушатывает" Kingston A400 480 GB...

29.12.2021, 19:25	#16192
ChessMan Super Moderator Регистрация: 04.01.2017 Сообщений: 3,629 Сказал(а) спасибо: 2,879 Поблагодарили 6,463 раз(а) в 2,331 сообщениях Репутация: 354	Re: Stockfish и его производные После 9 часов БА: 970 EVO Plus 1 TB TB Hits = 2 704 000 000 + 615 000 000 Ставил по 5 ядер каждому движку ХЭШ - по 4096 МБ 32 ГБ ОЗУ очень даже заканчивается. Суммарная скорость чтения таблиц ~150 MB/sec. Во что там упор идёт по мелкоблочке? В 80 MB/sec? И это после 9 часов анализа... Изначально скорость была естечтвенно выше, потом упала 600 (после заполнения SLC кеша) и со временем ещё упала так как большинство таблиц уже загрузились в ОЗУ. Но чтение с SSD все-равно не прекратилось.

29.12.2021, 19:57	#16193
sergey1963 Эксперт Регистрация: 31.05.2016 Сообщений: 6,474 Сказал(а) спасибо: 10,473 Поблагодарили 6,624 раз(а) в 3,608 сообщениях Репутация: 467	Re: Stockfish и его производные Титаническая работа... но зачем- уже почти 3 года все есть в обзорах- вот они случайные операции, причем чтение... и 3500мбс превратились в 150мбс... Развернуть для просмотра [свернуть] Почему скорость не упала до 60мбс? Так диск не все время обслуживал таблицы. У вас 166мбс при 51% активного времени... что-то шло и со скоростью 272мбс, таблицы- 60, средняя- 166... Есть у 970+ и минусы... неслабые... "Эффективно обслуживать смешанную нагрузку накопитель компании Samsung так и не научился. Несмотря на то, что пятиядерный контроллер Polaris располагает гигантской вычислительной мощностью, эффективно распорядиться ей в том случае, когда необходимо одновременно и читать, и записывать информацию, Samsung 970 EVO Plus почему-то не может"...

29.12.2021, 20:15	#16194
ChessMan Super Moderator Регистрация: 04.01.2017 Сообщений: 3,629 Сказал(а) спасибо: 2,879 Поблагодарили 6,463 раз(а) в 2,331 сообщениях Репутация: 354	Re: Stockfish и его производные Цитата: Сообщение от sergey1963 Так диск не все время обслуживал таблицы. У вас 166мбс при 51% активного времени... что-то шло и со скоростью 272мбс, таблицы- 60, средняя- 166... Диск обслуживал таблицы со скоростью 110+42 МБ/с Обычный САТА так сможет? ========== Если вспомню в какой моей партии было и какие базы в тот момент были подключены - продемонстрирую скорость чтения таблиц 500+ MB/s через несколько часов после старта анализа и полного заполнения ОЗУ

29.12.2021, 20:20	#16195
sergey1963 Эксперт Регистрация: 31.05.2016 Сообщений: 6,474 Сказал(а) спасибо: 10,473 Поблагодарили 6,624 раз(а) в 3,608 сообщениях Репутация: 467	Re: Stockfish и его производные Извините- но я больше верю обзорам, тем более- проверенных челов. У них и стенды соответствующие и знаний куда больше. Да они вынуждены работать на заказ, но кто мешает им выкладывать правду-матку на специализированных сайтах? Говорите хоть что- но на сегодня по мелкоблочке предел 80мбс... и то в прыжке. Вот сата-ССД- есть отличия? Развернуть для просмотра [свернуть]

29.12.2021, 20:24	#16196
ChessMan Super Moderator Регистрация: 04.01.2017 Сообщений: 3,629 Сказал(а) спасибо: 2,879 Поблагодарили 6,463 раз(а) в 2,331 сообщениях Репутация: 354	Re: Stockfish и его производные Цитата: Сообщение от sergey1963 Говорите хоть что- но на сегодня по мелкоблочке предел 80мбс... и то в прыжке. да ну? Цитата: Сообщение от ChessMan В этом случае используется один файл на нескольких потоках. У меня в тесте используются 12 разных файлов... Мой тест ближе к реалиям использования эндшпильных таблиц. Скачайте себе 500 и выше гигабайт таблиц на ССД и потом скажете, есть разница между SATA и хорошим NVMe или нет.

29.12.2021, 20:26	#16197
ChessMan Super Moderator Регистрация: 04.01.2017 Сообщений: 3,629 Сказал(а) спасибо: 2,879 Поблагодарили 6,463 раз(а) в 2,331 сообщениях Репутация: 354	Re: Stockfish и его производные Цитата: Сообщение от sergey1963 Извините- но я больше верю обзорам, тем более- проверенных челов. У них и стенды соответствующие и знаний куда больше. Да они вынуждены работать на заказ, но кто мешает им выкладывать праду матку на специализированных сайтах? Они используют движки с таблицами? Не используют. Поэтому они не компетентны в этом вопросе.

29.12.2021, 20:34	#16198
sergey1963 Эксперт Регистрация: 31.05.2016 Сообщений: 6,474 Сказал(а) спасибо: 10,473 Поблагодарили 6,624 раз(а) в 3,608 сообщениях Репутация: 467	Re: Stockfish и его производные И что?- у меня на ноуте Самсунг-850ево покажет на мелкоблочке под 1000мбс и это с ДДР-3... Режим рапид в действии- часть ОЗУ напрямую используется как кэш ССД... но это маркетинг и только. Есть ССД, но стоимость... зашкаливает...

29.12.2021, 21:00	#16199
ChessMan Super Moderator Регистрация: 04.01.2017 Сообщений: 3,629 Сказал(а) спасибо: 2,879 Поблагодарили 6,463 раз(а) в 2,331 сообщениях Репутация: 354	Re: Stockfish и его производные sergey1963, Набирал сообщение со ссылками на мои тесты ССД в одной позиции, в которой скорость упала с 14 000 Ку/с без таблиц до 1 500 Ку/с с таблицами, но случайно обновил окно браузера... Поэтому только две ссылки Начало: https://forchess.ru/showpost.php?p=84823&postcount=3015 Конец (приобрёл NVMe): https://forchess.ru/showpost.php?p=94269&postcount=3055 Там и у Маратки можете заметить "затык" ССД в этой позиции (диск загружен на 100%), хотя у него нормальный САТА ССД с восьмиканальным контроллером. ============== Итак: для использования движка с таблицами, хороший NVMe SSD лучше чем хороший SATA SSD.

29.12.2021, 21:15	#16200
sergey1963 Эксперт Регистрация: 31.05.2016 Сообщений: 6,474 Сказал(а) спасибо: 10,473 Поблагодарили 6,624 раз(а) в 3,608 сообщениях Репутация: 467	Re: Stockfish и его производные Ну в вашем примере- ССД-то был явно плох, в общем случае- да nvme лучше sata, ненамного но заметно лучше, как владелец Самсунга 850ево- подтверждаю- 970+ это что-то. Вот картинка режима "рапид" 850- впечатляет? Поэтому и браузер и подобные проги- не лагают, не замедляются... совсем...

Здесь присутствуют: 28 (пользователей: 0 , гостей: 28)