03.07.2017, 09:51 | #1 |
КМС
Регистрация: 14.10.2016
Сообщений: 667
Сказал(а) спасибо: 5,298
Поблагодарили 1,293 раз(а) в 498 сообщениях
Репутация: 201
|
Syzygy bases - эндшпильные таблицы
Торрент для скачки 3-4-5-6 фигурных таблиц
Информация по 7 фигурным таблицам - Развернуть для просмотраЦитата: Сообщение от ChessMan
Оф страница автора таблиц: https://github.com/syzygy1/tb
Обсуждение процесса генерации: https://github.com/syzygy1/tb/issues/25 Обсуждение на Толкчессе: http://talkchess.com/forum/viewtopic...ghlight=syzygy Цитата: Сообщение от Кевин
Location of original files, by Bujun Guo: ftp://ftp.chessdb.cn/pub/syzygy/ Mirrors: http://tablebase.sesse.net/ (partial) http://tablebase.lichess.ovh/tables/standard/7/ [свернуть] Последний раз редактировалось Гудвин; 23.09.2018 в 20:50. Причина: Добавил ссылки |
2 пользователя(ей) сказали cпасибо: | Alexandr_L (30.09.2017), Chess762 (23.05.2018) |
14.09.2018, 17:04 | #61 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: Stockfish и его производные
Цитата: Сообщение от ChessMan
Так у меня при подключенных 6-ти фигурках за 6 минут анализа съело 3,5 ГБ оперативки при
Вопрос - куда? Можно просто их вычистить из памяти, а можно выгрузить в своп на случай, если опять понадобятся. При этом выгрузка в своп по своей сути скорости не добавит, и не заберет, т.к. файл подкачки на SSD, и таблицы на SSD, а значит лучше просто чистить память от старых таблиц. Но именно это сейчас и происходит. Кевин же предлагает "делать возможность Стокфишу читать эндшпильные базы без подкачки в оперативную память". Честно говоря, я вообще не представляю, как с этим можно работать с более-менее приемлемой производительностью. |
14.09.2018, 17:39 | #62 |
Гроссмейстер
Регистрация: 19.04.2017
Сообщений: 4,734
Сказал(а) спасибо: 1,204
Поблагодарили 2,853 раз(а) в 1,885 сообщениях
Репутация: 159
|
Re: Stockfish и его производные
Цитата: Сообщение от Maratka
Честно говоря, я вообще не представляю
Он обозначил проблему, а как лучше решить уж пусть разработчики решают. Хотя конечно, может в данном случае, все таки лучше аппаратное решение, но и настройку для задания размера кеша тоже наверное не лишнем будет |
Пользователь сказал cпасибо: | Alex_Lk (14.09.2018) |
14.09.2018, 17:47 | #63 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: Stockfish и его производные
Цитата: Сообщение от svoitsl
но и настройку для задания размера кеша
Цитата: Сообщение от svoitsl
Хотя конечно, может в данном случае, все таки лучше аппаратное решени
|
Пользователь сказал cпасибо: | Chess762 (21.09.2018) |
14.09.2018, 17:56 | #64 |
Гроссмейстер
Регистрация: 19.04.2017
Сообщений: 4,734
Сказал(а) спасибо: 1,204
Поблагодарили 2,853 раз(а) в 1,885 сообщениях
Репутация: 159
|
Re: Stockfish и его производные
Цитата: Сообщение от Maratka
начнется не менее дичайшее чтение таблиц с диска в ограниченную область памяти,
Цитата: Сообщение от Maratka
32+ гигабайта памяти
|
14.09.2018, 18:39 | #65 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: Stockfish и его производные
Цитата: Сообщение от svoitsl
Как вы уже отмечали, найти такую нерегистровую память бывает не просто
Если же у Кевина сервер (что-нить из распродажи барахла с Китая), то накинуть памяти до ~полутерабайта - чисто финансовый вопрос. |
15.09.2018, 15:51 | #66 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: Stockfish и его производные
Цитата: Сообщение от Maratka
Чего не хватает -так это скорости RAID'а на механике (слишком большой страйп в 256 килобайт, тогда как таблицы читаются блоками по 32 килобайта). Сейчас данные скопировал, и пересоздаю массив. Посмотрим, что изменится.
|
15.09.2018, 16:40 | #67 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: Stockfish и его производные
Как распределяется нагрузка чтения на типичной позиции из мительшпиля:
Диск "D" - RAID5, шесть дисков WD Red. Диск "C" - SSD. Семифигурки у меня только 4 vs 3 с пешками, общий объем - 700 гигабайт График загрузки процессора: Верхние пики - SF, семь ядер из восьми, нижние- LZ, использует одно ядро. IMHO, утилизация процессора даже на механике вполне достойная. |
16.09.2018, 02:37 | #68 |
Гроссмейстер
Регистрация: 02.07.2016
Адрес: Сахалин
Сообщений: 4,792
Сказал(а) спасибо: 5,116
Поблагодарили 14,196 раз(а) в 4,064 сообщениях
Записей в дневнике: 251
|
Re: Stockfish и его производные
Цитата: Сообщение от Maratka
Как распределяется нагрузка чтения на типичной позиции из мительшпиля:
__________________
ICCF SIM 2547, International Arbiter, ICCF "Promotional Tournaments - Server" Organiser, RCCA Chess 960 Champion, ICCF 4th Chess 960 World Cup Final Winner. |
16.09.2018, 03:43 | #69 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: Stockfish и его производные
Цитата: Сообщение от Кевин
А триста - пятьсот мегабайт в секунду не хотите со свопом вкупе?
Я показываю что есть на моей системе. Меня оно устраивает. У Вас иначе - ну значит пользуйтесь тем, что есть у Вас. Не устраивает - поменяйте параметр SyzygyProbeDepth, или меняйте железку на серверную. Если позиции, которые Вы анализируете требуют ну скажем 200 гигабайт памяти для таблиц, то никаким способом впихнуть их целиком в 8-16, да даже и в 128 гигабайт ОЗУ возможности нет. Можно лишь частями. Дисковый трафик при этом будет тем больше, чем меньше памяти, и будет всегда сажать производительность, а значит и глубину анализа. |
Пользователь сказал cпасибо: | Alex_Lk (17.09.2018) |
16.09.2018, 13:29 | #70 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: Syzygy bases - эндшпильные таблицы
Цитата: Сообщение от Кевин
У меня были подобные случаи в миттельшпиле.
Вопрос в том, насколько часто они бывают, и насколько в этот момент времени загрузка процессора, анализирующего позицию на всех ядрах/потоках близка (или наоборот - далека) от идеальных 100%? Отдельный вопрос - что происходит при анализе допустим в сутки? Изначально идет резкий запрос к таблицам, с низкой загрузкой CPU, который через несколько минут (может быть десятков минут) снижается, а нагрузка на процессор (и количество nps) вырастают? Или наоборот - чем дальше позиция анализируется, тем больше обращений к диску, и меньше производительность? В первом случае лучшим решением будет поставить более быстрые диски, во втором - бОльший объем памяти. |
Пользователь сказал cпасибо: | Chess762 (21.09.2018) |
16.09.2018, 13:56 | #71 |
Гроссмейстер
Регистрация: 02.07.2016
Адрес: Сахалин
Сообщений: 4,792
Сказал(а) спасибо: 5,116
Поблагодарили 14,196 раз(а) в 4,064 сообщениях
Записей в дневнике: 251
|
Re: Syzygy bases - эндшпильные таблицы
Цитата: Сообщение от Maratka
Никто не спорит, что они были, ибо быть они действительно могут.
Вопрос в том, насколько часто они бывают, и насколько в этот момент времени загрузка процессора, анализирующего позицию на всех ядрах/потоках близка (или наоборот - далека) от идеальных 100%? Отдельный вопрос - что происходит при анализе допустим в сутки? Изначально идет резкий запрос к таблицам, с низкой загрузкой CPU, который через несколько минут (может быть десятков минут) снижается, а нагрузка на процессор (и количество nps) вырастают? Или наоборот - чем дальше позиция анализируется, тем больше обращений к диску, и меньше производительность? В первом случае лучшим решением будет поставить более быстрые диски, во втором - бОльший объем памяти. Везде всё неутешительно. Могу завершить, что увеличение оперативной памяти (32, 64 Гб и выше) не помогает. Если уж много оперативы - проще её под хеш движка использовать и полезнее будет.
__________________
ICCF SIM 2547, International Arbiter, ICCF "Promotional Tournaments - Server" Organiser, RCCA Chess 960 Champion, ICCF 4th Chess 960 World Cup Final Winner. |
Пользователь сказал cпасибо: | kosmodrom (17.09.2018) |
16.09.2018, 14:08 | #72 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: Syzygy bases - эндшпильные таблицы
Цитата: Сообщение от Кевин
Везде всё неутешительно.
|
16.09.2018, 17:17 | #73 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: Syzygy bases - эндшпильные таблицы
Цитата: Сообщение от Maratka
Так что как буду деньги - поменяю свой Adaptec 6805 на седьмую или восьмую серию с поддержкой MaxCache
Т.е. в принципе, могу собрать еще один массив специально под таблицы. Производительность его будет близка к производительности чистого SSD, т.к. очевидно, что в кеш попадут только самые часто запрашиваемые сектора, на которых хранятся таблицы. Что нужно: список таблиц, которые Вы используете. Скачаю, проверю, посмотрю, что там будет свопить, как сильно свопить, как сильно провалится загрузка процессора во время свопа, и т.д. |
18.09.2018, 08:33 | #76 |
Гроссмейстер
Регистрация: 02.07.2016
Адрес: Сахалин
Сообщений: 4,792
Сказал(а) спасибо: 5,116
Поблагодарили 14,196 раз(а) в 4,064 сообщениях
Записей в дневнике: 251
|
Re: Syzygy bases - эндшпильные таблицы
Maratka, рейд, я понимаю, внешний? Аппаратный?
У меня нет такого в любом случае. Сравнивать не с чем.
__________________
ICCF SIM 2547, International Arbiter, ICCF "Promotional Tournaments - Server" Organiser, RCCA Chess 960 Champion, ICCF 4th Chess 960 World Cup Final Winner. |
18.09.2018, 12:17 | #77 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: Syzygy bases - эндшпильные таблицы
Сейчас - аппаратный.
Проверю на Marvell - это по сути soft-RAID, все делается драйвером, на нем даже RAID-5 не поддерживается, чтобы процессор расчетом контрольных сумм не грузить. |
19.09.2018, 05:52 | #78 |
Гроссмейстер
Регистрация: 02.07.2016
Адрес: Сахалин
Сообщений: 4,792
Сказал(а) спасибо: 5,116
Поблагодарили 14,196 раз(а) в 4,064 сообщениях
Записей в дневнике: 251
|
Re: Syzygy bases - эндшпильные таблицы
Maratka, допустим, есть некая позиция и некий набор семифигурок (далеко не полный).
Могу лишь сказать, что фигур на доске было 18, то есть не так уж мало. Скорости чтения как-то так, на скрине. То бишь далеко не для каждого как минимум это удовольствие.
__________________
ICCF SIM 2547, International Arbiter, ICCF "Promotional Tournaments - Server" Organiser, RCCA Chess 960 Champion, ICCF 4th Chess 960 World Cup Final Winner. |
Пользователь сказал cпасибо: | Chess762 (21.09.2018) |
19.09.2018, 12:54 | #79 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: Syzygy bases - эндшпильные таблицы
Цитата: Сообщение от Кевин
Скорости чтения как-то так, на скрине.
Я вижу тут только чтение таблиц, причем даже с неполной утилизацией диска, т.е. в SSD у Вас точно на этой позиции не уперлось. |
20.09.2018, 01:16 | #80 |
Гроссмейстер
Регистрация: 02.07.2016
Адрес: Сахалин
Сообщений: 4,792
Сказал(а) спасибо: 5,116
Поблагодарили 14,196 раз(а) в 4,064 сообщениях
Записей в дневнике: 251
|
Re: Syzygy bases - эндшпильные таблицы
Цитата: Сообщение от Maratka
Где своп?
Цитата: Сообщение от Maratka
И откуда так много SF'шей?
__________________
ICCF SIM 2547, International Arbiter, ICCF "Promotional Tournaments - Server" Organiser, RCCA Chess 960 Champion, ICCF 4th Chess 960 World Cup Final Winner. |
22.09.2018, 12:03 | #81 |
Гроссмейстер
|
Re: Syzygy bases - эндшпильные таблицы
Подскажите как подключить таблицы сизиги….и есть у кого фото чтоб там было видно что есть обращение к этим базам , а то я не пойму обращаются они или нет. Вроде все прописал путь но мне кажется базы не подключены. Не пойму куда заходить - таблебазе - Сизиги GUI или сизиги Движок , в какую именно строку прописывать путь....
__________________
Выше нас только звезды Шахматы – моя жизнь, но моя жизнь – не только шахматы Моя безответная любовь, это черная шахматная королева Истина где-то рядом..... ICCF - 2431 PlayChess - 2640 Шахматная Планета - 2621 |
22.09.2018, 13:37 | #82 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: Syzygy bases - эндшпильные таблицы
Цитата: Сообщение от Александр Руденко
Не пойму куда заходить - таблебазе - Сизиги GUI или сизиги Движок , в какую именно строку прописывать путь....
Цитата: Сообщение от Александр Руденко
есть у кого фото чтоб там было видно что есть обращение к этим базам
|
Пользователь сказал cпасибо: | Александр Руденко (23.09.2018) |
23.09.2018, 15:39 | #83 |
Гроссмейстер
|
Re: Syzygy bases - эндшпильные таблицы
подключил, всем спасибо
__________________
Выше нас только звезды Шахматы – моя жизнь, но моя жизнь – не только шахматы Моя безответная любовь, это черная шахматная королева Истина где-то рядом..... ICCF - 2431 PlayChess - 2640 Шахматная Планета - 2621 |
23.09.2018, 19:38 | #84 |
Гроссмейстер
|
Re: Syzygy bases - эндшпильные таблицы
А где можно скачать 7-ми фигурные syzygy ?
__________________
Выше нас только звезды Шахматы – моя жизнь, но моя жизнь – не только шахматы Моя безответная любовь, это черная шахматная королева Истина где-то рядом..... ICCF - 2431 PlayChess - 2640 Шахматная Планета - 2621 |
28.09.2018, 00:30 | #87 |
Гроссмейстер
Регистрация: 02.07.2016
Адрес: Сахалин
Сообщений: 4,792
Сказал(а) спасибо: 5,116
Поблагодарили 14,196 раз(а) в 4,064 сообщениях
Записей в дневнике: 251
|
И вновь о семифигурках и их недоступности в анализе эндшпилей.
И вновь о семифигурках и их недоступности в анализе эндшпилей.
10 фигур на доске: по три пешки у сторон и по одной лёгкой фигуре. Партия ещё играется, не могу показать. Чтение зашкаливало (гигабайт в секунду - легко). Максимальный ресурс для тестового стенда. Много при таком раскладе не анализируешь. Система уже сразу начинает подвисать, а через пару минут - своп. Доводить до него снова не стал и выключил, проанализировав позицию с обычными пятифигурками.
__________________
ICCF SIM 2547, International Arbiter, ICCF "Promotional Tournaments - Server" Organiser, RCCA Chess 960 Champion, ICCF 4th Chess 960 World Cup Final Winner. |
28.09.2018, 08:35 | #88 |
Эксперт
Регистрация: 07.06.2016
Сообщений: 5,907
Сказал(а) спасибо: 13,814
Поблагодарили 12,717 раз(а) в 4,521 сообщениях
Репутация: 726
|
Re: Syzygy bases - эндшпильные таблицы
Цитата: Сообщение от Кевин
10 фигур на доске: по три пешки у сторон и по одной лёгкой фигуре.
|
29.09.2018, 12:19 | #89 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: Syzygy bases - эндшпильные таблицы
Цитата: Сообщение от Кевин
Чтение зашкаливало (гигабайт в секунду - легко). Максимальный ресурс для тестового стенда.
Цитата: Сообщение от Кевин
Много при таком раскладе не анализируешь. Система уже сразу начинает подвисать, а через пару минут - своп.
Цитата: Сообщение от Кевин
Доводить до него снова не стал и выключил, проанализировав позицию с обычными пятифигурками.
|
30.09.2018, 12:12 | #90 |
Гроссмейстер
Регистрация: 02.07.2016
Адрес: Сахалин
Сообщений: 4,792
Сказал(а) спасибо: 5,116
Поблагодарили 14,196 раз(а) в 4,064 сообщениях
Записей в дневнике: 251
|
Re: Syzygy bases - эндшпильные таблицы
Цитата: Сообщение от Viktor
Такие позиции можно попробовать в FinalGen. Там вопрос в объеме. Но можно сжать диск.
__________________
ICCF SIM 2547, International Arbiter, ICCF "Promotional Tournaments - Server" Organiser, RCCA Chess 960 Champion, ICCF 4th Chess 960 World Cup Final Winner. |
Здесь присутствуют: 1 (пользователей: 0 , гостей: 1) | |
|
|