06.06.2016, 11:17 | #1 |
Администратор
Регистрация: 24.05.2016
Сообщений: 4,186
Сказал(а) спасибо: 7,165
Поблагодарили 7,655 раз(а) в 3,086 сообщениях
Репутация: 348
|
"Железо" для шахматных программ.
Тема по компьютерам и комплектующим, желательно в связи с шахматными программами.
|
5 пользователя(ей) сказали cпасибо: | Alexandr_L (09.09.2017), Chess62 (27.05.2021), ChessMan (11.01.2019), Rybka (02.12.2021), Сирота криворожская (06.11.2021) |
17.12.2018, 17:01 | #3001 |
КМС
Регистрация: 21.11.2016
Сообщений: 709
Сказал(а) спасибо: 433
Поблагодарили 1,545 раз(а) в 582 сообщениях
Репутация: 197
|
Re: "Железо" для шахматных программ.
Немного потыкался в настройки - 42000 NPS в Лиле выжимается с одной V100, 3 почему-то работают медленнее, хотя пытаюсь делать
Код:
./lc0 --minibatch-size=1024 -t 20 --backend=multiplexing --backend-opts="a(backend=cudnn-fp16,gpu=0),b(backend=cudnn-fp16,gpu=1),c(backend=cudnn-fp16,gpu=2)" --nncache=2000000 С такими настройками загрузка ГПУ по 40%, NPS порядка 60000 |
Пользователь сказал cпасибо: | Alexandr_L (17.12.2018) |
17.12.2018, 17:24 | #3002 |
2 разряд
|
Re: "Железо" для шахматных программ.
Цитата: Сообщение от Aster
Привезли сервер с 2xIntel(R) Xeon(R) Gold 6148 CPU @ 2.40GHz
|
Пользователь сказал cпасибо: | Alexandr_L (17.12.2018) |
17.12.2018, 18:11 | #3003 |
Мастер
Регистрация: 11.08.2017
Адрес: Киров
Сообщений: 912
Сказал(а) спасибо: 888
Поблагодарили 1,197 раз(а) в 632 сообщениях
Репутация: 132
|
Re: "Железо" для шахматных программ.
Цитата: Сообщение от Aster
Никто не знает, в чем проблема?
P.S. Кстати, Альфа Зеро на 4-х TPU тоже получает примерно 60 knps. |
Пользователь сказал cпасибо: | Alexandr_L (17.12.2018) |
17.12.2018, 18:23 | #3004 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: "Железо" для шахматных программ.
Цитата: Сообщение от Rom77
А эта карта по тензорным ядрам
Цитата: Сообщение от Aster
Немного потыкался в настройки - 42000 NPS в Лиле выжимается с одной V100, 3 почему-то работают медленнее, хотя пытаюсь делать
|
Пользователь сказал cпасибо: | Alexandr_L (17.12.2018) |
17.12.2018, 18:24 | #3005 |
Мастер
Регистрация: 11.08.2017
Адрес: Киров
Сообщений: 912
Сказал(а) спасибо: 888
Поблагодарили 1,197 раз(а) в 632 сообщениях
Репутация: 132
|
Re: "Железо" для шахматных программ.
Цитата: Сообщение от Maratka
Не думаю, что они там используются.
|
Пользователь сказал cпасибо: | Alexandr_L (17.12.2018) |
17.12.2018, 18:26 | #3006 |
Мастер
Регистрация: 11.08.2017
Адрес: Киров
Сообщений: 912
Сказал(а) спасибо: 888
Поблагодарили 1,197 раз(а) в 632 сообщениях
Репутация: 132
|
Re: "Железо" для шахматных программ.
Цитата: Сообщение от Maratka
А их в SLI или что-то аналогичное объединить можно? Чтобы для прикладного ПО это было не три видеоплаты, а одна?
|
Пользователь сказал cпасибо: | Alexandr_L (17.12.2018) |
17.12.2018, 18:28 | #3007 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: "Железо" для шахматных программ.
Цитата: Сообщение от Rom77
Именно они и используются. У нас же матрицы перемножаются.
Цитата: Сообщение от Rom77
SLI медленный, есть NV-Link.
|
Пользователь сказал cпасибо: | Alexandr_L (17.12.2018) |
17.12.2018, 18:35 | #3008 |
Мастер
Регистрация: 11.08.2017
Адрес: Киров
Сообщений: 912
Сказал(а) спасибо: 888
Поблагодарили 1,197 раз(а) в 632 сообщениях
Репутация: 132
|
Re: "Железо" для шахматных программ.
Цитата: Сообщение от Maratka
А как они перемножались до этого, скажем на моей GTX 960?
Почувствуйте разницу: gif по ссылке (7Мб) |
Пользователь сказал cпасибо: | Alexandr_L (17.12.2018) |
17.12.2018, 19:59 | #3009 |
КМС
Регистрация: 21.11.2016
Сообщений: 709
Сказал(а) спасибо: 433
Поблагодарили 1,545 раз(а) в 582 сообщениях
Репутация: 197
|
Re: "Железо" для шахматных программ.
Цитата: Сообщение от Rom77
По-видимому, потому что нейросетевые движки плохо параллелятся. Ещё ни разу не видел, чтобы Лила показывала 100 knps в середине партии. Даже на четырёх V100 в турнире ССС. В то время как на RTX 2070 Лила выдаёт 20-40 knps. А эта карта по тензорным ядрам всего лишь примерно 1/8 от четырёх V100.
P.S. Кстати, Альфа Зеро на 4-х TPU тоже получает примерно 60 knps. |
17.12.2018, 20:15 | #3010 |
Мастер
Регистрация: 11.08.2017
Адрес: Киров
Сообщений: 912
Сказал(а) спасибо: 888
Поблагодарили 1,197 раз(а) в 632 сообщениях
Репутация: 132
|
Re: "Железо" для шахматных программ.
Цитата: Сообщение от Aster
Я так понимаю, для того чтобы забить ГПУ надо утолщать сеть, а на это никто не пойдет из-за абсурдного времени тренировки.
Кстати, верно отмечено, что сеть надо утолщать, а не удлинять. Фильтры могут вычисляться параллельно, а вот слоям нужно ждать, когда закончится расчет предыдущих. Но насколько эффективна будет такая структура сети? Можно увеличивать размер батча, но это не даёт прибавку в силе. И кажется к скорости. Можно улучшать распараллеливание, но как? MCTS в современной редакции абсолютно последовательный алгоритм. |
17.12.2018, 20:39 | #3011 |
КМС
Регистрация: 21.11.2016
Сообщений: 709
Сказал(а) спасибо: 433
Поблагодарили 1,545 раз(а) в 582 сообщениях
Репутация: 197
|
Re: "Железо" для шахматных программ.
Цитата: Сообщение от Rom77
Не только время тренировки возрастет. Скорость игры понизится. Так что получим ли мы на выходе какую-то прибавку в силе - большая загадка.
Цитата: Сообщение от Rom77
Можно увеличивать размер батча, но это не даёт прибавку в силе. И кажется к скорости. Можно улучшать распараллеливание, но как? MCTS в современной редакции абсолютно последовательный алгоритм.
|
Пользователь сказал cпасибо: | Alex_Lk (18.12.2018) |
17.12.2018, 20:57 | #3012 |
Мастер
Регистрация: 11.08.2017
Адрес: Киров
Сообщений: 912
Сказал(а) спасибо: 888
Поблагодарили 1,197 раз(а) в 632 сообщениях
Репутация: 132
|
Re: "Железо" для шахматных программ.
Цитата: Сообщение от Aster
Последние лет 5 успехов в диплернинге нам говорят что да.
Цитата: Сообщение от Aster
Ну не совсем последовательный. Я так понимаю, в Лиле уже реализован параллельный MCTS навроде этой статьи, наверняка можно ещё как-то оптимизировать.
Crem пытался реализовать более тонкое распараллеливание, но пока не вышло. |
Пользователь сказал cпасибо: | Aster (17.12.2018) |
18.12.2018, 18:22 | #3013 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: "Железо" для шахматных программ.
Цитата: Сообщение от Rom77
Почувствуйте разницу:
Быстрые ядра для данной задачи- это наверное хорошо. Вопрос, задействованы ли они в LZ? Например, лично я не вижу особой разницы между в скорости на TCEC между GTX 2070 и 1080 Ti, а значит, что недостаток ядер в 2070 компенсируется математикой FP16 вместо FP32 на ядрах CUDA, и ни о каком многократном приросте от тензорных ядер нет и речи. |
18.12.2018, 18:58 | #3014 |
Мастер
Регистрация: 11.08.2017
Адрес: Киров
Сообщений: 912
Сказал(а) спасибо: 888
Поблагодарили 1,197 раз(а) в 632 сообщениях
Репутация: 132
|
Re: "Железо" для шахматных программ.
Цитата: Сообщение от Maratka
Например, лично я не вижу особой разницы между в скорости на TCEC между GTX 2070 и 1080 Ti, а значит, что недостаток ядер в 2070 компенсируется математикой FP16 вместо FP32 на ядрах CUDA, и ни о каком многократном приросте от тензорных ядер нет и речи.
|
11.01.2019, 14:20 | #3015 |
Super Moderator
Регистрация: 04.01.2017
Сообщений: 3,629
Сказал(а) спасибо: 2,879
Поблагодарили 6,463 раз(а) в 2,331 сообщениях
Репутация: 354
|
Re: "Железо" для шахматных программ.
Недавно приобрёл себе новый ССД Goodram CL100 480GB 2.5" SATAIII TLC (SSDPR-CL100-480) под базы Syzygy.
В связи с новогодними праздниками и загруженностью на работе, вовремя не смог его проверить. Сейчас выяснилось, что он не имеет буферной памяти и соответственно при больших нагрузках его производительность значительно снижается. Закинул на него шести-фигурные таблицы и часть 7-ми фигурных Теперь в некоторых позициях скорость движка просаживается с 22 тыс кУ/с до 3 тыс и даже бывает до 0,5 тыс кУ/с... Вопрос: можно ли как-то улучшить его быстродействие? Где-то читал что отключение индексирования может помочь. А также, будет ли в моей ситуации прирост от добавления оперативной памяти (сейчас стоит одна планка на 8 ГБ)? Буду благодарен за совет. |
11.01.2019, 14:33 | #3016 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: "Железо" для шахматных программ.
Цитата: Сообщение от ChessMan
Закинул на него шести-фигурные таблицы и часть 7-ми фигурных
_____ У меня тоже безбуферный SandForce, и никаких особых проблем с работой движка нет. У SanForce понятно MLC-память, но на чтении она никаких особых рекордов в сравнении с TLC не ставит. |
Пользователь сказал cпасибо: | Alex_Lk (12.01.2019) |
11.01.2019, 14:39 | #3017 |
Super Moderator
Регистрация: 04.01.2017
Сообщений: 3,629
Сказал(а) спасибо: 2,879
Поблагодарили 6,463 раз(а) в 2,331 сообщениях
Репутация: 354
|
Re: "Железо" для шахматных программ.
Цитата: Сообщение от Maratka
А до этого где они были закинуты?
_____ У меня тоже безбуферный SandForce, и никаких особых проблем с работой движка нет. У SanForce понятно MLC-память, но на чтении она никаких особых рекордов в сравнении с TLC не ставит. Шестифигурки были на старом Кингстоне (лет пять ему уже). Оперативки сколько у Вас? |
11.01.2019, 15:10 | #3021 |
Super Moderator
Регистрация: 04.01.2017
Сообщений: 3,629
Сказал(а) спасибо: 2,879
Поблагодарили 6,463 раз(а) в 2,331 сообщениях
Репутация: 354
|
Re: "Железо" для шахматных программ.
Закинул 3 вида 7-ми фигурок в отдельную папку на этом же ССД. Скорость выросла, но всё ещё не та что должна быть.
Развернуть для просмотра[свернуть] |
11.01.2019, 15:32 | #3028 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: "Железо" для шахматных программ.
Цитата: Сообщение от ChessMan
Если не использовать эту таблицу (KQRPvKQR.rtbw) то скорость почти нормальная.
Сделайте еще так: 1) Перезагрузите систему (чтобы очистить кеши) 2) Запустите счет позиции с в том числе и KQRPvKQR.rtbw (т.е. так, как изначально было) Снимите показания в первые 2-3 секунды после того, как начнуться расчеты. В это время движок тянет самые первые и главные данные с таблиц (позже уже тянет меньше, т.к. основная масса есть в памяти) Тем самым увидите пиковую производительность диска на запросах в данной позиции. У меня например: Лучшие результаты - это очевидно максимум мегабайт/сек при минимальной очереди (очередь - это собственно и есть очередь: запросы, которые уже посланы диску, но которые он еще не успел обслужить). |
11.01.2019, 15:38 | #3029 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: "Железо" для шахматных программ.
Цитата: Сообщение от Maratka
Ну по всей видимости потому, что в данной позиции к ней больше всего обращений.
Есть вариант, что у Вас затык не на именно этой таблице, а на именно общей производительности диска, и эта таблица просто переполняет чашу. Уберете любую другую, с большим количеством обращений, получите опять же достаточную производительность. |
Здесь присутствуют: 4 (пользователей: 0 , гостей: 4) | |
|
|