01.06.2017, 19:52 | #91 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: Разные матчи и турниры движков
Цитата: Сообщение от Aster
Встроенный бенчмарк - анализ нескольких позиций движком.
Потому и хочу тест.... ;) Кстати, к встроенному бенчмарку есть боооольшие претензии по части правдивости выдаваемого результата: скажем аброковская сборка обходит мою на ~40% по скорости, но в реальных партиях почти паритет, с небольшим преимуществом моей сборки (что и показал otodranik) |
2 пользователя(ей) сказали cпасибо: | ALEKS (01.06.2017), Alexandr_L (04.12.2017) |
01.06.2017, 20:08 | #92 |
Эксперт
Регистрация: 31.05.2016
Сообщений: 6,474
Сказал(а) спасибо: 10,473
Поблагодарили 6,624 раз(а) в 3,608 сообщениях
Репутация: 467
|
Re: Разные матчи и турниры движков
скорость меряется бенчами у одинаковых сборок, если есть патчи изменения весов оценки фигур- то это другое, не надо мерять масло с сахаром...
|
Пользователь сказал cпасибо: | Alexandr_L (04.12.2017) |
01.06.2017, 20:14 | #93 |
3 разряд
Регистрация: 02.07.2016
Сообщений: 180
Сказал(а) спасибо: 908
Поблагодарили 261 раз(а) в 128 сообщениях
Репутация: 17
|
Re: Разные матчи и турниры движков
Цитата: Сообщение от sergey1963
скорость меряется бенчами у одинаковых сборок, если есть патчи изменения весов оценки фигур- то это другое, не надо мерять масло с сахаром...
|
2 пользователя(ей) сказали cпасибо: | Alexandr_L (04.12.2017), Maratka (01.06.2017) |
01.06.2017, 20:22 | #94 |
Эксперт
Регистрация: 31.05.2016
Сообщений: 6,474
Сказал(а) спасибо: 10,473
Поблагодарили 6,624 раз(а) в 3,608 сообщениях
Репутация: 467
|
Re: Разные матчи и турниры движков
Все делается на официальном сайте аброка- и я там есть с отданными 100 часами 4 ядерного 1230v2, а вы?...
Здесь есть смысл проверить одинаковую сборку с контролем не менее часа на ход- тогда и получим вывод по адвансу в целом... Уже есть контроль по минуте на ход- зачем городить почти такой же?... вот в 60 раз!!! больше- це дило... http://www.computerchess.org.uk/ccrl/4040/ |
4 пользователя(ей) сказали cпасибо: |
01.06.2017, 21:04 | #95 |
Гроссмейстер
Регистрация: 25.01.2017
Сообщений: 2,114
Сказал(а) спасибо: 1,261
Поблагодарили 3,271 раз(а) в 1,504 сообщениях
Репутация: 138
|
Re: Разные матчи и турниры движков
Цитата: Сообщение от sergey1963
Все делается на официальном сайте аброка- и я там есть с отданными 100 часами 4 ядерного 1230v2, а вы?...
Здесь есть смысл проверить одинаковую сборку с контролем не менее часа на ход- тогда и получим вывод по адвансу в целом... Уже есть контроль по минуте на ход- зачем городить почти такой же?... вот в 60 раз!!! больше- це дило... http://www.computerchess.org.uk/ccrl/4040/
__________________
AMD Ryzen 7 5700G@3.8GHz AMD Ryzen 5 2600@3.4GHz |
2 пользователя(ей) сказали cпасибо: | Alexandr_L (04.12.2017), sergey1963 (01.06.2017) |
01.06.2017, 21:50 | #96 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: Разные матчи и турниры движков
Цитата: Сообщение от sergey1963
скорость меряется бенчами у одинаковых сборок, если есть патчи изменения весов оценки фигур- то это другое, не надо мерять масло с сахаром...
Цитата: Сообщение от Maratka
А не могли бы Вы провести еще один матч (хватит я думаю 100-200 партий) для оценки оптимизации движка на скорость (исходник будет одинаковый).
|
Пользователь сказал cпасибо: | Alexandr_L (04.12.2017) |
01.06.2017, 22:43 | #97 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: Разные матчи и турниры движков
Цитата: Сообщение от sergey1963
Все делается на официальном сайте аброка- и я там есть с отданными 100 часами 4 ядерного 1230v2, а вы?...
Здесь есть смысл проверить одинаковую сборку с контролем не менее часа на ход- тогда и получим вывод по адвансу в целом... Уже есть контроль по минуте на ход- зачем городить почти такой же?... вот в 60 раз!!! больше- це дило... http://www.computerchess.org.uk/ccrl/4040/ Да Бог бы с ней, с последней! Хоть бы какую-то за 2017-й год... |
Пользователь сказал cпасибо: | Alexandr_L (04.12.2017) |
01.06.2017, 23:12 | #98 |
Эксперт
Регистрация: 31.05.2016
Сообщений: 6,474
Сказал(а) спасибо: 10,473
Поблагодарили 6,624 раз(а) в 3,608 сообщениях
Репутация: 467
|
Re: Разные матчи и турниры движков
-причем тут бета- да и альфа тоже?
-выводы по контролю 40/40 и 40/4- уже делать можно по первой тройке, хотя бы по количеству ничьих... -а вот продолжить дальше- 40/400 и 40/4000 с учетом мощности железа и выслушиванием здравых предложений... -как растет процент ничьих?- судя по 2-м контролям до +15% при удесятирении... -тогда и победы и количество игр высчитываются по другому- с ростом контроля... -это только малое количество возникающих вопросов... |
Пользователь сказал cпасибо: | Alexandr_L (04.12.2017) |
01.06.2017, 23:17 | #99 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: Разные матчи и турниры движков
Цитата: Сообщение от sergey1963
-выводы по контролю 40/40 и 40/4- уже делать можно по первой тройке, хотя бы по количеству ничьих...
Houdini еще Бог то с ним, у него тестовых версий нет, т.е. его октябрьская - и есть последняя публичная, но у SF их по пару штук в неделю, с общим усилением ~40 ELO против прошлого октября, и Komodo - три сборки с усилением по ~10 ELO каждая. Результат уже видно -если на НГ Houdini брал второе место, а SF - первое, то сейчас Komodo обоих подвинул - SF на второе, а Houdini и вовсе на третье. |
2 пользователя(ей) сказали cпасибо: | Alexandr_L (04.12.2017), sergey1963 (02.06.2017) |
01.06.2017, 23:26 | #100 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: Разные матчи и турниры движков
Цитата: Сообщение от otodranik
Маратка, шли движки.
|
Пользователь сказал cпасибо: | Alexandr_L (04.12.2017) |
02.06.2017, 00:15 | #101 |
Эксперт
Регистрация: 31.05.2016
Сообщений: 6,474
Сказал(а) спасибо: 10,473
Поблагодарили 6,624 раз(а) в 3,608 сообщениях
Репутация: 467
|
Re: Разные матчи и турниры движков
мда с аналитикой никак- зачем брать другие движки?- нас интересует первая тройка, их встречи между собой... 8-ой сток отлично коррелируется с прошлыми версиями гудка и ящера, а сегодняшние их версии- пшик...
|
Пользователь сказал cпасибо: | Alexandr_L (04.12.2017) |
02.06.2017, 00:30 | #102 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: Разные матчи и турниры движков
Цитата: Сообщение от sergey1963
мда с аналитикой никак- зачем брать другие движки?
Houdini нет нового -его проблемы, но остальные то есть? На кой леший и кому нужны тесты SF8? А если нужны, то почему не SF7,6,5? |
Пользователь сказал cпасибо: | Alexandr_L (04.12.2017) |
02.06.2017, 09:59 | #103 |
Эксперт
Регистрация: 31.05.2016
Сообщений: 6,474
Сказал(а) спасибо: 10,473
Поблагодарили 6,624 раз(а) в 3,608 сообщениях
Репутация: 467
|
Re: Разные матчи и турниры движков
Имеем - то что имеем, лучше уж сток-8, чем 7 и 6, зная об усилении почти на 50 ЕЛО вполне можно взять эти старые данные...
Вот откоррелировать время на разном железе- "поспорнее" будет... 40 moves in 4 minutes on Athlon 64 X2 4600+ (2.4 GHz), about 1.5 minutes on a modern Intel CPU и 40 moves in 40 minutes on Athlon 64 X2 4600+ (2.4 GHz), about 15 minutes on a modern Intel CPU. С чего бы это? Линейное соотношение процессоров? А модерн относится сразу ко всем? AVX2 уже неплохо подхлестывает... а ОЗУ...? В общем есть о чем поспорить... |
Пользователь сказал cпасибо: | Alexandr_L (04.12.2017) |
02.06.2017, 10:08 | #104 |
Гроссмейстер
Регистрация: 25.01.2017
Сообщений: 2,114
Сказал(а) спасибо: 1,261
Поблагодарили 3,271 раз(а) в 1,504 сообщениях
Репутация: 138
|
Re: Разные матчи и турниры движков
Цитата: Сообщение от sergey1963
Имеем - то что имеем, лучше уж сток-8, чем 7 и 6, зная об усилении почти на 50 ЕЛО вполне можно взять эти старые данные...
Вот откоррелировать время на разном железе- "поспорнее" будет... 40 moves in 4 minutes on Athlon 64 X2 4600+ (2.4 GHz), about 1.5 minutes on a modern Intel CPU и 40 moves in 40 minutes on Athlon 64 X2 4600+ (2.4 GHz), about 15 minutes on a modern Intel CPU. С чего бы это? Линейное соотношение процессоров? А модерн относится сразу ко всем? AVX2 уже неплохо подхлестывает... а ОЗУ...? В общем есть о чем поспорить...
__________________
AMD Ryzen 7 5700G@3.8GHz AMD Ryzen 5 2600@3.4GHz |
Пользователь сказал cпасибо: | Alexandr_L (04.12.2017) |
02.06.2017, 11:08 | #105 |
Гроссмейстер
Регистрация: 25.01.2017
Сообщений: 2,114
Сказал(а) спасибо: 1,261
Поблагодарили 3,271 раз(а) в 1,504 сообщениях
Репутация: 138
|
Re: Разные матчи и турниры движков
Код:
Games Completed = 200 of 200 (Avg game length = 60.336 sec) Settings = Gauntlet/64MB/20000ms+200ms/M 480cp for 3 moves, D 120 moves/PGN:E:\Chess\LB\2moves_v1.pgn(32000) Time = 3052 sec elapsed, 0 sec remaining 1. StockFish MSVC compiler_based-on_real_Match_ of_25_ games 96.5/200 31-38-131 (L: m=0 t=0 i=0 a=38) (D: r=97 i=20 f=2 s=3 a=9) (tpm=478.9 d=20.04 nps=1534439) 2. StockFish MSVC compiler_By_internal_benchmark_optimization 103.5/200 38-31-131 (L: m=0 t=0 i=0 a=31) (D: r=97 i=20 f=2 s=3 a=9) (tpm=480.4 d=20.08 nps=1591908) (tpm=478.9 d=20.04 nps=1534439) (tpm=480.4 d=20.08 nps=1591908) 1591908/1534439=1,037; Вторая версия на 3.7% быстрее
__________________
AMD Ryzen 7 5700G@3.8GHz AMD Ryzen 5 2600@3.4GHz |
2 пользователя(ей) сказали cпасибо: | Alexandr_L (04.12.2017), Maratka (02.06.2017) |
02.06.2017, 12:54 | #106 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: Разные матчи и турниры движков
Т.е по одной партии таки лучше встроенный бенч.
Я пожалуй чуть понаглею, и попрошу провести еще один тест? ;) |
Пользователь сказал cпасибо: | Alexandr_L (04.12.2017) |
02.06.2017, 13:05 | #107 |
КМС
Регистрация: 21.11.2016
Сообщений: 709
Сказал(а) спасибо: 433
Поблагодарили 1,545 раз(а) в 582 сообщениях
Репутация: 197
|
Re: Разные матчи и турниры движков
Цитата: Сообщение от Maratka
Т.е по одной партии таки лучше встроенный бенч.
Я пожалуй чуть понаглею, и попрошу провести еще один тест? ;) |
3 пользователя(ей) сказали cпасибо: |
02.06.2017, 13:18 | #108 |
Эксперт
Регистрация: 31.05.2016
Сообщений: 6,474
Сказал(а) спасибо: 10,473
Поблагодарили 6,624 раз(а) в 3,608 сообщениях
Репутация: 467
|
Re: Разные матчи и турниры движков
Цитата: Сообщение от otodranik
Корреляция времени, предложенная на официальном тестирования Стокфиша - это измерить бенч на разных процессорах, разделить, и на полученное число увеличить время. То есть, если один процессор быстрее одного в 1.5 раза, то вместо 30+0.3 ставится 45+0.45 итд
|
Пользователь сказал cпасибо: | Alexandr_L (04.12.2017) |
02.06.2017, 15:31 | #109 |
Гроссмейстер
Регистрация: 25.01.2017
Сообщений: 2,114
Сказал(а) спасибо: 1,261
Поблагодарили 3,271 раз(а) в 1,504 сообщениях
Репутация: 138
|
Re: Разные матчи и турниры движков
Цитата: Сообщение от Maratka
Т.е по одной партии таки лучше встроенный бенч.
Я пожалуй чуть понаглею, и попрошу провести еще один тест? ;)
__________________
AMD Ryzen 7 5700G@3.8GHz AMD Ryzen 5 2600@3.4GHz |
Пользователь сказал cпасибо: | Alexandr_L (04.12.2017) |
02.06.2017, 15:44 | #110 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: Разные матчи и турниры движков
Цитата: Сообщение от sergey1963
получается совсем глупо- неверно решить за 1 сек или за 10 сек- кто сильнее?
В рамках разных движков, каждый из которых дает близкую к правильной оценку на определенной глубине, и эта оценка с невысокой вероятность поменяется даже при увеличении глубины вдвое - подобные оценки движков нужно делать очень осторожно. Отличный пример Komodo vs SF на минутном контроле: Komodo просто-напросто не успевает досчитать до "правильного" хода. |
2 пользователя(ей) сказали cпасибо: | Alexandr_L (04.12.2017), sergey1963 (02.06.2017) |
02.06.2017, 15:46 | #111 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: Разные матчи и турниры движков
Цитата: Сообщение от otodranik
Я целый пост ранее писал, что данные в литтл-блитцере средние за весь матч.
Правильно вот так: Один движок был профилирован по скорости на основе встроенного бенча. Другой - на основе сигранной партии. Второй показал меньшую скорость, и в итоге проиграл (что вполне прогнозируемого для полностью одного и того же кода). |
Пользователь сказал cпасибо: | Alexandr_L (04.12.2017) |
02.06.2017, 16:01 | #112 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: Разные матчи и турниры движков
Цитата: Сообщение от sergey1963
Имеем - то что имеем, лучше уж сток-8, чем 7 и 6, зная об усилении почти на 50 ЕЛО
Ведь релиз от беты отличается по сути только тем, что кто-то принял (или не принял) волевое решение назвать текущую сборку релизом. Вон Комодо выходит по пять раз в году. Они у себя в команде решили так, что каждые два-три месяца - релиз. Но ничто ведь не мешает им не выпускать промежуточные версии X.1, X.2, X.3, X.4 с интервалом в 2-3 месяца, а выпускать раз в год версию X+1, X+2 и т.д. |
Пользователь сказал cпасибо: | Alexandr_L (04.12.2017) |
02.06.2017, 16:10 | #113 |
Гроссмейстер
Регистрация: 25.01.2017
Сообщений: 2,114
Сказал(а) спасибо: 1,261
Поблагодарили 3,271 раз(а) в 1,504 сообщениях
Репутация: 138
|
Re: Разные матчи и турниры движков
Цитата: Сообщение от Maratka
А почему не лучше последние беты (которые вполне можно назвать SF 8.1, или 8.5, или даже 9)?
Ведь релиз от беты отличается по сути только тем, что кто-то принял (или не принял) волевое решение назвать текущую сборку релизом. Вон Комодо выходит по пять раз в году. Они у себя в команде решили так, что каждые два-три месяца - релиз. Но ничто ведь не мешает им не выпускать промежуточные версии X.1, X.2, X.3, X.4 с интервалом в 2-3 месяца, а выпускать раз в год версию X+1, X+2 и т.д.
__________________
AMD Ryzen 7 5700G@3.8GHz AMD Ryzen 5 2600@3.4GHz |
4 пользователя(ей) сказали cпасибо: |
02.06.2017, 17:13 | #114 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: Разные матчи и турниры движков
Цитата: Сообщение от otodranik
Сейчас соблюдено условие +20Ело над 8ым Стокфишем, значит 8.1 можно смело выпускать
http://www.computerchess.org.uk/ccrl..._list_all.html _____ А Вы бы не могли поговорить с командой разработки? |
Пользователь сказал cпасибо: | Alexandr_L (04.12.2017) |
02.06.2017, 17:38 | #115 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: Разные матчи и турниры движков
Цитата: Сообщение от Aster
В LittleBlitzer даётся среднее по всем партиям.
Ну допустим отдельно партии с разменом ферзей до 20 хода, и отдельно - после? |
Пользователь сказал cпасибо: | Alexandr_L (04.12.2017) |
05.06.2017, 11:47 | #116 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: Разные матчи и турниры движков
Цитата: Сообщение от chabcio
На ночь поставил еще 4 партии
Результат после 6 партии: ASM Fish 2017-05-22 - Komodo 11.01 4:2 (+2-0=4) Цель то наиграть хотя бы партий 500, лучше больше. И сделать это нужно за два- два с половиной месяца начиная с ~20 мая. А такими темпами Komodo 11.1 выйдет раньше, тестирование придется обнулить, и начинать уже на новых версиях Komodo и SF ___________ На сегодня: Напомню, контроль: 120 минут +180 сек/ход, железо - Core2Duo 1.8 Ghz |
Пользователь сказал cпасибо: | Alexandr_L (04.12.2017) |
05.06.2017, 18:25 | #117 |
Эксперт
Регистрация: 07.06.2016
Сообщений: 5,907
Сказал(а) спасибо: 13,814
Поблагодарили 12,717 раз(а) в 4,521 сообщениях
Репутация: 726
|
Re: Разные матчи и турниры движков
Цитата: Сообщение от Maratka
Жиденько ребята, жиденько.
|
Пользователь сказал cпасибо: | Alexandr_L (04.12.2017) |
05.06.2017, 19:05 | #118 |
Гроссмейстер
Регистрация: 25.01.2017
Сообщений: 2,114
Сказал(а) спасибо: 1,261
Поблагодарили 3,271 раз(а) в 1,504 сообщениях
Репутация: 138
|
Re: Разные матчи и турниры движков
Цитата: Сообщение от Maratka
А тонкую выборку нельзя сделать?
Ну допустим отдельно партии с разменом ферзей до 20 хода, и отдельно - после?
__________________
AMD Ryzen 7 5700G@3.8GHz AMD Ryzen 5 2600@3.4GHz |
Пользователь сказал cпасибо: | Alexandr_L (04.12.2017) |
05.06.2017, 22:00 | #119 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: Разные матчи и турниры движков
Цитата: Сообщение от Viktor
Какой смысл определять силу Комодо на больших контролях, если по минуте он сливает Стоку? Вот когда по минуте не будет уступать, то и проверим.
А при длинном контроле оба дотягиваются до нужной глубины, и с большим запасом. Отсюда и получается, что тут первый SF, причем с приличным запасом http://www.computerchess.org.uk/ccrl/404/ А вот тут уже и равенство: http://www.computerchess.org.uk/ccrl/4040/ _______ p.s. Когда Komodo по минуте не будет уступать SF, то на длинном контроле он перемелет рыбу в фарш (естественно при равном приросте мозгов в оценочной функции за этот период). |
Пользователь сказал cпасибо: | Alexandr_L (04.12.2017) |
05.06.2017, 22:03 | #120 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: Разные матчи и турниры движков
Цитата: Сообщение от otodranik
Можно, но вручную.
Смысл в чем: у меня стойкое ощущение, что мой компиляция работает сильно быстрее Аброковской без ферзей, с ферзями же - +/- равенство, причем минус вероятнее. Ну а скорость как известно - это лишние баллы ELO. Если это получится доказать - то (возможно) есть смысл "учить" SF менять ферзей пораньше. |
Пользователь сказал cпасибо: | Alexandr_L (04.12.2017) |
Здесь присутствуют: 2 (пользователей: 0 , гостей: 2) | |
|
|