LCZero

[Maratka]

А что Вы хотите получить от изменения этой опции?

[crem]

Цитата: Сообщение от Философ

BackendtOptions? И что туда писать конкретно?

Не BackendOptions, а просто Backend.
Там выбрать cudnn-fp16

(это только для тех, у кого видеокарты RTX, а не GTX).

[Maratka]

А что выбрать владельцам 1660 /Ti ?

[Viktor]

Цитата: Сообщение от Философ

BackendtOptions? И что туда писать конкретно?

Не писать, а выставить данный параметр:
https://forchess.ru/showpost.php?p=90263&postcount=2712

[svoitsl]

И снова падение

сеть 41750 прибавила лишь 1 Эло по сравнению с 41400

[Maratka]

Как известно, LZ "зевает" раз на 2-5 десятков партий в среднем.
Отсюда вопрос: как правильно оценить
1) Турнирные шансы LZ
2) Силу движка в анализе

Предположим, что у нас играется дофига партий в дуэли SF vs LZ.
Варианты решений:
1) Партии с явным "зевком" LZ переигрываются.
2) Либо аннулируются, т.е. делам вид, что этих партий попросту вообще не было.

Вопрос: как будет... ну "правильно" - это очень уж сильно сказано.. Допустим "приемлемо"?

[svoitsl]

Цитата: Сообщение от Maratka

. Допустим "приемлемо"?

Приемлемо будет эти "зевки" убрать совсем и забыть, что на каком то этапе развития LZ0 они были, думаю что это уже скоро.

Цитата: Сообщение от svoitsl

сеть 41750 прибавила лишь 1 Эло по сравнению с 41400

То есть получается, что последние 11 млн игр (350х32000) , и 2-3 недели ничему толком сеть не научили

[Maratka]

Цитата: Сообщение от svoitsl

Приемлемо будет эти "зевки" убрать совсем и забыть, что на каком то этапе развития LZ0 они были, думаю что это уже скоро.

Ну это... "скоро" - это через 3 месяца, полгода, год, два...?
А пока - как жить?
Уж извините, но зевки LZ - на сегодня есть данность. Что называется "от природы". И с их богатым наличием нужно что-то делать тут и сейчас.
Я допустим для экономии времени эти партии до недавнего времени аннулировал в моих матчах, т.е. делал вид, что этих партий вообще не было. Есть вариант их переиграть (что потребует дополнительного времени).

Что правильнее?
______
Лично мне - пофиг сколько партий играть - 30 или 32. Но результат, что очевидно может измениться радикально: от небольшого плюса SF до очень большого, либо от проигрыша LZ до ничьей. Потому еще раз вопрос:
"как правильно"?

[Neofelis]

Цитата: Сообщение от svoitsl

Приемлемо будет эти "зевки" убрать совсем и забыть, что на каком то этапе развития LZ0 они были, думаю что это уже скоро.


То есть получается, что последние 11 млн игр (350х32000) , и 2-3 недели ничему толком сеть не научили

Вы не на те тесты смотрите, это первое. А второе - сила сетей не на прямой. То-есть, 41700 и 41702 могут быть сильными, а 41701, слабой.

[Maratka]

Абсолютно точно, ибо усиление сети с шагом одна сеть есть вероятностное событие, где собственно усиление есть производная от огромного числа случайностей, и выявить его (либо наоборот - опровергнуть) - нужно много сотен тысяч партий, что реально невоспроизводимо при имеющихся мощностях железа за время, покуда растет еще более новая сеть.

Т.е. чисто математически: нужно ~100 тыс. партий за 2-6 часов, покуда растет новая сеть. Это просто нереально само по себе, а для ловли роста в 1-2 ELO - нереально вдвойне, а скорее даже -квадратично.

[Alex_Zet]

Предположу по дилетантски , что тех "зевков" что были у Лилы в ТСЕС 14, у AZ не было оттого что "железо" на котором игрался матч со Сток 8, было намного мощнее ( его стоимость 450 000 у. е. ) чем то, что на ТСЕС или на СССС и AZ просто досчитывал до критических точек в отличии от Лилы. Или партий было наигранно намного больше, в любом случае корень проблемы кроется в мощности "железа".

По данным DeepMind, для генерации первого набора игр для самостоятельной игры использовалось 5000 TPU (тензорный процессор Google, специализированная интегральная схема для ИИ), а затем 16 TPU использовались для обучения нейронных сетей.
Для самих игр, Stockfish использовал 44 процессора, а AlphaZero использовал одну машину с четырьмя TPU и 44 ядрами процессора.

[Vizvezdenec]

AZ проигрывал sf8, как это у него не было зевков?
То, что он не делал этого со стартовой позиции, но при этом делал это в наборе финала TCEC 9, причём аж 9 раз, говорит о том, что зевки у него прекрасным образом были.
Просто гугл их толком не опубликовал.
И не надо говорить, что дебюты TCEC 9 были такие плохие - SF dev там (пусть и на меньшем железе) разнёс SF8 со счётом +35-2=63, а не +17-9 или сколько там у А0 было.
Ну я помню, что партию в атаке Алехина - Шатара А0 слил буквально в 30 ходов, неужели это он чёрными без зевков сыграл?
https://www.youtube.com/watch?v=Fwzq7qK6MMQ
Не забывайте ещё, что А0 играл против SF8-8,5, а это добрая сотня эло от текущего.
Можно сказать, конечно, что нейросети всё равно, т.к. позиционно она лучше, но это не совсем так.
1) Текущий SF может в существенно большем количестве позиций и существенно дольше поддерживать позиционный паритет в матчах против нейросети по сравнению с SF8 (а текущую Лилу он ещё и перекатывать может периодически), соответственно повышая вероятность нейросети зевнуть;
2) Он просто более сильный тактик, чем SF8, и больше зевков в принципе способен увидеть.
Может быть это и не транслируется в "прямые" 100 эло (хотя это не доказано, как не доказано и то, что транслируется), но в любом случае против любого движка он покажет себя существенно лучше, чем SF8, даже против нейросети.

[Vizvezdenec]

Цитата: Сообщение от svoitsl

сеть 41750 прибавила лишь 1 Эло по сравнению с 41400

Если я правильно помню, в этом листе погрешности 20+ эло, так что 1 эло или даже 20-30 на нём увидеть невозможно толком.

[Alex_Zet]

Цитата: Сообщение от Vizvezdenec

AZ проигрывал sf8, как это у него не было зевков?
То, что он не делал этого со стартовой позиции, но при этом делал это в наборе финала TCEC 9, причём аж 9 раз, говорит о том, что зевки у него прекрасным образом были.
Просто гугл их толком не опубликовал.

Так AZ и обучался всего 4 часа. Матч просто доказал что ИИ очень эффективен и нужен был для рекламы а не для спортивного результата.

[Alex_Zet]

Цитата: Сообщение от svoitsl

И снова падение

сеть 41750 прибавила лишь 1 Эло по сравнению с 41400

А что то никто и словом не обмолвился о Лилафиш что красуется на второй строчки сверху?

[Alex_Zet]

Цитата: Сообщение от Maratka

Как известно, LZ "зевает" раз на 2-5 десятков партий в среднем.
Отсюда вопрос: как правильно оценить
1) Турнирные шансы LZ
2) Силу движка в анализе

Предположим, что у нас играется дофига партий в дуэли SF vs LZ.
Варианты решений:
1) Партии с явным "зевком" LZ переигрываются.
2) Либо аннулируются, т.е. делам вид, что этих партий попросту вообще не было.

Вопрос: как будет... ну "правильно" - это очень уж сильно сказано.. Допустим "приемлемо"?

Очень толковый пост. Идея давно уже висела в воздухе и нужно было только материализовать её.

[Maratka]

Цитата: Сообщение от Alex_Zet

Очень толковый пост. Идея давно уже висела в воздухе и нужно было только материализовать её.

Ну в моем понимании, толкового тут только то, что подобным подыгрыванием LZ мы можем увидеть его пиковую мощность против SF, или любого другого соперника. Знать ее естественно полезно, ибо это по своей сути есть предел, к которому сеть данного семейства может выйти в идеальных условиях, а через 2-3, может 5 поколений сетей - и LZ в целом, как проект.

Но в реальных турнирах что называется "умерла - так умерла": зевнул - сам дурак, ибо какой же ты финалист крупного турнира с претензией на победу в нем, если потерю фигуры в два хода или мат в пять не видишь?

[Viktor]

"Подыгрывание" движку никоим образом его не усилит. Так что надо решать данную проблему "зевков".

[Maratka]

Цитата: Сообщение от Viktor

"Подыгрывание" движку никоим образом его не усилит. Так что надо решать данную проблему "зевков".

Конечно не усилит. Но зато даст представлении о том, что будет когда (и если!) эту проблему решат.

[Vizvezdenec]

Цитата: Сообщение от Alex_Zet

Так AZ и обучался всего 4 часа. Матч просто доказал что ИИ очень эффективен и нужен был для рекламы а не для спортивного результата.

Что значит "всего" 4 часа? Там эло перестало расти на середине, т.е. можно было бы обучать ещё бесконечность времени - разницы бы не было. Это первое.
Второе - почему-то я не уверен, что это была первая попытка обучения Просто продемонстрирована была самая удачная. Так я тоже могу сказать, что вот патч по улучшению стокфиша последний я написал свой и протестировал за час.
Тактично умолчивая, что до этого я написал их 4 сотни и они не прошли, потратив в 400 раз больше чистого времени (ну чуть меньше).

[sovaz1997]

Match Round Robin, Lc0.net32930 vs Lc0.net.41775 
LC0-version: v0.21.1 , cuda  
LC0 options: Default parameters, cudnn-fp16  
Time control: 5s/0,3s
Hardware: i5-3450 + RTX 2060  
Speed: ~ 20 knps, t-4    
Book: gaviota-starters, 4ply, in sequence, reverse
Tablebases: None
Software: Arena
Comment: ordo-win64 –Q –W –D –G -J -a 0 -A "Lc0.net.32930" -W -V -U "0,1,2,3,4,7,9,8,10" –s 500 -p *.pgn -o rating.txt
                    For comparison. The same settings and openings as in my last test between 32930 vs 41766.
 
 # PLAYER           :  RATING  ERROR  POINTS  PLAYED    W    L    D  D(%)  CFS(%)
 1 Lc0.net.41775    :    58.1   19.3    57.5     100   23    8   69    69     100
 2 Lc0.net.32930    :     0.0   19.3    42.5     100    8   23   69    69     ---

Match: ID 41750 vs other recent T40 nets
Lc0-version: v0.21.1
Lc0 options: --smart-pruning-factor=1.0 --backend=cudnn-fp16, others default
Time/Node control: 20k fixed nodes per move
Hardware: RTX 2080
Book: Chad-16ply-100k, random, 16 ply, with reverse
Tablebases: none
Adjudication: -draw movenumber=50 movecount=6 score=40 -resign movecount=5 score=800 
Software: cutechess-cli, ordo
Comment: purpose - helping to identify the best T40 net for competition
Results:
 
    draw rate about 80%, higher than I would like  
   # PLAYER           : RATING  ERROR   POINTS  PLAYED    (%)   CFS (% with respect to 41750)
   1 Lc0.net.41750    :    0.0   ----    612.5    1200   51.0%  ---
   2 Lc0.net.41740    :   -4.1   11.0    296.5     600   49.4%  23
   3 Lc0.net.41730    :  -10.7   11.7    291.0     600   48.5%   4

[sovaz1997]

Цитата: Сообщение от Vizvezdenec

Что значит "всего" 4 часа? Там эло перестало расти на середине, т.е. можно было бы обучать ещё бесконечность времени - разницы бы не было. Это первое.
Второе - почему-то я не уверен, что это была первая попытка обучения Просто продемонстрирована была самая удачная. Так я тоже могу сказать, что вот патч по улучшению стокфиша последний я написал свой и протестировал за час.
Тактично умолчивая, что до этого я написал их 4 сотни и они не прошли, потратив в 400 раз больше чистого времени (ну чуть меньше).

Тоже думаю, что попытки было, причем очень много. А достигли бы они такого результата с первого раза - не останавливались бы в таком случае на нем

[svoitsl]

Цитата: Сообщение от sovaz1997

1 Lc0.net.41775 : 58.1
2 Lc0.net.32930 : 0.0

То есть в окончательном варианте вполне можно надеяться на 70-80 Эло
Но вот сколько это будет в борьбе со Стокфишем?
Может всего только 40-50 Эло....
А у Стокфиша прирост будет 15-20.....

[sovaz1997]

Цитата: Сообщение от svoitsl

То есть в окончательном варианте вполне можно надеяться на 70-80 Эло
Но вот сколько это будет в борьбе со Стокфишем?
Может всего только 40-50 Эло....
А у Стокфиша прирост будет 15-20.....

Не знаю, вряд ли прирост на самом деле такой большой. При этом, я допускаю что-то вроде 16-8 в пользу LZ в финале

[Hendry]

Цитата: Сообщение от Maratka

Как известно, LZ "зевает" раз на 2-5 десятков партий в среднем.
Отсюда вопрос: как правильно оценить
1) Турнирные шансы LZ
2) Силу движка в анализе

Предположим, что у нас играется дофига партий в дуэли SF vs LZ.
Варианты решений:
1) Партии с явным "зевком" LZ переигрываются.
2) Либо аннулируются, т.е. делам вид, что этих партий попросту вообще не было.

Вопрос: как будет... ну "правильно" - это очень уж сильно сказано.. Допустим "приемлемо"?

есть такой вариант решения. проект LeelaFish: играет Lc0, но получает помощь от стороннего движка (SF или любой UCI движок), который не пропускает тактических и иных зевков. https://github.com/killerducky/lc0/wiki/LeelaFish

[Alex_Zet]

Цитата: Сообщение от Hendry

есть такой вариант решения. проект LeelaFish: играет Lc0, но получает помощь от стороннего движка (SF или любой UCI движок), который не пропускает тактических и иных зевков. https://github.com/killerducky/lc0/wiki/LeelaFish

Уже вторую неделю спрашиваю, что с проектом?

[Hendry]

последняя версия, выложенная 18 дней назад под 0.21.0 версию Lc0, работает вполне нормально, насколько я знаю. Судя по активности автора в дискорд канале Лилы, проект он бросать не собирается.

[sovaz1997]

Кто-то говорил, что Лила усиливается только против себя, но не усиливается против Stockfish. Но, похоже, Stockfish "приехал":

Match 41776, 41665 vs stockfish dev (31 03 2019)
LC0-version: v0.21.1
LC0 options: cudnn-fp16, default parameters
Time control: 10s + 1s
Hardware: i7-3930K + RTX 2060
Speed: stockfish ~9500knps, Lc0 ~20knps
Book: custom, 12 ply or less, sequential, colours reversed
Tablebases: no
Adjudication: -draw movenumber=35 movecount=10 score=8 -resign movecount=5 score=800
Software: cutechess
Comment: of course my leela ratio is pretty high, but this is for T40 comparison, not for stockfish vs leela comparison.
Ordo: ordo-win64.exe -Q -N 0 -D -a 0 -W -n4 -V -s500 -J -A "Stockfish 310319" -p "41776-41665.pgn"
Results: 

   # PLAYER              :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L
   1 lc0.net.41776       :      94     29    63.0     100  63.0     100   32   62    6
   2 lc0.net.41665       :       7     29    51.0     100  51.0      64   15   72   13
   3 Stockfish 310319    :       0     19    86.0     200  43.0     ---   19  134   47

White advantage = 21.80 +/- 14.33
Draw rate (equal opponents) = 71.28 % +/- 3.42

41665 показывала себя и так очень неплохо. В общем, все больше верю в счёт, подобный 16-8 в пользу LZ в Суперфинале TCEC. Даже этот прогноз уже выглядит пессимистично, думаю.

P. S. Конечно, это STC и мы не знаем, что будет в LTC. Но даже если будет 20 пунктов, а не 80, это уже огромный прогресс.

[Hendry]

здесь сильный перекос по железу в пользу Lc0, хотя прогресс Лилы не может не радовать.

[sovaz1997]

Цитата: Сообщение от Hendry

здесь сильный перекос по железу в пользу Lc0, хотя прогресс Лилы не может не радовать.

Это да, поэтому важна разница между сетями, а не между сетями и Stockfish. Но тест хороший в том плане, что делает сравнение сетей через ab-движок.