LCZero

[Hendry]

В том и проблема, что человеку, а мозг человека это сложнейшая нейросеть, достаточно беглого взгляда на позицию, чтобы увидеть битую ничью, а Стокфишу надо считать десятки минут, может часы, если он вообще в состоянии увидеть ничью здесь.

[Hendry]

Viktor, я позволю себе с вами не согласиться. Вы утверждаете, что обе программы сплоховали на основании того, что -2 тоже, что и -8. Как шахматист практик, я могу утверждать, что позиция с грубо говоря лишним ферзем и позиция с двумя лишними пешками выигрываются совершенно в разном процентном соотношении. 2 пешки ещё не приговор, можно убежать на ничью иногда. В то время как без ферзя 99.99% проигрыша в серьезной партии. И не стоит смотреть на разницу людей и компьютеров. Компы с -2 тоже спасают позиции бывает.
Так что Лила здесь ближе к правильной оценке позиции. И некоторое понимание у нее присутствует.

[Maratka]

Цитата: Сообщение от Hendry

В том и проблема, что человеку, а мозг человека это сложнейшая нейросеть, достаточно беглого взгляда на позицию, чтобы увидеть битую ничью, а Стокфишу надо считать десятки минут, может часы, если он вообще в состоянии увидеть ничью здесь.

Это да, я ее увидел тут секунды за три. Хотя и третий разряд мягко говоря не очень много.
Но отсюда куда мы приходим? А приходим мы к тому, что и сети а-ля LZ еще очень-очень долго будут тупить тут. А вот a-b при должной скорости железа исправить можно: условно говоря, досчитались до 50 ходов, не нашли выигрыша - значит его и нет.

[Maratka]

Цитата: Сообщение от Hendry

Вы утверждаете, что обе программы сплоховали на основании того, что -2 тоже, что и -8.

На сколько я понял, он утверждает, что оценка LZ +/-2 - это бывает чистый выигрыш сети, когда SF рисует нули, так и чистейший проигрыш, когда SF нашел форсированную ветку. Причем второе бывает куда как чаще.

[SergeyMZ]

Народы, так никто не ответил на мой вопрос про базу игр Лилы со Стокфишем и другими движками: не верю, что ни у кого ее нет. Неужто, никто не поделится?

[Maratka]

В этой теме 2-3 раза в неделю Омегазеро выкладывает тестовые партии, именно LZ против SF.

[Viktor]

Цитата: Сообщение от Hendry

И не стоит смотреть на разницу людей и компьютеров. Компы с -2 тоже спасают позиции бывает.
Так что Лила здесь ближе к правильной оценке позиции.

Так я и не смотрю на разницу, а говорю про компьютеры. И у них реализация 2.00 в подавляющем большинстве несложная, в отличие как раз от людей, раз уж задели практиков.
И про ближе уже говорил:

Цитата: Сообщение от Viktor

А что касается разности в оценках, тоже ничего не удивляет. Давно известно, что в совершенно проигранных позициях, где надо сдаваться, Лила очень часто рисует какой-то непонятный оптимизм. И многие не удивляются этому, а как только увидели закономерный контраст, то сразу сообщают сей факт.

Ваше "ближе" совершенно ничего не значит. И напрасно выгораживаете факт непонимания крепостей Лилы. Ей от этого не легче и сильнее от данного она не будет.

[Maratka]

3K4/4r1p1/3n1bP1/7P/8/7Q/2k5/8 w - - 0 1

Найдет ли тут LZ, что Qg2+ - это легкий проигрыш?
И если находит - на каком железе и за какое время?

[svoitsl]

Цитата: Сообщение от Hendry

Так что Лила здесь ближе к правильной оценке позиции. И некоторое понимание у нее присутствует.

И конечно лох лоху рознь, один проигрывает 100 руб, а другой 1 млн руб.
К тому же все таки у Лилы оценка для нас +2 балла, а для неё - вероятность - и она не такая уж и большая.

[svoitsl]

Интересно, что значит "Blocking" ?

Цитата:

The v0.24.0-rc1 is aimed for 22nd. Some features are:

Lc0 engine v0.24.0-rc1
Feature Issue PR Status
Have a new network training data encoding for Chess960 Nice to have
PGN parser supporting FRC and branching Nice to have
PGN writer (for training as golang doesn't support that) Nice to have
Support selfplay from non-startpos positions (for FRC) Done
Support selfplay from non-startpos positions (without FRC) Done
Logit space Q -- better parameter #956 Nice to have
Fix running out of time #996 Nice to have
Fix hang when ponder #944 Blocking
DirectX backend Done
Draw score (armageddon and contempt support) #1066 Blocking
Update time management. #1065 Blocking
Fix g++ warnings #1059 Blocking
Add kiudee's parameters Blocking
Bundle Lc0 with some network file? Nice to have
Remove cache fullness reporting Nice to have

[svoitsl]

а dx12 то совсем даже и ничего
Nvidia RTX 2060
===============
Network Net-Size OpenCL cudnn-fp32 dx-fp32 cudnn-fp16 dx-fp16
----------------------------------------------------------------------------------
T59 59611 128x10 11624 35470 31088 88009 51326
T30 32390 256x20 2225 4972 6459 15137 17391
T40 42850 256x20 1371 4571 318* 12780 14198
T60 61996 320x24 1555 3421 3317 8418 7669
SV-big-t40-1705 384x30 856 1854 104* 4955 4799
SV-huge-50 512x40 361 802 29* 2241 121*

* - poor performance due to a driver bug (hopefully will be fixed soon).


Nvidia RTX Titan
================
Network Net-Size cudnn-fp32 dx-fp32 cudnn-fp16 dx-fp16
------------------------------------------------------------------------
T59 59611 128x10 70266 50523 123414 73675
T30 32390 256x20 14438 14173 40452 42276
T40 42850 256x20 12932 13113 36753 38388
T60 61996 320x24 8137 7505 17472 18578
SV-big-t40-1705 384x30 4143 3933 11054 13086
SV-huge-50 512x40 1942 1918 4844 7015

[Maratka]

Только с Radeon'ами было бы полезнее сравнить.

Оно там ниже есть: очень сильный рост, но маловато все же, как в сравнении даже с самым младшим RTX.
На актуальных 256x20 проигрывает: 12780 против 8041, на сети 320x24 соответственно 8418 против 5183.
А вот Vega рулит: 9156 и 6078. Этого опять же мало, чтобы тягаться с RTX, но достаточно много, чтобы понимать, почему GCN лучше для математики, чем для 3D-игрушек.

Хотя в самом низу, RX5500 скорее всего будет идти нога в ногу с GTX 1650/S, или даже с 1660/S.

И еще, интересно соотношение RTX'ов по мере роста сети:
Nvidia RTX 2060 128x10 88009
Nvidia RTX Titan 128x10 123414
Прирост мизерный, т.е. Titan скорее всего уперся в что-то.

Тогда как скажем на перспективной 320x24
Nvidia RTX 2060 8418
Nvidia RTX Titan 18578, т.е более чем в два раза.
(взял лучшие результаты).

и по мере дальнейшего роста размерности сети - только увеличивается.

[Maratka]

Теперь что еще интересует: возможно ли использование DX-версии LZ на Windows не-10?
Около года назад помнится MS "разрешила" использовать DX12 на Windows 7 в WoW
https://3dnews.ru/984136

Т.е. формально оно возможно.

[Maratka]

Цитата: Сообщение от svoitsl

Интересно, что значит "Blocking" ?

Судя по оригинальной таблице, разукрашенной в разные цвета - "Done" - сделано, "Nice to have" - не сделано, но хочется, "Blocking"- отменено в результате обсуждения, или попытке реализовать, т.е. либо нет смысла делать, либо не воспроизводится, либо высока трудоемкость при малом, или даже отсутствующем выхлопе.

[sovaz1997]

Цитата: Сообщение от Viktor

По простой логике:
Стокфиш должен был выиграть (если он прав);
Лила должна была выиграть (если она права);
Значит, ничьей быть не должно. А раз случилась ничья, то оба движка (в равной степени!) облажались.
И если считаете, что Стокфиш не понимает крепость (это можно понять!), то Лила не понимает не только крепость, но и элементарную ценность фигур!

Именно из-за непонимания ценности фигур в виде "Ладья = 5 пешек и т. п." Лила способна увидеть, в какой позиции ладья сильная, а в какой ее можно и отдать. При этом особо не считая вариантов. В каждом алгоритме есть свои достоинства и недостатки и я не считаю, что здесь надо придумывать понятия логичности в человеческом понимании.

[Maratka]

Цитата: Сообщение от svoitsl

К тому же все таки у Лилы оценка для нас +2 балла, а для неё - вероятность - и она не такая уж и большая.

Это все относительно... с год назад была выполнена "калибровка" оценки LZ по a-b движкам.
Т.е. если взять годичной давности версию движка, то там может быть и 0,5, и 15.

[Maratka]

Цитата: Сообщение от sovaz1997

Именно из-за непонимания ценности фигур в виде "Ладья = 5 пешек и т. п." Лила способна увидеть, в какой позиции ладья сильная, а в какой ее можно и отдать.

Опять же, от позиции. SF тоже может это увидеть. И Komodo, и даже совсем уж слабый по теперешним временам Fire. Или Вы не видели, как SF жертвует приличный материал против LZ, и играет на победу? Хотя a-b "понимают" что такое "материал".

[Maratka]

Цитата: Сообщение от Maratka

Судя по оригинальной таблице, разукрашенной в разные цвета - "Done" - сделано, "Nice to have" - не сделано, но хочется, "Blocking"- отменено в результате обсуждения, или попытке реализовать, т.е. либо нет смысла делать, либо не воспроизводится, либо высока трудоемкость при малом, или даже отсутствующем выхлопе.

Утрирую конечно, но у меня в конторе в тех.релиз можно было подписать продукт, который все что умеет - обновляться и не падать при этом.

Для всего остального можно написать патчи, которые выйдут ДО начала продаж, продукт обновится сразу же после установки, и начнет вполне сносно работать.
Ну а т.к. сценарий выше возможен лишь теоретически, то в тех.релиз подписывались сборки, которые в общем и целом - работают вполне себе сносно, т.е. Nice to have" - это желательно сделать в ближайшем патче, ибо подписанию продукта как такового оно не мешает. То что "Done" - крайне желательно иметь на момент подписания, ну а "Blocking" - подождет 1-2 года до следующей версии, либо вовсе никогда не будет реализовано.

[Maratka]

Цитата: Сообщение от Maratka

Опять же, от позиции. SF тоже может это увидеть. И Komodo, и даже совсем уж слабый по теперешним временам Fire. Или Вы не видели, как SF жертвует приличный материал против LZ, и играет на победу? Хотя a-b "понимают" что такое "материал".

Вот например, Алехин, который LZ сам по себе разыгрывает криво, в частности - 5... Nd7 - это ход LZ, а не книга.

[Event "279 LZ232 net t40b vs SF_030120+, Slow "]
[Site "?"]
[Date "2020.01.15"]
[Round "11.1"]
[White "Stockfish 030120 64 POPCNT"]
[Black "Lc0 v0.23.2+git.c8d9095"]
[Result "1-0"]
[ECO "B04"]
[Annotator "0.57;0.51"]
[PlyCount "51"]
[EventDate "2020.01.13"]
[EventType "tourn"]
[SourceTitle "Fritz Engine Tournament"]

{AMD FX-8370 Eight-Core Processor 4013 MHz W=48.1 plies; 8*139kN/s;
12*538 TBAs B=14.3 plies; 4kN/s} 1. e4 Nf6 2. e5 Nd5 3. d4 d6 4. Nf3 dxe5 {
0.51/12 60} 5. Nxe5 {0.57/32 175} Nd7 {0.55/14 102 (c6)} 6. Nxf7 {0.98/33 72
(c4)} Kxf7 {0.77/18 93} 7. Qh5+ {1.23/34 52} Ke6 {0.79/21 85} 8. c4 {1.30/37
115 (g3)} N5f6 {0.90/21 103 (N7f6)} 9. d5+ {1.11/38 107} Kd6 {0.91/24 37} 10.
Qf7 {1.27/34 62} Nb6 {0.86/20 166 (Ne5)} 11. c5+ {3.28/35 91 (Bf4+)} Kxc5 {
1.10/22 160 (Kd7)} 12. b4+ {4.37/33 57 (Be3+)} Kxb4 {-0.12/15 143} 13. Bd2+ {
5.09/34 59} Kc5 {0.40/15 72} 14. Nc3 {5.38/37 80} Qe8 {0.67/16 29 (Nbxd5)} 15.
Be3+ {7.75/34 66} Kd6 {1.11/15 62} 16. Bf4+ {7.88/34 90} Kc5 {1.41/14 63 (Kd7)}
17. Ne4+ {13.23/29 77} Kd4 {3.93/12 173} 18. f3 {14.10/27 56} Qa4 {4.00/12 71}
19. Rd1+ {14.41/28 122} Qxd1+ {4.37/11 0} 20. Kxd1 {15.45/28 75} Bf5 {4.42/10
669} 21. Be2 {16.73/27 61 (Bc1)} Nbxd5 {4.19/9 148 (e5)} 22. Kc1 {#12/68 66}
Bxe4 {6.28/8 103} 23. Rd1+ {#11/71 62} Kc5 {10.96/7 163} 24. fxe4 {#10/73 80}
Nxf4 {128.00/5 108 (Rd8)} 25. Qc4+ {#2/245 0} Kb6 {128.00/2 1} 26. Qb5# {
#1/245 0} 1-0

[sovaz1997]

Цитата: Сообщение от Maratka

Опять же, от позиции. SF тоже может это увидеть. И Komodo, и даже совсем уж слабый по теперешним временам Fire. Или Вы не видели, как SF жертвует приличный материал против LZ, и играет на победу? Хотя a-b "понимают" что такое "материал".

SF это считает, а Lc0 это видит на одной ноде

[Maratka]

Выше партия. Посмотрите пожалуйста!

[sovaz1997]

Цитата: Сообщение от Maratka

Выше партия. Посмотрите пожалуйста!

О том и говорю: Stockfish это рассчитывает и понимает, что черные в итоге пожертвуют ферзя, чтобы спастись. Естественно, для этого должен быть очень хороший поиск.

[Maratka]

Цитата: Сообщение от sovaz1997

О том и говорю: Stockfish это рассчитывает и понимает, что черные в итоге пожертвуют ферзя, чтобы спастись.

Да не в ферзе дело, а в том, что позиционно черный король вышел на центр доски в дебюте, и там у него нет шансов: его фигуры заперты, а фигуры белых - работают. Это именно "позиционная" жертва коня, а потом еще и пешки, это совсем не тактика. А жертва ферзя со стороны LZ - это уже как раз таки тактические конвульсии, иначе проиграл бы раньше.

Причем проигрывает именно 5... Nd7, SF6 возился лишь чуть дольше, чем последние сборки:

[Event "281 LZ232 net 11248 vs SF_6+, Slow 75m+"]
[Site "?"]
[Date "2020.01.15"]
[Round "1.1"]
[White "Stockfish 6 64 POPCNT"]
[Black "Lc0 v0.23.2+git.c8d9095"]
[Result "1-0"]
[ECO "B04"]
[Annotator "0.34;0.30"]
[PlyCount "93"]
[EventDate "2020.01.15"]
[EventType "tourn"]
[SourceTitle "Fritz Engine Tournament"]

{AMD FX-8370 Eight-Core Processor 4013 MHz W=43.9 plies; 9*635kN/s;
2*923*663 TBAs B=12.7 plies; 11kN/s; 3 TBAs} 1. e4 Nf6 2. e5 Nd5 3. d4 d6 4.
Nf3 dxe5 {0.30/10 65} 5. Nxe5 {0.34/32 458} Nd7 {0.30/10 121 (c6)} 6. Nxf7 {
0.88/35 93 (Nf3)} Kxf7 {0.39/17 82} 7. Qh5+ {0.96/34 99} Ke6 {0.41/19 70} 8. c4
{0.83/35 120 (g3)} N5f6 {0.46/21 118} 9. d5+ {0.81/36 112} Kd6 {0.54/23 53} 10.
Qf7 {0.73/36 81} Nb6 {0.49/22 74 (Nc5)} 11. c5+ {1.36/32 97 (Bf4+)} Kxc5 {
0.89/18 201} 12. Be3+ {1.70/33 84} Kd6 {0.88/23 68} 13. Nc3 {1.67/34 164} Bg4 {
1.12/20 275} 14. Be2 {1.62/34 116} Qe8 {1.14/23 19 (Kd7)} 15. Bf4+ {1.98/31 99
(Ne4+)} Kd7 {1.53/15 183} 16. Bxg4+ {2.03/32 306} Kd8 {1.61/14 245} 17. Qe6 {
2.03/36 142} g5 {1.62/13 61 (Qd7)} 18. Be5 {2.50/32 104 (Be3)} h5 {1.56/13 117
(Nbd7)} 19. Rc1 {3.07/34 86 (Be2)} Rc8 {2.15/12 196 (Qd7)} 20. Bf5 {4.16/34 95
(Bxf6)} Qd7 {2.24/13 179} 21. Nb5 {4.19/35 84 (Qxf6)} Qxb5 {2.12/14 67 (Qxe6)}
22. Bxf6 {4.64/35 123} Rh6 {2.23/14 78} 23. Bxe7+ {5.21/36 250} Bxe7 {2.31/13
54} 24. Qxh6 {5.46/34 190} Bb4+ {2.34/12 82 (Rb8)} 25. Rc3 {5.72/35 178} Nxd5 {
2.44/12 316 (Qc5)} 26. Qh8+ {5.94/34 102} Ke7 {2.49/13 15 (Qe8+)} 27. Qg7+ {
6.02/34 82 (Qxc8)} Kd8 {2.72/14 258} 28. Qg8+ {6.13/33 81} Ke7 {2.82/13 10
(Qe8+)} 29. Qxg5+ {7.96/34 131 (Qe6+)} Kf8 {2.46/12 174} 30. Qh6+ {8.17/35 103}
Kf7 {2.61/12 201} 31. Qxh5+ {8.52/35 79} Kf6 {2.78/10 123 (Ke7)} 32. Qg6+ {
9.74/33 114 (Bxc8)} Ke7 {2.87/11 54} 33. Qe6+ {10.32/33 110} Kf8 {3.23/11 111}
34. Qxc8+ {10.55/33 117} Kf7 {3.49/9 200 (Qe8+)} 35. Qe6+ {16.12/33 72 (Qd7+)}
Kg7 {3.44/8 75} 36. Qg6+ {20.17/35 79 (Qd7+)} Kf8 {3.38/8 74} 37. Be6 {22.66/
34 74} Ke7 {3.49/8 107 (Bxc3+)} 38. Qf7+ {45.60/34 75 (Bxd5)} Kd6 {3.60/9 154
(Kd8)} 39. Bxd5 {123.34/41 329} c6 {3.53/8 122} 40. Bb3 {123.36/39 127 (Bc4)}
Qd3 {3.73/7 191 (c5)} 41. Qf4+ {#10/50 57} Kd7 {4.26/7 95} 42. Qxb4 {#9/55 42}
Qd6 {4.66/6 116 (Qb1+)} 43. Qxb7+ {#6/121 42} Kd8 {5.92/6 84} 44. O-O {#5/127
2 (Rg3)} Qd7 {128.00/2 140 (Ke8)} 45. Rd1 {#4/127 0} Qxd1+ {128.00/2 92} 46.
Bxd1 {#3/1 0} c5 {128.00/2 106} 47. Rxc5 {#2/127 0} 1-0

[alchemist888]

Цитата: Сообщение от Viktor

Нашлась одна такая сеть, где всё "шиворот навыворот".

Еще раз.

Цитата: Сообщение от alchemist888

UPD. Для проформы проверил также 256x20-t40-1541 сеть, которая участвовала в тестировании. Как и ожидалось оценка +1.63 (позиция в посте у Alex Zet)

По поводу оценок.

Цитата: Сообщение от Viktor

Почему же, уважаемые, не можете понять, что 8.00 и 2.00 для результата одно и тоже, то есть выигрыш! И совершенно нет разницы в этом примере: оба движка в данном случае "лохи".

То есть Вы считаете, что 99.9% шансы на победу и 60% это одно и тоже?

[Maratka]

Цитата: Сообщение от alchemist888

То есть Вы считаете, что 99.9% шансы на победу и 60% это одно и тоже?

Выше писал: оценки LZ были калиброваны по оценкам a-b где-то с год назад.
Если взять старую версию с той же сетью, то может быть и вполне уместные 0,5, и совершенно дурацкие 15.
У Вам плата где-то раза в 5-7 сильнее моей, посмотрите пожалуйста оценки LZ в этой позиции на "старых" движках. Мне и самому интересно.

[Hendry]

было бы гораздо интереснее увидеть во сколько % оценивала Лила вероятность победы белых.

[Maratka]

Какие проблемы?

[Hendry]

я знаю про эту опцию, но у меня показывает нечто непонятное +11.03 и как это понимать неясно
кстати там же можно посмотреть обсчет по старой формуле сантипешек

Все, посмотрел +88% у Т4 и 76% у T6

[Maratka]

Цитата: Сообщение от sovaz1997

Именно из-за непонимания ценности фигур в виде "Ладья = 5 пешек и т. п." Лила способна увидеть, в какой позиции ладья сильная, а в какой ее можно и отдать. При этом особо не считая вариантов. В каждом алгоритме есть свои достоинства и недостатки и я не считаю, что здесь надо придумывать понятия логичности в человеческом понимании.

Ну вот например... еще один пример!



Чья оценка точнее? (прошу заметить версию SF)!

[Maratka]

Цитата: Сообщение от Hendry

кстати там же можно посмотреть обсчет по старой формуле сантипешек

Прогнать эту же позицию на движке, коему год +\- (придется подобрать, ну или читать форум в этой ветке, в какой версии была сделана "калибровка").
Я лично к сожалению помню лишь эти самые +\- год, не точнее.

Цитата: Сообщение от Hendry

я знаю про эту опцию, но у меня показывает нечто непонятное +11.03 и как это понимать неясно

Это значит, что LZ оценивает шанс на свою победу в 11%, все остальное - поражение или ничья. Учитывая, что тут тупая ничья, 11% на победу - это перебор, ибо тут строгие 0.5:0.5

//added
На победу былых конечно же!, выше - опечатка.
Впрочем, не сильная: в этой позиции вероятность победы любой из сторон - нуль.