TCEC 20 - Страница 14 - Forchess

Alex_Zet · 24.01.2021, 14:13

На минуточку экскурс в прошлое.

Производительность оценки NNUE по сравнению с классической оценкой в некоторой степени зависит от аппаратного обеспечения и, как ожидается, быстро улучшится, но в настоящее время она составляет > 80 баллов по Fishtest:

60000 @ 10+0.1 th 1
https://tests.stockfishchess.org/tes...abc164f05e4c4c
ELO: 92.77 +-2.1 (95%) LOS: 100.0%
Total: 60000 W: 24193 L: 8543 D: 27264
Ptnml(0-2): 609, 3850, 9708, 10948, 4885

40000 @ 20+0.2 th 8
https://tests.stockfishchess.org/tes...abc164f05e4c58
ELO: 89.47 +-2.0 (95%) LOS: 100.0%
Total: 40000 W: 12756 L: 2677 D: 24567
Ptnml(0-2): 74, 1583, 8550, 7776, 2017

Но это еще не все. Хорошо бы сравнить Сток 10 NNUE против Сток классик 12, или даже Сток 9 NNUE - Сток классик 12. Каков вообще реальный вклад NNUE, а не просто 80 баллов?
На github.com/official-stockfish читаем Stockfish - это бесплатный мощный шахматный движок UCI, созданный на основе Glaurung 2.1. При этом роль NNUE упомянута лишь вскользь. Хотя вся сила игры Стокфиш держится сейчас именно на NNUE, а без сетей Стокфиш нем, глух и слеп!

Цитата: Сообщение от Vizvezdenec

Я пытаюсь сделать движок сильнее, а что он при этом куда лучше защищается - это побочный эффект

Может с таким же успехом и больше выигрывать...

Защищается лучше благодаря чему? Неужели благодаря 5-ти ручным патчам? А может благодаря NNUE?
Все эти возгласы - я увеличиваю силу игры движка, не более чем фикция, и нацелены лишь на самопиар. Покрасоваться на виду у чата.

Что реально хуже, понтоваться или троллить это качество?

Maratka · 24.01.2021, 16:49

Цитата: Сообщение от Vizvezdenec

от самый случай, когда, как по мне, Лила лучше трактовала дебют.

Ну в целом так и должно быть, размерности сетей как бы подразумевают, что теоритических знаний у LZ должно быть больше.
Вот практически их реализовать в силу ограниченной скорости движка, да и качества перебора - то другое дело.

SF же я неоднократно видел, как на TCEC с 4 хода до таблиц добирается. Оценка в целом похуже, но похоже ему она на данном этапе лучшая (в смысле бОльшей сети) и не нужна, ему важно, что он по расчету выходит на скажем +2, а реально там +2, +1,8 или +3 - уточнит по дальнейшему развитию партии.

Maratka · 24.01.2021, 16:54

Цитата: Сообщение от Alex_Zet

Защищается лучше благодаря чему? Неужели благодаря 5-ти ручным патчам? А может благодаря NNUE?

Ну посмотрите веса патчей за пять лет, с начала 2016 по начало 2020. Сколько SF набрал?
Есть хорошая цифирька, 28.12.2015 вышел SF7, относительно него SF11, вышедший в январе 2020 (пять лет и месяц) набрал где-то 240 Elo, плюс еще около 30 - последняя версия классИка к SF11, итого где-то 270.

NNUE дал, ну Вы сами написали:

Цитата: Сообщение от Alex_Zet

60000 @ 10+0.1 th 1
https://tests.stockfishchess.org/tes...abc164f05e4c4c
ELO: 92.77 +-2.1 (95%) LOS: 100.0%

Где больше?

Maratka · 24.01.2021, 17:08

Цитата: Сообщение от Alex_Zet

Производительность оценки NNUE по сравнению с классической оценкой в некоторой степени зависит от аппаратного обеспечения и, как ожидается, быстро улучшится,

Я Вам скажу ужасную вещь: производительность классической оценки тоже зависит от аппаратного обеспечения. Ее, эту классическую оценку можно написать сколь угодно тонкую, скажем сейчас она измеряется в сантипешках, ну типа 15 сантипешек за некое расположение фигур. Но в реале ее вполне можно написать в миллипешках, скажем 150 миллипешек. Ее можно написать даже в нанопешках. После чего окажется, что чуть другая конфигурация оценивается как 153 миллипешки, а вторая - 146, т.е. три тонкие оценки за три позиции вместо одной грубой за одну позицию, а это требует дополнительных расчетов, т.е. зависит от аппаратного обеспечения.

Alex_Zet · 24.01.2021, 17:36

Цитата: Сообщение от Maratka

Ну посмотрите веса патчей за пять лет, с начала 2016 по начало 2020. Сколько SF набрал?
Есть хорошая цифирька, 28.12.2015 вышел SF7, относительно него SF11, вышедший в январе 2020 (пять лет и месяц) набрал где-то 240 Elo, плюс еще около 30 - последняя версия классИка к SF11, итого где-то 270.
Где больше?

Ага, за 5 лет 270 эло, итого 54 эло в год и это при том что NNUE с одного маху дали 100 эло. Ну что тут сравнивать несравнимое.

Asunta · 24.01.2021, 17:37

Если бы играли Сток против Стока или Лила против Лилы - счёт мог быть крупнее текущего...
Разгрома нет, т.е. с конкуренцией всё в порядке... Будем посмотреть : )

Alex_Zet · 24.01.2021, 17:53

Цитата: Сообщение от Alex_Zet

Ваабще, я предлагаю переименовать ТСЕС в Чемпионат мира по решению шахматных этюдов. А что? Поставили на доске какую то дикость, у движка конкретное задание - найти выигрыш, ну или удержать ничью. С дисбалансами вроде 2 ферзя против 4 ладей, или 8 коней. Интересно же, зрелищно!

Как говорил один мой знакомый о себе - гений и пророк.

S20 – Superfinal Раунд 53

Stockfish - LCZero

1. d4 d5 2. c4 c6 3. Nf3 Nf6 4. Nc3 e6 5. e3 Nbd7 6. Bd3 dxc4 7. Bxc4 b5 8. Be2 Bb7 9. e4 b4 10. e5 bxc3 11. exf6 cxb2 12. fxg7 bxa1=Q 13. gxh8=Q Qa5+ 14. Nd2 c5

Maratka · 24.01.2021, 18:23

Цитата: Сообщение от Alex_Zet

Ага, за 5 лет 270 эло, итого 54 эло в год и это при том что NNUE с одного маху дали 100 эло. Ну что тут сравнивать несравнимое.

Можно и иначе оценить, через год-полтора пользы от NNUE уже будет только если со стартовой позиции играть. SF с ручной оценкой уже переигрывает SF-classic. Это поначалу была просадка, т.к. резко изменили поиск под NNUE. А потом появились пачти, когда ручная оценка в тех или иных условиях таки включается. В результате, патчами на поиск сейчас уже ухудшать классическую часть движка не получается, т.к. часть времени партии играются по именно ручной оценке. Если патч на поиск усилит NNUE-часть движка, но ослабит классическую оценку - он просто не пройдет. Да и сама оценка - совершенствуется. Так что даже если бы NNUE не было бы, текущая версия без него обошла бы 11-ю версию на вполне приличные ~50 Elo, через годик - догонит то, что резко дал NNUE, а далее - чистый профит.

А вот сам по себе NNUE похоже уже выдохся, сеть слишком маленькая, а потому ее насыщение происходит очень быстро. Высосать из нее еще пять или может десять Elo наверное получится, но вряд-ли больше, как минимум без увеличения ее размерности, но если ее увеличить - скорость катастрофически упадает, а с ней и глубина, и неизвестно, что в итоге еще лучше будет.

Собственно, всем это давно известно и понятно, SF последние два месяца развивается обычными проверенными способами: написанием ручного кода для движка, сеть заглохла в ноябрьском состоянии.

Cr@ck · 24.01.2021, 18:25

Цитата: Сообщение от Переяслав

Наше дело правое, враг будет разбит, победа будет за нами!

За нами, это за кем, стесняюсь спросить?

Maratka · 24.01.2021, 18:29

Думаю за шахматистами, которые смогут выбрать себе движок под свои предпочтения в стиле игры и железо.

Alex_Zet · 24.01.2021, 18:32

Цитата: Сообщение от Maratka

Собственно, всем это давно известно и понятно, SF последние два месяца развивается обычными проверенными способами: написанием ручного кода для движка, сеть заглохла в ноябрьском состоянии.

Маратка, а Вы можете собрать Стокфиш 10 NNUE?

Maratka · 24.01.2021, 18:37

Цитата: Сообщение от Alex_Zet

Маратка, а Вы можете собрать Стокфиш 10 NNUE?

Дайте исходники - соберу.
Вопрос - зачем? Оно и так понятно, что будет играть где-то на ~100 Elo слабее текущей версии.

Alex_Zet · 24.01.2021, 18:39

Я в этом ничего не понимаю.
Допустим есть же исходники Стокфиш 10 + патчи все что связанно с сетями. Вот и исходники

sergey1963 · 24.01.2021, 18:42

а что они- при 7-фигурках играют???

Alex_Zet · 24.01.2021, 18:43

Вот ещё https://github.com/nodchip/Stockfish - Stockfish NNUE

Alex_Zet · 24.01.2021, 18:44

Цитата: Сообщение от sergey1963

а что они- при 7-фигурках играют???

Наконец то и Сергей заметил что не все чисто на ТСЕС

TCEC is only supporting 6 men TB

Maratka · 24.01.2021, 18:49

Цитата: Сообщение от sergey1963

а что они- при 7-фигурках играют???

А там разве семифигурки?

Alex_Zet · 24.01.2021, 18:53

Нужны сравнительные тесты:
Сток 12 классик - Сток 11 NNUE
Сток 12 классик - Сток 10 NNUE
Сток 12 классик - Сток 9 NNUE

Мы тогда получили ответ на вопрос - как глубока кроличья нора?

Maratka · 24.01.2021, 18:56

Кому нужны?
Я например вполне с достаточной точностью могу прикинуть, исходя из 50 Elo в год развития, и 80% патчей на поиск, что SF12 обойдет SF11 (если бы тот был в версии NNUE) на ~50 Elo, и так далее вниз до версии где-то 8.

Alex_Zet · 24.01.2021, 18:58

Спорно, спорно.
Нужны доказательства

Maratka · 24.01.2021, 19:01

Цитата: Сообщение от Alex_Zet

Спорно, спорно.
Нужны доказательства

https://www.youtube.com/watch?v=kiBI...el=ShivvaRudra

Alex_Zet · 24.01.2021, 19:33

Цитата: Сообщение от Maratka

Кому нужны?
Я например вполне с достаточной точностью могу прикинуть, исходя из 50 Elo в год развития, и 80% патчей на поиск, что SF12 обойдет SF11 (если бы тот был в версии NNUE) на ~50 Elo, и так далее вниз до версии где-то 8.

Stockfish 11
20200118-0044 20000 12401 329 7270 +242.78 +/- 3.95

---------------------------------------------------
Это последний патч Сток класссик

20200806-1437 20000 13188 530 6282 +259.27 +/- 4.29
--------------------------------------------------------------
Stockfish 12

20200902-1419 20000 14917 228 4855 +326.01 +/- 4.87
------------------------------------------------

Stockfish 11 / +242.78
Stockfish класссик / +259.27
Stockfish 12 / +326.01

получается что 12 релиз +84 эло , из них 17 эло ручные патчи и 67 эло это прибавка NNUE/

Отсюда вывод что ваше утверждение Маратка что SF12 обойдет SF11 (если бы тот был в версии NNUE) на ~50 Elo =

Код:

1 0;     // это ложь
2  false; // это тоже ложь, причем это слово есть только в С++

Я утверждаю, что:
Сток 11 NNUE выиграет у Сток 12 классик
Сток 10 NNUE выиграет у Сток 12 классик
Сток 9 NNUE возможно проиграет Сток 12 классик но не крупно

Alex_Zet · 24.01.2021, 19:44

Stockfish 9 / +151.60 + 67 NNUE = 218
Stockfish 10 / +205.35 + 67 NNUE = 272
Stockfish 11 / +242.78 + 67 NNUE = 309
Stockfish 12 классик = 259.27

Со стороны организаторов ТСЕС было бы более честно предъявить требование к форматам движков. Играют либо чистые NN, либо чистые АВ.
Тогда бы и чемпионат ТСЕС и сам Суперфинал смотрелся бы более зрелищно

[IMG]

[/IMG]

На ССС запустили Rapid 2021: NNUE League (15|3) https://www.chess.com/computer-chess...21-nnue-league

Maratka · 24.01.2021, 20:04

Цитата: Сообщение от Alex_Zet

получается что 12 релиз +84 эло , из них 17 эло ручные патчи и 67 эло это прибавка NNUE/

Неверно считаете, ибо сразу после появления NNUE версии поиск был переписан под нее, в ущерб классической версии. Т.е. "ручное Elo" пошло со знаком плюс к NNUE, и минус к классИку. Потому и вышло всего 17 по кругу (как Вы там насчитали, конечно же спорно, что именно 17, но где-то столько примерно). Сейчас же фактически все патчи усиливают обе версии, ибо никакой патч на поиск не сможет пройти в режиме использования сети, т.к. сеть используется не всегда

, если он одновременно не улучшает поведение движка в режиме рукописной оценки, ну или как минимум не портит его.

Maratka · 24.01.2021, 20:11

Цитата: Сообщение от Alex_Zet

На ССС запустили Rapid 2021: NNUE League (15|3)

Угу, все NNUE -версии, какие нашли. Про одну только забыли.

Alex_Zet · 24.01.2021, 21:05

Цитата: Сообщение от Maratka

(как Вы там насчитали, конечно же спорно, что именно 17, но где-то столько примерно).

Вот я и говорю что нужны тест матчи.
Сток 12 dev. однозначно проигрывает Сток 12 NNUE cлишком мала разбежка эло между ними. Нужна разница как между 10 и 12.

Покумекайте, может удастся собрать Сток 10 NNUE. Результат теста был бы очень любопытен, я Вас уверяю Маратка.
Я готов провести матч между ними.

Maratka · 24.01.2021, 21:41

Цитата: Сообщение от Alex_Zet

Сток 12 dev. однозначно проигрывает Сток 12 NNUE cлишком мала разбежка эло между ними.

Уточнить забыли, что режимы у них должны быть разными.

Цитата: Сообщение от Alex_Zet

Вот я и говорю что нужны тест матчи.

Не нужны. Нет никакой принципиальной разницы, наберется там 17 ELo, 28 или 11.

Цитата: Сообщение от Alex_Zet

Покумекайте, может удастся собрать Сток 10 NNUE.

Если кто умеет добавить избранные патчи (в ручном режиме понятно) - пусть делает, работенка там еще та, и делать ее только для сравнения чего-то достаточно очевидного не уверен, что кто-то будет. Я уж точно не стану тратить неделю на построчное сравнение исходников и копирование нужного кода.

svoitsl · 24.01.2021, 22:32

S20 - Superfinal

Alex_Zet · 25.01.2021, 03:28

Стокфиш самоизолировался

S20 - Superfinal / Раунд 55.1

Stockfish - LCZero

1.
d4
Nf6
2.
c4
e6
3.
Nf3
b6
4.
a3
c5
5.
d5
Ba6
6.
Qc2
exd5
7.
cxd5
Be7
8.
Nc3
d6
9.
g3
O-O
10.
Bg2
b5
11.
O-O
Nbd7
12.
Bf4
Re8
13.
Rfe1
Qb6
14.
b3
Rac8
15.
h3
Nh5
16.
Bd2
Bf8
17.
e4
g6
18.
Ra2
Bg7
19.
Be3
Qb7
20.
Bf1
Bxc3
21.
Qxc3
Rxe4
22.
Bg2
Nhf6
23.
Bh6
Rxe1+
24.
Nxe1
Ne5
25.
b4
cxb4
26.
Qxb4
Qb6
27.
Qh4
Nfd7
28.
Qe7
Qd8
29.
Qxd6
Qf6
30.
Qxf6
Nxf6
31.
d6
Nc4
32.
Kh2
Nxd6
33.
Rd2
Nc4
34.
Rd1
Ne8
35.
Nc2
Ncd6
36.
Nd4
Bb7
37.
Nxb5
Bxg2
38.
Nxd6
Bf3
39.
Nxc8
Bxd1
40.
Nxa7
Nd6
41.
Bd2
Ba4
42.
Bb4
Nc4
43.
Nc8
f5
44.
Nd6
Nxd6
45.
Bxd6
h5
46.
Kg2
Kf7
47.
Bf4
Bc6+
48.
Kf1
Ke6
49.
Ke2
Ba4
50.
Ke3
Bc6
51.
Kd4
Bg2
52.
h4
Bc6
53.
Kc5
Ba4
54.
Be3
Bd1
55.
Kd4
Ba4
56.
Bf4
Bc6
57.
Be5
Ba4
58.
Bb8
Bc6
59.
Bf4
Ba4
60.
Bd2
Bd1
61.
Ke3
Ba4
62.
Kf4
Kf6
63.
Bc3+
Ke6
64.
Bd4
Kf7
65.
Kg5
Bc6
66.
Bb2
Bb5
67.
Kf4
Ba4
68.
Kg5
Bc6
69.
Bf6
Bb5
70.
Bc3
Bc6
71.
Kf4
Ba4
72.
Bd4
Be8
73.
Ke5
Ba4
74.
Bb2
Ke7
75.
Kf4
Kf7
76.
Bd4
Ke6
77.
Ke3
Kf7
78.
Bc5
Kf6
79.
Kf4
Be8
80.
Bd6
Bd7
81.
Bc5
Ba4
82.
Bd4+
Kf7
83.
Ke5
Be8
84.
Be3
Ba4
85.
Kd5
Kf6
86.
Bf4
Bc2
87.
Bd2
Ba4
88.
Kc5
Ke6
89.
Kb4
Bc6
90.
a4
Kd6
91.
a5
Bg2
92.
Kb5
Kd7
93.
Kb6
Bh1
94.
Bf4
Bg2
95.
a6
Bf3
96.
Bh6
Bg2
97.
Kc5
Bf1
98.
a7
Bg2
99.
Kd4
Ke6
100.
Ke3
Bc6
101.
Kf4
Kf6
102.
Bf8
Bb7
103.
Bc5
Bc6
104.
Bd4+
Ke6
105.
Bc5
Kf6
106.
Bd4+
Ke6
107.
Kg5
Kf7
108.
Be5
Bf3
109.
Kf4
Bb7
110.
Bd6
Kf6
111.
Bc7
Bc6
112.
Bd8+
Ke6
113.
Kg5
Kf7
114.
Bb6
Bb7
115.
Kf4
Kf6
116.
Ba5
Ba8
117.
Bd8+
Ke6
118.
Kg5
Kf7
119.
Kf4
Ke6
120.
Bb6
Kf6
121.
Bc7
Bb7
122.
Bb6
Bc6
123.
Bd8+
Ke6
124.
Kg5
Kf7
125.
Bf6
Bb7
126.
Bc3
Ba8
127.
Kf4
Ke6
128.
Bb4
Kf6
129.
Ba5
Bb7
130.
Bb6
Bc6
131.
Bc5
Bb7
132.
f3
Bc6
133.
Bf2
Bb7
134.
Be3
Bc6
135.
Bb6
Bb7
136.
Bc5
Bc6
137.
Bf8
Bb7
138.
Bb4
Bd5
139.
Bc3+
Ke6
140.
Kg5
Kf7
141.
f4

Alex_Zet · 25.01.2021, 04:39

Ответная партия. После 18. Nc6 Qf6

LCZero / 0.61 - Stockfish / 1.21

как бы ничего страшного нет, к тому же белые без пешки.

Правда по времени Сток начинает проседать 01:36:44 / 01:12:58, а это плохой признак.

20. Re1 оценки 0.61 / 1.34 Оценка Стока постоянно скачет, у Лилы как вкопанная. Всё будет зависеть куда качнутся весы Лилы и если оценка поползет вверх, дела Стока будут плохи. Хотя оценки могут просто сравняются

24.01.2021, 14:13	#391
Alex_Zet Эксперт Регистрация: 01.12.2016 Сообщений: 5,696 Сказал(а) спасибо: 264 Поблагодарили 1,517 раз(а) в 1,153 сообщениях Записей в дневнике: 15 Репутация:	Re: TCEC 20 На минуточку экскурс в прошлое. Производительность оценки NNUE по сравнению с классической оценкой в некоторой степени зависит от аппаратного обеспечения и, как ожидается, быстро улучшится, но в настоящее время она составляет > 80 баллов по Fishtest: 60000 @ 10+0.1 th 1 https://tests.stockfishchess.org/tes...abc164f05e4c4c ELO: 92.77 +-2.1 (95%) LOS: 100.0% Total: 60000 W: 24193 L: 8543 D: 27264 Ptnml(0-2): 609, 3850, 9708, 10948, 4885 40000 @ 20+0.2 th 8 https://tests.stockfishchess.org/tes...abc164f05e4c58 ELO: 89.47 +-2.0 (95%) LOS: 100.0% Total: 40000 W: 12756 L: 2677 D: 24567 Ptnml(0-2): 74, 1583, 8550, 7776, 2017 Но это еще не все. Хорошо бы сравнить Сток 10 NNUE против Сток классик 12, или даже Сток 9 NNUE - Сток классик 12. Каков вообще реальный вклад NNUE, а не просто 80 баллов? На github.com/official-stockfish читаем Stockfish - это бесплатный мощный шахматный движок UCI, созданный на основе Glaurung 2.1. При этом роль NNUE упомянута лишь вскользь. Хотя вся сила игры Стокфиш держится сейчас именно на NNUE, а без сетей Стокфиш нем, глух и слеп! Цитата: Сообщение от Vizvezdenec Я пытаюсь сделать движок сильнее, а что он при этом куда лучше защищается - это побочный эффект Может с таким же успехом и больше выигрывать... Защищается лучше благодаря чему? Неужели благодаря 5-ти ручным патчам? А может благодаря NNUE? Все эти возгласы - я увеличиваю силу игры движка, не более чем фикция, и нацелены лишь на самопиар. Покрасоваться на виду у чата. Что реально хуже, понтоваться или троллить это качество? __________________ 10 оттенков https://www.youtube.com/playlist?lis...7RKv2pEmatnOBs

24.01.2021, 16:49	#392
Maratka Эксперт ТС Регистрация: 11.04.2017 Адрес: РФ, Крым, Севастополь. Сообщений: 11,849 Сказал(а) спасибо: 3,311 Поблагодарили 5,952 раз(а) в 4,245 сообщениях Репутация: 253	Re: TCEC 20 Цитата: Сообщение от Vizvezdenec от самый случай, когда, как по мне, Лила лучше трактовала дебют. Ну в целом так и должно быть, размерности сетей как бы подразумевают, что теоритических знаний у LZ должно быть больше. Вот практически их реализовать в силу ограниченной скорости движка, да и качества перебора - то другое дело. SF же я неоднократно видел, как на TCEC с 4 хода до таблиц добирается. Оценка в целом похуже, но похоже ему она на данном этапе лучшая (в смысле бОльшей сети) и не нужна, ему важно, что он по расчету выходит на скажем +2, а реально там +2, +1,8 или +3 - уточнит по дальнейшему развитию партии.

24.01.2021, 16:54	#393
Maratka Эксперт ТС Регистрация: 11.04.2017 Адрес: РФ, Крым, Севастополь. Сообщений: 11,849 Сказал(а) спасибо: 3,311 Поблагодарили 5,952 раз(а) в 4,245 сообщениях Репутация: 253	Re: TCEC 20 Цитата: Сообщение от Alex_Zet Защищается лучше благодаря чему? Неужели благодаря 5-ти ручным патчам? А может благодаря NNUE? Ну посмотрите веса патчей за пять лет, с начала 2016 по начало 2020. Сколько SF набрал? Есть хорошая цифирька, 28.12.2015 вышел SF7, относительно него SF11, вышедший в январе 2020 (пять лет и месяц) набрал где-то 240 Elo, плюс еще около 30 - последняя версия классИка к SF11, итого где-то 270. NNUE дал, ну Вы сами написали: Цитата: Сообщение от Alex_Zet 60000 @ 10+0.1 th 1 https://tests.stockfishchess.org/tes...abc164f05e4c4c ELO: 92.77 +-2.1 (95%) LOS: 100.0% Где больше?

24.01.2021, 17:08	#394
Maratka Эксперт ТС Регистрация: 11.04.2017 Адрес: РФ, Крым, Севастополь. Сообщений: 11,849 Сказал(а) спасибо: 3,311 Поблагодарили 5,952 раз(а) в 4,245 сообщениях Репутация: 253	Re: TCEC 20 Цитата: Сообщение от Alex_Zet Производительность оценки NNUE по сравнению с классической оценкой в некоторой степени зависит от аппаратного обеспечения и, как ожидается, быстро улучшится, Я Вам скажу ужасную вещь: производительность классической оценки тоже зависит от аппаратного обеспечения. Ее, эту классическую оценку можно написать сколь угодно тонкую, скажем сейчас она измеряется в сантипешках, ну типа 15 сантипешек за некое расположение фигур. Но в реале ее вполне можно написать в миллипешках, скажем 150 миллипешек. Ее можно написать даже в нанопешках. После чего окажется, что чуть другая конфигурация оценивается как 153 миллипешки, а вторая - 146, т.е. три тонкие оценки за три позиции вместо одной грубой за одну позицию, а это требует дополнительных расчетов, т.е. зависит от аппаратного обеспечения.

24.01.2021, 17:36	#395
Alex_Zet Эксперт Регистрация: 01.12.2016 Сообщений: 5,696 Сказал(а) спасибо: 264 Поблагодарили 1,517 раз(а) в 1,153 сообщениях Записей в дневнике: 15 Репутация:	Re: TCEC 20 Цитата: Сообщение от Maratka Ну посмотрите веса патчей за пять лет, с начала 2016 по начало 2020. Сколько SF набрал? Есть хорошая цифирька, 28.12.2015 вышел SF7, относительно него SF11, вышедший в январе 2020 (пять лет и месяц) набрал где-то 240 Elo, плюс еще около 30 - последняя версия классИка к SF11, итого где-то 270. Где больше? Ага, за 5 лет 270 эло, итого 54 эло в год и это при том что NNUE с одного маху дали 100 эло. Ну что тут сравнивать несравнимое. __________________ 10 оттенков https://www.youtube.com/playlist?lis...7RKv2pEmatnOBs

24.01.2021, 17:37	#396
Asunta Гроссмейстер Регистрация: 10.07.2018 Сообщений: 1,406 Сказал(а) спасибо: 776 Поблагодарили 2,282 раз(а) в 935 сообщениях Репутация: 230	Re: TCEC 20 Если бы играли Сток против Стока или Лила против Лилы - счёт мог быть крупнее текущего... Разгрома нет, т.е. с конкуренцией всё в порядке... Будем посмотреть : )

24.01.2021, 17:53	#397
Alex_Zet Эксперт Регистрация: 01.12.2016 Сообщений: 5,696 Сказал(а) спасибо: 264 Поблагодарили 1,517 раз(а) в 1,153 сообщениях Записей в дневнике: 15 Репутация:	Re: TCEC 20 Цитата: Сообщение от Alex_Zet Ваабще, я предлагаю переименовать ТСЕС в Чемпионат мира по решению шахматных этюдов. А что? Поставили на доске какую то дикость, у движка конкретное задание - найти выигрыш, ну или удержать ничью. С дисбалансами вроде 2 ферзя против 4 ладей, или 8 коней. Интересно же, зрелищно! Как говорил один мой знакомый о себе - гений и пророк. S20 – Superfinal Раунд 53 Stockfish - LCZero 1. d4 d5 2. c4 c6 3. Nf3 Nf6 4. Nc3 e6 5. e3 Nbd7 6. Bd3 dxc4 7. Bxc4 b5 8. Be2 Bb7 9. e4 b4 10. e5 bxc3 11. exf6 cxb2 12. fxg7 bxa1=Q 13. gxh8=Q Qa5+ 14. Nd2 c5 Неплохой дебютец. Через мене чем час у каждого, понимая что спешить вообще некуда, Лила продумав 07:51 брать коня или нет и все же лениво съев, на доске закончились фигурки, остался 9 фигурный эндшпиль. Организаторы превзошли себя. Понравилась оценка после 35. Лхс1 от KomodoDragonArmageddonB показавший 2.59 в пользу белых при оценках 0.09 от обоих финалистах. Позитивненько. __________________ 10 оттенков https://www.youtube.com/playlist?lis...7RKv2pEmatnOBs

24.01.2021, 18:23	#398
Maratka Эксперт ТС Регистрация: 11.04.2017 Адрес: РФ, Крым, Севастополь. Сообщений: 11,849 Сказал(а) спасибо: 3,311 Поблагодарили 5,952 раз(а) в 4,245 сообщениях Репутация: 253	Re: TCEC 20 Цитата: Сообщение от Alex_Zet Ага, за 5 лет 270 эло, итого 54 эло в год и это при том что NNUE с одного маху дали 100 эло. Ну что тут сравнивать несравнимое. Можно и иначе оценить, через год-полтора пользы от NNUE уже будет только если со стартовой позиции играть. SF с ручной оценкой уже переигрывает SF-classic. Это поначалу была просадка, т.к. резко изменили поиск под NNUE. А потом появились пачти, когда ручная оценка в тех или иных условиях таки включается. В результате, патчами на поиск сейчас уже ухудшать классическую часть движка не получается, т.к. часть времени партии играются по именно ручной оценке. Если патч на поиск усилит NNUE-часть движка, но ослабит классическую оценку - он просто не пройдет. Да и сама оценка - совершенствуется. Так что даже если бы NNUE не было бы, текущая версия без него обошла бы 11-ю версию на вполне приличные ~50 Elo, через годик - догонит то, что резко дал NNUE, а далее - чистый профит. А вот сам по себе NNUE похоже уже выдохся, сеть слишком маленькая, а потому ее насыщение происходит очень быстро. Высосать из нее еще пять или может десять Elo наверное получится, но вряд-ли больше, как минимум без увеличения ее размерности, но если ее увеличить - скорость катастрофически упадает, а с ней и глубина, и неизвестно, что в итоге еще лучше будет. Собственно, всем это давно известно и понятно, SF последние два месяца развивается обычными проверенными способами: написанием ручного кода для движка, сеть заглохла в ноябрьском состоянии.

24.01.2021, 18:25	#399
Cr@ck 3 разряд Регистрация: 05.08.2017 Сообщений: 240 Сказал(а) спасибо: 610 Поблагодарили 185 раз(а) в 102 сообщениях Репутация: 20	Re: TCEC 20 Цитата: Сообщение от Переяслав Наше дело правое, враг будет разбит, победа будет за нами! За нами, это за кем, стесняюсь спросить?

24.01.2021, 18:29	#400
Maratka Эксперт ТС Регистрация: 11.04.2017 Адрес: РФ, Крым, Севастополь. Сообщений: 11,849 Сказал(а) спасибо: 3,311 Поблагодарили 5,952 раз(а) в 4,245 сообщениях Репутация: 253	Re: TCEC 20 Думаю за шахматистами, которые смогут выбрать себе движок под свои предпочтения в стиле игры и железо.

24.01.2021, 18:32	#401
Alex_Zet Эксперт Регистрация: 01.12.2016 Сообщений: 5,696 Сказал(а) спасибо: 264 Поблагодарили 1,517 раз(а) в 1,153 сообщениях Записей в дневнике: 15 Репутация:	Re: TCEC 20 Цитата: Сообщение от Maratka Собственно, всем это давно известно и понятно, SF последние два месяца развивается обычными проверенными способами: написанием ручного кода для движка, сеть заглохла в ноябрьском состоянии. Маратка, а Вы можете собрать Стокфиш 10 NNUE? __________________ 10 оттенков https://www.youtube.com/playlist?lis...7RKv2pEmatnOBs

24.01.2021, 18:37	#402
Maratka Эксперт ТС Регистрация: 11.04.2017 Адрес: РФ, Крым, Севастополь. Сообщений: 11,849 Сказал(а) спасибо: 3,311 Поблагодарили 5,952 раз(а) в 4,245 сообщениях Репутация: 253	Re: TCEC 20 Цитата: Сообщение от Alex_Zet Маратка, а Вы можете собрать Стокфиш 10 NNUE? Дайте исходники - соберу. Вопрос - зачем? Оно и так понятно, что будет играть где-то на ~100 Elo слабее текущей версии.

24.01.2021, 18:39	#403
Alex_Zet Эксперт Регистрация: 01.12.2016 Сообщений: 5,696 Сказал(а) спасибо: 264 Поблагодарили 1,517 раз(а) в 1,153 сообщениях Записей в дневнике: 15 Репутация:	Re: TCEC 20 Я в этом ничего не понимаю. Допустим есть же исходники Стокфиш 10 + патчи все что связанно с сетями. Вот и исходники __________________ 10 оттенков https://www.youtube.com/playlist?lis...7RKv2pEmatnOBs

24.01.2021, 18:42	#404
sergey1963 Эксперт Регистрация: 31.05.2016 Сообщений: 6,474 Сказал(а) спасибо: 10,473 Поблагодарили 6,624 раз(а) в 3,608 сообщениях Репутация: 467	Re: TCEC 20 а что они- при 7-фигурках играют???

24.01.2021, 18:43	#405
Alex_Zet Эксперт Регистрация: 01.12.2016 Сообщений: 5,696 Сказал(а) спасибо: 264 Поблагодарили 1,517 раз(а) в 1,153 сообщениях Записей в дневнике: 15 Репутация:	Re: TCEC 20 Вот ещё https://github.com/nodchip/Stockfish - Stockfish NNUE __________________ 10 оттенков https://www.youtube.com/playlist?lis...7RKv2pEmatnOBs

24.01.2021, 18:44	#406
Alex_Zet Эксперт Регистрация: 01.12.2016 Сообщений: 5,696 Сказал(а) спасибо: 264 Поблагодарили 1,517 раз(а) в 1,153 сообщениях Записей в дневнике: 15 Репутация:	Re: TCEC 20 Цитата: Сообщение от sergey1963 а что они- при 7-фигурках играют??? Наконец то и Сергей заметил что не все чисто на ТСЕС TCEC is only supporting 6 men TB __________________ 10 оттенков https://www.youtube.com/playlist?lis...7RKv2pEmatnOBs

24.01.2021, 18:49	#407
Maratka Эксперт ТС Регистрация: 11.04.2017 Адрес: РФ, Крым, Севастополь. Сообщений: 11,849 Сказал(а) спасибо: 3,311 Поблагодарили 5,952 раз(а) в 4,245 сообщениях Репутация: 253	Re: TCEC 20 Цитата: Сообщение от sergey1963 а что они- при 7-фигурках играют??? А там разве семифигурки?

24.01.2021, 18:53	#408
Alex_Zet Эксперт Регистрация: 01.12.2016 Сообщений: 5,696 Сказал(а) спасибо: 264 Поблагодарили 1,517 раз(а) в 1,153 сообщениях Записей в дневнике: 15 Репутация:	Re: TCEC 20 Нужны сравнительные тесты: Сток 12 классик - Сток 11 NNUE Сток 12 классик - Сток 10 NNUE Сток 12 классик - Сток 9 NNUE Мы тогда получили ответ на вопрос - как глубока кроличья нора? __________________ 10 оттенков https://www.youtube.com/playlist?lis...7RKv2pEmatnOBs

24.01.2021, 18:56	#409
Maratka Эксперт ТС Регистрация: 11.04.2017 Адрес: РФ, Крым, Севастополь. Сообщений: 11,849 Сказал(а) спасибо: 3,311 Поблагодарили 5,952 раз(а) в 4,245 сообщениях Репутация: 253	Re: TCEC 20 Кому нужны? Я например вполне с достаточной точностью могу прикинуть, исходя из 50 Elo в год развития, и 80% патчей на поиск, что SF12 обойдет SF11 (если бы тот был в версии NNUE) на ~50 Elo, и так далее вниз до версии где-то 8.

24.01.2021, 18:58	#410
Alex_Zet Эксперт Регистрация: 01.12.2016 Сообщений: 5,696 Сказал(а) спасибо: 264 Поблагодарили 1,517 раз(а) в 1,153 сообщениях Записей в дневнике: 15 Репутация:	Re: TCEC 20 Спорно, спорно. Нужны доказательства __________________ 10 оттенков https://www.youtube.com/playlist?lis...7RKv2pEmatnOBs

24.01.2021, 19:01	#411
Maratka Эксперт ТС Регистрация: 11.04.2017 Адрес: РФ, Крым, Севастополь. Сообщений: 11,849 Сказал(а) спасибо: 3,311 Поблагодарили 5,952 раз(а) в 4,245 сообщениях Репутация: 253	Re: TCEC 20 Цитата: Сообщение от Alex_Zet Спорно, спорно. Нужны доказательства https://www.youtube.com/watch?v=kiBI...el=ShivvaRudra

24.01.2021, 19:33	#412
Alex_Zet Эксперт Регистрация: 01.12.2016 Сообщений: 5,696 Сказал(а) спасибо: 264 Поблагодарили 1,517 раз(а) в 1,153 сообщениях Записей в дневнике: 15 Репутация:	Re: TCEC 20 Цитата: Сообщение от Maratka Кому нужны? Я например вполне с достаточной точностью могу прикинуть, исходя из 50 Elo в год развития, и 80% патчей на поиск, что SF12 обойдет SF11 (если бы тот был в версии NNUE) на ~50 Elo, и так далее вниз до версии где-то 8. Stockfish 11 20200118-0044 20000 12401 329 7270 +242.78 +/- 3.95 --------------------------------------------------- Это последний патч Сток класссик 20200806-1437 20000 13188 530 6282 +259.27 +/- 4.29 -------------------------------------------------------------- Stockfish 12 20200902-1419 20000 14917 228 4855 +326.01 +/- 4.87 ------------------------------------------------ Stockfish 11 / +242.78 Stockfish класссик / +259.27 Stockfish 12 / +326.01 получается что 12 релиз +84 эло , из них 17 эло ручные патчи и 67 эло это прибавка NNUE/ Отсюда вывод что ваше утверждение Маратка что SF12 обойдет SF11 (если бы тот был в версии NNUE) на ~50 Elo = Код: 1 0; // это ложь 2 false; // это тоже ложь, причем это слово есть только в С++ Я утверждаю, что: Сток 11 NNUE выиграет у Сток 12 классик Сток 10 NNUE выиграет у Сток 12 классик Сток 9 NNUE возможно проиграет Сток 12 классик но не крупно __________________ 10 оттенков https://www.youtube.com/playlist?lis...7RKv2pEmatnOBs

24.01.2021, 19:44	#413
Alex_Zet Эксперт Регистрация: 01.12.2016 Сообщений: 5,696 Сказал(а) спасибо: 264 Поблагодарили 1,517 раз(а) в 1,153 сообщениях Записей в дневнике: 15 Репутация:	Re: TCEC 20 Stockfish 9 / +151.60 + 67 NNUE = 218 Stockfish 10 / +205.35 + 67 NNUE = 272 Stockfish 11 / +242.78 + 67 NNUE = 309 Stockfish 12 классик = 259.27 Со стороны организаторов ТСЕС было бы более честно предъявить требование к форматам движков. Играют либо чистые NN, либо чистые АВ. Тогда бы и чемпионат ТСЕС и сам Суперфинал смотрелся бы более зрелищно [IMG][/IMG] На ССС запустили Rapid 2021: NNUE League (15\|3) https://www.chess.com/computer-chess...21-nnue-league __________________ 10 оттенков https://www.youtube.com/playlist?lis...7RKv2pEmatnOBs

24.01.2021, 20:04	#414
Maratka Эксперт ТС Регистрация: 11.04.2017 Адрес: РФ, Крым, Севастополь. Сообщений: 11,849 Сказал(а) спасибо: 3,311 Поблагодарили 5,952 раз(а) в 4,245 сообщениях Репутация: 253	Re: TCEC 20 Цитата: Сообщение от Alex_Zet получается что 12 релиз +84 эло , из них 17 эло ручные патчи и 67 эло это прибавка NNUE/ Неверно считаете, ибо сразу после появления NNUE версии поиск был переписан под нее, в ущерб классической версии. Т.е. "ручное Elo" пошло со знаком плюс к NNUE, и минус к классИку. Потому и вышло всего 17 по кругу (как Вы там насчитали, конечно же спорно, что именно 17, но где-то столько примерно). Сейчас же фактически все патчи усиливают обе версии, ибо никакой патч на поиск не сможет пройти в режиме использования сети, т.к. сеть используется не всегда , если он одновременно не улучшает поведение движка в режиме рукописной оценки, ну или как минимум не портит его.

24.01.2021, 20:11	#415
Maratka Эксперт ТС Регистрация: 11.04.2017 Адрес: РФ, Крым, Севастополь. Сообщений: 11,849 Сказал(а) спасибо: 3,311 Поблагодарили 5,952 раз(а) в 4,245 сообщениях Репутация: 253	Re: TCEC 20 Цитата: Сообщение от Alex_Zet На ССС запустили Rapid 2021: NNUE League (15\|3) Угу, все NNUE -версии, какие нашли. Про одну только забыли.

24.01.2021, 21:05	#416
Alex_Zet Эксперт Регистрация: 01.12.2016 Сообщений: 5,696 Сказал(а) спасибо: 264 Поблагодарили 1,517 раз(а) в 1,153 сообщениях Записей в дневнике: 15 Репутация:	Re: TCEC 20 Цитата: Сообщение от Maratka (как Вы там насчитали, конечно же спорно, что именно 17, но где-то столько примерно). Вот я и говорю что нужны тест матчи. Сток 12 dev. однозначно проигрывает Сток 12 NNUE cлишком мала разбежка эло между ними. Нужна разница как между 10 и 12. Покумекайте, может удастся собрать Сток 10 NNUE. Результат теста был бы очень любопытен, я Вас уверяю Маратка. Я готов провести матч между ними. __________________ 10 оттенков https://www.youtube.com/playlist?lis...7RKv2pEmatnOBs

24.01.2021, 21:41	#417
Maratka Эксперт ТС Регистрация: 11.04.2017 Адрес: РФ, Крым, Севастополь. Сообщений: 11,849 Сказал(а) спасибо: 3,311 Поблагодарили 5,952 раз(а) в 4,245 сообщениях Репутация: 253	Re: TCEC 20 Цитата: Сообщение от Alex_Zet Сток 12 dev. однозначно проигрывает Сток 12 NNUE cлишком мала разбежка эло между ними. Уточнить забыли, что режимы у них должны быть разными. Цитата: Сообщение от Alex_Zet Вот я и говорю что нужны тест матчи. Не нужны. Нет никакой принципиальной разницы, наберется там 17 ELo, 28 или 11. Цитата: Сообщение от Alex_Zet Покумекайте, может удастся собрать Сток 10 NNUE. Если кто умеет добавить избранные патчи (в ручном режиме понятно) - пусть делает, работенка там еще та, и делать ее только для сравнения чего-то достаточно очевидного не уверен, что кто-то будет. Я уж точно не стану тратить неделю на построчное сравнение исходников и копирование нужного кода.

24.01.2021, 22:32	#418
svoitsl Гроссмейстер Регистрация: 19.04.2017 Сообщений: 4,734 Сказал(а) спасибо: 1,204 Поблагодарили 2,853 раз(а) в 1,885 сообщениях Репутация: 159	Re: TCEC 20 S20 - Superfinal

25.01.2021, 03:28	#419
Alex_Zet Эксперт Регистрация: 01.12.2016 Сообщений: 5,696 Сказал(а) спасибо: 264 Поблагодарили 1,517 раз(а) в 1,153 сообщениях Записей в дневнике: 15 Репутация:	Re: TCEC 20 Стокфиш самоизолировался S20 - Superfinal / Раунд 55.1 Stockfish - LCZero 1. d4 Nf6 2. c4 e6 3. Nf3 b6 4. a3 c5 5. d5 Ba6 6. Qc2 exd5 7. cxd5 Be7 8. Nc3 d6 9. g3 O-O 10. Bg2 b5 11. O-O Nbd7 12. Bf4 Re8 13. Rfe1 Qb6 14. b3 Rac8 15. h3 Nh5 16. Bd2 Bf8 17. e4 g6 18. Ra2 Bg7 19. Be3 Qb7 20. Bf1 Bxc3 21. Qxc3 Rxe4 22. Bg2 Nhf6 23. Bh6 Rxe1+ 24. Nxe1 Ne5 25. b4 cxb4 26. Qxb4 Qb6 27. Qh4 Nfd7 28. Qe7 Qd8 29. Qxd6 Qf6 30. Qxf6 Nxf6 31. d6 Nc4 32. Kh2 Nxd6 33. Rd2 Nc4 34. Rd1 Ne8 35. Nc2 Ncd6 36. Nd4 Bb7 37. Nxb5 Bxg2 38. Nxd6 Bf3 39. Nxc8 Bxd1 40. Nxa7 Nd6 41. Bd2 Ba4 42. Bb4 Nc4 43. Nc8 f5 44. Nd6 Nxd6 45. Bxd6 h5 46. Kg2 Kf7 47. Bf4 Bc6+ 48. Kf1 Ke6 49. Ke2 Ba4 50. Ke3 Bc6 51. Kd4 Bg2 52. h4 Bc6 53. Kc5 Ba4 54. Be3 Bd1 55. Kd4 Ba4 56. Bf4 Bc6 57. Be5 Ba4 58. Bb8 Bc6 59. Bf4 Ba4 60. Bd2 Bd1 61. Ke3 Ba4 62. Kf4 Kf6 63. Bc3+ Ke6 64. Bd4 Kf7 65. Kg5 Bc6 66. Bb2 Bb5 67. Kf4 Ba4 68. Kg5 Bc6 69. Bf6 Bb5 70. Bc3 Bc6 71. Kf4 Ba4 72. Bd4 Be8 73. Ke5 Ba4 74. Bb2 Ke7 75. Kf4 Kf7 76. Bd4 Ke6 77. Ke3 Kf7 78. Bc5 Kf6 79. Kf4 Be8 80. Bd6 Bd7 81. Bc5 Ba4 82. Bd4+ Kf7 83. Ke5 Be8 84. Be3 Ba4 85. Kd5 Kf6 86. Bf4 Bc2 87. Bd2 Ba4 88. Kc5 Ke6 89. Kb4 Bc6 90. a4 Kd6 91. a5 Bg2 92. Kb5 Kd7 93. Kb6 Bh1 94. Bf4 Bg2 95. a6 Bf3 96. Bh6 Bg2 97. Kc5 Bf1 98. a7 Bg2 99. Kd4 Ke6 100. Ke3 Bc6 101. Kf4 Kf6 102. Bf8 Bb7 103. Bc5 Bc6 104. Bd4+ Ke6 105. Bc5 Kf6 106. Bd4+ Ke6 107. Kg5 Kf7 108. Be5 Bf3 109. Kf4 Bb7 110. Bd6 Kf6 111. Bc7 Bc6 112. Bd8+ Ke6 113. Kg5 Kf7 114. Bb6 Bb7 115. Kf4 Kf6 116. Ba5 Ba8 117. Bd8+ Ke6 118. Kg5 Kf7 119. Kf4 Ke6 120. Bb6 Kf6 121. Bc7 Bb7 122. Bb6 Bc6 123. Bd8+ Ke6 124. Kg5 Kf7 125. Bf6 Bb7 126. Bc3 Ba8 127. Kf4 Ke6 128. Bb4 Kf6 129. Ba5 Bb7 130. Bb6 Bc6 131. Bc5 Bb7 132. f3 Bc6 133. Bf2 Bb7 134. Be3 Bc6 135. Bb6 Bb7 136. Bc5 Bc6 137. Bf8 Bb7 138. Bb4 Bd5 139. Bc3+ Ke6 140. Kg5 Kf7 141. f4 После 141 хода не вижу смысла далее приводить нотацию партии, так как там голимые нули, но Стокфиш походу еще не получил ручные патчи на оценку этого эндшпиля. После 125. Bf6 смотрим оценки Stockfish 0.87 / LCZero 0.07 Не сомневаюсь что Стокфиш самый самый пересамый и ходы у него огого. Но этого мало, даже в своей несуразности Сток все равно велик. Следует 140. Kg5 Kf7 141. f4, Сток добровольно зашел в каменный мешок, но все равно оценивает свою позу 0.22! Лила вовсю над ним потешается ,язвя ему и тролля ходами слона. Старик явно выжил из ума, думает про себя Лила. 162. Ba3 и Сток повышает оценку до 0.50! Далее Сток отдал пешку и на 180 по моему ходу заключили ничью. Что в этой партии интересного, та это оценка после дебюта Сток 1.11 / Лила 0.40 Сток очень оптимистичен, а вот Лила по моему не знает как будет выигрывать ответку. Может конечно по ходу самой партии что то найдет, посмотрим. __________________ 10 оттенков https://www.youtube.com/playlist?lis...7RKv2pEmatnOBs

25.01.2021, 04:39	#420
Alex_Zet Эксперт Регистрация: 01.12.2016 Сообщений: 5,696 Сказал(а) спасибо: 264 Поблагодарили 1,517 раз(а) в 1,153 сообщениях Записей в дневнике: 15 Репутация:	Re: TCEC 20 Ответная партия. После 18. Nc6 Qf6 LCZero / 0.61 - Stockfish / 1.21 как бы ничего страшного нет, к тому же белые без пешки. Правда по времени Сток начинает проседать 01:36:44 / 01:12:58, а это плохой признак. 20. Re1 оценки 0.61 / 1.34 Оценка Стока постоянно скачет, у Лилы как вкопанная. Всё будет зависеть куда качнутся весы Лилы и если оценка поползет вверх, дела Стока будут плохи. Хотя оценки могут просто сравняются __________________ 10 оттенков https://www.youtube.com/playlist?lis...7RKv2pEmatnOBs

Здесь присутствуют: 4 (пользователей: 0 , гостей: 4)