TCEC 15 - чемпионат мира среди шахматных движков - Страница 8 - Forchess

Maratka · 26.03.2019, 18:23

Цитата: Сообщение от sovaz1997

Эло - это показатель средней производительности.

Вовсе нет. Вы же оцениваете рост одной сети над другой, а не средний рост в матче против 3-5 соперников высокого уровня.
Т.е. вполне может быть, что:
1) Новая сеть "натаскалась" на другие дебюты, чем старая, и именно они в бОльшей части выпали.
2) При этом новая сеть вполне может оказаться, что держит "тактику" хуже старой, что весьма опасно против приличных a-b движков, но почти никак не проявляется в матче сетей, где в тактическом плане играют два дурачка, и если один из них чуть изворотливее второго - это тестом сетей не поймать. А вот a-b движок это заметит быстро.

sovaz1997 · 26.03.2019, 18:28

Цитата: Сообщение от Maratka

Вовсе нет. Вы же оцениваете рост одной сети над другой, а не средний рост в матче против 3-5 соперников высокого уровня.
Т.е. вполне может быть, что:
1) Новая сеть "натаскалась" на другие дебюты, чем старая, и именно они в бОльшей части выпали.
2) При этом новая сеть вполне может оказаться, что держит "тактику" хуже старой, что весьма опасно против приличных a-b движков, но почти никак не проявляется в матче сетей, где в тактическом плане играют два дурачка, и если один из них чуть изворотливее второго - это тестом сетей не поймать. А вот a-b движок это заметит быстро.

Был бы хороший тест вместе со Stockfish - я бы выложил его.

Но такие "тесты" мало весят, как мне кажется:

Код:

   # PLAYER              :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)
   1 Stockfish_10_x64    :     0.0   23.1   328.0     600    55      84
   2 Lc21-41680   << New :   -24.6   49.7    46.5     100    47      50
   3 Lc21-50714          :   -24.6   48.4    46.5     100    47      54
   4 Lc21-41562          :   -28.1   48.5    46.0     100    46      54
   5 Lc21-41656          :   -31.6   49.9    45.5     100    46      54
   6 Lc01911-32955       :   -35.2   51.2    45.0     100    45      69
   7 Lc21-50729  << New  :   -53.0   50.6    42.5     100    43     ---

Код:

   # PLAYER           :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)
   1 lc0.net.41644    :  3553.8   32.5   115.0     200    58      62
   2 lc0.net.41605    :  3546.6   31.4   113.0     200    57      56
   3 lc0.net.41678    :  3543.1   33.4   112.0     200    56      56 <new
   4 lc0.net.41517    :  3539.5   33.5   111.0     200    56      50
   5 lc0.net.41634    :  3539.5   34.1   111.0     200    56      53
   6 lc0.net.41623    :  3537.7   33.2   110.5     200    55      50
   7 lc0.net.41530    :  3537.7   33.4   110.5     200    55      61
   8 lc0.net.32930    :  3530.7   33.7   108.5     200    54      53
   9 lc0.net.41485    :  3528.9   33.6   108.0     200    54      50
  10 lc0.net.41422    :  3528.9   32.5   108.0     200    54      77
  11 lc0.net.41453    :  3511.3   31.9   103.0     200    52      56
  12 lc0.net.50706    :  3507.8   33.7   102.0     200    51      58
  13 lc0.net.41444    :  3502.6   33.8   100.5     200    50      54
  14 stockfish 10     :  3500.8    8.1  1412.5    3000    47      81
  15 lc0.net.41401    :  3485.0   34.4    95.5     200    48      99
  16 lc0.net.50583    :  3426.1   33.5    79.0     200    40     ---

С хорошими погрешностями не видел ни одного теста против Стока (с последними сетями).

Эти тесты тоже показывают рост: https://docs.google.com/spreadsheets...#gid=312836954

Maratka · 26.03.2019, 18:32

Цитата: Сообщение от sovaz1997

Давайте возьмем Ethereal: он-то не должен пропускать тактику, которую не видит Лила.

У Ethereal вооще говоря позиционное понимание в сравннии со SF что-то около нуля, так что он не показатель.

Правильнее было бы провести матч LZ - SF -Komodo - Houdini, и на его основе можно попытаться сделать какие-то выводы, учитывая, что мы знаем зазор между SF и последними двумя в списке, и он составляет вполне заметные ~100 ELO. Т.е. тут хватит буквально 100, может 150 партий каждого с каждым.

sovaz1997 · 26.03.2019, 18:35

Цитата: Сообщение от Maratka

У Ethereal вооще говоря позиционное понимание в сравннии со SF что-то около нуля, так что он не показатель.

Правильнее было бы провести матч LZ - SF -Komodo - Houdini, и на его основе можно попытаться сделать какие-то выводы, учитывая, что мы знаем зазор между SF и последними двумя в списке, и он составляет вполне заметные ~100 ELO. Т.е. тут хватит буквально 100, может 150 партий каждого с каждым.

И у SF, и у Ethereal - ни у кого из них нет того уровня позиционного понимания, которое есть у Lc0. Поэтому, можно сказать, в этом смысле они примерно равны. По поводу матча LZ-Stockfish-Komodo-Houdini. Будет с длинным контролем (ну, такое железо, там и блиц как длинный контроль на моем и Вашем ПК) на CCC как финал. А там уже новые сетки будут. 600 партий, каждый с каждым 100 партий

Maratka · 26.03.2019, 18:59

Цитата: Сообщение от sovaz1997

И у SF, и у Ethereal - ни у кого из них нет того уровня позиционного понимания, которое есть у Lc0.

И за счет чего SF выносит Ethereal в матчах без книг?

sovaz1997 · 26.03.2019, 19:07

Цитата: Сообщение от Maratka

И за счет чего SF выносит Ethereal в матчах без книг?

За счёт силы игры, которая зависет от множества факторов (точность поиска, качество оценочной функции). В первую очередь это поиск, конечно.

Maratka · 26.03.2019, 19:08

Цитата: Сообщение от sovaz1997

За счёт силы игры, которая зависет от множества факторов (точность поиска, качество оценочной функции).

Ну так именно это и дает как позиционное понимание, так и тактическое.

Или откуда они берутся? ;)

sovaz1997 · 26.03.2019, 19:25

Цитата: Сообщение от Maratka

Ну так именно это и дает как позиционное понимание, так и тактическое.

Или откуда они берутся? ;)

То же самое ведь и у Лилы. Только поиск отличается и оценочная функция

Asunta · 26.03.2019, 19:32

Пара любопытных ссылок:

( 1 ) AB-эволюция за последние 50 лет: https://scisne.net/a-1621
( 2 ) Разработка АВ-движка: https://habr.com/ru/post/329528/

sovaz1997 · 26.03.2019, 19:36

Цитата: Сообщение от Asunta

Пара любопытных ссылок:

( 1 ) AB-эволюция за последние 50 лет: https://scisne.net/a-1621
( 2 ) Разработка АВ-движка: https://habr.com/ru/post/329528/

Там до Deep Blue. Сейчас прогресс намного дальше ушел

svoitsl · 26.03.2019, 21:58

Завтра ожидается конец дивизиона
Кандидаты на переход в следующий скорее всего не изменятся

Код:

 N Engine             Rtng  Pts Gm     SB X  Elo Perf Xi   Al   Bo   Gi   Ch   Fr   Ro   Ni  

 1 Xiphos 0.5.2       3449 17.0 22 160.50 0 +105 77.3 ···· =0=  ==1  =1=  1=11 =11  111  111 
 2 AllieStein v0.2-n4 3329 15.0 22 155.25 0 +174 68.2 =1=  ···· 1==  11=  1=1  ==1= 001  1=1 
 3 Booot 6.3.1        3407 12.0 22 115.00 0   -9 54.5 ==0  0==  ···· ==1  ===  =1=  ===  1=1=
 4 Ginkgo 2.18        3440 11.0 22 100.75 2  -77 50.0 =0=  00=  ==0  ···· ===  0==  1=1= 111 
 5 ChessBrainVB 3.72  3342 10.5 22  97.25 0  +21 47.7 0=00 0=0  ===  ===  ···· =10  11=  1=1 
 6 Fritz 16.10        3319  9.5 22 100.25 0   +9 43.2 =00  ==0= =0=  1==  =01  ···· ===  === 
 7 rofChade 2.018T    3347  8.5 22  87.50 0  -49 38.6 000  110  ===  0=0= 00=  ===  ···· ==1 
 8 Nirvana 2.4        3343  4.5 22  47.50 0 -174 20.5 000  0=0  0=0= 000  0=0  ===  ==0  ····

Alex_Zet · 27.03.2019, 14:29

Цитата: Сообщение от svoitsl

Завтра ожидается конец дивизиона

Наконец то. А то мы уже истомились.

А на СССС началась жаркая пора, в бой вступает Премьер дивизион.
И сразу интересный результат. Ethereal слил Элли свой микроматч - 0½½½½0. Результат для Элли обнадеживающий. Я точно не знаю формулу проведения СССС, выйдет ли Элли или нет в следующий тур, но то что в Первом дивизионе ТСЕС будет выступать её новая усиленная версия, не сомневаюсь. Думаю что они на пару с Комодо и пройдутся утюжком по предстоящему дивизиону.

Alex_Zet · 27.03.2019, 19:28

Посмотрел прошлосезонную таблицу премьер дивизиона. По идее распределение сил во второй половине таблицы было следующим: -

Код:

5	KomodoMCTS 	
6	Fire 
7	Andscacs 
8	Ethereal

Совершенно четко уже тогда Комодо МС был пятым движком в иерархии. Досадные крэши оказались очень полезными, так как благодаря им, как уже упоминали здесь движек прибавил ещё 60 ЭЛО. Рост всегда идет через кризис, будь то болезнь или развитие целого государства.
Не сегодня завтра, в Премьер будет играть не одна сеть. Это неизбежно. Понятно кто стоит в очереди на вылет. Не станет ли это помехой в развитие движков, так как бороться с сетями и бывшим ТОП 3 + КMCTS станет практически не возможно для остальных.
Уверен что у Стокфиш в скором времени тоже появится пробный не ab продукт.

sovaz1997 · 27.03.2019, 19:36

Думаю, Stockfish пойдет в гибридизацию. Вряд ли они уйдут из ab. Во всяком случае, пока KMCTS не обогнал Stockfish (в это я слабо верю).

Alex_Zet · 27.03.2019, 19:41

Полноценный гибрид от Стока это будет пипец. Тока там трудностей по моему очень много.

Цитата: Сообщение от Alex_Zet

Trying out the Leela Hybrid engine (NN with AB)
http://talkchess.com/forum3/viewtopic.php?f=2&t=69958

Small sample size, but impressive nonetheless.

This is getting really interesting. Ignore the Elo calc, sample size is too small and bayeselo does not to handle the calc well when one side is winless.

Special settings for Leelafish, auxiliary engine McCain X2.
NOTE: Stockfish was using just 1 core , the auxiliary engine McCain was using 8 cores. It was just to prove the concept works.

Небольшой размер выборки, но, тем не менее, впечатляет.

Это становится действительно интересным. Не обращайте внимания на кальку Эло, размер выборки слишком мал, и байесело плохо справляется с кальцием, когда одна из сторон не имеет выигрыша.

Специальные настройки для Leelafish, вспомогательный двигатель McCain X2.
ПРИМЕЧАНИЕ: Stockfish использовал только 1 ядро, вспомогательный двигатель McCain использовал 8 ядер. Это было только для того, чтобы доказать концепцию работ.

Код:

Rank Name                      Rating   Δ     +    -     #     Σ    Σ%     W    L    D   W%    =%   OppR 
---------------------------------------------------------------------------------------------------------
   1 Leelafish v0.21.0-fish-v   3108   0.0    4    4    10    7.5  75.0    5    0    5  50.0  50.0  3092 
   2 Stockfish 02142019 64 PO   3092  16.5    4    4    10    2.5  25.0    0    5    5   0.0  50.0  3108

http://talkchess.com/forum3/viewtopi...69958&start=20

Но ведь вот же, вроде работает движек, иначе откуда результату взяться.

Vizvezdenec · 27.03.2019, 20:01

Ага, работает.
Мы взяли 8 ядерный клон стокфиша, запустили его как движок, который будет править NN, и, неожиданно, он выиграл +5-0=5!
Концепция работает - если дать 8 ядер против 1, то 8 ядер легко выиграют ) Нейросеть можно даже не подключать в принципе

Я бы рекомендовал talkchess вообще не читать, там примерно 1,5 юзера осталось, к сожалению, которые вообще что-то соображают, остальные пишут вот подобную ерунду.

Vizvezdenec · 27.03.2019, 20:08

А по поводу гибридизации - пока что все попытки - это взять "готовый нейросетевой движок" и поженить его с "готовой альфабетой".
Никто пока не пробовал написать именно, если угодно, "цельный" гибрид.
Под этим я понимаю что нейросеть будет учиться играть, ИСПОЛЬЗУЯ альфабету, ну и альфабета будет тестироваться (со всякими SPRT) с подключённой нейросетью.
До этого, я думаю, достаточно далеко сейчас.
А вот если люди смогут написать такие "гибриды", которые лучше каждой из частей по отдельности - так тут можно и дальше стокфиш спокойно развивать, почему нет. И как обычный AB движок тоже. Он в любом случае будет лучшим дополнением для такого гибрида.

sovaz1997 · 27.03.2019, 20:09

На Talkchess много толковых людей. Но их процент мал. Просто там людей в принципе очень много

svoitsl · 27.03.2019, 20:17

Цитата: Сообщение от Alex_Zet

Наконец то. А то мы уже истомились.

Возможно придется немного подождать.... до завтра :-)
Xiphos 0.5.2 опережает всего на пол очка

Код:

N Engine             Rtng  Pts Gm     SB X  Elo Perf Xi   Al   Gi   Bo   Ch   Ro   Fr   Ni  

 1 Xiphos 0.5.2       3449 19.0 27 227.25 0  +71 70.4 ···· =0=0 =1== ==10 1=11 111= =111 111 
 2 AllieStein v0.2-n4 3329 18.5 27 239.50 0 +218 68.5 =1=1 ···· 11=1 1==  1=1= 001= ==1= 1=1=
 3 Ginkgo 2.18        3440 14.5 27 167.50 2  -61 53.7 =0== 00=0 ···· ==01 ===  1=1= 0==1 1111
 4 Booot 6.3.1        3407 13.5 27 171.25 0  -47 50.0 ==01 0==  ==10 ···· ==== ===0 =1=0 1=1=
 5 ChessBrainVB 3.72  3342 13.5 27 158.25 0  +39 50.0 0=00 0=0= ===  ==== ···· 11== =101 1=1=
 6 rofChade 2.018T    3347 11.5 27 150.25 0  -27 42.6 000= 110= 0=0= ===1 00== ···· ===  ==1=
 7 Fritz 16.10        3319 11.0 27 143.75 0   -5 40.7 =000 ==0= 1==0 =0=1 =010 ===  ···· ====
 8 Nirvana 2.4        3343  6.5 27  84.75 0 -187 24.1 000  0=0= 0000 0=0= 0=0= ==0= ==== ····

Vizvezdenec · 27.03.2019, 20:21

Цитата: Сообщение от sovaz1997

На Talkchess много толковых людей. Но их процент мал. Просто там людей в принципе очень много

Как по мне - так не очень.
Как сказал Andrew Grant в своё время - до 3100 эло Ethereal я там мог вести интересные дискуссии, которые мне давали много идей, сейчас я там просто отдаю знания не очень понятно за что.
К сожалению, большинство пользователей там находятся в плену всяких разного рода мифов типа "любой контемпт вреден" или "после 16 ядер движки ничего не получают в плане эло".

Alex_Zet · 27.03.2019, 22:55

Цитата: Сообщение от Vizvezdenec

Как по мне - так не очень.
Как сказал Andrew Grant в своё время - до 3100 эло Ethereal я там мог вести интересные дискуссии, которые мне давали много идей, сейчас я там просто отдаю знания не очень понятно за что.
К сожалению, большинство пользователей там находятся в плену всяких разного рода мифов типа "любой контемпт вреден" или "после 16 ядер движки ничего не получают в плане эло".

Продолжу мифоряд: - " сейчас я там просто отдаю знания не очень понятно за что"
Как минимум одному знания пригодились.

Alex_Zet · 27.03.2019, 22:57

Трепещите, мы идём к вам.

Код:

1	Xiphos 0.5.2	28	19.5	0	14 [7/7]	3 [0/3]	233.75	3449	21 [3470]
2	AllieStein 	28	19	0	12 [9/3]	2 [1/1]	250.50	3329	69 [3398]

Alex_Zet · 27.03.2019, 23:15

Последняя решающая партий что бы остаться в дивизионе

Fritz 16.10 - rofChade 2.018T

Как по мне то конечно же пусть победит rofChade, которого устроит и ничья.

Код:

6	rofChade 2.018T	27	11.5	0	4 [3/1]	8 [3/5]	155.25	3347	-8 [3339]
7	Fritz 16.10	27	11	0	3 [2/1]	8 [3/5]	148.50	3319	-2 [3317]

Nightbot: Division 1: Andscacs, Komodo MCTS, Fizbo, Chiron, Laser, Jonny, Xiphos, AllieStein

Maratka · 27.03.2019, 23:53

Цитата: Сообщение от Alex_Zet

Последняя решающая партий что бы остаться в дивизионе
Fritz 16.10 - rofChade 2.018T

А вот интересно, если бы Рыбка развивалась все эти почти десять лет, на каком месте сейчас она бы была?
Или этот движок был на момент бана Васика уже по своей сути весь "высосан"?

crem · 28.03.2019, 00:01

Цитата: Сообщение от Vizvezdenec

Ага, работает.
Мы взяли 8 ядерный клон стокфиша, запустили его как движок, который будет править NN, и, неожиданно, он выиграл +5-0=5!
Концепция работает - если дать 8 ядер против 1, то 8 ядер легко выиграют ) Нейросеть можно даже не подключать в принципе

Я бы рекомендовал talkchess вообще не читать, там примерно 1,5 юзера осталось, к сожалению, которые вообще что-то соображают, остальные пишут вот подобную ерунду.

А где написано про 8-ядерный?

Я только вижу это:
AuxEngine: Stockfish 10 64bit BMI
AuxEngineOptions: Hash=1024;Threads=2
.. что вроде бы показывает что запустили 2 потока.

И ещё не нашёл в этом сообщении откуда видно, что играли против 1-поточного (или 1-ядерного но в несколько потоков?) стокфиша.

И во всей ветке не нашёл результата +5-0=5. Можете показать где это всё написано? 14 страниц многовато читать.

svoitsl · 28.03.2019, 00:06

чуток не успели

Fritz 16.10 наверное придется спуститься пониже, в 3-й дивизион, но уж там он всех победит!

Код:

N Engine             Rtng  Pts Gm     SB X  Elo Perf Xi   Al   Gi   Bo   Ch   Ro   Fr   Ni  

 1 Xiphos 0.5.2       3449 19.5 28 240.25 0  +66 69.6 ···· =0=0 =1== ==10 1=11 111= =111 111=
 2 AllieStein v0.2-n4 3329 19.0 28 255.75 0 +222 67.9 =1=1 ···· 11=1 1=== 1=1= 001= ==1= 1=1=
 3 Ginkgo 2.18        3440 15.0 28 181.75 2  -65 53.6 =0== 00=0 ···· ==01 ==== 1=1= 0==1 1111
 4 Booot 6.3.1        3407 14.0 28 187.50 0  -51 50.0 ==01 0=== ==10 ···· ==== ===0 =1=0 1=1=
 5 ChessBrainVB 3.72  3342 14.0 28 172.50 0  +43 50.0 0=00 0=0= ==== ==== ···· 11== =101 1=1=
 6 rofChade 2.018T    3347 12.0 28 161.75 0  -28 42.9 000= 110= 0=0= ===1 00== ···· ==== ==1=
 7 Fritz 16.10        3319 11.5 28 155.25 0   -4 41.1 =000 ==0= 1==0 =0=1 =010 ==== ···· ====
 8 Nirvana 2.4        3343  7.0 28  97.75 0 -182 25.0 000= 0=0= 0000 0=0= 0=0= ==0= ==== ····

sovaz1997 · 28.03.2019, 00:32

Цитата: Сообщение от crem

И во всей ветке не нашёл результата +5-0=5. Можете показать где это всё написано? 14 страниц многовато читать.

Я тоже не нашел)

sovaz1997 · 28.03.2019, 00:36

Цитата: Сообщение от Maratka

А вот интересно, если бы Рыбка развивалась все эти почти десять лет, на каком месте сейчас она бы была?
Или этот движок был на момент бана Васика уже по своей сути весь "высосан"?

Думаю, без того оборудования, которое есть у Stockfish и числа разработчиков он бы был примерно на уровне Komodo/Houdini, и только из-за того, что Stockfish существует. С другой стороны, идея тестировать на УКК пришла именно с Rybka. Из-за этой методики тестирования он и был сильнейшим.

Vizvezdenec · 28.03.2019, 00:46

Цитата: Сообщение от crem

А где написано про 8-ядерный?

Я только вижу это:
AuxEngine: Stockfish 10 64bit BMI
AuxEngineOptions: Hash=1024;Threads=2
.. что вроде бы показывает что запустили 2 потока.

И ещё не нашёл в этом сообщении откуда видно, что играли против 1-поточного (или 1-ядерного но в несколько потоков?) стокфиша.

И во всей ветке не нашёл результата +5-0=5. Можете показать где это всё написано? 14 страниц многовато читать.

Я в ветку вообще не заглядывал.
Цитаты приведены из сообщения алекс зета (вот прям выше моего которое)

Special settings for Leelafish, auxiliary engine McCain X2.
NOTE: Stockfish was using just 1 core , the auxiliary engine McCain was using 8 cores. It was just to prove the concept works.
Стокфиш использовал 1 ядро, макКейн (тот же SF в общем-то) 8
+5-0=5 взято из таблицы, которая приведена в том же сообщении.
Он же это откуда-то скопировал, надеюсь :D
А так - вот уж мне делать нечего, по talkchess ползать. Там слишком мало полезного. Особенно когда там 140 сообщений на страницу +

Vizvezdenec · 28.03.2019, 01:05

Цитата: Сообщение от sovaz1997

Думаю, без того оборудования, которое есть у Stockfish и числа разработчиков он бы был примерно на уровне Komodo/Houdini, и только из-за того, что Stockfish существует. С другой стороны, идея тестировать на УКК пришла именно с Rybka. Из-за этой методики тестирования он и был сильнейшим.

Вообще насколько я знаю, Рыбка сначала тестировалась на 1000 партий/патч, потом пришла к SPRT.
Основное "ноу-хау" стокфиша в полном опенсорсе с координацией через гитхаб+в открытом фреймворке + в simplifications, которые позволяют убирать уже неактуальные части кода, не особо теряя эло, и, возможно, заменять их более эффективными.
Что происходит без них - можете посмотреть на примере arasan
https://github.com/jdart1/arasan-che...src/search.cpp
Вот это вот что за монстр (?), куда что только не навалено, при этом 0 комментов. Читать это в принципе невозможно и кроме автора никто тут не разберётся, да и он запутается, если хотя бы на месяц отойдёт от дел.

Результаты опроса: Какой из движков станет чемпионом ТСЕС 15
Стокфиш	22	47.83%
Лила	21	45.65%
Другой движок	3	6.52%
Голосовавшие: 46. Вы ещё не голосовали в этом опросе

26.03.2019, 18:23	#211
Maratka Эксперт Регистрация: 11.04.2017 Адрес: РФ, Крым, Севастополь. Сообщений: 11,849 Сказал(а) спасибо: 3,311 Поблагодарили 5,952 раз(а) в 4,245 сообщениях Репутация: 253	Re: TCEC 15 - чемпионат мира среди шахматных движков Цитата: Сообщение от sovaz1997 Эло - это показатель средней производительности. Вовсе нет. Вы же оцениваете рост одной сети над другой, а не средний рост в матче против 3-5 соперников высокого уровня. Т.е. вполне может быть, что: 1) Новая сеть "натаскалась" на другие дебюты, чем старая, и именно они в бОльшей части выпали. 2) При этом новая сеть вполне может оказаться, что держит "тактику" хуже старой, что весьма опасно против приличных a-b движков, но почти никак не проявляется в матче сетей, где в тактическом плане играют два дурачка, и если один из них чуть изворотливее второго - это тестом сетей не поймать. А вот a-b движок это заметит быстро.

26.03.2019, 18:28	#212
sovaz1997 Гроссмейстер Регистрация: 27.09.2017 Адрес: Москва Сообщений: 4,142 Сказал(а) спасибо: 2,297 Поблагодарили 2,510 раз(а) в 1,635 сообщениях Репутация: 92	Re: TCEC 15 - чемпионат мира среди шахматных движков Цитата: Сообщение от Maratka Вовсе нет. Вы же оцениваете рост одной сети над другой, а не средний рост в матче против 3-5 соперников высокого уровня. Т.е. вполне может быть, что: 1) Новая сеть "натаскалась" на другие дебюты, чем старая, и именно они в бОльшей части выпали. 2) При этом новая сеть вполне может оказаться, что держит "тактику" хуже старой, что весьма опасно против приличных a-b движков, но почти никак не проявляется в матче сетей, где в тактическом плане играют два дурачка, и если один из них чуть изворотливее второго - это тестом сетей не поймать. А вот a-b движок это заметит быстро. Был бы хороший тест вместе со Stockfish - я бы выложил его. Но такие "тесты" мало весят, как мне кажется: Код: # PLAYER : RATING ERROR POINTS PLAYED (%) CFS(%) 1 Stockfish_10_x64 : 0.0 23.1 328.0 600 55 84 2 Lc21-41680 << New : -24.6 49.7 46.5 100 47 50 3 Lc21-50714 : -24.6 48.4 46.5 100 47 54 4 Lc21-41562 : -28.1 48.5 46.0 100 46 54 5 Lc21-41656 : -31.6 49.9 45.5 100 46 54 6 Lc01911-32955 : -35.2 51.2 45.0 100 45 69 7 Lc21-50729 << New : -53.0 50.6 42.5 100 43 --- Код: # PLAYER : RATING ERROR POINTS PLAYED (%) CFS(%) 1 lc0.net.41644 : 3553.8 32.5 115.0 200 58 62 2 lc0.net.41605 : 3546.6 31.4 113.0 200 57 56 3 lc0.net.41678 : 3543.1 33.4 112.0 200 56 56 <new 4 lc0.net.41517 : 3539.5 33.5 111.0 200 56 50 5 lc0.net.41634 : 3539.5 34.1 111.0 200 56 53 6 lc0.net.41623 : 3537.7 33.2 110.5 200 55 50 7 lc0.net.41530 : 3537.7 33.4 110.5 200 55 61 8 lc0.net.32930 : 3530.7 33.7 108.5 200 54 53 9 lc0.net.41485 : 3528.9 33.6 108.0 200 54 50 10 lc0.net.41422 : 3528.9 32.5 108.0 200 54 77 11 lc0.net.41453 : 3511.3 31.9 103.0 200 52 56 12 lc0.net.50706 : 3507.8 33.7 102.0 200 51 58 13 lc0.net.41444 : 3502.6 33.8 100.5 200 50 54 14 stockfish 10 : 3500.8 8.1 1412.5 3000 47 81 15 lc0.net.41401 : 3485.0 34.4 95.5 200 48 99 16 lc0.net.50583 : 3426.1 33.5 79.0 200 40 --- С хорошими погрешностями не видел ни одного теста против Стока (с последними сетями). Эти тесты тоже показывают рост: https://docs.google.com/spreadsheets...#gid=312836954

26.03.2019, 18:32	#213
Maratka Эксперт Регистрация: 11.04.2017 Адрес: РФ, Крым, Севастополь. Сообщений: 11,849 Сказал(а) спасибо: 3,311 Поблагодарили 5,952 раз(а) в 4,245 сообщениях Репутация: 253	Re: TCEC 15 - чемпионат мира среди шахматных движков Цитата: Сообщение от sovaz1997 Давайте возьмем Ethereal: он-то не должен пропускать тактику, которую не видит Лила. У Ethereal вооще говоря позиционное понимание в сравннии со SF что-то около нуля, так что он не показатель. Правильнее было бы провести матч LZ - SF -Komodo - Houdini, и на его основе можно попытаться сделать какие-то выводы, учитывая, что мы знаем зазор между SF и последними двумя в списке, и он составляет вполне заметные ~100 ELO. Т.е. тут хватит буквально 100, может 150 партий каждого с каждым.

26.03.2019, 18:35	#214
sovaz1997 Гроссмейстер Регистрация: 27.09.2017 Адрес: Москва Сообщений: 4,142 Сказал(а) спасибо: 2,297 Поблагодарили 2,510 раз(а) в 1,635 сообщениях Репутация: 92	Re: TCEC 15 - чемпионат мира среди шахматных движков Цитата: Сообщение от Maratka У Ethereal вооще говоря позиционное понимание в сравннии со SF что-то около нуля, так что он не показатель. Правильнее было бы провести матч LZ - SF -Komodo - Houdini, и на его основе можно попытаться сделать какие-то выводы, учитывая, что мы знаем зазор между SF и последними двумя в списке, и он составляет вполне заметные ~100 ELO. Т.е. тут хватит буквально 100, может 150 партий каждого с каждым. И у SF, и у Ethereal - ни у кого из них нет того уровня позиционного понимания, которое есть у Lc0. Поэтому, можно сказать, в этом смысле они примерно равны. По поводу матча LZ-Stockfish-Komodo-Houdini. Будет с длинным контролем (ну, такое железо, там и блиц как длинный контроль на моем и Вашем ПК) на CCC как финал. А там уже новые сетки будут. 600 партий, каждый с каждым 100 партий

26.03.2019, 18:59	#215
Maratka Эксперт Регистрация: 11.04.2017 Адрес: РФ, Крым, Севастополь. Сообщений: 11,849 Сказал(а) спасибо: 3,311 Поблагодарили 5,952 раз(а) в 4,245 сообщениях Репутация: 253	Re: TCEC 15 - чемпионат мира среди шахматных движков Цитата: Сообщение от sovaz1997 И у SF, и у Ethereal - ни у кого из них нет того уровня позиционного понимания, которое есть у Lc0. И за счет чего SF выносит Ethereal в матчах без книг?

26.03.2019, 19:07	#216
sovaz1997 Гроссмейстер Регистрация: 27.09.2017 Адрес: Москва Сообщений: 4,142 Сказал(а) спасибо: 2,297 Поблагодарили 2,510 раз(а) в 1,635 сообщениях Репутация: 92	Re: TCEC 15 - чемпионат мира среди шахматных движков Цитата: Сообщение от Maratka И за счет чего SF выносит Ethereal в матчах без книг? За счёт силы игры, которая зависет от множества факторов (точность поиска, качество оценочной функции). В первую очередь это поиск, конечно.

26.03.2019, 19:08	#217
Maratka Эксперт Регистрация: 11.04.2017 Адрес: РФ, Крым, Севастополь. Сообщений: 11,849 Сказал(а) спасибо: 3,311 Поблагодарили 5,952 раз(а) в 4,245 сообщениях Репутация: 253	Re: TCEC 15 - чемпионат мира среди шахматных движков Цитата: Сообщение от sovaz1997 За счёт силы игры, которая зависет от множества факторов (точность поиска, качество оценочной функции). Ну так именно это и дает как позиционное понимание, так и тактическое. Или откуда они берутся? ;)

26.03.2019, 19:25	#218
sovaz1997 Гроссмейстер Регистрация: 27.09.2017 Адрес: Москва Сообщений: 4,142 Сказал(а) спасибо: 2,297 Поблагодарили 2,510 раз(а) в 1,635 сообщениях Репутация: 92	Re: TCEC 15 - чемпионат мира среди шахматных движков Цитата: Сообщение от Maratka Ну так именно это и дает как позиционное понимание, так и тактическое. Или откуда они берутся? ;) То же самое ведь и у Лилы. Только поиск отличается и оценочная функция

26.03.2019, 19:32	#219
Asunta Гроссмейстер Регистрация: 10.07.2018 Сообщений: 1,406 Сказал(а) спасибо: 776 Поблагодарили 2,282 раз(а) в 935 сообщениях Репутация: 230	Re: TCEC 15 - чемпионат мира среди шахматных движков Пара любопытных ссылок: ( 1 ) AB-эволюция за последние 50 лет: https://scisne.net/a-1621 ( 2 ) Разработка АВ-движка: https://habr.com/ru/post/329528/

26.03.2019, 19:36	#220
sovaz1997 Гроссмейстер Регистрация: 27.09.2017 Адрес: Москва Сообщений: 4,142 Сказал(а) спасибо: 2,297 Поблагодарили 2,510 раз(а) в 1,635 сообщениях Репутация: 92	Re: TCEC 15 - чемпионат мира среди шахматных движков Цитата: Сообщение от Asunta Пара любопытных ссылок: ( 1 ) AB-эволюция за последние 50 лет: https://scisne.net/a-1621 ( 2 ) Разработка АВ-движка: https://habr.com/ru/post/329528/ Там до Deep Blue. Сейчас прогресс намного дальше ушел

27.03.2019, 14:29	#222
Alex_Zet Эксперт ТС Регистрация: 01.12.2016 Сообщений: 5,696 Сказал(а) спасибо: 264 Поблагодарили 1,517 раз(а) в 1,153 сообщениях Записей в дневнике: 15 Репутация:	Re: TCEC 15 - чемпионат мира среди шахматных движков Цитата: Сообщение от svoitsl Завтра ожидается конец дивизиона Наконец то. А то мы уже истомились. А на СССС началась жаркая пора, в бой вступает Премьер дивизион. И сразу интересный результат. Ethereal слил Элли свой микроматч - 0½½½½0. Результат для Элли обнадеживающий. Я точно не знаю формулу проведения СССС, выйдет ли Элли или нет в следующий тур, но то что в Первом дивизионе ТСЕС будет выступать её новая усиленная версия, не сомневаюсь. Думаю что они на пару с Комодо и пройдутся утюжком по предстоящему дивизиону. __________________ 10 оттенков https://www.youtube.com/playlist?lis...7RKv2pEmatnOBs

27.03.2019, 19:28	#223
Alex_Zet Эксперт ТС Регистрация: 01.12.2016 Сообщений: 5,696 Сказал(а) спасибо: 264 Поблагодарили 1,517 раз(а) в 1,153 сообщениях Записей в дневнике: 15 Репутация:	Re: TCEC 15 - чемпионат мира среди шахматных движков Посмотрел прошлосезонную таблицу премьер дивизиона. По идее распределение сил во второй половине таблицы было следующим: - Код: 5 KomodoMCTS 6 Fire 7 Andscacs 8 Ethereal Совершенно четко уже тогда Комодо МС был пятым движком в иерархии. Досадные крэши оказались очень полезными, так как благодаря им, как уже упоминали здесь движек прибавил ещё 60 ЭЛО. Рост всегда идет через кризис, будь то болезнь или развитие целого государства. Не сегодня завтра, в Премьер будет играть не одна сеть. Это неизбежно. Понятно кто стоит в очереди на вылет. Не станет ли это помехой в развитие движков, так как бороться с сетями и бывшим ТОП 3 + КMCTS станет практически не возможно для остальных. Уверен что у Стокфиш в скором времени тоже появится пробный не ab продукт. __________________ 10 оттенков https://www.youtube.com/playlist?lis...7RKv2pEmatnOBs

27.03.2019, 19:36	#224
sovaz1997 Гроссмейстер Регистрация: 27.09.2017 Адрес: Москва Сообщений: 4,142 Сказал(а) спасибо: 2,297 Поблагодарили 2,510 раз(а) в 1,635 сообщениях Репутация: 92	Re: TCEC 15 - чемпионат мира среди шахматных движков Думаю, Stockfish пойдет в гибридизацию. Вряд ли они уйдут из ab. Во всяком случае, пока KMCTS не обогнал Stockfish (в это я слабо верю).

27.03.2019, 19:41	#225
Alex_Zet Эксперт ТС Регистрация: 01.12.2016 Сообщений: 5,696 Сказал(а) спасибо: 264 Поблагодарили 1,517 раз(а) в 1,153 сообщениях Записей в дневнике: 15 Репутация:	Re: TCEC 15 - чемпионат мира среди шахматных движков Полноценный гибрид от Стока это будет пипец. Тока там трудностей по моему очень много. Цитата: Сообщение от Alex_Zet Trying out the Leela Hybrid engine (NN with AB) http://talkchess.com/forum3/viewtopic.php?f=2&t=69958 Small sample size, but impressive nonetheless. This is getting really interesting. Ignore the Elo calc, sample size is too small and bayeselo does not to handle the calc well when one side is winless. Special settings for Leelafish, auxiliary engine McCain X2. NOTE: Stockfish was using just 1 core , the auxiliary engine McCain was using 8 cores. It was just to prove the concept works. Небольшой размер выборки, но, тем не менее, впечатляет. Это становится действительно интересным. Не обращайте внимания на кальку Эло, размер выборки слишком мал, и байесело плохо справляется с кальцием, когда одна из сторон не имеет выигрыша. Специальные настройки для Leelafish, вспомогательный двигатель McCain X2. ПРИМЕЧАНИЕ: Stockfish использовал только 1 ядро, вспомогательный двигатель McCain использовал 8 ядер. Это было только для того, чтобы доказать концепцию работ. Код: Rank Name Rating Δ + - # Σ Σ% W L D W% =% OppR --------------------------------------------------------------------------------------------------------- 1 Leelafish v0.21.0-fish-v 3108 0.0 4 4 10 7.5 75.0 5 0 5 50.0 50.0 3092 2 Stockfish 02142019 64 PO 3092 16.5 4 4 10 2.5 25.0 0 5 5 0.0 50.0 3108 http://talkchess.com/forum3/viewtopi...69958&start=20 Но ведь вот же, вроде работает движек, иначе откуда результату взяться. __________________ 10 оттенков https://www.youtube.com/playlist?lis...7RKv2pEmatnOBs

27.03.2019, 20:01	#226
Vizvezdenec Гроссмейстер Регистрация: 30.05.2018 Адрес: Севастополь Сообщений: 4,022 Сказал(а) спасибо: 56 Поблагодарили 5,294 раз(а) в 2,673 сообщениях Репутация: 216	Re: TCEC 15 - чемпионат мира среди шахматных движков Ага, работает. Мы взяли 8 ядерный клон стокфиша, запустили его как движок, который будет править NN, и, неожиданно, он выиграл +5-0=5! Концепция работает - если дать 8 ядер против 1, то 8 ядер легко выиграют ) Нейросеть можно даже не подключать в принципе Я бы рекомендовал talkchess вообще не читать, там примерно 1,5 юзера осталось, к сожалению, которые вообще что-то соображают, остальные пишут вот подобную ерунду.

27.03.2019, 20:08	#227
Vizvezdenec Гроссмейстер Регистрация: 30.05.2018 Адрес: Севастополь Сообщений: 4,022 Сказал(а) спасибо: 56 Поблагодарили 5,294 раз(а) в 2,673 сообщениях Репутация: 216	Re: TCEC 15 - чемпионат мира среди шахматных движков А по поводу гибридизации - пока что все попытки - это взять "готовый нейросетевой движок" и поженить его с "готовой альфабетой". Никто пока не пробовал написать именно, если угодно, "цельный" гибрид. Под этим я понимаю что нейросеть будет учиться играть, ИСПОЛЬЗУЯ альфабету, ну и альфабета будет тестироваться (со всякими SPRT) с подключённой нейросетью. До этого, я думаю, достаточно далеко сейчас. А вот если люди смогут написать такие "гибриды", которые лучше каждой из частей по отдельности - так тут можно и дальше стокфиш спокойно развивать, почему нет. И как обычный AB движок тоже. Он в любом случае будет лучшим дополнением для такого гибрида.

27.03.2019, 20:09	#228
sovaz1997 Гроссмейстер Регистрация: 27.09.2017 Адрес: Москва Сообщений: 4,142 Сказал(а) спасибо: 2,297 Поблагодарили 2,510 раз(а) в 1,635 сообщениях Репутация: 92	Re: TCEC 15 - чемпионат мира среди шахматных движков На Talkchess много толковых людей. Но их процент мал. Просто там людей в принципе очень много

27.03.2019, 20:21	#230
Vizvezdenec Гроссмейстер Регистрация: 30.05.2018 Адрес: Севастополь Сообщений: 4,022 Сказал(а) спасибо: 56 Поблагодарили 5,294 раз(а) в 2,673 сообщениях Репутация: 216	Re: TCEC 15 - чемпионат мира среди шахматных движков Цитата: Сообщение от sovaz1997 На Talkchess много толковых людей. Но их процент мал. Просто там людей в принципе очень много Как по мне - так не очень. Как сказал Andrew Grant в своё время - до 3100 эло Ethereal я там мог вести интересные дискуссии, которые мне давали много идей, сейчас я там просто отдаю знания не очень понятно за что. К сожалению, большинство пользователей там находятся в плену всяких разного рода мифов типа "любой контемпт вреден" или "после 16 ядер движки ничего не получают в плане эло".

27.03.2019, 22:55	#231
Alex_Zet Эксперт ТС Регистрация: 01.12.2016 Сообщений: 5,696 Сказал(а) спасибо: 264 Поблагодарили 1,517 раз(а) в 1,153 сообщениях Записей в дневнике: 15 Репутация:	Re: TCEC 15 - чемпионат мира среди шахматных движков Цитата: Сообщение от Vizvezdenec Как по мне - так не очень. Как сказал Andrew Grant в своё время - до 3100 эло Ethereal я там мог вести интересные дискуссии, которые мне давали много идей, сейчас я там просто отдаю знания не очень понятно за что. К сожалению, большинство пользователей там находятся в плену всяких разного рода мифов типа "любой контемпт вреден" или "после 16 ядер движки ничего не получают в плане эло". Продолжу мифоряд: - " сейчас я там просто отдаю знания не очень понятно за что" Как минимум одному знания пригодились. __________________ 10 оттенков https://www.youtube.com/playlist?lis...7RKv2pEmatnOBs

27.03.2019, 22:57	#232
Alex_Zet Эксперт ТС Регистрация: 01.12.2016 Сообщений: 5,696 Сказал(а) спасибо: 264 Поблагодарили 1,517 раз(а) в 1,153 сообщениях Записей в дневнике: 15 Репутация:	Re: TCEC 15 - чемпионат мира среди шахматных движков Трепещите, мы идём к вам. Код: 1 Xiphos 0.5.2 28 19.5 0 14 [7/7] 3 [0/3] 233.75 3449 21 [3470] 2 AllieStein 28 19 0 12 [9/3] 2 [1/1] 250.50 3329 69 [3398] __________________ 10 оттенков https://www.youtube.com/playlist?lis...7RKv2pEmatnOBs

27.03.2019, 23:15	#233
Alex_Zet Эксперт ТС Регистрация: 01.12.2016 Сообщений: 5,696 Сказал(а) спасибо: 264 Поблагодарили 1,517 раз(а) в 1,153 сообщениях Записей в дневнике: 15 Репутация:	Re: TCEC 15 - чемпионат мира среди шахматных движков Последняя решающая партий что бы остаться в дивизионе Fritz 16.10 - rofChade 2.018T Как по мне то конечно же пусть победит rofChade, которого устроит и ничья. Код: 6 rofChade 2.018T 27 11.5 0 4 [3/1] 8 [3/5] 155.25 3347 -8 [3339] 7 Fritz 16.10 27 11 0 3 [2/1] 8 [3/5] 148.50 3319 -2 [3317] Nightbot: Division 1: Andscacs, Komodo MCTS, Fizbo, Chiron, Laser, Jonny, Xiphos, AllieStein __________________ 10 оттенков https://www.youtube.com/playlist?lis...7RKv2pEmatnOBs

27.03.2019, 23:53	#234
Maratka Эксперт Регистрация: 11.04.2017 Адрес: РФ, Крым, Севастополь. Сообщений: 11,849 Сказал(а) спасибо: 3,311 Поблагодарили 5,952 раз(а) в 4,245 сообщениях Репутация: 253	Re: TCEC 15 - чемпионат мира среди шахматных движков Цитата: Сообщение от Alex_Zet Последняя решающая партий что бы остаться в дивизионе Fritz 16.10 - rofChade 2.018T А вот интересно, если бы Рыбка развивалась все эти почти десять лет, на каком месте сейчас она бы была? Или этот движок был на момент бана Васика уже по своей сути весь "высосан"?

28.03.2019, 00:01	#235
crem 2 разряд Регистрация: 30.04.2018 Сообщений: 252 Сказал(а) спасибо: 9 Поблагодарили 505 раз(а) в 193 сообщениях Репутация: 51	Re: TCEC 15 - чемпионат мира среди шахматных движков Цитата: Сообщение от Vizvezdenec Ага, работает. Мы взяли 8 ядерный клон стокфиша, запустили его как движок, который будет править NN, и, неожиданно, он выиграл +5-0=5! Концепция работает - если дать 8 ядер против 1, то 8 ядер легко выиграют ) Нейросеть можно даже не подключать в принципе Я бы рекомендовал talkchess вообще не читать, там примерно 1,5 юзера осталось, к сожалению, которые вообще что-то соображают, остальные пишут вот подобную ерунду. А где написано про 8-ядерный? Я только вижу это: AuxEngine: Stockfish 10 64bit BMI AuxEngineOptions: Hash=1024;Threads=2 .. что вроде бы показывает что запустили 2 потока. И ещё не нашёл в этом сообщении откуда видно, что играли против 1-поточного (или 1-ядерного но в несколько потоков?) стокфиша. И во всей ветке не нашёл результата +5-0=5. Можете показать где это всё написано? 14 страниц многовато читать.

28.03.2019, 00:32	#237
sovaz1997 Гроссмейстер Регистрация: 27.09.2017 Адрес: Москва Сообщений: 4,142 Сказал(а) спасибо: 2,297 Поблагодарили 2,510 раз(а) в 1,635 сообщениях Репутация: 92	Re: TCEC 15 - чемпионат мира среди шахматных движков Цитата: Сообщение от crem И во всей ветке не нашёл результата +5-0=5. Можете показать где это всё написано? 14 страниц многовато читать. Я тоже не нашел)

28.03.2019, 00:36	#238
sovaz1997 Гроссмейстер Регистрация: 27.09.2017 Адрес: Москва Сообщений: 4,142 Сказал(а) спасибо: 2,297 Поблагодарили 2,510 раз(а) в 1,635 сообщениях Репутация: 92	Re: TCEC 15 - чемпионат мира среди шахматных движков Цитата: Сообщение от Maratka А вот интересно, если бы Рыбка развивалась все эти почти десять лет, на каком месте сейчас она бы была? Или этот движок был на момент бана Васика уже по своей сути весь "высосан"? Думаю, без того оборудования, которое есть у Stockfish и числа разработчиков он бы был примерно на уровне Komodo/Houdini, и только из-за того, что Stockfish существует. С другой стороны, идея тестировать на УКК пришла именно с Rybka. Из-за этой методики тестирования он и был сильнейшим.

28.03.2019, 00:46	#239
Vizvezdenec Гроссмейстер Регистрация: 30.05.2018 Адрес: Севастополь Сообщений: 4,022 Сказал(а) спасибо: 56 Поблагодарили 5,294 раз(а) в 2,673 сообщениях Репутация: 216	Re: TCEC 15 - чемпионат мира среди шахматных движков Цитата: Сообщение от crem А где написано про 8-ядерный? Я только вижу это: AuxEngine: Stockfish 10 64bit BMI AuxEngineOptions: Hash=1024;Threads=2 .. что вроде бы показывает что запустили 2 потока. И ещё не нашёл в этом сообщении откуда видно, что играли против 1-поточного (или 1-ядерного но в несколько потоков?) стокфиша. И во всей ветке не нашёл результата +5-0=5. Можете показать где это всё написано? 14 страниц многовато читать. Я в ветку вообще не заглядывал. Цитаты приведены из сообщения алекс зета (вот прям выше моего которое) Special settings for Leelafish, auxiliary engine McCain X2. NOTE: Stockfish was using just 1 core , the auxiliary engine McCain was using 8 cores. It was just to prove the concept works. Стокфиш использовал 1 ядро, макКейн (тот же SF в общем-то) 8 +5-0=5 взято из таблицы, которая приведена в том же сообщении. Он же это откуда-то скопировал, надеюсь :D А так - вот уж мне делать нечего, по talkchess ползать. Там слишком мало полезного. Особенно когда там 140 сообщений на страницу +

28.03.2019, 01:05	#240
Vizvezdenec Гроссмейстер Регистрация: 30.05.2018 Адрес: Севастополь Сообщений: 4,022 Сказал(а) спасибо: 56 Поблагодарили 5,294 раз(а) в 2,673 сообщениях Репутация: 216	Re: TCEC 15 - чемпионат мира среди шахматных движков Цитата: Сообщение от sovaz1997 Думаю, без того оборудования, которое есть у Stockfish и числа разработчиков он бы был примерно на уровне Komodo/Houdini, и только из-за того, что Stockfish существует. С другой стороны, идея тестировать на УКК пришла именно с Rybka. Из-за этой методики тестирования он и был сильнейшим. Вообще насколько я знаю, Рыбка сначала тестировалась на 1000 партий/патч, потом пришла к SPRT. Основное "ноу-хау" стокфиша в полном опенсорсе с координацией через гитхаб+в открытом фреймворке + в simplifications, которые позволяют убирать уже неактуальные части кода, не особо теряя эло, и, возможно, заменять их более эффективными. Что происходит без них - можете посмотреть на примере arasan https://github.com/jdart1/arasan-che...src/search.cpp Вот это вот что за монстр (?), куда что только не навалено, при этом 0 комментов. Читать это в принципе невозможно и кроме автора никто тут не разберётся, да и он запутается, если хотя бы на месяц отойдёт от дел.

Здесь присутствуют: 2 (пользователей: 0 , гостей: 2)