TCEC 15 - чемпионат мира среди шахматных движков

[Maratka]

Цитата: Сообщение от sovaz1997

Ничего парадоксального нет. Банальная переоценка результатов маленькой выборки)

Сложите результаты всех маленьких выборок на одном и том же железе.

[sovaz1997]

Через час Лила на 1-е место сядет))
И останется там до конца турнира

Но тогда баг будет найдет в TCEC тоже и результаты не будут учитываться.

[sovaz1997]

Цитата: Сообщение от Maratka

Сложите результаты всех маленьких выборок на одном и том же железе.

Этих результатов все равно будет мало, кто бы не оказался на 1-м месте. Партии текущего турнира CCC не скачать, например.

[svoitsl]

Сети сравнялись по балам по очкам, но Лила утратила 1-е место по Бергера

N Engine                         Rtng  Pts Gm     SB X  Elo Perf St  Al  Lc  Ho  Ko  Km  Fi  Et  La  Xi  An  Ch  Fz  Jo 

 1 Stockfish 19061419             3985 27.5 39 492.50 0  +48 70.5 ··· =10 === 1== ==1 ==1 =1= === =1= 111 1=1 1== 11= 111
 2 AllieStein v0.5-dev_1359f44-n8 3858 27.0 39 477.00 0 +261 69.2 =01 ··· === ==1 === =1= ==0 === 111 =11 111 111 11= 1==
 3 LCZero v0.21.2-n42547          3990 27.0 39 491.50 0  +23 69.2 === === ··· === === ==1 111 =11 111 === =1= 1=1 1=1 =1=
 4 Houdini 6.03                   3945 24.5 39 447.25 0  +21 62.8 0== ==0 === ··· 1=1 ==1 1=1 === 1=1 === 1== =1= 1=1 1==
 5 Komodo 2356.00                 3938 24.0 39 415.75 0  +18 61.5 ==0 === === 0=0 ··· === 1=1 === 1== === =11 =11 1=1 111
 6 KomodoMCTS 2356.00             3885 22.5 39 396.00 0  +67 57.7 ==0 =0= ==0 ==0 === ··· =1= =11 === ==1 =1= 11= 11= ==1
 7 Fire 021819                    3867 21.5 39 361.75 0  +68 55.1 =0= ==1 000 0=0 0=0 =0= ··· =11 1=1 ==1 1=1 1== =11 1=1
 8 Ethereal 11.38                 3868 20.0 39 345.25 0  +18 51.3 === === =00 === === =00 =00 ··· === === === 11= 1=1 111
 9 Laser 230319                   3838 16.5 39 265.25 0  -38 42.3 =0= 000 000 0=0 0== === 0=0 === ··· === 1== =1= 11= 11=
10 Xiphos 0.5.3                   3852 16.5 39 297.75 0  -64 42.3 000 =00 === === === ==0 ==0 === === ··· ==0 === ==1 =1=
11 Andscacs 0.95123               3832 14.0 39 243.00 0 -107 35.9 0=0 000 =0= 0== =00 =0= 0=0 === 0== ==1 ··· ==1 0== =1=
12 Chiron 230119                  3752 11.5 39 205.50 0  -45 29.5 0== 000 0=0 =0= =00 00= 0== 00= =0= === ==0 ··· =0= ==1
13 Fizbo 2                        3786 11.0 39 187.00 0 -120 28.2 00= 00= 0=0 0=0 0=0 00= =00 0=0 00= ==0 1== =1= ··· ===
14 Jonny 8.1                      3775  9.5 39 178.50 0 -149 24.4 000 0== =0= 0== 000 ==0 0=0 000 00= =0= =0= ==0 === ···

А у Xiphos 0.5.3 есть похоже какое то лекарство от Лилы, не одного проигрыша, он наверно играет осторожно, предпочитая ничью

[Corrs]

Цитата: Сообщение от svoitsl

по Бергману

шведский режиссёр?

[svoitsl]

Цитата: Сообщение от Corrs

шведский режиссёр?

ошибочка вышла, поправил

[Maratka]

Цитата: Сообщение от sovaz1997

Этих результатов все равно будет мало, кто бы не оказался на 1-м месте. Партии текущего турнира CCC не скачать, например.

Зачем партии? Достаточно набранные очки.

[sovaz1997]

Цитата: Сообщение от Maratka

Зачем партии? Достаточно набранные очки.

Чтобы складывать результаты и обсчитывать их в ordo/BayesElo

[Maratka]

Не усложняйте. Мы разговариваем на вполне конкректную тему "кто лучше выносит хвост", и тут достаточно обычной суммы очков. Тупо сложить, и все. Сложные схемы же учтут и игру с равными, либо совсем чуть более слабыми (скажем k Бергера явно даст больше за победу над Komodo, чем за победу на Рыбкой а тем более победы LZ/SF друг над другом), но это никак не помогает ответить на поставленный вопрос.

[magbash]

Цитата: Сообщение от Maratka

Не усложняйте. Мы разговариваем на вполне конкректную тему "кто лучше выносит хвост", и тут достаточно обычной суммы очков.

Это уже декаденством попахивает или ещё чем похуже, цивилизационным вырождением и возвращением в пещерный материализм.

Если же взять конкретный результат, то оказывается хвост лучше выносит AllieStein, а ЛСО лучше выносит лидеров. А что же Стокфиш?

1	AllieStein v0.5-dev_1359f44-n8	41	28.5	0	18 [12/6]	2 [0/2]	518.25	3858	170 [4028]
2	Stockfish 19061419	        41	28.5	0	17 [13/4]	1 [0/1]	537.25	3985	25 [4010]
3	LCZero v0.21.2-n42547	        41	28.0	0	15 [12/3]	0 [0/0]	538.00	3990	9 [3999]

Мне вот кажется что все дело в надуманности проблемы - кто лучше выносит хвост, такой проблемы не существует. На этом баллы не зарабатывают и плюсики себе не ставят. Скорее минусики. Равняться на последних, последнее дело и когда ты бежишь к цели , расталкивая конкурентов локтями, кто же думает об аутсайдерах?

[svoitsl]

Цитата: Сообщение от magbash

кто лучше выносит хвост, такой проблемы не существует.

Возьмем Xiphos 0.5.3, с Лилой 3 ничьих, а вот со Стокфшем - 3 победы

Цитата: Сообщение от magbash

кто же думает об аутсайдерах

надо думать, что бы их обыграть

[Maratka]

Цитата: Сообщение от magbash

Если же взять конкретный результат

Ну сколько уже писать можно: бажные версии за последний ~месяц, криво работают с таблицами. Благодаря 3С и внимательным наблюдателям багу нашли, пофиксили, теперь нормально, но играть продолжает та же сборка.

Да, это проблемы разработчиков SF, а не LZ, и не организаторов TCEC, но это не отменяет самого того факта, что SF играет хуже, чем должен, и вероятно - весьма сильно хуже.

Цитата: Сообщение от magbash

Мне вот кажется что все дело в надуманности проблемы - кто лучше выносит хвост, такой проблемы не существует.

Конечно не существует. Просто тот, кто выносит его хуже не играет в финале TCEC. Да и финал 3C может не попасть. Собственно говоря, он вообще в любой финал может не попасть, ибо на то это и финал, что там играют лучшие, а не те, кто сидит в середине таблицы.

[svoitsl]

Подведем итоги.....

 N Engine                         Rtng  Pts Gm     SB X  Elo Perf St   Al   Lc   Ko   Ho   Km   Fi   Et   Xi   La   An   Fz   Ch   Jo  

 1 Stockfish 19061419             3985 30.5 44 618.75 0  +38 69.3 ···· =10= ==== ==1= 1==  ==1  =1=  ===  111  =1=  1=1  11=  1==1 111=
 2 AllieStein v0.5-dev_1359f44-n8 3858 30.0 44 592.25 0 +280 68.2 =01= ···· ==== ===  ==1  =1=  ==0  ===  =11  111  111= 11=1 111  1===
 3 LCZero v0.21.2-n42547          3990 30.0 44 633.00 0  +19 68.2 ==== ==== ···· ==== ===1 ==1  111  =11  ===  111  =1=  1=1  1=1= =1= 
 4 Komodo 2356.00                 3938 28.0 44 533.25 0  +49 63.6 ==0= ===  ==== ···· 0=0  ===  1=1  ===  ===  1==  =11  1=11 =111 1111
 5 Houdini 6.03                   3945 27.0 44 541.25 0   -1 61.4 0==  ==0  ===0 1=1  ···· ==1  1=1  ===  ===  1=1= 1=== 1=1= =1=  1==1
 6 KomodoMCTS 2356.00             3885 26.5 44 506.75 0  +99 60.2 ==0  =0=  ==0  ===  ==0  ···· =1=  =11  ==1= ===1 =1=1 11=1 11=  ==1=
 7 Fire 021819                    3867 25.0 44 468.00 0  +91 56.8 =0=  ==1  000  0=0  0=0  =0=  ···· =111 ==1= 1=1= 1=1= =11  1==1 1=1 
 8 Ethereal 11.38                 3868 23.0 44 436.25 0  +27 52.3 ===  ===  =00  ===  ===  =00  =000 ···· ===1 ==== ===1 1=1= 11=  111 
 9 Xiphos 0.5.3                   3852 19.0 44 382.75 0  -66 43.2 000  =00  ===  ===  ===  ==0= ==0= ===0 ···· ==== ==0  ==1  ===1 =1= 
10 Laser 230319                   3838 18.5 44 346.75 0  -44 42.0 =0=  000  000  0==  0=0= ===0 0=0= ==== ==== ···· 1==  11=  =1=  11= 
11 Andscacs 0.95123               3832 15.5 44 315.25 0 -127 35.2 0=0  000= =0=  =00  0=== =0=0 0=0= ===0 ==1  0==  ···· 0==  ==1  =1= 
12 Fizbo 2                        3786 12.0 44 234.75 0 -143 27.3 00=  00=0 0=0  0=00 0=0= 00=0 =00  0=0= ==0  00=  1==  ···· =1=  === 
13 Chiron 230119                  3752 12.0 44 247.75 0  -73 27.3 0==0 000  0=0= =000 =0=  00=  0==0 00=  ===0 =0=  ==0  =0=  ···· ==1 
14 Jonny 8.1                      3775 11.0 44 243.25 0 -149 25.0 000= 0=== =0=  0000 0==0 ==0= 0=0  000  =0=  00=  =0=  ===  ==0  ····

[magbash]

В этом рапиде можно было бы опробовать новый подход к дебютным книгам.
Весь турнир это 6 кругов, каждый движок играет с каждым шесть раз, из них три белым цветом и три черным. Мое предложение состоит в следующем, уменьшить количество дебютных расстановок до трех! То есть в первых двух кругах все движки играют одну и туже дебютную расстановку поочередно белым и черным цветом, третий и четвертый круги - ещё одну расстановку и пятый и шестой ещё одну.

Исчезнет элемент случайности и всевозможных кривотолков, когда после неубедительного выступления движка, всегда можно обвинить устроителей в том что достался заведомо допустим ничейный дебют или дебют который стилистически не подходит. В новом подходе к дебютам,все движки оказываются в абсолютно равных условиях.
Этот подход позволит разработчикам движков в анализе, подметить шероховатости в игре своего, когда допустим в похожих ситуациях делается один и тот же промах. Это и сейчас подмечается ими, но в данном случае, промах будет выглядеть очень выпукло и наглядно.
Устроителям с каждым турниром все труднее подбирать качественные расстановки, зачастую их выбор поверхностен, а так к одному турниру подготовить три дебютных расстановки очень качественных для них не составило бы труда. Допустим, из трех дебютов, были бы открытый, закрытый и полузакрытый.
Да и зрелищность бы турнира нисколько не пропала. Серые мышки возможно штамповали бы похожие партии, но их партии не смотрят и сейчас. Ну а лидеры по прежнему выдавали бы шедевры, и было бы интересно наблюдать как ЛСО или Стокфиш в похожих ситуациях меняют рисунок игры в зависимости от соперника и складывающейся положения дел на доске.

[magbash]

А вообще, что бы уж полностью и напрочь избежать надуманностей, надо движки просто оставить наедине друг с другом без чего бы то ни было, начиная от книг и кончая таблицами.

А вначале надо ответить на простой вопрос, с какой целью проводится очередной сезон ТСЕС?

Если это шоу, это одно, а если это чемпионат по шахматным двигателям, как это заявлено, то это что то совсем иное.
И тут мнение Васи Пупкина, что дескать будет уныло и совсем для меня нисколечко не интересно, все это детский лепет и с серъезными соревнованиями не вяжется.
Есть же турнир СССС, там и клонов тьма и всевозможные изыски в виде, один раз это - CCC 8: Deep Dive, в другой раз - CCC 7: Blitz Bonanza, в третий что то совсем иное. Будь те любезный , проследуйте туда и наслаждайтесь.
Человек сейчас изнежен. Ему подавай и еду и таз с теплой водой для ног одновременно.

[svoitsl]

AllieStein v0.5-dev_1359f44-n8 на первом месте!!!, по очкам сравнялся со Stockfish 19061419

 N Engine                         Rtng  Pts Gm     SB X  Elo Perf Al   St   Lc   Ko   Ho   Km   Fi   Et   Xi   La   An   Ch   Fz   Jo  

 1 AllieStein v0.5-dev_1359f44-n8 3858 31.0 45 632.75 0 +300 68.9 ···· =01= ==== ===1 ==1  =1=  ==0  ===  =11  111  111= 111  11=1 1===
 2 Stockfish 19061419             3985 31.0 45 647.50 0  +36 68.9 =10= ···· ==== ==1= 1=== ==1  =1=  ===  111  =1=  1=1  1==1 11=  111=
 3 LCZero v0.21.2-n42547          3990 30.5 45 661.50 0  +15 67.8 ==== ==== ···· ==== ===1 ==1= 111  =11  ===  111  =1=  1=1= 1=1  =1= 
 4 Komodo 2356.00                 3938 28.0 45 547.00 0  +29 62.2 ===0 ==0= ==== ···· 0=0  ===  1=1  ===  ===  1==  =11  =111 1=11 1111
 5 Houdini 6.03                   3945 27.5 45 568.75 0   +1 61.1 ==0  0=== ===0 1=1  ···· ==1  1=1  ===  ===  1=1= 1=== =1=  1=1= 1==1
 6 KomodoMCTS 2356.00             3885 27.0 45 534.00 0 +104 60.0 =0=  ==0  ==0= ===  ==0  ···· =1=  =11  ==1= ===1 =1=1 11=  11=1 ==1=
 7 Fire 021819                    3867 26.0 45 491.75 0 +104 57.8 ==1  =0=  000  0=0  0=0  =0=  ···· =111 ==1= 1=1= 1=1= 1==1 =111 1=1 
 8 Ethereal 11.38                 3868 23.5 45 452.25 0  +22 52.2 ===  ===  =00  ===  ===  =00  =000 ···· ===1 ==== ===1 11=  1=1= 111=
 9 Xiphos 0.5.3                   3852 20.0 45 406.50 0  -51 44.4 =00  000  ===  ===  ===  ==0= ==0= ===0 ···· ==== ==01 ===1 ==1  =1= 
10 Laser 230319                   3838 19.0 45 361.00 0  -48 42.2 000  =0=  000  0==  0=0= ===0 0=0= ==== ==== ···· 1==  =1== 11=  11= 
11 Andscacs 0.95123               3832 15.5 45 324.00 0 -142 34.4 000= 0=0  =0=  =00  0=== =0=0 0=0= ===0 ==10 0==  ···· ==1  0==  =1= 
12 Chiron 230119                  3752 12.5 45 263.25 0  -69 27.8 000  0==0 0=0= =000 =0=  00=  0==0 00=  ===0 =0== ==0  ···· =0=  ==1 
13 Fizbo 2                        3786 12.0 45 240.50 0 -156 26.7 00=0 00=  0=0  0=00 0=0= 00=0 =000 0=0= ==0  00=  1==  =1=  ···· === 
14 Jonny 8.1                      3775 11.5 45 260.75 0 -145 25.6 0=== 000= =0=  0000 0==0 ==0= 0=0  000= =0=  00=  =0=  ==0  ===  ····

[Maratka]

Цитата: Сообщение от magbash

А вообще, что бы уж полностью и напрочь избежать надуманностей, надо движки просто оставить наедине друг с другом без чего бы то ни было, начиная от книг и кончая таблицами.

Боюсь в этом случае LZ придется оставить без сети.

[sovaz1997]

Цитата: Сообщение от Maratka

Боюсь в этом случае LZ придется оставить без сети.

А Сток оставить без оценочной функции (просто return 0 поставить).

[sovaz1997]

Тем временем Лила сравнялась по очка со Стоком, а Allie обогнала. Вообще, это не очень хорошо для финала 16-го сезона. Например, Allie против Lc0. Ну и кому это будет интересно? Движки очень похожи, Allie берет идеи Lc0, формат сети совпадает. Allie против Стока? Ну, Allie пока не дотягивает до уровня Лилы. Проиграть Стоку в финале может запросто.

С другой стороны, я надеюсь, что они отложат TCEC 16. Пусть движки хоть как-то улучшаться.

[Maratka]

Цитата: Сообщение от sovaz1997

С другой стороны, я надеюсь, что они отложат TCEC 16. Пусть движки хоть как-то улучшаться.

Да уже они улучшились. Исправили в SF проблему с таблицами три дня назад, все!

Если не какой-то внезапный очередной косяк, то SF возьмет свое первое место в отборе, а кто возьмет второе, LZ или AllieStein без разницы, ибо это два клона, причем очень не факт, что в команде LZ не берут идеи из AllieStein, т.е. это вполне может оказаться два взаимозависимых клона.

И еще, у меня не очень получается увязать следующее вместе:

Цитата: Сообщение от sovaz1997

Тем временем Лила сравнялась по очка со Стоком, а Allie обогнала.

Цитата: Сообщение от sovaz1997

Allie пока не дотягивает до уровня Лилы.

[sovaz1997]

Цитата: Сообщение от Maratka

И еще, у меня не очень получается увязать следующее вместе:

У вас не получается это увязать вместе только потому, что вы не понимаете, что такое размер выборки. Судя по всему.

[sovaz1997]

По поводу того, что это 2 клона: вы имеете ввиду AlphaZero? Ну, это, как бы, научная статья. Тоже самое, что и статья Шеннона про алгоритм Mинимакс.

[Maratka]

Цитата: Сообщение от sovaz1997

По поводу того, что это 2 клона: вы имеете ввиду AlphaZero? Ну, это, как бы, научная статья. Тоже самое, что и статья Шеннона про алгоритм Mинимакс.

Я имею в виду пару AllieStein и LZ.

Цитата: Сообщение от sovaz1997

У вас не получается это увязать вместе только потому, что вы не понимаете, что такое размер выборки. Судя по всему.

Выборка-не выборка, а играют оно весьма близко друг к другу.

[svoitsl]

Цитата: Сообщение от Maratka

И еще, у меня не очень получается увязать следующее вместе:

Есть такой коэффициент Бергера, у него лучше получается все расставить по своим местам

Цитата: Сообщение от sovaz1997

С другой стороны, я надеюсь, что они отложат TCEC 16. Пусть движки хоть как-то улучшаться.

раньше думалось то их будет 4 за год, потом что 3 за год, но все сходится к тому, что двух вполне достаточно, можно начать где нибудь 1 -го сентября, как раз к концу года успеют закончить
К тому времени и оборудование можно обновить и протестировать....

[sovaz1997]

Цитата: Сообщение от Maratka

Я имею в виду пару AllieStein и LZ.


Выборка-не выборка, а играют оно весьма близко друг к другу.

Они близки, но, все же:

Sufi 15 openings and time control 1+1(1'+1"/move) Leela versus AllieStein vs Stockfish. 
Leela = Lc0v21.1 42482 and AllieStein = Allie 0.5 + Stein 8.0 and Stockfish 190531.
Leela versus AllieStein was with both on i7-4770K 3.50 GHz+ GTX 1070 Ti.
Leela-Sf and Allie-Sf was with Leela and Allie using i5 6500 3.40 GHz + GTX 1070 Ti while SF 4 cores on i5 6500 3.40 GHz.

   # PLAYER                         :  RATING  ERROR  POINTS  PLAYED   (%)  CFS(%)    W    D    L  D(%)
   1 Stockfish_19053114_x64_bmi2    :      41     23   107.0     200  53.5      74   60   94   46  47.0
   2 Lc0v21.1 42482                 :      28     23   102.0     200  51.0      92   48  108   44  54.0
   3 AllieStein v0.5 8.0            :       0     23    91.0     200  45.5     ---   40  102   58  51.0

[Maratka]

Кстати по поводу производительности, не похоже, что у AllieStein какие-то явные проблемы с четырьмя видеоплатами:

[sovaz1997]

Maratka, в каком смысле? Allie наоборот показывает большую скорость.

[Maratka]

Цитата: Сообщение от sovaz1997

Они близки, но, все же:

С тех пор прошел месяц, и у него вполне могла измениться сеть, тогда как сеть LZ фактически либо растет в час по ложке, либо и вовсе топчется на месте.

[Maratka]

Цитата: Сообщение от sovaz1997

Maratka, в каком смысле? Allie наоборот показывает большую скорость.

Вот именно про это я и говорю:

Цитата: Сообщение от Maratka

не похоже, что у AllieStein какие-то явные проблемы с четырьмя видеоплатами:

Тогда как у LZ они почему-то есть.

[crem]

В Allie теперь добавлены элементы A/B поиска, и он считает nps как-то по-другому. Nps у него учитывает не только позиции переданные нейронной сети.
Быстрый просмотр исходников не нашёл какой-то рукописной оценочной функции, так что я не знаю что именно там считается.