14.03.2018, 17:43 | #91 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: TCEC 11 - чемпионат мира среди шахматных движков!
_______
Кстати, побыстрому накидал программку по расчету погрешности исходя из числа партий. А формулу, как считается разница Elo кто-то подскажет? Тогда совмещу, и будет удобный калькулятор (причем локальный, не Веб): подсчет разницы Elo с учетом погрешности. |
Пользователь сказал cпасибо: | Alexandr_L (18.03.2018) |
14.03.2018, 17:44 | #92 |
Гроссмейстер
ТС
Регистрация: 27.09.2017
Адрес: Москва
Сообщений: 4,142
Сказал(а) спасибо: 2,297
Поблагодарили 2,510 раз(а) в 1,635 сообщениях
Репутация: 92
|
Re: TCEC 11 - чемпионат мира среди шахматных движков!
Maratka, если выйдет в финал dev-версия, то счёт может быть и в пользу Houdini с незначительным перевесом. Просто мы не будем знать реальную силу Houdini. Хотя, объективно, он не будет сильнее, чем Stockfish, особенно с учётом текущей скорости развития SF.
|
Пользователь сказал cпасибо: | Alexandr_L (18.03.2018) |
14.03.2018, 17:52 | #93 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: TCEC 11 - чемпионат мира среди шахматных движков!
Цитата: Сообщение от sovaz1997
Maratka, если выйдет в финал dev-версия, то счёт может быть и в пользу Houdini с незначительным перевесом.
Я как технарь, который тестировал девять лет системное ПО (ну и писал по мелочам утилиты для тестов) утверждаю, что такой объем "зеленых" патчей у SF как за последние 2-3 месяца Гударт сам не осилит, причем как путем самостоятельного усиления движка, так и заимствования идей этих патчей (идея - это алгоритм, а не код, а потому даже готовый код невозможно тупо скопировать в другой движок, т.к. другой движок иначе устроен). А значит - придется переписать код, и перетестировать его -а это время. Отсюда, лучше что может Гударт выдать - это отставание на пару месяцев от SF. Это легко было компенсировать летом прошлого года, когда SF топтался на месте целый квартал, но не сейчас. |
Пользователь сказал cпасибо: | Alexandr_L (18.03.2018) |
14.03.2018, 17:58 | #94 |
Гроссмейстер
Регистрация: 25.01.2017
Сообщений: 2,114
Сказал(а) спасибо: 1,261
Поблагодарили 3,271 раз(а) в 1,504 сообщениях
Репутация: 138
|
Re: TCEC 11 - чемпионат мира среди шахматных движков!
Цитата: Сообщение от Maratka
Это технически невозможно:
Я как технарь, который тестировал девять лет системное ПО (ну и писал по мелочам утилиты для тестов) утверждаю, что такой объем "зеленых" патчей у SF, как за последние 2-3 месяца Гударт сам не осилит, причем как путем самостоятельного усиления движка, так и заимствования идей этих патчей (идея - это алгоритм, а не код, а потому даже готовый код невозможно тупо скопировать в другой движок, т.к. другой движок иначе устроен). А значит - придется переписать код, и перетестировать его -а это время. Отсюда, лучше что может Гударт выдать - это отставание на пару месяцев от SF. Это легко было компенсировать летом прошлого года, когда SF топтался на месте целый квартал, но не сейчас.
__________________
AMD Ryzen 7 5700G@3.8GHz AMD Ryzen 5 2600@3.4GHz |
Пользователь сказал cпасибо: | Alexandr_L (18.03.2018) |
14.03.2018, 18:10 | #95 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: TCEC 11 - чемпионат мира среди шахматных движков!
Цитата: Сообщение от otodranik
Гударт - безусловно классный программист, конспиратор, и бизнесмен.
Опять же- тестировать код... Ну сомневаюсь я, что у Гударта есть даже треть от количества ядер, которыми располагает команда SF. А значит - либо часть пачтей он не успевает протестировать (отсюда и принять), либо гонит их поверхностно, т.е. получает перевес вида +2 Elo с погрешностью 7 Elo. А это- чревато, ибо по теории вероятностей каждый пятый патч у него будет ослабляющим, а не усиливающим. |
Пользователь сказал cпасибо: | Alexandr_L (18.03.2018) |
14.03.2018, 18:30 | #96 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: TCEC 11 - чемпионат мира среди шахматных движков!
Цитата: Сообщение от Maratka
_______
Кстати, побыстрому накидал программку по расчету погрешности исходя из числа партий. А формулу, как считается разница Elo кто-то подскажет? Тогда совмещу, и будет удобный калькулятор (причем локальный, не Веб): подсчет разницы Elo с учетом погрешности. |
Пользователь сказал cпасибо: | Alexandr_L (18.03.2018) |
14.03.2018, 18:35 | #97 |
Гроссмейстер
ТС
Регистрация: 27.09.2017
Адрес: Москва
Сообщений: 4,142
Сказал(а) спасибо: 2,297
Поблагодарили 2,510 раз(а) в 1,635 сообщениях
Репутация: 92
|
Re: TCEC 11 - чемпионат мира среди шахматных движков!
Maratka, я говорю о том, что в 100 партиях может с небольшой вероятностью повезти. Вероятность будет больше, если новая версия выйдет.
|
2 пользователя(ей) сказали cпасибо: | Alexandr_L (18.03.2018), Maratka (14.03.2018) |
14.03.2018, 18:36 | #98 |
Гроссмейстер
ТС
Регистрация: 27.09.2017
Адрес: Москва
Сообщений: 4,142
Сказал(а) спасибо: 2,297
Поблагодарили 2,510 раз(а) в 1,635 сообщениях
Репутация: 92
|
Re: TCEC 11 - чемпионат мира среди шахматных движков!
Цитата: Сообщение от Maratka
Никто не знает? ;)
|
Пользователь сказал cпасибо: | Alexandr_L (18.03.2018) |
14.03.2018, 19:13 | #99 |
Эксперт
Регистрация: 07.06.2016
Сообщений: 5,907
Сказал(а) спасибо: 13,814
Поблагодарили 12,717 раз(а) в 4,521 сообщениях
Репутация: 726
|
Re: TCEC 11 - чемпионат мира среди шахматных движков!
Цитата: Сообщение от Maratka
Никто не знает? ;)
|
Пользователь сказал cпасибо: | Alexandr_L (18.03.2018) |
15.03.2018, 09:03 | #100 |
Гроссмейстер
ТС
Регистрация: 27.09.2017
Адрес: Москва
Сообщений: 4,142
Сказал(а) спасибо: 2,297
Поблагодарили 2,510 раз(а) в 1,635 сообщениях
Репутация: 92
|
Re: TCEC 11 - чемпионат мира среди шахматных движков!
Забавно, Houdini против Ginkgo стоит в -0.82 не в свою пользу. А играет белыми! Сейчас проиграет еще ненароком... Интересно, что до этого было +0.77. Самое смешное, что это может быть первая победа Ginkgo в сезоне!
|
Пользователь сказал cпасибо: | Alexandr_L (18.03.2018) |
15.03.2018, 11:37 | #101 |
Мастер
Регистрация: 11.08.2017
Адрес: Киров
Сообщений: 912
Сказал(а) спасибо: 888
Поблагодарили 1,197 раз(а) в 632 сообщениях
Репутация: 132
|
Re: TCEC 11 - чемпионат мира среди шахматных движков!
Цитата: Сообщение от Maratka
Кстати, побыстрому накидал программку по расчету погрешности исходя из числа партий.
Тогда совмещу, и будет удобный калькулятор (причем локальный, не Веб): подсчет разницы Elo с учетом погрешности. http://www.playwitharena.com/?User_F...alimov:EloStat http://wbec-ridderkerk.nl/html/download.htm |
Пользователь сказал cпасибо: | Alexandr_L (18.03.2018) |
15.03.2018, 13:17 | #102 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: TCEC 11 - чемпионат мира среди шахматных движков!
Цитата: Сообщение от Rom77
А Elostat не устраивает? :
Мне интересно иметь возможность счиать разницу Elo не привязываясь к Elo участников. Ну вот как на TCEC например: один движок в финале выигрывает у друого +15 -11 =74 Какая разница между ними в Elo, и какая погрешность измерения? |
Пользователь сказал cпасибо: | Alexandr_L (18.03.2018) |
15.03.2018, 13:26 | #103 |
Гроссмейстер
ТС
Регистрация: 27.09.2017
Адрес: Москва
Сообщений: 4,142
Сказал(а) спасибо: 2,297
Поблагодарили 2,510 раз(а) в 1,635 сообщениях
Репутация: 92
|
Re: TCEC 11 - чемпионат мира среди шахматных движков!
Maratka, домой приеду, попробую разобраться. Сам когда-то искал).
|
2 пользователя(ей) сказали cпасибо: | Alexandr_L (18.03.2018), Maratka (15.03.2018) |
15.03.2018, 14:09 | #104 |
Мастер
Регистрация: 11.08.2017
Адрес: Киров
Сообщений: 912
Сказал(а) спасибо: 888
Поблагодарили 1,197 раз(а) в 632 сообщениях
Репутация: 132
|
Re: TCEC 11 - чемпионат мира среди шахматных движков!
Цитата: Сообщение от Maratka
Нет.
Мне интересно иметь возможность счиать разницу Elo не привязываясь к Elo участников. Ну вот как на TCEC например: один движок в финале выигрывает у друого +15 -11 =74 Какая разница между ними в Elo, и какая погрешность измерения? P.S. Что меня не устраивает в ней - программа округляет до целых чисел и разницу больше 600 эло не считает. |
Пользователь сказал cпасибо: | Alexandr_L (18.03.2018) |
15.03.2018, 14:38 | #105 |
Гроссмейстер
ТС
Регистрация: 27.09.2017
Адрес: Москва
Сообщений: 4,142
Сказал(а) спасибо: 2,297
Поблагодарили 2,510 раз(а) в 1,635 сообщениях
Репутация: 92
|
Re: TCEC 11 - чемпионат мира среди шахматных движков!
1) Use number of wins, loss, and draws
W = number of wins, L = number of lost, D = number of draws n = number of games (W + L + D) m = mean value 2) Apply the following formulas to compute s ( SQRT: square root of. ) x = W*(1-m)*(1-m) + D*(0.5-m)*(0.5-m) + L*(0-m)*(0-m) s = SQRT( x/(n-1) ) 3) Compute error margin A (use 1.96 for 95% confidence) A = 1.96 * s / SQRT(n) 4) State with 95% confidence: The 'real' result should be somewhere in between m-A to m+A 5) Lookup the ELO figures with the win% from m-A and m+A to get the lower and higher values in the error margin. |
Пользователь сказал cпасибо: | Alexandr_L (18.03.2018) |
15.03.2018, 22:14 | #106 |
Гроссмейстер
Регистрация: 19.04.2017
Сообщений: 4,734
Сказал(а) спасибо: 1,204
Поблагодарили 2,853 раз(а) в 1,885 сообщениях
Репутация: 159
|
Re: TCEC 11 - чемпионат мира среди шахматных движков!
ну что ж 61 партеечу разыграли
Цитата:
1 Stockfish 44.0
2 Houdini 6.03 40.0 3 Komodo 2012.00 35.5 4 Fire 020718 33.0 5 Andscacs 0.93 28.5 6 Chiron 110218 26.0 7 Fizbo 2 22.0 8 Ginkgo 2.03 15.0 |
Пользователь сказал cпасибо: | Alexandr_L (18.03.2018) |
15.03.2018, 23:04 | #107 |
Гроссмейстер
ТС
Регистрация: 27.09.2017
Адрес: Москва
Сообщений: 4,142
Сказал(а) спасибо: 2,297
Поблагодарили 2,510 раз(а) в 1,635 сообщениях
Репутация: 92
|
Re: TCEC 11 - чемпионат мира среди шахматных движков!
svoitsl, тут дело не только в выносе хвоста. Тут все вместе: и полное превосходство по силе игры, и игра на победу. Из-за этого Stockfish не может не попасть в финал. Вероятность этого настолько мала, что можно сказать однозначно, что попадет.
|
2 пользователя(ей) сказали cпасибо: | Alexandr_L (18.03.2018), svoitsl (17.03.2018) |
16.03.2018, 00:00 | #108 |
Гроссмейстер
Регистрация: 19.04.2017
Сообщений: 4,734
Сказал(а) спасибо: 1,204
Поблагодарили 2,853 раз(а) в 1,885 сообщениях
Репутация: 159
|
Re: TCEC 11 - чемпионат мира среди шахматных движков!
Цитата: Сообщение от sovaz1997
и полное превосходство по силе игры
(даже у Стока выиграл). И в финал он не попадет по той же причине почему не попал Сток с TCEC 10. |
Пользователь сказал cпасибо: | Alexandr_L (18.03.2018) |
16.03.2018, 00:07 | #109 |
Гроссмейстер
ТС
Регистрация: 27.09.2017
Адрес: Москва
Сообщений: 4,142
Сказал(а) спасибо: 2,297
Поблагодарили 2,510 раз(а) в 1,635 сообщениях
Репутация: 92
|
Re: TCEC 11 - чемпионат мира среди шахматных движков!
svoitsl, отставание около 35 пунктов рейтинга, (у Houdini) достаточно существенное. Также, счёт в YLCET +13 -3 =84, а это было достаточно давно. Сейчас SF очень хорошо усилился. Так что, даже если Гуларт выпустит новую версию, он не сможет сделать её такой же по силе, как SF (к TCEC 10 он очень близко подошёл к SF, т. к. SF летом очень медленно усиливался, как заметил Maratka). В общем, посмотрим. Мой прогноз я делал выше.
Komodo даже сейчас, возможно, не сильнее, чем H 6 |
Пользователь сказал cпасибо: | Alexandr_L (18.03.2018) |
16.03.2018, 00:20 | #110 |
Эксперт
Регистрация: 01.12.2016
Сообщений: 5,696
Сказал(а) спасибо: 264
Поблагодарили 1,517 раз(а) в 1,153 сообщениях
Записей в дневнике: 15
|
Re: TCEC 11 - чемпионат мира среди шахматных движков!
Это надо же, сколько эмоций и несбыточных надежд вызвала случайная победа над полугодовалой версией Гудини, которая давно морально устарела и которую только ленивый ещё не украл у Роберта.
|
Пользователь сказал cпасибо: | Alexandr_L (18.03.2018) |
16.03.2018, 00:27 | #111 |
Гроссмейстер
ТС
Регистрация: 27.09.2017
Адрес: Москва
Сообщений: 4,142
Сказал(а) спасибо: 2,297
Поблагодарили 2,510 раз(а) в 1,635 сообщениях
Репутация: 92
|
Re: TCEC 11 - чемпионат мира среди шахматных движков!
Alex_Zet, пока Houdini 7 нет и пока Houdini 6 продается, странно называть его морально устаревшим. Если только неконкурентоспособным. Я уверен, если в финале будет играть старая версия H, значит, Гударт ещё не приступил к улучшению H6, либо просто не смог найти способы его улучшить. Потому что он прекрасно понимает, что проиграет с этой версией в финале.
|
3 пользователя(ей) сказали cпасибо: |
16.03.2018, 20:04 | #112 |
Гроссмейстер
Регистрация: 19.04.2017
Сообщений: 4,734
Сказал(а) спасибо: 1,204
Поблагодарили 2,853 раз(а) в 1,885 сообщениях
Репутация: 159
|
Re: TCEC 11 - чемпионат мира среди шахматных движков!
Цитата: Сообщение от Alex_Zet
которую только ленивый ещё не украл у Роберта.
И одно дело уметь хорошо хвост выносить ,и совсем другое - играть с примерно равными.... тут и случай будет иметь место. Примерно через 1.5 часа начнется матч Komodo 2012.00 Stockfish 100218 Посмотрим кто кого..... :-) |
3 пользователя(ей) сказали cпасибо: |
16.03.2018, 20:28 | #113 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: TCEC 11 - чемпионат мира среди шахматных движков!
Цитата: Сообщение от Alex_Zet
Это надо же, сколько эмоций и несбыточных надежд вызвала случайная победа над полугодовалой версией Гудини
Вас же похоже не удивляет, что полугодичная версия Гудини на две головы выше месячной версии Комодо? Да и опять же - все это проблемы индейцев. Роберт прикинул в тестах на своем домашнем полигоне, и решил, что и этой версии хватит для того, чтобы занять второе место и выйти в финал. Ну и зачем заранее выкидывать лучшее что и него есть, и раскрывать свои карты? Ну и наконец - откуда басня про "полугодичность"? Последняя сборка Гудини вышла в 20 ноября 2017-го, т.е. ей нет и четырех месяцев. Играет она не против сегодняшнего SF, а проиив SF месячной давности, т.е. между ними ~3 месяцев, но никак не полгода. |
4 пользователя(ей) сказали cпасибо: |
17.03.2018, 00:11 | #114 |
Гроссмейстер
Регистрация: 19.04.2017
Сообщений: 4,734
Сказал(а) спасибо: 1,204
Поблагодарили 2,853 раз(а) в 1,885 сообщениях
Репутация: 159
|
Re: TCEC 11 - чемпионат мира среди шахматных движков!
Цитата: Сообщение от svoitsl
Примерно через 1.5 часа начнется матч
Komodo 2012.00 Stockfish 100218 Посмотрим кто кого..... :-) комодо не хвост,его не вынесешь :-) А между тем, 63 круг замкнулся Цитата:
1 Stockfish 45.5
2 Houdini 6.03 41.5 3 Komodo 2012.00 37 4 Fire 020718 33.5 5 Andscacs 0.93 29 6 Chiron 110218 26.5 7 Fizbo 2 22.5 8 Ginkgo 2.03 16.5 а по абсолютному -вошёл в 5-ку лидеров |
2 пользователя(ей) сказали cпасибо: | Alexandr_L (18.03.2018), sovaz1997 (17.03.2018) |
17.03.2018, 00:17 | #115 |
Гроссмейстер
ТС
Регистрация: 27.09.2017
Адрес: Москва
Сообщений: 4,142
Сказал(а) спасибо: 2,297
Поблагодарили 2,510 раз(а) в 1,635 сообщениях
Репутация: 92
|
Re: TCEC 11 - чемпионат мира среди шахматных движков!
Закончился не только 63-й круг, но и 9/12 туров. Осталось совсем немного до финала. Интересно, какие сюрпризы мы ещё увидим. Например, проиграет ли Stockfish движку не из тройки? И многое другое
|
Пользователь сказал cпасибо: | Alexandr_L (18.03.2018) |
18.03.2018, 15:16 | #116 |
Гроссмейстер
Регистрация: 19.04.2017
Сообщений: 4,734
Сказал(а) спасибо: 1,204
Поблагодарили 2,853 раз(а) в 1,885 сообщениях
Репутация: 159
|
Re: TCEC 11 - чемпионат мира среди шахматных движков!
А между тем закончился 66 рауид с таким результатами
Цитата:
1 Stockfish 48 (2.5)
2 Houdini 6.03 43 (1.5) 3 Komodo 2012.00 39 (2) 4 Fire 020718 35 (1,5) 5 Andscacs 0.93 30.5 (1.5) 6 Chiron 110218 27.5 (1) 7 Fizbo 2 23.5 (1) 8 Ginkgo 2.03 17.5 (1) А вот Гудини решил не торопиться, его даже обогнал Комодо по приросту, и хотя вряд ли Комодо выберется на второе место, но очень старается |
Пользователь сказал cпасибо: | Alexandr_L (18.03.2018) |
18.03.2018, 15:51 | #117 |
Гроссмейстер
ТС
Регистрация: 27.09.2017
Адрес: Москва
Сообщений: 4,142
Сказал(а) спасибо: 2,297
Поблагодарили 2,510 раз(а) в 1,635 сообщениях
Репутация: 92
|
Re: TCEC 11 - чемпионат мира среди шахматных движков!
Stockfish вчера чуть не обыграл Houdini черными! Не знаю, возможно, там был выигрыш. Но у обоих оставалось мало времени, из-за чего, возможно, и произошло окончание коня против 2-х пешек. Кстати, идея для улучшения Sf: конь против 2-х пешек при очень маленьком числе фигур - штраф (около пол-пешки).
Насчет Komodo: раньше я еще хотел его видеть в финале, но теперь понимаю, что он почти не улучшился со времен 11.2 и все еще находится позади Houdini. А вот со стороны Houdini я жду сюрприз в виде Houdini 7 Dev. В этом случае победа любого движка в TCEC 11 будет намного ценнее, чем если бы играла старая версия. |
Пользователь сказал cпасибо: | Alexandr_L (18.03.2018) |
18.03.2018, 15:57 | #118 |
Эксперт
Регистрация: 11.04.2017
Адрес: РФ, Крым, Севастополь.
Сообщений: 11,849
Сказал(а) спасибо: 3,311
Поблагодарили 5,952 раз(а) в 4,245 сообщениях
Репутация: 253
|
Re: TCEC 11 - чемпионат мира среди шахматных движков!
Цитата: Сообщение от sovaz1997
Stockfish вчера чуть не обыграл Houdini черными! Не знаю, возможно, там был выигрыш. Но у обоих оставалось мало времени, из-за чего, возможно, и произошло окончание коня против 2-х пешек. Кстати, идея для улучшения Sf: конь против 2-х пешек при очень маленьком числе фигур - штраф (около пол-пешки).
Насчет Komodo: раньше я еще хотел его видеть в финале, но теперь понимаю, что он почти не улучшился со времен 11.2 и все еще находится позади Houdini. А вот со стороны Houdini я жду сюрприз в виде Houdini 7 Dev. В этом случае победа любого движка в TCEC 11 будет намного ценнее, чем если бы играла старая версия. И да, не забываем, что до финала еще пара недель, а это значит, что SF вполне может набрать еще 3-5 Elo. |
2 пользователя(ей) сказали cпасибо: | Alexandr_L (21.03.2018), sovaz1997 (18.03.2018) |
18.03.2018, 16:03 | #119 |
Гроссмейстер
ТС
Регистрация: 27.09.2017
Адрес: Москва
Сообщений: 4,142
Сказал(а) спасибо: 2,297
Поблагодарили 2,510 раз(а) в 1,635 сообщениях
Репутация: 92
|
Re: TCEC 11 - чемпионат мира среди шахматных движков!
Не думаю, что 1 человек сможет увеличить силу игры Houdini на 60 пунктов. Правильно вы заметили про лето 2017: пока Sf набирал 5 пунктов за 3 месяца, Гударт в это время, вероятно, решил всерьез усилить Houdini и ему удалось достичь силы Stockfish (по-моему, даже чуть выше, но это не в тестах 1 на 1, а с учетом слабых оппонентов). В тестах 1 на 1 Stockfish был чуть лучше. А сейчас это невозможно, думаю. Объективно - ну, не больше 30-35, думаю, если Гударт усердно работал над усилением.
|
Пользователь сказал cпасибо: | Alexandr_L (21.03.2018) |
18.03.2018, 16:41 | #120 |
Гроссмейстер
Регистрация: 19.04.2017
Сообщений: 4,734
Сказал(а) спасибо: 1,204
Поблагодарили 2,853 раз(а) в 1,885 сообщениях
Репутация: 159
|
Re: TCEC 11 - чемпионат мира среди шахматных движков!
Цитата: Сообщение от sovaz1997
Stockfish вчера чуть не обыграл Houdini черными!
|
Пользователь сказал cпасибо: | Alexandr_L (21.03.2018) |
Метки |
tcec, движки, чемпионат |
Здесь присутствуют: 3 (пользователей: 0 , гостей: 3) | |
|
|