LCZero

[sovaz1997]

Этот матч был в начале года, статья написана только сейчас. Вероятно, там вообще изменений не было.

[sovaz1997]

Спустили AZ с небес на землю.



https://docs.google.com/spreadsheets...#gid=763519729

[Vizvezdenec]

Попахивает типичным гуглом.
Почему они вообще наигрывают 100-110 игр? У них нет ресурсов наиграть хоть что-то, что было бы с ошибкой в 2-3 эло, а не в 50? Позвольте не поверить.
И да, позвольте снова не поверить, что она обыграла SFdev с таким же счётом, как и 8. Хотя бы потому, что это полная ерунда - тесты Лилы показывают явную разницу в игре против SF8 и dev версии.

[Maratka]

Цитата: Сообщение от sovaz1997

+ 17,= 75,- 8. Это с дебютами TCEC. Против SF 8, ага.

Т.е. играли обоими цветами?

Ну тогда все вполне понятно. Именно такую картинку показывает и LZ: для него (и похоже, что и для AZ) важно играть с первого хода самостоятельно. В этом случае он может вести партию по известной ему дороге в нужном направлении. А играя с книгой, он получает по сути рандомную позицию, на которой он весьма вероятно вообще ни разу не обучался. Ну вот и последствия.

[Maratka]

Цитата: Сообщение от Vizvezdenec

Попахивает типичным гуглом.

[sovaz1997]

Цитата: Сообщение от Vizvezdenec

Попахивает типичным гуглом.
Почему они вообще наигрывают 100-110 игр? У них нет ресурсов наиграть хоть что-то, что было бы с ошибкой в 2-3 эло, а не в 50? Позвольте не поверить.
И да, позвольте снова не поверить, что она обыграла SFdev с таким же счётом, как и 8. Хотя бы потому, что это полная ерунда - тесты Лилы показывают явную разницу в игре против SF8 и dev версии.

Там контроль большой (3 часа + 15 секунд). Но я согласен, что они могут. Это достаточно старый матч (в начале этого года). Они сделали 1000 игр. В общем, пока делаем вывод, что AZ не сильнее, чем SF 10, а возможно, что даже слабее Лилы.

[Vizvezdenec]

И вообще, какое железо SF давали-то?
Если Гугл не может достать ничего сильнее того самого сервера с 70 mnps, пусть попросят у noobpwnftw машину в 384 потока, он вряд ли для такого дела её зажмёт. А то мало ли, у дипмайнда денег нет, всегда есть владелец датацентра китайского.
В общем не знаю, чуда не случилось, как по мне. Что-то заапдейтили, оно что-то вроде бы у SFdev на словах выиграло (хотя матч опять против sf8 выложен, да и SFdev начала года, т.е. 60 эло от текущей версии, на минуточку), так ещё и со стартовой позиции толком, а не с произвольной.
Вообще я уже писал в другой теме - если есть альфазиро/Лила, то по уму AB движок напротив должен играть со своей книгой. Хотя бы по той причине, что исходники NN весят больше на порядки - кто AB движкам на борту мешает книгу носить? Собственно, никто.
А она уберёт их основную слабость - неоптимальные дебюты.

[sovaz1997]

У SF 44 ядра было))

Но партии, конечно, красивые выходят против слабого оппонента.
Я не выбирал, просто первую попавшуюся открыл.

Stockfish 8 vs. Alpha Zero

[Event "Computer Match"]
[Site "London, UK"]
[Date "2018.01.18"]
[Round "111665501132336444"]
[White "Stockfish 8"]
[Black "AlphaZero"]
[Result "0-1"]
[ECO "B11"]
[Opening "Caro-Kann"]
[Variation "Two Knights, 3...Bg4 4.h3 Bxf3 5.Qxf3 e6 6.d3 Nf6 7.Bd2"]
[TimeControl "300"]
[Termination "normal"]
[PlyCount "138"]
[WhiteType "human"]
[BlackType "human"]

1. e4 {book} c6 {book} 2. Nc3 {book} d5 {book} 3. Nf3 {book} Bg4 {book} 4.
h3 {book} Bxf3 {book} 5. Qxf3 {book} e6 {book} 6. d3 {book} Nf6 {book} 7.
Bd2 {book} Qb6 8. O-O-O d4 9. Ne2 Nfd7 10. Qg3 a5 11. f4 a4 12. Qf2 Bc5 13.
g4 Na6 14. g5 Nc7 15. Kb1 Nb5 16. Rc1 Nc3+ 17. Ka1 a3 18. b3 Nxe2 19. Bxe2
Bb4 20. Qe1 Bxd2 21. Qxd2 Nc5 22. h4 Na6 23. h5 O-O-O 24. Kb1 Kb8 25. Bg4
Nc7 26. Rcf1 Qc5 27. f5 Rhf8 28. Rhg1 Nb5 29. Ka1 Rde8 30. f6 g6 31. Rc1
Rd8 32. Rh1 Rd7 33. Rb1 Nc3 34. Rbc1 b6 35. Qf4+ Ka7 36. Qd2 Rc7 37. Rce1
Qb4 38. e5 Nxa2 39. Qxb4 Nxb4 40. Rh2 Ka6 41. Rg2 Ka5 42. Bf3 Rd8 43. Rh1
c5 44. Be4 b5 45. Rgh2 c4 46. bxc4 Ka4 47. hxg6 hxg6 48. Kb1 bxc4 49. dxc4
Rxc4 50. Rh8 Rcc8 51. R8h7 Rf8 52. Rd1 Rc4 53. Ka1 Kb5 54. Bd3 Nxd3 55.
Rxd3 Kc6 56. Rh2 Kd5 57. Rxa3 Kxe5 58. Ra5+ Kf4 59. Rh4+ Kg3 60. Re4 Rh8
61. Ra3+ Rc3 62. Ra2 Rd8 63. Re1 Rd7 64. Kb1 Kf4 65. Rb2 Kxg5 66. Re2 Kxf6
67. Rf2+ Kg7 68. Re2 Rc5 69. Rg2 Rf5 0-1

[sovaz1997]

Цитата: Сообщение от Vizvezdenec

И вообще, какое железо SF давали-то?
Если Гугл не может достать ничего сильнее того самого сервера с 70 mnps, пусть попросят у noobpwnftw машину в 384 потока, он вряд ли для такого дела её зажмёт. А то мало ли, у дипмайнда денег нет, всегда есть владелец датацентра китайского.
В общем не знаю, чуда не случилось, как по мне. Что-то заапдейтили, оно что-то вроде бы у SFdev на словах выиграло (хотя матч опять против sf8 выложен, да и SFdev начала года, т.е. 60 эло от текущей версии, на минуточку), так ещё и со стартовой позиции толком, а не с произвольной.
Вообще я уже писал в другой теме - если есть альфазиро/Лила, то по уму AB движок напротив должен играть со своей книгой. Хотя бы по той причине, что исходники NN весят больше на порядки - кто AB движкам на борту мешает книгу носить? Собственно, никто.
А она уберёт их основную слабость - неоптимальные дебюты.

Вот не верю я, что AZ обыгрывает SF 10. Особенно с дебютной книгой.

[Vizvezdenec]

Да поставьте напротив sf8 sfdev с 384 потоками - тоже очень красивые партии будут.
И результат будет куда как более неприличным по счёту с любой дебютной книги, в общем-то, а не только со стартовой позиции.
В общем я спокоен - можно продолжать пытаться улучшать стокфиш, NN революция миру шахматных движков пока не грозит

[sovaz1997]

Цитата: Сообщение от Vizvezdenec

В общем я спокоен - можно продолжать пытаться улучшать стокфиш, NN революция миру шахматных движков пока не грозит

Грозит ли - это вопрос. Они ведь вообще не улучшали AZ. Google просто не занимается больше этим. Ну, провели "матчик" из 1000 партий. У Lc0 уже лучше успехи

А Stockfish можно спокойно улучшать, он так или иначе останется лучшим тактиком

[FlashNeo]

Цитата: Сообщение от Maratka

The updated AlphaZero crushed Stockfish 8 in a new 1,000-game match, scoring +155 -6 =839.

____
+52 ELO против SF двухгодичной давности. Как-то не впечатляет. ;)

Это такой "crush", что современный Сток выдает перфомансы лучше против Комодо и Гудини.
"Великий прорыв" против древней версии стока, с гигантским перевесом по железу.
Я на 100% уверен, что они тестили игру своего детища против последнего стока в нормальных условиях (TCEC или около того), и Сток их просто избил, ну как всегда делал с Лилой. Поэтому и показали результат против 8-го, выдавая его за великое достижение.

На деле же полная профанация.

[Vizvezdenec]

Для такого crushing 44-ядерного компа даже разница в версиях не понадобится, нужно всего лишь дать противнику 384 потока
http://tests.stockfishchess.org/test...bc5902b2e5fec5

[FlashNeo]

Цитата: Сообщение от Vizvezdenec

Для такого crushing 44-ядерного компа даже разница в версиях не понадобится, нужно всего лишь дать противнику 384 потока
http://tests.stockfishchess.org/test...bc5902b2e5fec5

Это можно кинуть как вкусную косточку для обсуждения на чесскоме

https://www.chess.com/news/view/upda...000-game-match

Там кстати 95% пользователей крайне скептичны к этому "достижению"

Я малость не понял отчета по вашей ссылке.
Ну +300 -36 = 664 - это понятно, и что выиграл 384-ядерник - тоже. Противник - 64 ядра.
А какая версия в противниках была?

[Vizvezdenec]

Версии были одинаковые.

[sovaz1997]

Похоже, матч был не против SF 8, а против практически завершенного SF 9.

"We also played a match that started from the set of opening positions used in the 2016 TCEC world championship, along with a series of additional matches against the most recent development version of Stockfish, and a variant of Stockfish that uses a strong opening book. In all matches, AlphaZero won. "

[Vizvezdenec]

Цитата: Сообщение от sovaz1997

Похоже, матч был не против SF 8, а против практически завершенного SF 9.

"We also played a match that started from the set of opening positions used in the 2016 TCEC world championship, along with a series of additional matches against the most recent development version of Stockfish, and a variant of Stockfish that uses a strong opening book. In all matches, AlphaZero won. "

Только цифры мы вам, конечно, не скажем (с).
Если a0 выиграла у почти sf9 с книгой на 2 эло? Ну это тоже технически "won".

[sovaz1997]

Цифры есть из PGN. SF Dev (по их словам) против AZ: + 17,= 75,- 8. (из pgn-файла). Намного менее убедительно, чем их матч из 1000 партий))

[Vizvezdenec]

Так нет, это sf9 не с книгой. Это из дебютов финала TCEC 9.

[sovaz1997]

Взял 2 партии из лучшей десятки без дебютной книги:

AZ-SF

[Event "Computer Match"]
[Site "London, UK"]
[Date "2018.01.18"]
[Round "5392718751057140516"]
[White "AlphaZero"]
[Black "Stockfish 8"]
[Result "1-0"]
[ECO "A17"]
[Opening "English"]
[Variation "Nimzo-English, 4.Qc2 O-O"]
[TimeControl "300"]
[Termination "normal"]
[PlyCount "111"]
[WhiteType "human"]
[BlackType "human"]

1. Nf3 e6 2. c4 Nf6 3. Nc3 Bb4 4. Qc2 O-O 5. a3 Bxc3 6. Qxc3 d6 7. b4 e5 8.
Bb2 Nbd7 9. e3 Re8 10. d3 Nf8 11. Be2 a5 12. O-O Bg4 13. h3 Bh5 14. Qc2 h6
15. Bc3 b6 16. b5 N6d7 17. Rad1 Nc5 18. Ba1 Bg6 19. Qb2 Na4 20. Qa2 Nc5 21.
d4 exd4 22. Nxd4 Be4 23. Bf3 Bxf3 24. gxf3 Nfe6 25. Kh2 Nxd4 26. Rxd4 Kh7
27. Qc2+ g6 28. Rf4 Qe7 29. Rg1 Rg8 30. h4 h5 31. Rg5 Kh6 32. e4 Ne6 33.
Rf6 Nxg5 34. hxg5+ Kh7 35. f4 Rae8 36. Qd3 Rg7 37. f3 Kg8 38. Qd4 Kf8 39.
Bc3 Rg8 40. a4 Rd8 41. Kh3 Rd7 42. f5 gxf5 43. Rxf5 Qe6 44. Kh4 Re7 45. Qd5
Rg6 46. Kxh5 Re8 47. Bf6 Qd7 48. Kg4 Rc8 49. Qc6 Qe8 50. Qxe8+ Kxe8 51. Rd5
Rxf6 52. gxf6 Kd7 53. Kf5 c6 54. bxc6+ Kxc6 55. f4 Rh8 56. e5 1-0

[sovaz1997]

А, вы про "strong opening book"? Действительно, результатов нет. Может, там что-то вроде 13-12))

[Vizvezdenec]

Да налили воды с привкусом пиара какой-то, хотя результаты сами по себе, прямо скажем, впечатляют слабо.

[Viktor]

В свое время я проводил тест с той версией, которую обыграла АльфаЗеро: с ней играла версия более новая, но неофициальная. Счет был примерно такой же. Результаты выкладывал:
http://forchess.ru/showpost.php?p=59049&postcount=25

[Vizvezdenec]

Да блин, ну когда вы заменяете все цифровые результаты столбиками разноцветными, при этом УБИРАЯ изначальные результаты (кроме одного), как вы вообще можете называться учёными? Это пиарщики, которые работают на широкую публику, т.к. зелёно-бело-красненький столбик широкой публике понятнее, чем +134-18=848.
Просто интересно, как эти пиар-опусы проходят проверки и публикуются в журналах, как "научные" статьи. Видимо, помогает громкое имя.
Т.е. там рассказывается "почти такой же результат против SF9" (какой? Так сложно привести цифры? Сколько игр было?), рассказывается про "уверенно выигранные" все остальные матчи (результаты их где? Или написать 3 цифры на матч очень сложно?), зато столбики разноцветные.
Но я зашёл на реддит /r/chess и пипл хавает. Результат достигнут.

[Rom77]

После беглого просмотра документов (а с моим английским предстоит ещё долгое чтение), меня радует что по крайней мере они не пытаются предоставить неверные данные. А то годичной давности препринт выдавал по части масштабирования Стокфиша такую странную картину, что я засомневался.

Но я давно уже подозреваю - и данные документы это только подтверждают - что Дип Майнд исповедует известный принцип: "Говорить правду, только правду, но не всю правду". Поэтому если в документе приведены конкретные цифры, то им можно верить. Наверное... Но ни в коем случае нельзя делать определенный вывод, если он всего лишь "напрашивается" после прочтения текста. Например, о том же количестве игр в графиках и о многом, многом другом. Тут Дип Майнд мастера напустить туману, закамуфлировать нужные данные.

И позвольте сделать ещё пару выводов исходя из многолетнего чтения их публикаций:
- Во-первых, они ребята умные. И те кто отвечает за техническую часть, и те кто отвечает за подачу информации.
- Во-вторых, они никогда ничего не делают просто так. Если наличие определенных данных в документе напрашивается, а их нигде нет, значит на то существуют веские причины.

[Maratka]

LZ в TCEC играет на удаленной от основного сервера машине, а значит технически нет вообще никаких проблем провести матч в рамках TCEC между SF и AZ. Все что нужно - желание Гугла. Даже не так, достаточно отсутствие сопротивления, и пара инженеров за несколько часов в неоплачиваемое время после работы настроят интерфейс доступа к серверу TCEC, просто из чистого своего любопытства.

[sovaz1997]

Нашел конкретное описание матчей: https://deepmind.com/documents/260/a...o_preprint.pdf



Только один матч был против SF Dev.

Также, похоже, что все выложенное - это против Stockfish 8. Ну вряд ли они будут специально менать имя движка с Stockfish 130118 на Stockfish 8))

Main, как я понимаю, основной матч из 1000 игр был против SF 8.
Соответственно, матч с усеченным контролем - тоже (что видно).
Матч в TCEC Openings, где не было показано выдающегося результата, был также против SF 8.
110 выложенных здесь игр из начальной позиции, скорее всего, против SF 8, как мне кажется.

[FlashNeo]

Цитата: Сообщение от Maratka

LZ в TCEC играет на удаленной от основного сервера машине, а значит технически нет вообще никаких проблем провести матч в рамках TCEC между SF и AZ. Все что нужно - желание Гугла. Даже не так, достаточно отсутствие сопротивления, и пара инженеров за несколько часов в неоплачиваемое время после работы настроят интерфейс доступа к серверу TCEC, просто из чистого своего любопытства.

Так тогда попросят китайского друга дать для TCEC 384 ядра, и результат для дипмайнда будет ну оооочень далеко от "crushing".

Поэтому и избегают любого контроля независимых наблюдателей.

[Maratka]

Цитата: Сообщение от FlashNeo

Так тогда попросят китайского друга дать для TCEC 384 ядра

IMHO, текущих 43-х вполне хватит: по сравнению со SF8, версия 10 набрала куда как более, чем 52 ELO.

Цитата: Сообщение от FlashNeo

Поэтому и избегают любого контроля независимых наблюдателей.

Отсутствие контроля есть отсутствие факта. А написать можно все что угодно. Я вон у Карпова выиграл. Не верите? Ваши проблемы!

[FlashNeo]

Цитата: Сообщение от Maratka

Отсутствие контроля есть отсутствие факта. А написать можно все что угодно. Я вон у Карпова выиграл. Не верите? Ваши проблемы!

Ну партии они частично предоставили. Т.е что-то А0 играла, хотя против кого именно - опять-таки вопрос. В статье написали, что использовали таблицы, но в комментах статьи чесс.ком уже отметили, что играли не по таблице. Мат в 95 вместо мата в 20.

Я не смотрел, но там проигранные А0 есть? Просто страшно интересно - там опять провалы в эндшпиле (как у Лейлы) или чисто тактические просчеты в диких позициях.