Супертест на тактику на быстром железе

[SergeyMZ]

Начал тестировать движок Corchess 5.0 040120

[Viktor]

Цитата: Сообщение от SergeyMZ

Начал тестировать движок Corchess 5.0 040120

А на утро все узнали,
Что Корчесс сильней Эман.
Ларчик долго открывали
Чтобы выявить обман.

[SergeyMZ]

Движок Corchess 5.0 040120 решил 12 позиций из 30:

Развернуть для просмотра

Solving: D:\Chess\Nightmare2\Nightmare 2 - (W.Eigenmann)\Nightmare 2 - (W.Eigenmann).cbh
Maximum time = 60s.

1. Nightmare II-01 - Koenigsangr, Nightmare 2 - (W.Eigenmann) Solved in 20.75s/30; Solved: 1
2. Nightmare II-02 - Springerumw, Nightmare 2 - (W.Eigenmann) > 60s.
3. Nightmare II-03 - Initiative, Nightmare 2 - (W.Eigenmann) > 60s.
4. Nightmare II-04 - Springeropf, Nightmare 2 - (W.Eigenmann) > 60s.
5. Nightmare II-05 - Endspiel T&, Nightmare 2 - (W.Eigenmann) Solved in 10.33s/31; Solved: 2
6. Nightmare II-06 - Endspiel D, Nightmare 2 - (W.Eigenmann) Solved in 40.52s/33; Solved: 3
7. Nightmare II-07 - Festung, Nightmare 2 - (W.Eigenmann) > 60s.
8. Nightmare II-08 - Offene Lini, Nightmare 2 - (W.Eigenmann) > 60s.
9. Nightmare II-09 - Patt, Nightmare 2 - (W.Eigenmann) > 60s.
10. Nightmare II-10 - Endspiel T&, Nightmare 2 - (W.Eigenmann) > 60s.
11. Nightmare II-11 - Koenigsangr, Nightmare 2 - (W.Eigenmann) > 60s.
12. Nightmare II-12 - Endspiel D&, Nightmare 2 - (W.Eigenmann) Solved in 25.24s/35; Solved: 4
13. Nightmare II-13 - Koenigsangr, Nightmare 2 - (W.Eigenmann) > 60s.
14. Nightmare II-14 - Damenopfer, Nightmare 2 - (W.Eigenmann) Solved in 43.38s/34; Solved: 5
15. Nightmare II-15 - Endspiel L, Nightmare 2 - (W.Eigenmann) > 60s.
16. Nightmare II-16 - Endspiel T&, Nightmare 2 - (W.Eigenmann) Solved in 3s/23; Solved: 6
17. Nightmare II-17 - Endspiel T&, Nightmare 2 - (W.Eigenmann) Solved in 17.08s/36; Solved: 7
18. Nightmare II-18 - Koenigsangr, Nightmare 2 - (W.Eigenmann) > 60s.
19. Nightmare II-19 - Springeropf, Nightmare 2 - (W.Eigenmann) Solved in 14.98s/36; Solved: 8
20. Nightmare II-20 - Starke Feld, Nightmare 2 - (W.Eigenmann) Solved in 5.06s/26; Solved: 9
21. Nightmare II-21 - Endspiel T, Nightmare 2 - (W.Eigenmann) > 60s.
22. Nightmare II-22 - Bauernopfer, Nightmare 2 - (W.Eigenmann) Solved in 39.33s/29; Solved: 10
23. Nightmare II-23 - Zugzwang, Nightmare 2 - (W.Eigenmann) > 60s.
24. Nightmare II-24 - Endspiel T&, Nightmare 2 - (W.Eigenmann) Solved in 12.02s/32; Solved: 11
25. Nightmare II-25 - Linienoeffn, Nightmare 2 - (W.Eigenmann) Solved in 23.78s/28; Solved: 12
26. Nightmare II-26 - Raeumung, Nightmare 2 - (W.Eigenmann) > 60s.
27. Nightmare II-27 - Initiative, Nightmare 2 - (W.Eigenmann) > 60s.
28. Nightmare II-28 - Endspiel D&, Nightmare 2 - (W.Eigenmann) > 60s.
29. Nightmare II-29 - Endspiel T&, Nightmare 2 - (W.Eigenmann) > 60s.
30. Nightmare II-30 - Koenigsangr, Nightmare 2 - (W.Eigenmann) > 60s.

Result: 12 out of 30 = 40.0%. Average time = 21.28s / 31.08

[свернуть]

[Asunta]

Интересно проверить.. Движки старенькие, но шустрые : )
Только для хода белых/чёрных отдельный .ехе-шник надо применять..

[ 2019.08.01 SF10 Tactic.zip ] --- https://ru.files.fm/u/mnub4mce

2019.08.01 SF10 wt ( bmi2 ).exe --- задачи, где ход белых
2019.08.01 SF10 bt ( bmi2 ).exe --- задачи, где ход чёрных

2019.08.01 SF10 wt ( popcnt ).exe --- задачи, где ход белых
2019.08.01 SF10 bt ( popcnt ).exe --- задачи, где ход чёрных

[Corrs]

надо на 2 кошмара разбивать тест ))

[Rom77]

У меня когда-то Сахар хорошо зашел на этот тест. Но только со специальными тактическими настройками. Можно снова попробовать. Настройки и результаты см. здесь:

https://forchess.ru/showpost.php?p=39571&postcount=254
https://forchess.ru/showpost.php?p=39584&postcount=257

[Corrs]

и я там есть в цитатах под девичьей фамилией

[Asunta]

Может пригодится для сравнения движков..
25 отборных позиций, где обычный Сток решает всего 0-1-2 штуки..

TheBest.pgn --- https://ru.files.fm/u/uv73csbw

[Asunta]

Цитата: Сообщение от Corrs

надо на 2 кошмара разбивать тест ))

Если тест автоматический, можно прогнать 2 раза:
"белым" движком
"чёрным" движком

А потом из двух результатов сделать один правильный, с учётом цвета...

[Asunta]

TheBest.pgn, где 2 последние позиции перевёрнуты, т.е. везде ход белых..

TheBest (w).pgn --- https://ru.files.fm/u/urkagxsp

[Asunta]

Цитата: Сообщение от Asunta

Интересно проверить.. Движки старенькие, но шустрые : )
Только для хода белых/чёрных отдельный .ехе-шник надо применять..

[ 2019.08.01 SF10 Tactic.zip ] --- https://ru.files.fm/u/mnub4mce

2019.08.01 SF10 wt ( bmi2 ).exe --- задачи, где ход белых
2019.08.01 SF10 bt ( bmi2 ).exe --- задачи, где ход чёрных

2019.08.01 SF10 wt ( popcnt ).exe --- задачи, где ход белых
2019.08.01 SF10 bt ( popcnt ).exe --- задачи, где ход чёрных

Промахнулся : )
Не те движки запаковал.. Правильные эти:

[ 2019.08.01 SF10 Tactic.zip ] --- https://ru.files.fm/u/kmvzvs2r

2019.08.01 SF10 Tw ( bmi2 ).exe --- задачи, где ход белых
2019.08.01 SF10 Tb ( bmi2 ).exe --- задачи, где ход чёрных

2019.08.01 SF10 Tw ( popcnt ).exe --- задачи, где ход белых
2019.08.01 SF10 Tb ( popcnt ).exe --- задачи, где ход чёрных

[Corrs]

Оставлю памятку о позициях, решаемых чёрными в Ночном кошмаре - 2

7
11
13
20
21
26

[Asunta]

Salai ( 2011 )

4K1k1/8/1p5p/1Pp3b1/8/1P3P2/P1B2P2/8 w - - 0 1

В этой известной позиции выигрывает 1. f4! ( авторское решение )


Оказывается, что 1. Bd1! Bd2 2. f4! Bxf4 3. Kd7 Bd2 4. Kc6 Ba5 5. b4! cxb4 6. Bb3+
ничем не хуже и выглядит вполне эстетически:

6k1/8/1pK4p/bP6/1p6/1B6/P4P2/8 b - - 1 6

[SergeyMZ]

Так что, все-таки тестим дальше?

[Viktor]

Цитата: Сообщение от SergeyMZ

Так что, все-таки тестим дальше?

А Лилу?
Еще надо посмотреть Сахар и последний Сток.

[SergeyMZ]

Цитата: Сообщение от Viktor

А Лилу?
Еще надо посмотреть Сахар и последний Сток.

Хорошо, протестирую Лилку вначале. Какая там нейросетка сейчас наиболее актуальна?

[svoitsl]

Цитата: Сообщение от SergeyMZ

Какая там нейросетка сейчас наиболее актуальна?

так вроде все таже

[SergeyMZ]

Запустил тест с Лилой 23.2, 60 сек на позицию. Нейросетка T40B.4-260

[SergeyMZ]

Лила 0.23.2 решила 10 из 30 позиций:

Развернуть для просмотра

Solving: D:\Chess\Nightmare2\Nightmare 2 - (W.Eigenmann)\Nightmare 2 - (W.Eigenmann).cbh
Maximum time = 60s.

1. Nightmare II-01 - Koenigsangr, Nightmare 2 - (W.Eigenmann) Solved in 1.86s/1; Solved: 1
2. Nightmare II-02 - Springerumw, Nightmare 2 - (W.Eigenmann) > 60s.
3. Nightmare II-03 - Initiative, Nightmare 2 - (W.Eigenmann) > 60s.
4. Nightmare II-04 - Springeropf, Nightmare 2 - (W.Eigenmann) > 60s.
5. Nightmare II-05 - Endspiel T&, Nightmare 2 - (W.Eigenmann) Solved in 3.91s/11; Solved: 2
6. Nightmare II-06 - Endspiel D, Nightmare 2 - (W.Eigenmann) Solved in 0.42s/7; Solved: 3
7. Nightmare II-07 - Festung, Nightmare 2 - (W.Eigenmann) Solved in 51.94s/18; Solved: 4
8. Nightmare II-08 - Offene Lini, Nightmare 2 - (W.Eigenmann) > 60s.
9. Nightmare II-09 - Patt, Nightmare 2 - (W.Eigenmann) > 60s.
10. Nightmare II-10 - Endspiel T&, Nightmare 2 - (W.Eigenmann) > 60s.
11. Nightmare II-11 - Koenigsangr, Nightmare 2 - (W.Eigenmann) > 60s.
12. Nightmare II-12 - Endspiel D&, Nightmare 2 - (W.Eigenmann) > 60s.
13. Nightmare II-13 - Koenigsangr, Nightmare 2 - (W.Eigenmann) > 60s.
14. Nightmare II-14 - Damenopfer, Nightmare 2 - (W.Eigenmann) > 60s.
15. Nightmare II-15 - Endspiel L, Nightmare 2 - (W.Eigenmann) > 60s.
16. Nightmare II-16 - Endspiel T&, Nightmare 2 - (W.Eigenmann) > 60s.
17. Nightmare II-17 - Endspiel T&, Nightmare 2 - (W.Eigenmann) Solved in 0.61s/10; Solved: 5
18. Nightmare II-18 - Koenigsangr, Nightmare 2 - (W.Eigenmann) > 60s.
19. Nightmare II-19 - Springeropf, Nightmare 2 - (W.Eigenmann) > 60s.
20. Nightmare II-20 - Starke Feld, Nightmare 2 - (W.Eigenmann) Solved in 0.52s/8; Solved: 6
21. Nightmare II-21 - Endspiel T, Nightmare 2 - (W.Eigenmann) > 60s.
22. Nightmare II-22 - Bauernopfer, Nightmare 2 - (W.Eigenmann) > 60s.
23. Nightmare II-23 - Zugzwang, Nightmare 2 - (W.Eigenmann) > 60s.
24. Nightmare II-24 - Endspiel T&, Nightmare 2 - (W.Eigenmann) > 60s.
25. Nightmare II-25 - Linienoeffn, Nightmare 2 - (W.Eigenmann) Solved in 0.38s/8; Solved: 7
26. Nightmare II-26 - Raeumung, Nightmare 2 - (W.Eigenmann) Solved in 0.56s/9; Solved: 8
27. Nightmare II-27 - Initiative, Nightmare 2 - (W.Eigenmann) Solved in 0.44s/9; Solved: 9
28. Nightmare II-28 - Endspiel D&, Nightmare 2 - (W.Eigenmann) > 60s.
29. Nightmare II-29 - Endspiel T&, Nightmare 2 - (W.Eigenmann) > 60s.
30. Nightmare II-30 - Koenigsangr, Nightmare 2 - (W.Eigenmann) Solved in 0.58s/10; Solved: 10

Result: 10 out of 30 = 33.3%. Average time = 6.12s / 9.10

[свернуть]

[svoitsl]

Цитата: Сообщение от SergeyMZ

Лила 0.23.2 решила 10 из 30 позиций:

Учитывая, что в тактике она слаба, результат совсем даже не провальный

[ChessMan]

Цитата: Сообщение от svoitsl

Учитывая, что в тактике она слаба, результат совсем даже не провальный

А если глянуть на результаты других движков, то результат даже очень хорош для неё.

Положение 5 лидеров в 1 тесте (60 сек):

1-2. Corchess 5.0 040120 = 12.
1-2. Sting 18 = 12.
3. Leela 0.23.2 = 10.
4. Eman 4.70 = 9.
5-6. Brainfish 151219 = 7.
5-6. Raubfisch X41d2b_sl = 7.

[Viktor]

Цитата: Сообщение от ChessMan

А если глянуть на результаты других движков, то результат даже очень хорош для неё.

Даже лучше Емана! Еман её мать...

[Maratka]

А где взять эту базу позиций, чтобы поглядеть на нее?

[svoitsl]

Цитата: Сообщение от Maratka

А где взять эту базу позиций

а разве на последней странице этой темы не она часом?

[svoitsl]

А 11-й Стокфиш уже где то тестировали?

[SergeyMZ]

Цитата: Сообщение от svoitsl

А 11-й Стокфиш уже где то тестировали?

Я тестировал его на одной закрытой позиции и он меня разочаровал. Предложил на 1-ую линию на большой глубине абсолютно бессмысленный ход.

[Александр Руденко]

эти все тесты это все ерунда....т.к. ваша прога ищет победу в один ход с вложной позиции , а толку от этого? лучше бы она искала ничью в проигранной позиции с оценкой +0.70 - +0.90 ..и в таких партиях искала так чтоб была ничья и дальше ее ходы после 4-х-5-ти ходов выдавала 0.00 или 0.40...а эти тесты это баловство в один ход

[ChessMan]

Цитата: Сообщение от Александр Руденко

эти все тесты это все ерунда....т.к. ваша прога ищет победу в один ход с вложной позиции , а толку от этого? лучше бы она искала ничью в проигранной позиции с оценкой +0.70 - +0.90 ..и в таких партиях искала так чтоб была ничья и дальше ее ходы после 4-х-5-ти ходов выдавала 0.00 или 0.40...а эти тесты это баловство в один ход

Приведите такие позиции (FEN или PGN) и, возможно, кто-то захочет тестировать в них движки и делиться результатами в соответствующей теме.

[Maratka]

Цитата: Сообщение от svoitsl

А 11-й Стокфиш уже где то тестировали?

А есть смысл? Он чем-то радикально лучше сборок от конца декабря, или радикально хуже сборок последних дней?
Обычная версия, просто переименовали ее...

[svoitsl]

Цитата: Сообщение от Maratka

А есть смысл?

конечно, ведь другие не разочаровали SergeyMZ и были успешно протестированы, а тут так нехорошо получилось.... полная дискредитация движка