Тесты на тактику

[Evgeny]

Цитата: Сообщение от Asunta

Набор из 10 "сложных" позиций: TheBest ( 10 ).pgn ( https://ru.files.fm/u/wsx7egcc )
позволяет быстро проверить тактическое зрение любого движка.

После этого результата другие движки не стал проверять, навряд ли кто может конкурировать: CiChess 6.0 170720 x64 POPCNT N_T
1 ядро, опции EXT_ICCF Analyzes 3, EXT_Tactical вкл., EXT_TacticalNew 1.

Решаю: C:\Users\1\Documents\ChessBase\Testsets\TheBest_10 .cbh
Максимальное время = 60s.

1. , Polugaevsky - Torre ( London, 1984 ) Решено в 3.41s/20; Решено: 1
2. , [ Rybka ] Houdini 1.5 - Rybka 4 Решено в 0.19s/13; Решено: 2
3. , [ Rybka ] Решено в 0.91s/16; Решено: 3
4. , [ Rybka ] Решено в 0.05s/10; Решено: 4
5. , [ Etude ] Fritz ( 1965 ) Решено в 35.95s/25; Решено: 5
6. , [ Night Mare ] Решено в 6.56s/21; Решено: 6
7. , [ Night Mare ] Решено в 6.59s/22; Решено: 7
8. , [ Night Mare ] Решено в 1.95s/19; Решено: 8
9. , [ Night Mare ] Решено в 15.77s/27; Решено: 9
10. , [ Night Mare ] Решено в 3.52s/21; Решено: 10

Результат: 10 из 10 = 100.0%. Среднее время = 7.49s / 19.40

[Evgeny]

В папке C:\Users\1\Documents\ChessBase\Testsets обнаружил тест Tactics Marathon от Fritz. Что можно сказать про этот тест в сравнении с DieRybka4TestSuite-200_combined? Легче-сложнее, новее-старее, лучше-хуже? Какие настройки время-хэш будут оптимальны? Время 5с., 10 с. или 60 с.? Хэш 512MB или 1024MB?

[Переяслав]

Цитата: Сообщение от Evgeny

Tactics Marathon от Fritz

очень простой и старый тест

[Переяслав]

-=DieRybka4TestSuite=- 200 поз

Cfish 190820 Classic: 148 of 200 ; 68:12m
Cfish 190820 Pure: 133 of 200 ; 82:21m
Cfish 190820 Hybrid: 133 of 200 ; 84:49m
Lc0 v0.26.1 256x20: 107 of 200 ; 59:05m

[Переяслав]

-=DieRybka4TestSuite=- 200 поз на 1 ядре 60сек/ход

Cfish 190820 Classic: 148 of 200 ; 68:12m
CorChess NNUE 1.2 230820 140 of 200 ; 74:42m
Cfish 190820 Pure: 133 of 200 ; 82:21m
Cfish 190820 Hybrid: 133 of 200 ; 84:49m
Lc0 v0.26.1 256x20: 107 of 200 ; 59:05m

[Переяслав]

-=DieRybka4TestSuite=- 200 поз на 1 ядре 60сек/ход

CiChess 6.0 170720 x64 POPCNT N Tactic *: 179 of 200 ; 32:04m
Cfish 190820 Classic: 148 of 200 ; 68:12m
CorChess NNUE 1.2 230820 140 of 200 ; 74:42m
Cfish 190820 Pure: 133 of 200 ; 82:21m
Cfish 190820 Hybrid: 133 of 200 ; 84:49m
Lc0 v0.26.1 256x20: 107 of 200 ; 59:05m

*
[OPTIONS]
EXT_ICCF Analyzes=3
EXT_Tactical=true
EXT_TacticalNew=1

[Переяслав]

-=DieRybka4TestSuite=- 200 поз на 1 ядре 60сек/ход

CiChess 6.0 170720 x64 POPCNT N Tactic *: 179 of 200 ; 32:04m
Raubfisch X43a2_nn_sl ICC**: 163 of 200 ; 49:55m
Cfish 190820 Classic: 148 of 200 ; 68:12m
CorChess NNUE 1.2 230820 140 of 200 ; 74:42m
Cfish 190820 Pure: 133 of 200 ; 82:21m
Cfish 190820 Hybrid: 133 of 200 ; 84:49m
Lc0 v0.26.1 256x20: 107 of 200 ; 59:05m
----------------------------
*
[OPTIONS]
EXT_ICCF Analyzes=3
EXT_Tactical=true
EXT_TacticalNew=1
----------------------------
**
[OPTIONS]
Optimism=0
Analysis ICC=3
Null Move Heuristic=false
Use NNUE=true

[Evgeny]

3 теста в формате epd для тестирования движков в программе Shredder. Скачать: https://www85.zippyshare.com/v/eJLImIjL/file.html
Я нашел эти тесты в папке с движком Vitruvius 1.11_HEM.

[Переяслав]

CiChess 6.0 170720 x64 POPCNT N Tactic: 237 of 250 ; 5:40m

тактический прогнал по 10сек/ход, простенький тест, наш монстр его прощелкал как орешки за 5 минут

[Evgeny]

Walter Eigenmann - Database of 100 brilliant moves. Тест 2012 г. в формате epd для тестирования движков в программе Shredder. Скачать: https://www74.zippyshare.com/v/SM4lXGRU/file.html
CiChess_x64_250820_ClassicTactic по 10сек/ход решил 69 из 100 за 7мин14сек.

[Evgeny]

3 теста по стратегии в формате epd для тестирования движков в программе Shredder. Скачать: https://www6.zippyshare.com/v/nu6TtQwp/file.html
Я нашел эти тесты в папке с движком ChessBrainVB_V3_61.
Самый большой тест STS_1-15 движок CiChess_x64_250820_ClassicTactic по 5сек/ход решил 1185 из 1500 за 50мин03сек.

[Переяслав]

-=DieRybka4TestSuite=- 200 поз на 1 ядре 60сек/ход

CF EXT 270820 x64 POP N Tactic***: 183 of 200 ; 28:09m
CiChess 6.0 170720 x64 POPCNT N Tactic *: 179 of 200 ; 32:04m
Raubfisch X43a2_nn_sl ICC**: 163 of 200 ; 49:55m
Cfish 190820 Classic: 148 of 200 ; 68:12m
CorChess NNUE 1.2 230820 140 of 200 ; 74:42m
Cfish 190820 Pure: 133 of 200 ; 82:21m
Cfish 190820 Hybrid: 133 of 200 ; 84:49m
Lc0 v0.26.1 256x20: 107 of 200 ; 59:05m
----------------------------
* / ***
[OPTIONS]
EXT_ICCF Analyzes=3 ;(то же что multiPV=8)
EXT_Tactical=true
EXT_TacticalNew=1
----------------------------
**
[OPTIONS]
Optimism=0
Analysis ICC=3
Null Move Heuristic=false
Use NNUE=true
----------------------------

[Evgeny]

У меня лидером стал CiChess_x64_270820_HybridTactic с отличным результатом 192 из 200 за 18:08m!

[Evgeny]

Уточнение: в посте выше я ошибочно выставил в настройках Shredder Classic 5 при решении тестов параметр - Доп. полуходов 0. В Fritz по умолчанию 1 стоит. В справке к Fritz тоже 1 написано. С верным параметром (Доп. полуходов 1) результат скромнее: 180 из 200 за 32:07m.

[polo]

у кого и на каком движке получиться осилить все тесты
Nightmare-2-Walter-Eigenmann-Glarean-Magazin

stockfish_300820, такие результаты:

Развернуть для просмотра

Solving: E:\Testsets\Nightmare-2\Nightmare-2-Walter-Eigenmann-Glarean-Magazin.cbh
Maximum time = 1200s.

1. Nightmare II-01 - Koenigsangriff, SionCastro-Rivera, Cordoba 1991 Solved in 272.86s/43; Solved: 1
2. Nightmare II-02 - Springerumwandlung, Randviir 1974 Solved in 484.03s/88; Solved: 2
3. Nightmare II-03 - Initiative, Daubenfeld-FernandezV, CorrGame 2011 > 1200s.
4. Nightmare II-04 - Springeropfer, Timmerman-Viaud (Var), CorrGame 1991 Solved in 6.84s/24; Solved: 3
5. Nightmare II-05 - Endspiel T&T&L vs T&L&L&B, Vinichenko 2006 Solved in 2.44s/15; Solved: 4
6. Nightmare II-06 - Endspiel D vs D, Smith-Gach, CorrGame 1999 Solved in 6.53s/24; Solved: 5
7. Nightmare II-07 - Festung, N.N. Solved in 42.06s/34; Solved: 6
8. Nightmare II-08 - Offene Linie, Korovin-Deev, CorrGame 2008 Solved in 4.88s/24; Solved: 7
9. Nightmare II-09 - Patt, Kekely 2008 Solved in 566.63s/33; Solved: 8
10. Nightmare II-10 - Endspiel T&S&B vs T&T&L, Simkhovich 1923 > 1200s.
11. Nightmare II-11 - Koenigsangriff, Summerscale-Jones, GB-Ch 2009 Solved in 457.13s/55; Solved: 9
12. Nightmare II-12 - Endspiel D&T vs D&T, Amann 2010 Solved in 688.34s/56; Solved: 10
13. Nightmare II-13 - Koenigsangriff, Sirobaba-Chaika, CorrGame 2011 > 1200s.
14. Nightmare II-14 - Damenopfer, Nijboer-Winants, WijkAanZee 1988 Solved in 24.67s/38; Solved: 11
15. Nightmare II-15 - Endspiel L vs L, Salai 2011 > 1200s.
16. Nightmare II-16 - Endspiel T&L&S vs T&B, Didukh 2007 Solved in 13.20s/22; Solved: 12
17. Nightmare II-17 - Endspiel T&S vs T&S, Grandelius-Raznikov, Albena 2011 > 1200s.
18. Nightmare II-18 - Koenigsangriff, Hennings-Moehring, Colditz 1967 > 1200s.
19. Nightmare II-19 - Springeropfer, Timman 2012 Solved in 499.27s/52; Solved: 13
20. Nightmare II-20 - Starke Felder, N.N.-N.N. Solved in 10.97s/32; Solved: 14
21. Nightmare II-21 - Endspiel T vs T, Brzozka-Bronstein, Miskolc 1963 Solved in 1.36s/20; Solved: 15
22. Nightmare II-22 - Bauernopfer, Svidler-Karpov, Donostia 2009 > 1200s.
23. Nightmare II-23 - Zugzwang, Garcia 2000 > 1200s.
24. Nightmare II-24 - Endspiel T&L&S vs D&L&S, Aberman 2012 Solved in 106.38s/38; Solved: 16
25. Nightmare II-25 - Linienoeffnen, Arechenko-Glek, Dt. Bundesliga 2011 Solved in 9.09s/23; Solved: 17
26. Nightmare II-26 - Raeumung, N.N.-N.N. > 1200s.
27. Nightmare II-27 - Initiative, Polugaevsky-Torre, Moscow 1981 Solved in 6.22s/28; Solved: 18
28. Nightmare II-28 - Endspiel D&S vs T&B, Krikheli 1972 Solved in 592.80s/59; Solved: 19
29. Nightmare II-29 - Endspiel T&S&S vs T&S, Sochnev 2010 Solved in 5.77s/19; Solved: 20
30. Nightmare II-30 - Koenigsangriff, Gaprindashvili-Grigoryev, CorrGame 1999 Solved in 1.53s/20; Solved: 21

Result: 21 out of 30 = 70.0%. Average time = 181.09s / 35.57

[свернуть]

[sergey1963]

гораздо интереснее, что тут нерешаемо, вот 3 первые позиции-

r4rk1/1bq1bppp/p1npp3/2nB1NP1/1p2P3/2N1B3/PPP1QP1P/2KR2R1 w - - 0 16

info depth 32 seldepth 49 multipv 1 score cp 203 nodes 257723844 nps 5562905 hashfull 740 tbhits 273 time 46329 pv e2h5

5nr1/2Pp2pk/3Pp1p1/4P1P1/6P1/5K2/8/7n w - - 0 1

info depth 47 seldepth 55 multipv 1 score cp 1787 nodes 116209495 nps 8947451 hashfull 198 tbhits 379267 time 12988 pv c7c8n

1rb2r1k/3p1pp1/p3p2p/1p2P3/4q3/1N2B1R1/PPP1N1P1/2KR1B2 w - - 0 23

info depth 37 seldepth 60 multipv 1 score cp 175 upperbound nodes 553463177 nps 5323808 hashfull 982 tbhits 637 time 103960 pv b3c5 e4f5

причем в последней позиции можно сыграть и Nc5...

[Переяслав]

-=DieRybka4TestSuite=- 200 поз на 1 ядре 60сек/ход

CF EXT 270820 x64 POP N Tactic***: 183 of 200 ; 28:09m
CiChess 6.0 170720 x64 POPCNT N Tactic *: 179 of 200 ; 32:04m
Raubfisch X43a2_nn_sl ICC**: 163 of 200 ; 49:55m
Cfish 190820 Classic: 148 of 200 ; 68:12m
CorChess NNUE 1.2 230820 140 of 200 ; 74:42m
Stockfish 12: 138 of 200 ; 78:59m
Cfish 190820 Pure: 133 of 200 ; 82:21m
Cfish 190820 Hybrid: 133 of 200 ; 84:49m
Lc0 v0.26.1 256x20: 107 of 200 ; 59:05m
----------------------------
* / ***
[OPTIONS]
EXT_ICCF Analyzes=3 ;(то же что multiPV=8)
EXT_Tactical=true
EXT_TacticalNew=1
----------------------------
**
[OPTIONS]
Optimism=0
Analysis ICC=3
Null Move Heuristic=false
Use NNUE=true
----------------------------[/QUOTE]

[Переяслав]

-=DieRybka4TestSuite=- 200 поз на 1 ядре 60сек/ход

CF EXT 270820 x64 POP N Tactic***: 183 of 200 ; 28:09m
CiChess 6.0 170720 x64 POPCNT N Tactic *: 179 of 200 ; 32:04m
Raubfisch X43a2_nn_sl ICC**: 163 of 200 ; 49:55m
Cfish 190820 Classic: 148 of 200 ; 68:12m
CorChess NNUE 1.2 230820 140 of 200 ; 74:42m
Stockfish 12: 138 of 200 ; 78:59m
ShashChess 13.2: 137 of 200 ; 79:45m
Cfish 190820 Pure: 133 of 200 ; 82:21m
Cfish 190820 Hybrid: 133 of 200 ; 84:49m
Lc0 v0.26.1 256x20: 107 of 200 ; 59:05m
----------------------------
* / ***
[OPTIONS]
EXT_ICCF Analyzes=3 ;(то же что multiPV=8)
EXT_Tactical=true
EXT_TacticalNew=1
----------------------------
**
[OPTIONS]
Optimism=0
Analysis ICC=3
Null Move Heuristic=false
Use NNUE=true
----------------------------[/QUOTE][/QUOTE]

[ChessMan]

Цитата: Сообщение от Переяслав

-=DieRybka4TestSuite=- 200 поз на 1 ядре 60сек/ход

CF EXT 270820 x64 POP N Tactic***: 183 of 200 ; 28:09m
CiChess 6.0 170720 x64 POPCNT N Tactic *: 179 of 200 ; 32:04m
Raubfisch X43a2_nn_sl ICC**: 163 of 200 ; 49:55m
Cfish 190820 Classic: 148 of 200 ; 68:12m
CorChess NNUE 1.2 230820 140 of 200 ; 74:42m
Stockfish 12: 138 of 200 ; 78:59m
ShashChess 13.2: 137 of 200 ; 79:45m
Cfish 190820 Pure: 133 of 200 ; 82:21m
Cfish 190820 Hybrid: 133 of 200 ; 84:49m
Lc0 v0.26.1 256x20: 107 of 200 ; 59:05m
----------------------------
* / ***
[OPTIONS]
EXT_ICCF Analyzes=3 ;(то же что multiPV=8)
EXT_Tactical=true
EXT_TacticalNew=1
----------------------------
**
[OPTIONS]
Optimism=0
Analysis ICC=3
Null Move Heuristic=false
Use NNUE=true
----------------------------

[/QUOTE][/QUOTE]

Я ещё Cichess сделал 270820.
Можете и его протестировать с настройками как у CF_EXT?

[Evgeny]

Хороший и актуальный тест Arasan в формате epd для тестирования движков в программе Shredder: https://www.arasanchess.org/arasan21-beta.epd

[Переяслав]

Цитата: Сообщение от ChessMan

Я ещё Cichess сделал 270820.
Можете и его протестировать с настройками как у CF_EXT?

Да через часик будет готово.

Вообще хочу мегасборку сделать тестовую на тактику из 1000 позиций, собрать все доступные тесты - благо их полно, убрать оттуда avoid moves (не люблю такие) и всякие композиции искусственные + поздний эндшпиль избегать по максимуму. Жаль времени никогда на это нет :(

А еще прикольнее собрать позиции чисто с жертвами, например типичные слона на h7!
Тоже где б на это силы взять и время...

[Переяслав]

Кстати в чубайсе 14/15 есть прикольный фильтр - можно отсортировать партии, где была применена жертва фигуры (даже указать конкретно какая и на какое поле и за что, напр. слон за пешку на h7).

Для пробы по партиям ИКЧФ пробежался несколько тысяч. В принципе в 80% случаев четко выводит на позицию, где кто-то применил жертву, иногда правда на начальную кидает и там искать долго и бессмысленно с точки зрения времязатрат.

Так вот прошерстил около 100 партий, но все жертвы в основном или очевидные, когда уже добивание шло или наоборот к 1/2 приводящие.

Ничо интересного так и не нашел :(

[Переяслав]

-=DieRybka4TestSuite=- 200 поз на 1 ядре 60сек/ход

CiChess 270820 x64 POP N Tactic***: 184 of 200 ; 27:21m
CF EXT 270820 x64 POP N Tactic***: 183 of 200 ; 28:09m
CiChess 6.0 170720 x64 POPCNT N Tactic *: 179 of 200 ; 32:04m
Raubfisch X43a2_nn_sl ICC**: 163 of 200 ; 49:55m
Cfish 190820 Classic: 148 of 200 ; 68:12m
CorChess NNUE 1.2 230820 140 of 200 ; 74:42m
Stockfish 12: 138 of 200 ; 78:59m
ShashChess 13.2: 137 of 200 ; 79:45m
Cfish 190820 Pure: 133 of 200 ; 82:21m
Cfish 190820 Hybrid: 133 of 200 ; 84:49m
Lc0 v0.26.1 256x20: 107 of 200 ; 59:05m
----------------------------
* / ***
[OPTIONS]
EXT_ICCF Analyzes=3 ;(то же что multiPV=8)
EXT_Tactical=true
EXT_TacticalNew=1
----------------------------
**
[OPTIONS]
Optimism=0
Analysis ICC=3
Null Move Heuristic=false
Use NNUE=true
----------------------------

[Asunta]

Ещё одна задачка для движков.. Не даром : )

1938 Smyslov

1r3k2/5p2/p1P1b1p1/2p5/2p1PP2/8/P7/2KR1B2 w - - 0 1

1. f5! gxf5 2. Bh3! Re8! 3. exf5 Bc8 4. f6!! Bxh3 5. c7 { >> 1:0 }

[svoitsl]

Цитата: Сообщение от Asunta

Ещё одна задачка для движков..

Интересная задачка..... пришлось подумать (подсчитать)

Развернуть для просмотра

53/64- 02:51 306478k 1791k -4,53 c4-c3 Rd1-d8
53/64- 05:33 654858k 1963k -14,52 c4-c3 Rd1-d8

[свернуть]

[Переяслав]

Вспомним знаменитую жертву ферзя от Лилы из 65-ой партии ТСЕС 18

2rqr1k1/pp1bbp1p/4p1pB/4P3/1nQpN3/P4N2/5PP1/3RR1K1 w - - 0 21

Вот как тут работают Hybrid и Pure



Гибрид за 3 минуты не нашел, а Пюре сразу мгновенно увидел и не отпустил! И это в 1 линию на 1 ядре!

UPD



5 минут тоже самое токо еще хуже гибриду

[Переяслав]

Сток 12-ый по своей сути гибридный тут тоже не ловит

[Переяслав]

ShashChess 13.2 по своей сути очевидно тоже Pure
Видит сходу, хотя никакого переключателя не предусмотрено

[ChessMan]

Цитата: Сообщение от Переяслав

ShashChess 13.2 по своей сути очевидно тоже Pure
Видит сходу, хотя никакого переключателя не предусмотрено

Да, он использует только или NNUE Pure или Classical


https://github.com/amchess/ShashChes...bc7410433fR990
Value v = (Eval::useNNUE) ? NNUE::evaluate(pos) * 5 / 4 + Tempo:Evaluation<NO_TRACE>(pos).value();//only pure-classical

==========
кстати, тогда понятно почему у него скорость такая маленькая

[Переяслав]

Eman 6.10 молодец