Retester does not have filtering options for cross checks

there should be no filtering in Retester. Retester will test all the strategies in databank, it will not dismiss any of them. So filtering doesn't make sense in Retester.

Mark - How do we get MC / RT reporting in the retester databank?  Example: RET/DD after MC testing becomes reduced to a given confidence level.

Where do we see its reporting in the column view?

Also, where do we choose this confidence level?  

Question: when results are listed in the retester databank after a retest, what exactly is showing up? We could have run up to 6  "crosschecks".  What are we seeing in the databank?  Results of which tests?

Hi but what is the idea behind this??? It simply bad choice. Why do we have then retester ? Where are montecarlo results etc? Dont do that. 

Retester  We are using for additional testing. Montecarlo test etc. Then I filter results by my criteria. So filtering like in builder is necessary and good step.

I agree with Mark. If you want filter your strategies in retester, you should use custom project, which is for automate workflow and filtering. But inCustom projects in task "Retest strategies" are missing filtering options for cross checks (like in builder). Or add filtering options to task "Filter strategies" at least f. e. "Cross checks's R/DD > 0.5*R/DD(In sample)". Not everyone wants filter strategies directly in Builder, because it slowing generating.  Thanks.

Then what is the purpose of retester? ?? Or it is good idea to sent to WFA optimization 200 strategies in builder phase??

Cullo I Agree yes it is good to have custom projects, but i don't know why is this not possible in retester directly.

" Not everyone wants filter strategies directly in Builder, because it slowing generating.  " and this is the point!

I'm not against any good idea, we can discuss this further

clonex

I don't think it is a good idea to use Retester for filtering. How would you want it to work? 
Should it retest all strategies in the databank and delete the ones that don't pass the filter?

> Then what is the purpose of retester? ?? Or it is good idea to sent to WFA optimization 200 strategies in builder phase??

this exactly is the purpose of cross checks in Builder. Cross checks allow you to filter out strategies according to different robustness tests, and only the remaining ones are sent to the next cross check.

jmtc1230

showing cross checks (MC etc.) results in databank - it works for additional markets and portfolio, but not for other cross checks. We will add it there.

By default it shows portfolio stats if portfolio exists, otherwise the stats of main test

filtering in custom projects - custom projects as a whole are not yet completely finished, I know there are some things missing.

No napisem slovensky bo mam pocit ze sa lepsie vykokcem. Co povazujem hlavny problem  pristupu ; OK nejsom proti njakym zakladnym testom v buildery ani proti automtickemu filtrovaniu.  Kazdopadne je to o neslobode v rozhodovani. Niekto moze mat inu predstavu o trebars additional teste ( basic crosschecks ) . Moze chciet iny datum iny spred iny TF ( to uz ide )   dajme tomu. Atd. A uz vobec kto si preboha posle tebars 500  strategies v builder fazy do WFA optimalizacie? :D  Sialene. Naco si budem robit trebars MC 20  testov pri buildingu? To je predsa prilis maly pocet . Ok nastavim si 1000 kolko potom budem generovat strategii ked sa mi bude kazda  MCčkovať 10 minut? 

 

Prave ak by ste implementovali crossčeky do retesteru ( ale naozaj konfigurovatelne ) s automatickym builderom  s automatickym filtrom tak by to bolo super. Potom by uz stacilo  v custom project nastavit  kazdy krat retester s danymi testami a pustit.  Sorry, ale budem sa za to biť a argumentovať pokym budem vladat.  Ja osobne crossčeky v builder fazy budem vyuzivať minimalne. Chcem mat databanku chcem vidiet či vobec a čo sa podarilo najst a nasledne spustim moj workflow na vyber strategii. Iste moze to smrdet tradicionalizmom a "lpením na sq3" ale nie je to o tom. Fkat zatazovat samotny building strategii tazkymi testami na strategie, ktore nevidim nie je good idea. Alebo teda aspon prosim hlavne spravte tuto moznost do retestera. 

Vdaka ,

Ivan

Mark:

"Should it retest all strategies in the databank and delete the ones that don't pass the filter?" Yes. But there is a conflict between planned custom tasks and this feature.  But I don't know how custom projects will work because the functionality isn't ready. 

So it is possible that my idea will collide with filter feature in retester . But still, I think that t is a good idea to have it in retester in a way you've asked: " Should it retest all strategies in the databank and delete the ones that don't pass the filter?" 

Retester does what it should do, you use this if you want to test old strategies on new data or different symbols or timeframes, that is what it was intended for, not to filter strategies.

v rychlosti můj pohled na věc:

jako uživatel bych neměl být jakkoliv programem limitován a měl bych mít velkou volnost v tom co a jak chci testovat, filtrovat, protože program to prostě umí a neměl bych mít svázané ruce tím, jak to bylo ve vývoji připraveno atd. Předpřipravené krosčeky jsou určitě dobrá volba, ale bez možnosti volného přidávání dalších testů, bez možnosti volby jejich pořadí je to takové nedotažené

myslím si, že je potřeba oddělit 3 oblasti, které je potřeba v programu jasně oddělit

1) BUILDER - zde určitě kvituji možnost rovnou filtrovat do databanky za pomocí krosčeků, to je super počin, ale můj náhled na věc je takový, že v těchto testech bych určitě nedělal nějaké lehčí formy MC testů nebo dokonce WFM, jaká je váha 30 chodů MC testu a pak filtrace, když jiných 30 chodů vyjde jinak - tohle není dostatečný vzorek. Já budu bojovat za to, aby v builderu byly krosčeky zachovány, ale potřebuju v nich mít naprostou volnost, a to jak v typu, tak i jejich pořadí. Předpoklad: do builderu si nastavím jasné matematicky filtry, přes které nejede vlak a kde nepotřebuju filtrovat okometricky, proto si tady naprosto zjednoduším práci oproti SQ3, ale dotestovat si strategie okometricky, případně za přísnějších filtrů (protože kde mám jistotu když si něco nastavím, že mi vůbec něco projde, tak do builderu si dám radši méně přísné podmínky, abych vůbec něco zgeneroval) a pak potřebuju další nástroj, kde si to dotestuju, a to by měl být právě RETESTER

Krosčeky:

- higher precision

- jakékoliv jiné OOS (volnost v počtu OOS a jejich filtrech - třeba další 2 - budu buildit s jedním OOS v prostředku dat, 2. OOS bude začátek dat a 3. OOS bude konec dat). Tak jak je namyšleno mít více OOS rovnou v builderu bez možnosti filtrovat jednotlivá OOS zvlášť je nepoužitelné, protože každé OOS může být jinak dlouhé a požadavek na filtr bude jiný)

- jiný trh (opět volnost v počtu a jejich filtrech)

- vyšší/nižší TF

- test na spread

- MC testy kdo bude chtít - třeba takové zamíchání obchodů bych neviděl jako špatnou volbu, klidně všechny a já už si vyberu co a jak budu chtít profiltrovat

Ale musím mít jako uživatel možnost volby pořadí testů, abych ovlivnil to, že nejnáročnější test se bude dělat vždy až na konci

2) RETESTER - zde bych měl mít možnost přesunout strategie z builderu, kde jsem si za pomocí lehčích krosčeků strategie profiltroval a vyházel ten největší odpad za pomocí jasných matematických krosčeků, třeba víme, že největší odpad bývá hned na OOS testech (třeba i 90% strategií tím neprojde). Takže v databance v builderu mám už strategie téměř finální, ale potřebuju se na ně podívat někde blíže třeba za přísnějších testů, protože mi jich zbylo furt dost, tak to potřebuju ještě profiltrovat, takže v retesteru musím mít tu samou možnost volby krosčeků a dalších testů

3) no a třetí nástroj bych nazval spíše BACKTESTER, to je to o čem sem psal v tomto vlákně https://roadmap.strategyquant.com/tasks/sq4_1317 kdy potřebuju nástroju, který bude umět tyto jednoduché tasky

Mám 1000 různých finálních strategií (jiné trhy, jiné TF, jiná nastavení SL/PT, něco s výstupem v pátek, něco s omezením do časového okna, atd.). Potřebuju rychlej backtest, což umíme, ale pokud mám u každé strategie jiné nastavení, tak jsem v koncích a musím to dělat po jedné. Takže potřebuju nástroj, který bude jednoduše umět tohle dělat hromadně:

- chci vidět aktuální backtest za celá data. Tady nám stačí jedno tlačítko SPUSŤ, vše ostatní víme a nastavovat třeba není nic. Vše je v SQ4 souboru. Data se nastaví automaticky z data manageru

- chci vidět backtest za nějaké období. potřebuju toto období nastavit, případně ho rozdělit na IS/OOS

- chci vidět jak na strategie bude působit změna času při exit on friday

- chci vidět jak na strategie bude působit omezení do určitého časového pásma

- chci hromadně udělat nějaký MC test pro všechny strategie

- chci přetestovat všechny strategie na 0.01 lotu

- chci přetestovat strategie na jiný kapitál

nejpodstatnější je první odrážka

Restester is a place where real strategy candidates are born. Or WFA candidates are born.  This is a step where most users manipulate and analyze strategies. Making MC tests etc.. So this is the place where these tools  ( like filtering ) have their logic. Nobody sents in building phase strategies to WFA.  

Hello, I also hope to have filters in the retester portion.

This is so when I built custom projects, it can automate to discard strategies I don't want from generation phase, be it other time frame/market tests, or MC tests. It will be very beneficial if this can be automated via filters, especially for MC testing where we have to manually divide original ret/dd ratio by 2 to check with 95% confidence level. 

Hello, I also hope to have filters in the retester portion.

This is so when I built custom projects, it can automate to discard strategies I don't want from generation phase, be it other time frame/market tests, or MC tests. It will be very beneficial if this can be automated via filters, especially for MC testing where we have to manually divide original ret/dd ratio by 2 to check with 95% confidence level.