optimization profile

pronikám do tajů nových nastavení a chtěl bych se zeptat a možná reportovat bugy, to nevím jistě



- nastavil jsem 20000 kroků, avšak z grafu je patrné, že bylo provedeno pouze 7158 chodů. Proč tomu tak je?
- jak se vlastně bere rozsah parametrů, když to nejde nastavit? +- nějaké procento?
- omezení na těch 20000 kroků jako maximum je rozumné?
- pak v těch filtrech se mi nezdá ten poslední, že by max profit měl být menší než průměrný + odchylka...to snad nikdy platit nebude...nebo tomu nerozumím


no a hlavně bych chtěl porozumět těm grafům
- jednak se mi nezdá proč je ten graf díravý v prostředku, kde nejsou žádné hodnoty
- pak by bylo super u všech grafů zobrazit nějak, kde se nachází hodnoty z originální strategie, třeba nějakým výrazným červeným kolečkem, abych viděl kde se s originální strategií v rámci parametrů pohybuju. Bez této informace je to k ničemu a musel bych to hledat. To platí pro všechny 3D grafy v aplikaci, třeba i u WFM, atd...

Attachments
param.jpg
(172.03 KiB)
  • Votes +3
  • Project StrategyQuant X
  • Type Bug
  • Status Fixed
  • Priority Normal

History

h
#1

hankeys

16.11.2018 19:41

Task created

IH
#2

clonex / Ivan Hudec

17.11.2018 09:44
Voted for this task.
IH
#3

clonex / Ivan Hudec

17.11.2018 09:45
prosim zruste limity 20000. resp dajte moznost ichnzrusit
IH
#4

clonex / Ivan Hudec

17.11.2018 10:10
Tie grafy su super krok ale su nepouzitelne . Top wiew nefunguje , cele mi to pride velmi velmi v eraly stage .  Optim profil super krok klobuk dole. Treba prosim zrusit limit 20000 optimalizaice. Podla coho to optimalizuje ked potrebujem urobit 10000 optimalizacii? vybeera nahodne alebo v najkom poradi. Ak ano tak to jen nepouzitene. Prosim majte na pameti ze ja aj ini dokazem zanalyzovat niekolko milionov strategii denne preto taketro obmedzenia nechapem.
h
#5

hankeys

17.11.2018 13:59

Attachment param.jpg added

i když je zadáno max 1000 iterací, tak to podle tabulky provede více testů - to je proč?


ale hlavně se nedaří full load procesoru při tomto novém MC testu a trvá to tak strašně dlouho

h
#6

hankeys

17.11.2018 14:05
Voted for this task.
h
#7

hankeys

17.11.2018 14:07
a ještě zamyšlení nad tím, jestli CHECK má být nastaven jako 30% profit strategií - to je hloupost. Představa, že do tohoto testu budu pouštět strategie, které budou při změně parametrů ztrátové je naivní, takto náročný test budu pouštět nad jednotlivými strategiemi, které budou ve velkém rozsahu ziskové. takže za sebe si nedokážu představit, že tady něco vyjde jako FAILED.


spíš by mělo jít o porovnání MEDIAN ukazatelů s ORIG verzí

IH
#8

clonex / Ivan Hudec

17.11.2018 17:19
stop percentny suhlas vo vsetkom s hankeys. plus poprosim zrusit maximalne mnozstvo optimalizacii. V situacii kedy mi komp umoznuje robit miliony  testov denne toto vydim ako lahko absurdne.
MF
#9

Mark Fric

18.11.2018 07:11
limit poctu optimalizaci odstranime. Kdyz je celkovy pocet moznych kombinaci nizsi tak se udela jenom ten pocet. Max. pocet optimalizaci je maximum, ktere se nemusi dosahnout.

A taky je priblizne, pokud se pouziva genetika a ne brute force (od nejakjeho poctu kombinaci) tak se podle max. kroku vypocte pocet generaci a velikost populace.


3d grafy - nevim, proc by meli byt nepouzitelne, mne tam vsechno funguje. Pokud je tam chyba bdte konkretni a otevrete na to task.


Ohledne podminek StvDev a 30% si proctete originalni clanek, je na to nejaky duvod proc tam ty podminky jsou. A ty podminky jsou konfigurovatelny.



h
#10

hankeys

18.11.2018 08:22

Attachment param.jpg added

dobře tak tedy postupně:


- ptám se na to, proč 3D graf vypadá tak jak vypadá, je prostě díravý - viz. obrázek

- proč to dělá jiný počet simulací, když nastavím 100, tak jich to provede víc, když nastavím 20000, tak to nikdy 20000 neudělalo a ukazovalo to míň - viz. předchozí obrázek

- jak to vybírá rozsahy ukazatelů - protože tohle nastavit nejde

- i když nastavím 2 STDEV do filtrace, tak to stále ukazuj pouze 1 STDEV na obrázku a vyhodnotí jako FAILED, i když v databance je asi spočítáno správně 2 STDEV a označeno jako PASSED


do každého grafu (2D, 3D, WFM) je prostě potřeba označit zelenou barvou, kde se nachází originální strategie - ať už zelenou linkou v profilu, v histogramech, nebo nějakou tečkou na 3D grafech



h
#11

hankeys

18.11.2018 08:25

Attachment param.png added

pak zde mám druhou strategii, která má podle mě rozdělení net profitu stabilnější než ta předchozí, a i když mám nastaveno 2 STDEV, tak je vyhodnocena jako FAILED, že max profit je moc velký než avg+odchylka, což bych ale rozhodně u takového obrázku neřekl okometricky


nejsem tedy přesvědčen, že by to počítalo dobře


3D graf tady není zobrazen žádný

MF
#12

Mark Fric

19.11.2018 14:11

> - ptám se na to, proč 3D graf vypadá tak jak vypadá, je prostě díravý - viz. obrázek


3D graf neni spojity,  protoze optimalizujete vic nez dva parametry a neotestovali se uplne vsechny kombinace. Pokud mate hodne parametru a malo optimalizaci bude se bezne stavat, ze budete mit ve 3D grafu diry, protoze se proste ty chybejici casti neotestovali - optimalizer menil jine parametry nez tyto.

V SQ3 nebylo mozny zobrazovat 3D graf pokud jste optimalizovali vic nez 2 parametry, v SQ X to uz jde, ale neni mozne vykreslovat hodnoty, ktere neexistuji.



> - proč to dělá jiný počet simulací, když nastavím 100, tak jich to provede víc, když nastavím 20000, tak to nikdy 20000 neudělalo a ukazovalo to míň - viz. předchozí obrázek


tohle skontroluji, ale pokud je celkovy pocet parametru prilis velky tak to dela genetickou optimalizaci, a v tom pripade je pocet ktoku jenom priblizny - nastavi velikost populace a pocet generaci tak, aby to priblizne odpovidalo maximalnimu poctu testu


> - jak to vybírá rozsahy ukazatelů - protože tohle nastavit nejde


automaticky, stejne jak vje vidite v Optimizeru kdyz si nactete strategii



> - i když nastavím 2 STDEV do filtrace, tak to stále ukazuj pouze 1 STDEV na obrázku a vyhodnotí jako FAILED, i když v databance je asi spočítáno správně 2 STDEV a označeno jako PASSED


tohle opravime



> do každého grafu (2D, 3D, WFM) je prostě potřeba označit zelenou barvou, kde se nachází originální strategie - ať už zelenou linkou v profilu, v histogramech, nebo nějakou tečkou na 3D grafech


muze se to tam pridat, tyto dve nove featury (Optimization profile a SPP) jsou ale o tom, ze originalni strategie je nepodstatna. Je jedno, jake jsou jeji parametry, byla vybrana nahodne, a jeji parametry muzou nahodou byt profitabilni.

OP a SPP se snazi z co nejvecsiho poctu optimalizaci zjistit, jestli strategie ma nejaky edge. 




> pak zde mám druhou strategii, která má podle mě rozdělení net profitu stabilnější než ta předchozí, a i když mám nastaveno 2 STDEV, tak je vyhodnocena jako FAILED, že max profit je moc velký než 

> avg+odchylka, což bych ale rozhodně u takového obrázku neřekl okometricky


okometricky to tak mozna vypada, ale algoritmus jsme kontrolovali. Tato strategie ma hodne rovnomerne vysledky, takze standardni odchylka bude mala. Proto ji top result prekroci.

Muzem tam ale pridat i vypisovani standardni odchylky.



h
#13

hankeys

19.11.2018 16:03

Attachment spp.jpg added

pár dalších připomínek:


- pokud přidám parametr tak křížkem zrušit nejde - křížek na rušení parametrů tedy nefunguje

- pak dochází v grafech k tomu, že ukazované hodnoty medianu jsou jiné než ty pod grafem nebo v tabulce

- protože tady máme dost místa, rozšířil bych obrazovku ještě o jednu řadu


já myslím, že vidět okometricky, kde se nacházejí originální ukazetele strategie je chtěné, abych si udělal přestavu o tom, zda je na krajích normálního rozdělení nebo někde v prostřed


jak je vůbec počítána ta odchylka?

h
#14

hankeys

19.11.2018 16:07
tohle patřilo do SPP - https://roadmap.strategyquant.com/tasks/sq4_3442

ale jsou to spojité nádoby, tak to nechám tady


a
#15

Ash24FX

22.11.2018 20:21
Voted for this task.
MF
#16

Mark Fric

23.11.2018 15:12

Status changed from New to Fixed

opraveny chyby, pridano vykresleni originalni hodnoty.


pro dalsi featury prosim vytvarejte separatni mensi tasky, nepiste je do komentaru jineho tasku.


Votes: +3

Drop files to upload

or

choose files

Max size: 5MB

Not allowed: exe, msi, application, reg, php, js, htaccess, htpasswd, gitignore

...
Wait please