URGENT - cant build initial population with Exit on Friday

pokud je zatrženo toto nastavení, tak se mi nedaří utvořit initial population - generování se motá kolem 32 strategií (což je počet jader) a pak se vždy generace restartuje



pokud se Exit on Friday vypne, tak vše funguje


bylo by možno opravit rychle, protože build 109 je tak pro mě nepoužitelný


generování s exitem je pak jakési rychlé - generuje to 500000 strategií za hodinu, když to vypnu, tak to klesne na nějakých 150000 - divné

Attachments
Build109.xml
(1020.49 KiB)
  • Votes +2
  • Project StrategyQuant X
  • Type Bug
  • Status Fixed
  • Priority Normal

History

h
#1

hankeys

02.09.2018 14:13

Task created

h
#2

hankeys

02.09.2018 14:50
pak se zdá, že nefunguje restartování evoluce, i když je křivka fitness dlouhou dobu rovná, tak se evoluce nezrestartuje a dojíždí to až do nastaveného maxima


tohle fungovalo dobře v 108

h
#3

hankeys

02.09.2018 16:26
tak mám tady zjištění, že to nefunguje jen na těchto konkrétních datech, která tam jsou importována ručně, na klasických EURUSD to třeba jede


v buildu 108 taky nemám problém...bude něco špatně s tím exitem v pátek, když ho vypnu, tak to jede

h
#4

hankeys

04.09.2018 14:05
taky nevím co s tímhle - prostě došlo k nějaké změně, ale jak jsou reportovány problémy v data manageru, tak bych se nedivil, kdyby to s tím nějak souviselo - když odškrtnu EOF, tak to normálně generuje. Když generuju intraday strategie, se zavřením na konci pásma, tak to generuje, jen ten EOF je divnej

-

kolem těch intraday strategií, kdy omezím časové pásmo třeba na 8-21 hodin se zavřením na konci, tak v list of trades vidím několik obchodů, které pokračují i do druhého dne - bohužel hodnota "time in trade" je stále špatně, takže to nejde podle toho seřadit, ale okometricky to tam je


možná to souvisí s tím, že mám děravá data - protože to zkouším na DAXu, kde ta kvalita se v čase měnila - jak vlastně funguje backtester, pokud zjistí, že má zavřít v 21:00 hodin a on nemá žádnou svíčku v 21:00 v datech, vezme hned tu první následující? 

MF
#5

Mark Fric

06.09.2018 13:26

Status changed from New to Fixed

potvrzuji, v Exit on Friday byla nalezena chyba, bude to opraveno v dalsim buildu


jak vlastně funguje backtester, pokud zjistí, že má zavřít v 21:00 hodin a on nemá žádnou svíčku v 21:00 v datech, vezme hned tu první následující? 


ne, kdyz treba chybi svicka 21:00 a den skoncil tak backtester nic neudela, normalne necha obchod otevreny do dalsiho dne.


Pro to asi nekdy nefunguje to omezeni casoveho pasma nekdy - myslim, ze zvlast v patky ma DAX nekdy data jenom do 20:45


V SQ by to slo simulovat, aby vzdycky zaviral na koci dne, ale v realnem tradingu to nedokazete. Kdyz skonci obchodovani pred nastavenym casem tak bude obchod proste otevreny.




h
#6

hankeys

06.09.2018 13:33
chápu, v reálu ale vím, že dax obchoduje 8-22, takže zavřením dávám třeba na 21


jde o to, co vidím v backtestu - a není asi správné, když chci nastavit intraday strategii, aby backtester vzal svíčku z dalšího dne - tohle řešení se mi nezdá jako dobré - měl by se kouknout na nejbližší možnou svíčku, ale nesmí šáhnout do dalšího dne. Protože pokud to tak udělá, tak zrovna u indexů dochází docela často ke gapům a výsledky budou dost zkresleny. S měnami problém nemáme, tam máme kvalitní data, takže bych žádal, aby se tohle chování předělalo


stejně tak není dobře chování backtesteru v GAPu, o kterém už jsem tady taky psal, že to bere obchod v místech, kdy trh nikdy nebyl. Tohle by se taky mělo pořešit

h
#7

hankeys

06.09.2018 13:36
ten GAP je tady popsanej - https://roadmap.strategyquant.com/tasks/sq4_2317
MF
#8

Mark Fric

06.09.2018 13:55
backtester se nemuze koukat do budoucnosti. Dax mozna obchoduje 8-22, ale Dukascopy ma data 7-21, a i 21:00 svicka casto chybi v patek.


Tam nejde jak to vyresit, kdyz jsem v patek na svicce 20:45, tak nevim, ze dalsi svicka v ten den uz neni a nasleduje az dalsi den.

Jak jsem psal, v SQ by to slo nasimulovat tim, ze by se koukal do bodoucnsti, ale v realnu by to nefungovalo, a byl by rozdil mezi backtestem v SQ a backtestem/obchodovanim v MT4.


Ohledne gapu - podivam se na to, ale backtester SQ je udelan presne podle backtesteru MT, aby sedeli vysledky. A MT v gapu plni za cenu orderu.

Tohle muzem udelat volitelne, ale zase nebudou sedet vysledky SQ a MT backtestu. 

h
#9

hankeys

06.09.2018 14:43

Attachment EU_H1_11012645_S_LR_F_F_CP-MK_EQ___BTvsREAL.png added

s tím daxem a dukascopy datama je to o dost složitější, než jen to, že jsou data 7-21 a občas tam něco chybí. Tady je takové lehčí shrnutí, které jsem si dělal


data se tváří, že jsou od 9/2011, ale ten devátý měsíc tam nějaký data sou, ale 10,11,12 jsou prázdný, pak je ještě mezera v lednu 2012 a od 20.1.2012 se dá říct, že tam mezery nejsou - no pár jich tam je ještě v únoru, březnu, prosinci, ale to už bych neřešil, takže to beru tak, že DUKAS data jsou použitelná až od 20.1.2012

data nemají jednu desetinu, ale hned od začátku jsou kotovaná na tři desetiny

co se týče konsistence dat, tak je to jak sem předpokládal - DAX se prostě u brokerů v čase mění a to platí i pro DUKAS data - v jednoduchosti např. od 26.5.2013 jsou v datech i neděle a začíná se tam obchodovat nepřetržitě i s premarketem

od 10/2013 je to zase bez neděle s premarketem

od 4/2014 opět s nedělí s premarketem

od 16.2.2015 bez neděle a bez premarketu, obchodní hodiny 7-20, tedy při UTC2 9-22:59


poslední změna dat od Dukascopy nastala v půlce dubna 2018, kdy jedou nepřetržitě


takže těch změn v časech a chování je tam v historii několik, ale to nám nevadí, všechno má své řešení


Já jen bojuju za teze, které by měly platit:


- našim úkolem by nemělo být napasovat MT backtest na SQ backtest. Protože MT backtest má svoje mouchy - jedním z nich je chování při gapech, kdy to tam vrazí obchod do ceny, která nikdy nebyla. A já přece nechci dostávat nesmyslný BT, který v reálu nenastane a pak na to budu koukat jak puk, proč mám SL, když v BT je TP. Není prostě správný, aby BT mi říkal, že mám RDD 20 strategie, ale v reálu mi stačí jeden gap za 2 roky a strategie mi pak jede dlouhodobě na 26% backtestu na reálu. Chci radši dostat správnější historickou hodnotu, protože podle toho počítám s rizikem, a to je to jediný co dokážu ovlivnit.


- když stavím intraday strategie právě proto, abych se vyhnul gapům a zkresleným výsledkům, tak přece nemůžu dostávat v BT informaci o tom, že některé obchody končí další den, a to ani ne dokonce na první svíčce, ale zavíralo to až někdy odpoledne druhý den, asi jak byl splněn exit nebo jiný výstup. Já tedy chci jedno jediné možné řešení, jestli stavím strategii do 18 hodin s close, tam svíčka chybí, tak se BT má podívat na první nejbližší a zavřít na té, pokud taková není v datech, tak nemůže jít do dalšího dne, ale musí jít do minulosti, zase na nejbližší možnou svíčku před tou 18 hodinou


Tyhle metody budou naopak znamenat přesnější BT na reál, což je důležitější než snaha sepasovat BT z MT a SQ. A TOHLE BY NÁM MĚLO JÍT.

IH
#10

clonex / Ivan Hudec

06.09.2018 14:53
Voted for this task.
MF
#11

Mark Fric

07.09.2018 09:28
pro gap jsem vytvoril novy task; https://roadmap.strategyquant.com/tasks/sq4_2717


ohledne chovani Exit on Friday/End of day - jedina moznost je, ze kdyz se to nezavre na konci dne protoze ta svicka chybi tak se to zavre na zacatku noveho dne. V pripade patku to ale znamena az v nedeli nebo pondeli.


Urcite to nemuze zavirat zpetne, v SQ by to melo byt osetreno uplne stejne jako v live tradingu. Kdyz se skonci obchodovani v patek predcasne taky mate jedinou moznost zavrit order bud manualne (tohle ale nemuzem simulovat) anebo pockat a EA jej muze zavrit prvni tick po vikendu.


h
#12

hankeys

07.09.2018 09:36
mohu souhlasit
MF
#13

Mark Fric

07.09.2018 10:04
ZP
#14

Zbynek

07.09.2018 11:28
Voted for this task.

Votes: +2

Drop files to upload

or

choose files

Max size: 5MB

Not allowed: exe, msi, application, reg, php, js, htaccess, htpasswd, gitignore

...
Wait please