[Build 108] Memory leak

The problem with slowdown is connected to memory usage - when all available memory is full, Java slows down extremely and cannot work properly.

The solution is either to use more memory or decrease population size or number of islands, so that program uses less memory.

> One more observation - I have 64GB memory in total. In SQX I have a settings to use 32 GB of memory but SQX uses only 16GB of the memory. Is this OK?

it is not correct. If you have configured 32 GB of memory you should see it on the chart. Where did you configure it, using SQ UI?

Can you attach StrategyQuantX.config file here

a to mám 128 GB RAM, v SQ nastaveno asi 60, ale hned po chvíli to začne využívat kolem 40 GB RAM a k tomu opravdu nevidím důvod - pokud to dobře pamět promazává, protože v databance mám ve svém nastavení generování pár strategií (už vše filtruju přes krosčeky), takže co si SQ drží v těch 40 gigech opravdu netuším a dobře to nebude

pokud se tato otázka nijak nepohla v 109, tak tu budeme mít dalších 14 dní, kdy program nepůjde téměř vůbec rozumně používat - po pár hodinách se musí vždy ručně build zastavit, aby k "zahlcení nedošlo" - uvidíme tedy co 109 build

pro mě je tedy zásadní otázkou - co si drží v 40 gigech ramky, když v databance má stovky strategií a každá generace islandů je pravidelně restartována?

To Hankeys a Mark Fric

Nebylo by jednodušší, dkyby se Mark Fric připojil rovnou na ten počítač a podíval se na ten problém v místě kde vzniká, případně v čase kdyb vzniká?

Přijde mi to jednodušší a časově efektivněší, než se pokoušet nasimulovat podmínky u sebe.

To extremni spomaleni z commentu #4 je zpusobeno zaplnenim pameti, na screenshotu je videt, ze je vyuzita na maximum. Otazka je proc se tak zaplnila, pokud se to deje porad potreboval bych build config, abych to u sebe nasimuloval.

> pro mě je tedy zásadní otázkou - co si drží v 40 gigech ramky, když v databance má stovky strategií a každá generace islandů je pravidelně restartována?

Screenshot z commentu #2 sice ukazuje ze je pouzito cca 20 GB pameti, ale celkove je k dispozici asi 50 GB, takze tam zadne zaplneni pameti neni. Java nema duvod uvolnovat pamet, kdyz je ji tolik k dispozici.

Zpusobuje ta situace ale nejake spomaleni?

Hankeys, Zbynku Tichy, mohli by jste se prilozit vas build config?

Mohli by jste jeste overit, jestli se ta pamet zaplni i kdyz mate spustenou Random generation?

A posledni vec - mate v Performance -> Memory zaskrtnuto "Use offheap memory" nebo ne?

Ja to zkousim u sebe, ale i po nekolika hodinach behu se pamet drzi na stejne urovni cca 8 GB (mam nastaveno max 32gb) a neroste. Generovani bezi porad zhruba stejne rychle.

generování na 4 islandy, 100 strategií na jeden, takže initial population 400

v databance zatím pouze 727 strategií a už teď je práce s SQ velmi pomalá, i když ve windows mám stále 30 GB paměti volné

prostě to téměř hned na začátku vylítne na 40 GB, ta zelená lajna se pak takto drží, červená po restartu generace o něco cukne dolej, ale postupně se to všechno zaplňuje, až na aktuálních necelých 80 GB paměti v zelené oblasti

off heap memory info - 9 objects, memory 14 MB

když stopnu generování, tak se červená lajna ustálí někde na 25 GB a zelená stojí stále nahoře na nějakých 70 GB

v task manageru pak vidím, že si SQ bere 73 GB ram, i když je aktuálně stoplé generování - co si v nich drží netuším - strategií je v databance minimum

Problem s pameti byl zpusoben asi pouzitim nevhodneho Java GC. V novem releasu updatnem na Javu 10, a bude pouzivat defaultni nejrychlejsi ParallelGC, ktery funguje i s velkou pameti.

A taky jsme tam pridali moznost periodicky cistit pamet - i kdyz toto by nemelo byt treba pouzivat.