osdir.com

[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

Re: ODP: TaskManager use more memory than Xmx


Hi,

I had such issue once when opening a lot of Parquet writers and some non-Heap memory was never released.
So you might check that you close all resources correctly.


--
Best regards,
Andrei Shumanski


2018-06-04 14:24 GMT+02:00 Flavio Pompermaier <pompermaier@xxxxxxxx>:
We had similar problems that was caused by Netty (but we were using batch APIs).


Best,
Flavio

2018-06-04 13:29 GMT+02:00 Lasse Nedergaard <lassenedergaard@xxxxxxxxx>:
Hi

If you use Rocksdbstate backend rocksdb use memory outside the process to my understanding. 
We have the same problem and I guess it started when we introduced job with larger state and moved all jobs over to rocksdb

Med venlig hilsen / Best regards
Lasse Nedergaard


Den 4. jun. 2018 kl. 13.23 skrev Szczypiński, S. (Szymon) <szymon.szczypinski@xxxxxxxxxx>:

Hi,

I use 1.3.1 version.

 

 

Od: miki haiat [mailto:miko5054@xxxxxxxxx]
Wysłano: poniedziałek, 4 czerwca 2018 13:20
Do: Szczypiński, S. (Szymon) <szymon.szczypinski@xxxxxxxxxx>
DW: user <user@xxxxxxxxxxxxxxxx>
Temat: Re: TaskManager use more memory than Xmx

 

Which flink version ?

I had the same issue  on 1.4.2 .

 

 

On Mon, Jun 4, 2018 at 2:14 PM Szczypiński, S. (Szymon) <szymon.szczypinski@xxxxxxxxxx> wrote:

Hi,

I have a problem with TaskManagers in my standalone cluster.

 

My problem is that my host have 32GB RAM memory. TaskManager have Xms and Xmx set to 20GB but when TaskManager is working it use more memory than host have and start to consume SWAP. In the end system kills java process.

 

Mayby someone know why Flink TaskManager use so much more memory than is set by Xmx property.

 

Best regards

Simon

 

 

 

Szymon Szczypiński
Projektant IT

Departament Aplikacji Centralnych

 

E szymon.szczypinski@xxxxxxxxxx


https://shp-app.pl.ing-ad/apps/mailsignature/Lists/Images/podpis_logo.png

 

ING Bank Śląski S.A.

ul. Sokolska 34, 40-086 Katowice

 

https://shp-app.pl.ing-ad/apps/mailsignature/Lists/Images/stopka_eko.png Zastanów się czy musisz drukować tego maila. / Do you really need to print this mail?

 



Niniejsza wiadomość zawiera informacje poufne, przeznaczone do wyłącznego użytku adresata. Jeśli nie są Państwo adresatem przesyłki lub jeśli otrzymaliście Państwo ten dokument omyłkowo, prosimy o bezzwłoczne skontaktowanie się z nadawcą. Wszelkie rozpowszechnianie, dystrybucja, reprodukcja, kopiowanie, publikacja lub wykorzystanie tej wiadomości czy też zawartych w niej informacji przez osobę inną niż adresat jest niedozwolone i może spowodować odpowiedzialność prawną.

 

 

 
Niniejsza wiadomość zawiera informacje poufne, prawnie chronione, przeznaczone do wyłącznego użytku adresata. Jeśli nie są Państwo adresatem przesyłki lub jeśli otrzymaliście Państwo ten dokument omyłkowo, prosimy o bezzwłoczne skontaktowanie się z nadawcą. Wszelkie rozpowszechnianie, dystrybucja, reprodukcja, kopiowanie, publikacja lub wykorzystanie tej wiadomości czy też zawartych w niej informacji przez osobę inną niż adresat jest niedozwolone i może skutkować odpowiedzialnością prawną.
 
 
---
The information in this electronic mail message is confidential, legally privileged, and only intended for the addressee. Should you receive this message by mistake, please contact the sender immediately. Any disclosure, reproduction, distribution or use of this message is strictly prohibited and illegal.
 

 



Niniejsza wiadomość zawiera informacje poufne, prawnie chronione, przeznaczone do wyłącznego użytku adresata. Jeśli nie są Państwo adresatem przesyłki lub jeśli otrzymaliście Państwo ten dokument omyłkowo, prosimy o bezzwłoczne skontaktowanie się z nadawcą. Wszelkie rozpowszechnianie, dystrybucja, reprodukcja, kopiowanie, publikacja lub wykorzystanie tej wiadomości czy też zawartych w niej informacji przez osobę inną niż adresat jest niedozwolone i może skutkować odpowiedzialnością prawną.


---
The information in this electronic mail message is confidential, legally privileged, and only intended for the addressee. Should you receive this message by mistake, please contact the sender immediately. Any disclosure, reproduction, distribution or use of this message is strictly prohibited and illegal.