Performance-Tuning beim Schritt Datenexport

[philboeselager]

Beim Export großer Datenmengen / Pakete kann die Heap-Speicher-Größe überschritten werden. Es sind Maßnahmen zu identifizieren und umzusetzen, die den Speicher-Bedarf signifikant reduzieren.

Das Generieren des Paket-Json kann außerdem erhebliche Zeit in Anspruch nehmen. Es sind Maßnahmen zu identifizieren und umzusetzen, die die Verarbeitung signifikant beschleunigen.

[croqueGrec09]

Dieses Problem betrifft nehmende Systeme gleichermaßen. Hier wird zur Zeit die Überlegung der Threadzerlegung getroffen, d.h. es werden n Threads zugeteilt, die sich abschnittsweise der Menge annehmen. Beispiel eines Prozessflusses: Thread 1 übernimmt Einträge 1-999, 2 1000-1999 ... 10 9000-9999. Wenn Thread 1 bei 999 angekommen ist, macht er bei 10000 weiter und geht bis 19999 usw.