InfluxDB 2.7 does not support deleting data by field.

[teremok87]

Hallo Georg,

ich habe ein echtes problem. Ich habe an meiner PV Anlage Änderungen vorgenommen. Da man bei solectrus nicht beliebig viel einzel MPPTs separat in die Datenbank schreiben kann, muss ich die Summe aller erträge in Node - Red zusammenrechnen. Leider hat mir beider Berechnung ein Fehler unterlaufen. Ich wollte die falschen Daten rausnehmen und durch korrekten ersetzen. Leider geht es nicht.

Ich nutze InfluxDB 2.7. Laut der Angabe auf der InfluxDB homepage kann man die Daten nur bei _measurment oder custom_tag löschen.

Du lägst aber die Daten bei _field ab. Da funktioniert das Löschen eben nicht.

Wir dürfen ja seit einer Weile eigenen Buket nutzen. Könntest uns es bitte ermöglichen die Measurments für PV Power, Haus Last, SoC usw. ebenfalls über Enviroment Variable selber zu defnieren.

https://docs.influxdata.com/influxdb/v2/reference/cli/influx/delete/

Hier wäre ein beispiel meiner Seits:

Buket: solectrus
Measurment: inverter_power
Measurment: grid_power_minus
Measurment: grid_power_plus
Measurment: house_power
Measurment: bat_fuel_charge
Measurment: bat_power_minus
Measurment: bat_power_plus
Measurment: wallbox_charge_power
Measurment: case_temp

Vielen Dank im Voraus!

P.S: Ich freue mich schon auf Tibber integration :)

[ledermann]

Ja, grundsätzlich ist es so, dass die DELETE-Funktion von InfluxDB keinen Filter auf einzelne Fields vorsieht. Man kann nur:

• Gesamtes Measurement löschen
• Alle Measurements mit einem bestimmten Tag löschen (SOLECTRUS verwendet übrigens keine Tags)
• Alle Daten eines bestimmten Zeitraums löschen

Das sind Einschränkungen, die aber nur selten von praktischer Relevanz sind. In deinem Fall sieht das anders aus, da du von fehlerhaft geschriebenen Daten berichtest. Je nachdem, wie der Fehler aussieht, kannst du Daten aber überschreiben, was natürlich nur sinnvoll ist, wenn Measurement und Field korrekt sind und nur der Value falsch ist.

Ansonsten besteht die Möglichkeit, die Daten in ein neues Bucket zu kopieren. Dieser Vorgang erlaubt meines Wissens ein Filtern nach Field, ich habe das aber selbst noch nicht ausprobiert. Danach kann das alte Bucket weggeworfen werden und die fehlerhaften Daten sind bereinigt.

Für die Zukunft wird SOLECTRUS genauer konfiguriert werden können, man kann also zukünftig für jeden "Sensor" (= neues Konzept) angeben, in welchem Measurement und welchem Field der Wert zu finden ist:
#2836

Der MQTT-Collecter lässt sich zukünftig analog einstellen:
solectrus/mqtt-collector#137

Der SENEC-Collector hingegen wird weiterhin alles in EIN Measurement schreiben. Hier sehe ich keine Notwendigkeit, das anders zu handhaben - die Daten kommen ja alle aus der gleichen Quelle.

Das Konzept der Sensoren wird nützlich sein, um später auch weitere Daten nach SOLECTRUS pumpen zu können, auch Tibber-Preise u.a.

[teremok87]

Hallo Gerorg,

vielen Dank für der Hinweis mit dem Überschreiben. So habe einiges richten können. Das hat aber etwas geaduert. :)
Leider habe ich aber jezt das Problem, dass die Daten (Akku) zwar als Tageswerte sichtbar sind. Die berechnung der Summe über den Monat wird nicht angezeigt. Über Influx Weboberfläche sehe ich nichts ungewönliches. Auch grafana zeigt alles normal an.

Könnte ich es über irgend ein log im Conrainer debuggen?

[ledermann]

Zu deinem Beitrag habe ich leider keine Notification von GitHub bekommen, sehr seltsam. Somit sehe ich das erst jetzt per Zufall, sorry für die späte Reaktion.

Ich vermute, hier liegt ein Caching-Problem vor. Wenn du alte Daten in InfluxDB änderst (z.B. durch einen Datenimport, aber auch durch manuelle Datenbank-Änderungen), dann muss danach der Redis-Cache gelöscht werden, denn sonst werden u.U. zwischengespeicherte Daten angezeigt.

Die Lösung ist somit höchstwahrscheinlich:

docker exec -it solectrus-redis-1 redis-cli FLUSHALL

Falls das Problem dennoch bestehen sollte, bitte nochmal melden.

[bennysweb]

Hi @teremok87, ich habe ein ähnliches Problem. Kannst du mir die Commands nennen, mit denen du die fehlerhaften Werte in _fields überschrieben hast?

[teremok87]

Ich habe es zu Fuß gemacht. Bei dem _field einfach ein CSV export gemacht. In der CSV Werte angepasst und dann wieder importiert.
Darum hat es bei mir etwas gedauert. Mann kann es aber bestimmt Scripten, weil es für export und Import der CSV commandos gibt.

Ich hoffe, dass ich dir damit weiterhelfen konnte. :)

[bennysweb]

Okay, csv-Download habe ich hinbekommen, nach dem Anpassen der Werte und Upload werden in der influxdb immer noch die alten Werte angezeigt. Mit welchem Programm hast du die Daten modifiziert?

[teremok87]

Ich habe ganz normal Open Office verwendet.
Aber dein Problem ist nicht das ändern der Werte, sondern welche Werte du änderst. Du muss eben alle Werte exportieren, darum solltest du über den kleinst möglichen Intervall aggregieren. In meinem Fall schreibe ich die Werte jede Sekunde in die Datenbank rein, darum nehme ich auch eine Sekunde und dann auch Unique bei der Query.

Dann sollte es funktionieren.

Gruß
Artem

[teremok87]

Hallo Georg,

Geduld ist eine Tugend :)
Und noch ein Mal möchte ich mich bei dir bedanken. Dein Lösungsvorschalg hat funktioniert.

Könntes du es dir evtl doch überlegen, auf die einefachen Measurments oder Tags zu wechseln. Das mach das Aufräumen deutlich einfacher, weil man sich nicht um jeden alten Wert kümmern muss.

Vielen Dank!

[ledermann]

Prima, freut mich!

Bezüglich der Measurements: Mit der Änderung auf die Sensor-Konfiguration (siehe #2836 und solectrus/mqtt-collector#137) lassen sich auch individuelle Measurements definieren. Für beides benötigt man momentan die Developer-Version (Docker-Tag develop), das nächste offizielle Update bereite ich aber bereits vor.

Oder hast Du einen SENEC-Speicher? Der SENEC-Collector schreibt weiterhin alles in ein Measurement. Hier sehe ich momentan keinen Änderungsbedarf. Ich lasse mich aber gerne vom Gegenteil überzeugen. Ja, das manuelle Löschen in InfluxDB ist damit erschwert, aber das dürfte für die wenigsten User relevant sein. Oder übersehe ich einen wichtigen Anwendungsfall?

[teremok87]

Gern geschehen! Das ist aber ein schönes Gefühl. Mal auf der anderen Seite zu sein und jemanden geholfen zu haben. :)Am 15.08.2024 18:12 schrieb bennysweb ***@***.***>: Das war der entscheidende Hinweis, VIELEN DANK! —Reply to this email directly, view it on GitHub, or unsubscribe.You are receiving this because you were mentioned.Message ID: ***@***.***>