Daten aus Influx Löschen

[f1nch87]

Hey.
Ich habe heute irgendwie bei Hausverbrauch und Erzeugung jeweiles einen extremst hohen Wert gelesen bekommen. Also ca. 1000% vom normalen.
Gibt es die Möglichkeit einzelne Werte aus der Influx DB zu löschen?

Ich weiß nicht wieso das passiert ist aber ich hätte ihn gerne draußen.

Gruß

[ledermann]

Das Löschen von Daten aus InfluxDB ist etwas problematisch. Zum einen ist das nur per CLI (Command Line Interface) möglich, zum anderen können auch nicht einzelne Werte entfernt werden, sondern nur Zeiträume.

Zitat aus der Dokumentation:

InfluxDB 2.7 supports deleting data by the following:

• time range
• measurement
• tag

InfluxDB 2.7 does not support deleting data by field.

Es ist also machbar, wenn du den Zeitpunkt der Fehlmessung möglichst genau kennst. Dann kannst du einen Zeitraum weniger Sekunden erstellen und darin alles aus dem Measurement löschen.

Wenn du dir das wirklich antun willst, dann sähe der Weg in etwa so aus:

docker compose exec influxdb influx delete \
  --org=solectrus \
  --bucket=solectrus \
  --token=my-super-secret-admin-token \
  --start=2024-09-06T12:00:00+02:00 \
  --stop=2024-09-06T12:00:01+02:00 \
  --predicate='_measurement="SENEC"' 

Die Parameter sind nur Beispiele und müssen natürlich von dir angepasst werden.

Danach unbedingt den Redis-Cache löschen, sonst siehst du im Dashboard keine Änderung:

docker compose exec redis redis-cli FLUSHALL

[ledermann]

Wo kommen denn deine Daten her? Bei meinem SENEC (Daten werden vom SENEC-Collector gesammelt) ist ein solcher Ausreißer in bislang vier Jahren noch nicht ein einziges Mal vorgekommen.

Mit "Antun" meinte ich: Wenn du sowieso auf der Kommandozeile zu Hause bist, dir diese Docker-Befehle keine Angst bereiten und du die Parameter auch anpassen kannst, ohne eine KI fragen zu müssen, dann kannst du das schon machen ;-)

Bezüglich Backup gibt es noch diese zwei Möglichkeiten:

https://github.com/orgs/solectrus/discussions/3014
https://github.com/solectrus/influxdb2-s3-backup

[f1nch87]

Meine Daten kommen von einem Huawei und einem Growatt WR über Mqtt. Weiß nicht woher der Ausreißer genau kam. Kann es leider auch nichtmehr nachvollziehen. Aber da es bei Erzeugung und bei Hausverbrauch war, denke ich schon das es irgendwie an Solectrus lag.
Naja einfach ein komplettes Backup meines Lxc Containers ist glaubich die einfachste Variante bis ich mich eingelesen hab wie die InfluxDb einzeln zu backupen ist.

[f1nch87]

Aber das löschen des Zeitraums müsste ich auch hinbekommen. Sieht nicht so kompliziert aus und es war nur ein wert welcher falsch lief.

[ledermann]

Ok, einen solchen Ausreißer würde ich auch weg haben wollen, mit dem delete-Statement sollte das gehen.

Dass die Ursache aber SOLECTRUS war, wage ich zu bezweifeln. Der MQTT-Collector schreibt nur stumpf das in die InfluxDB, was er gemeldet bekommt.

Du könntest versuchen, in den Logs des MQTT-Collector Nachforschungen anzustellen. Dort wird jede empfangene MQTT-Message protokolliert. Ein Ansatz wäre so etwas:

docker compose logs mqtt-collector --since "2024-09-06T19:50:00+02:00" --until "2024-09-06T19:55:00+02:00"

[f1nch87]

Ok vielen dank ich probiere das mal aus.

Aber trotzdem top Projekt👍.
Sponsoring hab ich direkt gemacht weil es mir so gut gefällt und es so intuitiv ist.

[f1nch87]

Ok gestern erneut passiert um dieselbe Uhrzeit.

# Message from 2024-09-06 19:56:23 +0200
  topic = growatt/site/homePower
  message = 328.2
  => pv:house_power = 328
# Message from 2024-09-06 19:56:45 +0200
  topic = growatt/site/pvPower
  message = 2.1475e+08
  => pv:inverter_power = 214750000
# Message from 2024-09-06 19:56:47 +0200
  topic = growatt/site/homePower
  message = 2.1475e+08
  => pv:house_power = 214750000
# Message from 2024-09-06 19:57:15 +0200
  topic = growatt/site/pvPower
  message = 16.4
  => pv:inverter_power = 16

# Message from 2024-09-07 19:56:14 +0200
  topic = growatt/site/pvPower
  message = 2.1475e+08
  => pv:inverter_power = 214750000
# Message from 2024-09-07 19:56:18 +0200
  topic = growatt/site/homePower
  message = 2.1475e+08
  => pv:house_power = 214750000

[ledermann]

Das ist interessant. Über den MQTT-Broker kommt also der Wert 2.1475e+08 sowohl für Erzeugung als auch für Hausverbrauch. Beide Werte kommen von Growatt.

Die Zahl erinnert an 2^31 = 2.147.483.648. Das klingt nach einem Überlauf oder einem generellen Zahlenkodierungs-Problem.

Ich nehme an, du benutzt einen MQTT-Broker aus HomeAssistant oder ioBroker. Kannst du dort nachsehen, ob da auch bereits offensichtlich falsche Werte auftauchen?

Wenn sich da nichts finden lässt, könnte ich den MQTT-Collector um eine Option erweitern, dass der versucht, Ausreißer automatisch zu ignorieren.

[f1nch87]

Mein Broker läuft über Proxmox als Container.
Growatt ist das Topic über das alle Werte kommen. Die kommen von EVCC in den MQTT Broker

Im MQTT Broker werden doch die Daten nicht gespeichert oder? Ich kann ja jetzt nichtmehr nachvollziehen welche Werte dort gestern angekommen sin.

[f1nch87]

Wenn sich da nichts finden lässt, könnte ich den MQTT-Collector um eine Option erweitern, dass der versucht, Ausreißer automatisch zu ignorieren.

Das wäre natürlich mega.

[ledermann]

Ja, der Broker speichert vermutlich nichts.

Ich habe mal solectrus/mqtt-collector#237 angelegt.

[f1nch87]

So also die Daten habe ich mal rausgelöscht.
Am 6.9. waren es zwei Werte zu zwei Uhrzeiten die deutlich zu hoch waren um am 7.9. nur zu einem Zeitpunkt.
Muss mal schauen wieso und weshalb mein MQQT Broker das so empfängt.

[f1nch87]

So siehts auf jedenfall mal schöner aus wieder;)

[f1nch87]

So hey ich habe ein neues Problem. Vlt kann mir jemand helfen.
Vor meinem Urlaub habe ich alle Daten außer einem Wert korrigiert weil ich den übersehen hatte.
Jetzt bekomme ich aber nachdem ich Solectrus über Portainer aufgesetzt habe einen Docker fehler wenn ich Befehle docker befehle ausführen will.

root@pSolectrus:~# docker compose exec solectrus-redis-1 redis-cli FLUSHALL
no configuration file provided: not found

Weiß jemand woran das liegt?

[f1nch87]

Ok wenn ich compose weglasse funktioniert es.
Gibt es eine möglichkeit Werte der InfluxDB in einem Zeitraum anzeigen zu lassen? Weil über Mqtt komme ich nichtmehr soweit zurück

[ledermann]

Warum das Kommando mit docker compose nicht funktioniert hat, obwohl du ja offenbar im richtigen Ordner warst, leuchtet mir auch gerade nicht ein. Es wäre interessant zu wissen, ob in /data/compose/1 wirklich die compose-Datei liegt. Aber egal, du hast es ja nun ohne Compose geschafft.

Gibt es eine möglichkeit Werte der InfluxDB in einem Zeitraum anzeigen zu lassen? Weil über Mqtt komme ich nichtmehr soweit zurück

Was genau meinst du? Grundsätzlich kannst du dich in InfluxDB einloggen und im Detail ansehen, welche Daten dort vorhanden sind. Die Adresse ist http://docker-ip:8086. In der compose.yaml muss aber vorher der Port 8086 geöffnet worden sein.

[f1nch87]

Ok danke danke,
Port hab ich freigegeben aber funktioniert natürlich nicht. :D
Ich muss das selbst nochmal nachschauen, wie genau das funktioniert. Du musst mir ja nicht alles vorkauen :)

Aber danke für den support.

[f1nch87]

Okey habs geschafft.
Man sollte hallt auch den Port an der richtigen Stelle in Influx freigeben ;)

[f1nch87]

Da sind die Übeltäter