solectrus-db-1 is unhealthy

[KippA67]

Hallo zusammen,
seit gestern bekomme ich im Browser keine Verbindung mehr zu Solectrus (läüft auf einem Raspberry)..
Wenn ich versuche, ein Update zu laden dann funktioniert das, bei Installierern dieses Updates bekomme ich allerdings die Meldung "dependency failed to start: container solectrus-db-1 is unhealthy"...

Irgendjemand eine Idee wie ich das wieder zum laufen bekomme?

[gereons]

Irgendwas ist mit deiner PostgrSQL-Datenbank nicht in Ordnung. Poste doch bitte mal die Ausgabe von docker logs solectrus-db-1, da steht hoffentlich was aussagekräftiges drin.

[ledermann]

Meine Vermutung wäre: Du hast versehentlich ein Major-Upgrade von PostgreSQL versucht, also z.B. von 16-alpine auf 17-alpine gewechselt. Ein Major-Upgrade ist bei PostgreSQL aber nicht so einfach, eine bestehende Datenbank muss dafür migriert werden. Die Lösung wäre hier: Wieder zurück auf die vorher benutzte Version.

Wenn das nicht die Ursache ist: Wie @gereons bereits geschrieben hat - im Log wird höchstwahrscheinlich die Ursache stehen.

[gereons]

Du hast versehentlich ein Major-Upgrade von PostgreSQL versucht, also z.B. von 16-alpine auf 17-alpine gewechselt.

Frage in dem Zusammenhang: taugt der psql-Teil der Backup/Restore-Scripte um so einen Upgrade zu machen?

[ledermann]

Ja, habe in solectrus/backup-restore#5 etwas dazu geschrieben.

[KippA67]

Danke für die schnellen Antworten, die Lösung schint woh einfacher zu sein, das Logfile hat geholfen::

pi@raspberrypi:~ $ df
Filesystem 1K-blocks Used Available Use% Mounted on
/dev/root 15020736 14541284 0 100% /
devtmpfs 781084 0 781084 0% /dev
tmpfs 946812 0 946812 0% /dev/shm
tmpfs 378728 1428 377300 1% /run
tmpfs 5120 4 5116 1% /run/lock
/dev/mmcblk0p1 261108 31298 229810 12% /boot
tmpfs 189360 0 189360 0% /run/user/1000

SD-Karte ist wohl voll 😒😏

Ich werde mal versuchen die auf eine größere zu klonen...

[ledermann]

Bevor du auf eine größere Karte wechselst: Was verbraucht denn da so viel Platz? Wird der Verbrauch von SOLECTRUS verursacht oder von anderen Dingen?

docker system df -v

Laufen die Logs voll? In compose.yaml sollte bei jedem Service das hier (oder ähnlich) stehen:

logging:
   options:
     max-size: 10m
     max-file: '3'

[KippA67]

Hmm,
hier mal die Ausgabe von "docker system df -v" & die docker-compse.yml (eine compse.yaml hab ich nicht gefunden...)

docker_system_df .txt
docker-compose.yml.txt

Ist jetzt aber auch nicht "eilig", ich bin gleich eh unterwegs und würde mich erst morgen wieder an den Rechner setzten, Weihnachtsmarkt & Co rufen 😏😏😏

[gereons]

Da liegen noch jede Menge alte Container und Images rum die du bedenkenlos löschen kannst. docker image prune -a und docker container prune sollten einiges an Platz freischaufeln, und die logging-Optionen solltest du auch nachtragen.

[ledermann]

Ja, sehe ich auch so, die alten Container und Images können weg.

Da die Installation bereits seit zwei Jahren läuft und keine Logging-Limitierung aktiv ist, vermute ich eine riesige Menge an Logfiles, zu ermitteln z.B. so:

sudo find /var/lib/docker/containers -name "*.log" -exec du -sh {} +

Ein Leeren wäre folgendermaßen möglich:

sudo find /var/lib/docker/containers -name "*.log" -exec truncate -s 0 {} +

Anschließend die obigen Logging-Optionen in deiner docker-compose.yml ergänzen (bei allen Services), damit das Problem nicht irgendwann erneut auftritt, also so:

logging:
  options:
    max-size: 10m
    max-file: "3"

Noch der Änderung des Compose-Files docker compose up -d ausführen, damit es aktiv wird.

Und zack, neue SD-Karte gespart ;-)

[KippA67]

Wow, der Service ist hier ja mega 👍
Es läuft wieder, nur bin ich mir nicht sicher, wo genau ich in der docker-compose.yml die Einträge bzgl. des Loggings eintragen muß...
Was sind denn die "Services", sind das z.B. "influx-db", "db", "redis", "senec-collector" usw.?

Nochmal Danke für die schnelle Hilfe (und das auch noch auf Deutsch 😏) -> Sponsoring ist aktiviert 🫡😉

[ledermann]

Prima, freut mich, dass es geholfen hat - und danke für das Sponsoring :)

Die Einträge sollten so aussehen, bei jedem einzelnen Service (dashboard, influxdb, ...):

services:
  app:
    ...
    logging:
      options:
        max-size: 10m
        max-file: '3'
  influxdb:
    ...
    logging:
      options:
        max-size: 10m
        max-file: '3'
  db:
    ...
    logging:
      options:
        max-size: 10m
        max-file: '3'
  redis:
    ...
    logging:
      options:
        max-size: 10m
        max-file: '3'
  senec-collector:
    ...
    logging:
      options:
        max-size: 10m
        max-file: '3'
  forecast-collector:
    ...
    logging:
      options:
        max-size: 10m
        max-file: '3'

Wichtig: Unbedingt auf die richtige Einrückung achten!

[KippA67]

Perfekt, ich glaube, das habe ich hinbekommen (nach einem "docker compose up -d" läuft zumindestens noch alles 😉)

[GalOR7]

Danke euch für die "Coolen Wartungstipps" Konnte einige GB frei geben durch das pruning der nicht mehr benötigten Images und Container. Habe auch die Logging Limitierungen nachgetragen. Meine Frage wäre ob man das nicht automatisieren kann? Oder ein Script entwickeln das man von Zeit zu Zeit ausführt? Denke das wird einige Solectrus User betreffen die schon länger dabei sind.

[ledermann]

Bei neuen Installationen von SOLECTRUS, die über den Konfigurator durchgeführt werden, kann das Problem nicht mehr auftreten, und zwar aus zwei Gründen:

1. In der generierten compose.yaml wird Watchtower mit der Cleanup-Option eingerichtet. Diese sorgt nach jedem Image-Update dafür, dass nicht mehr benötigte Images und Container gelöscht werden
2. Auch die Logging-Optionen werden generiert, sodass die Logs automatisch auf 3 x 10MB pro Container begrenzt werden

Den Konfigurator gibt es seit Sommer dieses Jahres. Das Problem sind also ältere Installationen. Ich weise zwar im Blog und im Newsletter häufig darauf hin, Watchtower zu verwenden, aber da muss halt der einzelne User aktiv werden.

Für die Logging-Limitierung habe ich jetzt eine weitere Seite in der Dokumentation ergänzt:
https://docs.solectrus.de/wartung/logging

Hoffen wir, dass Betroffene zukünftig darauf stoßen werden ;-)

[GalOR7]

Danke @ledermann, man kann ja die älteren Solectrus Installationen leicht über den yaml File auf den letzten Stand bringen. Ich habe dieses Thema auch nur "zufällig" beim stöbern gefunden. Mir ist zwar auch aufgefallen das mein 32GB MemoryStick ziemlich voll gelaufen war, habe das aber mehr auf den vollen apt cache und syslog von Bookworm geschoben. Das erste Jahr Solectrus war mein Watchtower nicht korrekt eingestellt. Dewegen konnte ich auch einige GB nicht mehr verwendete container und images prunen.
Da werden schon noch ein paar "Betroffene" auftauchen bin ich mir sicher 😇