PostgreSQL-Speicherdruck in Matrix Synapse reduzieren

Falls PostgreSQL für Matrix Synapse mehr Speicher verbraucht als erwartet, ermitteln Sie zunächst, ob der Speicherverbrauch durch gemeinsam genutzte Puffer, aktive Abfragen, Autovacuum oder eine große Anzahl von Verbindungen verursacht wird. Optimieren Sie anschließend jeweils eine Speicherquelle und messen Sie erneut. Auch die Python-Worker von Synapse belegen einen erheblichen Speicherverbrauch. Stellen Sie daher sicher, dass die PostgreSQL-Prozesse oder der Datenbankcontainer die Ursache sind, bevor Sie die Datenbankeinstellungen ändern.

Verstehen, was „hohes Gedächtnis“ bedeutet

PostgreSQL nutzt gemeinsam genutzten Speicher für seinen Cache, privaten Speicher für jede Serververbindung und Abfrage sowie den Seitencache des Betriebssystems. Unter Linux kann der als „belegt“ angezeigte Speicher auch den wiederverwendbaren Dateisystemcache umfassen; diese Zahl allein beweist nicht, dass die Datenbank überlastet ist. Achten Sie auf anhaltend niedrigen verfügbaren Speicher, Auslagerungsaktivität, Speichermangel oder einen Container, der sich seiner Speichergrenze nähert. Vergleichen Sie diese Anzeichen mit den Prozessmetriken von Synapse und PostgreSQL.

Ein PostgreSQL-Backend ist ein Serverprozess, der eine Clientverbindung verarbeitet. Der Datenbankverbindungspool von Synapse kann mehrere Backends pro Prozess öffnen, und jeder Synapse-Worker verfügt über einen eigenen Pool. Eine Erhöhung der Worker-Anzahl oder der Poolgröße kann daher die Anzahl gleichzeitiger Datenbankzugriffe und den Speicherbedarf erhöhen. Empfehlung: Prüfen Sie vor der Anpassung von PostgreSQL die Synapse-Prozesse, die Worker-Anzahl, die Pool-Einstellungen, die PostgreSQL-Verbindungen und das Speicherlimit des Hosts oder Containers.

Finde die Hauptquelle vor dem Einstellen.

Stellen Sie als Administrator eine Verbindung zur Synapse-Datenbank her und überprüfen Sie die Einstellungen, die Speicher und Verbindungen steuern:

SHOW shared_buffers;
SHOW work_mem;
SHOW maintenance_work_mem;
SHOW autovacuum_work_mem;
SHOW max_connections;

shared_buffersDer gemeinsam genutzte Cache von PostgreSQL wird beim Serverstart zugewiesen. work_memDas Budget für Sortierungen und Hashtabellen ist pro Abfrageoperation festgelegt und nicht serverseitig begrenzt. Eine Abfrage kann mehrere solcher Operationen nutzen, und viele Verbindungen können diese gleichzeitig ausführen. Der Speicherbedarf für Wartung und automatische Speicherbereinigung kann sich ebenfalls vervielfachen, wenn mehrere Wartungsprozesse ausgeführt werden. Empfehlung: Vergleichen Sie die konfigurierten Werte mit dem verfügbaren RAM, der Parallelität und der Anzahl der Synapse-Verbindungen, anstatt anzunehmen, dass die höchste Einstellung die beste ist.

Mit dieser Abfrage können Sie sehen, wie viele Client-Sitzungen verbunden sind und ob diese aktiv oder inaktiv sind:

SELECT application_name, state, count(*)
FROM pg_stat_activity
GROUP BY application_name, state
ORDER BY count(*) DESC;

Sofern Ihre Bereitstellung dies unterstützt, prüfen Sie das Speicherlimit des PostgreSQL-Containers und verwenden Sie dessen Metriken oder die Prozess- und Cgroup-Metriken des Hosts. Die Summe des residenten Speichers aller PostgreSQL-Prozesse kann zu einer Überbewertung gemeinsam genutzter Seiten führen. Empfehlung: Überprüfen Sie die Speicherauslastung anhand der Gesamtspeicherabrechnung des Containers oder Hosts und identifizieren Sie anschließend mithilfe von Verbindungs- und Abfragestatistiken die wahrscheinlichen Ursachen.

Treffen Sie Entscheidungen auf Grundlage der vorliegenden Erkenntnisse.

Wenn der Speicherverbrauch für Abfragen während Stoßzeiten sprunghaft ansteigt

Prüfen Sie work_memzunächst den Wert. Ein hoher Wert kann erheblichen Speicherplatz beanspruchen, wenn mehrere Abfragen gleichzeitig mehrere Sortier- oder Hash-Operationen durchführen. Reduzieren Sie ihn vorsichtig, wenn Messungen zeigen, dass die Abfragekonkurrenz den Speicherverbrauch vervielfacht. Der Nachteil besteht darin, dass große Operationen in temporäre Dateien ausgelagert werden und dadurch langsamer ausgeführt werden. Vermeiden Sie das Kopieren generischer Werte von einem anderen Server, da die Synapse-Auslastung und die PostgreSQL-Version eine Rolle spielen.

Die PostgreSQL-Dokumentation beschreibt shared_buffersden Haupt-Shared-Cache und gibt etwa 25 % des RAM als sinnvollen Ausgangspunkt an – allerdings nur für dedizierte Datenbankserver mit mindestens 1 GB RAM. Sie weist außerdem darauf hin, dass eine Zuweisung von mehr als 40 % die meisten Workloads wahrscheinlich nicht verbessert, da PostgreSQL auch auf den Betriebssystem-Cache zurückgreift. Empfehlung: Nutzen Sie diese Werte als Kontext, nicht als Zielwert für einen gemeinsam genutzten Synapse-Host. Wenn Shared Buffers bereits einen großen Teil des Gesamtspeichers belegen, prüfen Sie bei einem geplanten Neustart einen niedrigeren Wert.

Wenn die Anzahl der Verbindungen der Hauptdruck ist

Überprüfen Sie die Einstellungen für die Verbindungspoolgröße in Synapse database.args.cp_minund den Worker-Konfigurationsdateien. Im Synapse-PostgreSQL-Leitfaden werden diese Einstellungen als minimale und maximale Verbindungspoolgröße angegeben. Bei vielen Workern mit jeweils einem eigenen Pool kann die Gesamtzahl der möglichen Verbindungen deutlich höher sein als der Wert in einer einzelnen Datei. Eine Verringerung der Verbindungspoolgröße kann die Anzahl gleichzeitiger Datenbank-Backends und deren Speicherbedarf begrenzen. Ein zu kleiner Pool kann jedoch dazu führen, dass Anfragen auf eine Verbindung warten müssen.cp_maxhomeserver.yamlcp_max

database:
  name: psycopg2
  args:
    user: synapse_user
    password: "use-a-secret-store-or-protected-config"
    dbname: synapse
    host: 127.0.0.1
    port: 5432
    cp_min: 2
    cp_max: 5

Die oben genannten Werte dienen lediglich der Veranschaulichung und stellen keine allgemeingültige Empfehlung dar. Berücksichtigen Sie die Pools im Hauptprozess und auf allen Workern und lassen Sie ausreichend Spielraum für Administration, Migrationen, Monitoring und andere Clients. PostgreSQL allokiert einige Ressourcen basierend auf der Anzahl der gleichzeitig genutzten Dienste. max_connectionsEine Erhöhung dieses Limits „nur für den Fall“ kann daher die Speicherauslastung erhöhen. Empfehlung: Begrenzen Sie die Synapse-Pools auf ein Niveau, das Ihren gemessenen Anforderungen an die Parallelität entspricht, und stellen Sie sicher, dass das Verbindungslimit von PostgreSQL für alle Dienste sowie den administrativen Zugriff ausreicht.

Wenn Wartungsarbeiten oder automatische Vakuumreinigung mit Spitzenwerten zusammenfallen

PostgreSQL kann Wartungsspeicher für VACUUM- und Indexierungsarbeiten reservieren. Der Speicher für Autovacuum kann pro Autovacuum-Worker zugewiesen werden. Eine hohe Speichereinstellung in Kombination mit mehreren Workern kann daher zu Spitzenlasten führen. Deaktivieren Sie Autovacuum nicht, um Speicher zu sparen: Es führt notwendige Tabellenwartungen durch. Maßnahme: Überprüfen Sie die Protokolle und Aktivitäten während der Spitzenlast und passen Sie die Einstellungen maintenance_work_memnur dann an autovacuum_work_mem, wenn diese Operationen nachweislich dazu beitragen.

Änderungen anwenden und Ergebnis überprüfen

Sichern Sie zunächst die PostgreSQL- und Synapse-Konfiguration. Ändern Sie jeweils nur eine Variable oder einen Pool-Limit, bewahren Sie vorhandene Zugangsdaten sicher auf und verwenden Sie den für Ihr Paket oder Ihren Container passenden Konfigurationspfad. Einige PostgreSQL-Parameter, darunter `setup.log` shared_buffersund max_connections`setup.log`, erfordern einen Serverneustart. Neuladbare Einstellungen können mit dem von PostgreSQL unterstützten Neulademechanismus angewendet werden. Prüfen Sie den Kontext der Einstellung, bevor Sie davon ausgehen, dass sie durch einen Neustart angewendet wurde.

Nach der Änderung sollten Sie über einen repräsentativen Zeitraum mit hoher Auslastung den maximalen Speicherverbrauch, Auslagerungs- und Speichermangelereignisse, aktive Verbindungen, Abfragelatenz, Aktivitäten temporärer Dateien und Synapse-Anfrageverzögerungen überwachen. Die Änderung ist sinnvoll, wenn sie den Speicherdruck reduziert, ohne anhaltende Verbindungswartezeiten, langsamere Abfragen oder einen wachsenden Anfragerückstand zu verursachen. Falls Synapse und nicht PostgreSQL der Prozess ist, der den Arbeitsspeicher belegt, optimieren Sie das Cache-Verhalten und die Anzahl der Synapse-Worker separat; die PostgreSQL-Einstellungen haben keinen Einfluss auf den von Python-Workern belegten Speicher.

Setzen Sie den Speicherverbrauch nicht work_memauf den gesamten RAM des Servers, erhöhen Sie ihn max_connectionsnicht ohne Berücksichtigung der Pool-Gesamtwerte und deaktivieren Sie Autovacuum nicht pauschal. Falls der Speicherverbrauch weiterhin hoch bleibt, erfassen Sie Metriken während der Spitzenlast und überprüfen Sie die tatsächlich ausgeführten Abfragen und Verbindungsquellen, bevor Sie zusätzliche Hardware hinzufügen oder umfassende Konfigurationsänderungen vornehmen.

Offizielle Referenzen

Einen Kommentar hinterlassen

Inaktive Matrix-Benutzer deaktivieren, ohne den Raumverlauf zu löschen

Inaktive Matrix-Benutzer deaktivieren, ohne den Raumverlauf zu löschen

Überprüfen Sie die Geräteaktivität, deaktivieren Sie bestätigte inaktive Synapse-Konten über die Admin-API und erfahren Sie, was genau durch das optionale Löschflag entfernt wird.

PostgreSQL-Speicherdruck in Matrix Synapse reduzieren

Ermitteln Sie, ob der PostgreSQL-Speicher durch Abfragen, gemeinsam genutzte Puffer, Verbindungen oder Wartungsarbeiten belegt wird, und nehmen Sie dann gezielte, Synapse-sichere Änderungen vor.

Warum Matrix Synapse Room Joins langsam sind – und was Sie überprüfen sollten

Warum Matrix Synapse Room Joins langsam sind – und was Sie überprüfen sollten

Bevor Sie die Synapse-Einstellungen ändern, sollten Sie langsame Matrix-Raumbeitritte auf einen entfernten Homeserver, Federation-Backoff, lokale Datenbanklast oder eine ausgehende Senderwarteschlange zurückführen.

Matrix-Registrierungen schließen oder Einladungstoken auf Synapse anfordern

Unterbinden Sie die Erstellung offener Konten auf einem selbstgehosteten Synapse-Server oder beschränken Sie die Registrierung auf Einladung mit Registrierungstoken mit begrenzter Nutzungsdauer.

Warnung zur Element-Sitzungsidentität: Überprüfen Sie Ihre Anmeldung sicher.

Clear Element warnt vor nicht verifizierten Sitzungen mithilfe eines vertrauenswürdigen Geräts oder Wiederherstellungsschlüssels und bietet Prüfungen zum Schutz Ihres verschlüsselten Chatverlaufs.

Mit dem richtigen Backend können Sie ownCloud-Dateisperr-Timeouts verhindern.

Unterscheiden Sie Datenbank-Sperrkonflikte von abgelaufenen WebDAV-Sperren und wählen und konfigurieren Sie dann die richtige ownCloud 10-Lösung.

Was Sie überprüfen sollten, wenn ownCloud Web eine leere Seite anzeigt

Was Sie überprüfen sollten, wenn ownCloud Web eine leere Seite anzeigt

Verfolgen Sie mithilfe gezielter Prüfungen, ob ein leerer ownCloud-Webbildschirm auf den Browser-Cache, fehlende Webressourcen, Dienstfehler oder Reverse-Proxy-URL-Einstellungen zurückzuführen ist.

Beheben Sie die ownCloud PHP-Speicherwarnung in der richtigen Laufzeitumgebung.

Legen Sie das Web-PHP-Speicherlimit von ownCloud fest, starten Sie den entsprechenden Dienst neu und überprüfen Sie den aktiven Wert, ohne ihn mit CLI-Einstellungen oder Upload-Limits zu verwechseln.

Behebung von Verbindungsfehlern bei ownCloud 10 MySQL

Prüfen Sie, ob MySQL, PHP, Socket-Einstellungen oder Datenbankberechtigungen ownCloud 10 blockieren, und überprüfen Sie anschließend eine sichere Lösung.

Legen Sie ein festes Ablaufdatum für ownCloud Public Links fest

Legen Sie ein festes Ablaufdatum für ownCloud Public Links fest

Machen Sie das Ablaufdatum öffentlicher Links in ownCloud Classic obligatorisch, legen Sie eine maximale Lebensdauer fest und prüfen Sie vorhandene Freigaben, die möglicherweise separat bereinigt werden müssen.