S3 - Ayakaleaf Pro

Dieses Dokument behandelt die Einrichtung von S3 in Server CE und Ayakaleaf Pro. Eine separate Anleitung beschreibt die Migration bestehender Daten in S3-kompatiblen Speicher.

Wenn Sie Ayakaleaf Pro mit aktiviertem s3.md-Speicher bereitstellen: Werden die in S3 gespeicherten Daten verschlüsselt?Nein. Die Daten werden nicht verschlüsselt. Alle History-Chunks, Vorlagendateien, PDFs und anderen Dateien werden im Klartext gespeichert. Wenn Sie einen externen S3-Speicheranbieter eines Drittanbieters nutzen, achten Sie bitte besonders auf Datensicherheit und Datenschutz.

Wann Sie S3 für die Datenspeicherung in Betracht ziehen sollten

Für Instanzen mit weniger als 1000 Plätzen empfehlen wir lokalen Festplattenspeicher mit regelmäßigen konsistenten Backups. Für größere Instanzen mit mehr als 1000 Plätzen, die an die Grenzen ihres lokalen Speichers (Größe oder Durchsatz) stoßen, empfehlen wir ein S3-kompatibles Objektspeicher-Backend anstelle anderer netzwerkbasierter Speicherlösungen wie NFS.

Optionen für S3-kompatiblen Objektspeicher

Dies sind die beliebtesten Optionen für S3-kompatiblen Objektspeicher:

AWS S3, verwaltet; wir empfehlen AWS S3, wenn Sie Overleaf CE/Server Pro auf AWS betreiben
MINIO, selbst gehostet
Ceph, selbst gehostet
Auch andere Hosting-Anbieter bieten eine Form von verwaltetem S3-kompatiblem Objektspeicher an. Wenn Sie Overleaf CE/Server Pro bereits bei einem solchen Anbieter betreiben, ist es möglicherweise sinnvoll, diesen zu nutzen, statt einen eigenen zu betreiben.

Latenz bei der Wahl eines S3-kompatiblen Objektspeichers

Die Latenz zwischen der Server CE/Server Pro-Instanz und Ihrem S3-kompatiblen Objektspeicher trägt erheblich zur Dauer der Migration bei. Die Latenz wirkt sich außerdem auf die Leistung beim Hochladen von Dateien in Server CE/Server Pro aus, und langsame Datei-Downloads können sich auch stark auf die PDF-Kompilierzeiten auswirken. Wir empfehlen, die geografische Entfernung zwischen Ihrer Server CE/Server Pro-Instanz und dem S3-kompatiblen Objektspeicher möglichst gering zu halten. In einer verwalteten Umgebung bedeutet dies, einen Bucket in derselben Region bereitzustellen; bei einer On-Premises-Lösung, beide auf demselben Campus zu betreiben.

S3-Einrichtung

Wir benötigen vier “Buckets” und zwei eingeschränkte Benutzerkonten. overleaf-user-files und OVERLEAF_FILESTORE_USER_FILES_BUCKET_NAME werden nur vor v6 benötigt.

Buckets sollten nicht öffentlich zugänglich sein


Bucket	Verwendung	Service	Bisher in `/var/lib/overleaf/data`
`overleaf-user-files`	Benutzerdateien der Projekte	filestore	`user_files`
`overleaf-template-files`	Vorlagendateien	filestore	`template_files`
`overleaf-project-blobs`	History-Blobs der Projekte	history und schreibgeschützter filestore	`history/overleaf-project-blobs`
`overleaf-chunks`	History-Chunks	history	`history/overleaf-chunks`

Möglicherweise möchten oder müssen Sie andere Namen wählen. Verwenden Sie dann in allen Befehlen Ihre eigenen Bucket-Namen. Im Folgenden werden Platzhalter für die tatsächlichen Zugangsdaten verwendet:

Umgebungsvariable	Beschreibung
`OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID`	Der Access Key/Benutzername des eingeschränkten Benutzers des filestore-Service.
`OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY`	Der Secret Key/das Passwort des eingeschränkten Benutzers des filestore-Service.
`OVERLEAF_HISTORY_S3_ACCESS_KEY_ID`	Der Access Key/Benutzername des eingeschränkten Benutzers des history-Service.
`OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY`	Der Secret Key/das Passwort des eingeschränkten Benutzers des history-Service.

Server CE und Server Pro benötigen nur wenige Berechtigungen für jeden Bucket:

Objekt erstellen
Objekt abrufen
Objekt löschen
Bucket auflisten

Zugriffsrichtlinien

So könnte eine Richtlinie für den filestore-Benutzer aussehen:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-user-files"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-user-files/*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:GetObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-project-blobs/*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-template-files"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-template-files/*"
    }
  ]
}

So könnte eine Richtlinie für den history-Benutzer aussehen:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-project-blobs"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-project-blobs/*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-chunks"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-chunks/*"
    }
  ]
}

Übersicht der Variablen

Bei Verwendung von AWS S3

# Enable S3 backend for filestore
OVERLEAF_FILESTORE_BACKEND=s3

# Bucket name for project files
OVERLEAF_FILESTORE_USER_FILES_BUCKET_NAME=overleaf-user-files

# Bucket name for template files
OVERLEAF_FILESTORE_TEMPLATE_FILES_BUCKET_NAME=overleaf-template-files

# Key for filestore user
OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID=...

# Secret for filestore user
OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY=...

# Bucket region you picked when creating the buckets.
OVERLEAF_FILESTORE_S3_REGION=""

# Enable S3 backend for history
OVERLEAF_HISTORY_BACKEND=s3

# Bucket name for project history blobs
OVERLEAF_HISTORY_PROJECT_BLOBS_BUCKET=overleaf-project-blobs

# Bucket name for history chunks
OVERLEAF_HISTORY_CHUNKS_BUCKET=overleaf-chunks

# Key for history user
OVERLEAF_HISTORY_S3_ACCESS_KEY_ID=...

# Secret for history user
OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY=...

# Bucket region you picked when creating the buckets.
OVERLEAF_HISTORY_S3_REGION=""

Bei Verwendung einer selbst gehosteten Option

# Enable S3 backend for filestore
OVERLEAF_FILESTORE_BACKEND=s3

# Bucket name for project files
OVERLEAF_FILESTORE_USER_FILES_BUCKET_NAME=overleaf-user-files

# Bucket name for template files
OVERLEAF_FILESTORE_TEMPLATE_FILES_BUCKET_NAME=overleaf-template-files

# Key for filestore user
OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID=...

# Secret for filestore user
OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY=...

# S3 provider endpoint
OVERLEAF_FILESTORE_S3_ENDPOINT=http://10.10.10.10:9000

# Path style addressing of buckets. Most likely you need to set this to "true".
OVERLEAF_FILESTORE_S3_PATH_STYLE="true"

# Bucket region. Most likely you do not need to configure this.
OVERLEAF_FILESTORE_S3_REGION=""

# Enable S3 backend for history
OVERLEAF_HISTORY_BACKEND=s3

# Bucket name for project history blobs
OVERLEAF_HISTORY_PROJECT_BLOBS_BUCKET=overleaf-project-blobs

# Bucket name for history chunks
OVERLEAF_HISTORY_CHUNKS_BUCKET=overleaf-chunks

# Key for history user
OVERLEAF_HISTORY_S3_ACCESS_KEY_ID=...

# Secret for history user
OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY=...

# S3 provider endpoint
OVERLEAF_HISTORY_S3_ENDPOINT=http://10.10.10.10:9000

# Path style addressing of buckets. Most likely you need to set this to "true".
OVERLEAF_HISTORY_S3_PATH_STYLE="true"

# Bucket region. Most likely you do not need to configure this.
OVERLEAF_HISTORY_S3_REGION=""

MINIO-Einrichtung

MINIO_ROOT_USER und MINIO_ROOT_PASSWORD sind die Root-Zugangsdaten der MINIO-Instanz.

Folgen Sie bitte der offiziellen Dokumentation, um mc zu beziehen.

mc alias set s3 http://10.10.10.10:9000 MINIO_ROOT_USER MINIO_ROOT_PASSWORD

# Put the contents of the policies from the previous section in the
# respective json file policy-filestore.json and policy-history.json.

# Reminder: Replace the bucket names and credentials accordingly.

# filestore buckets, user and policy
mc mb --ignore-existing s3/overleaf-user-files
mc mb --ignore-existing s3/overleaf-template-files
mc admin user add s3 \
  OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID \
  OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY
mc admin policy create s3 overleaf-filestore policy-filestore.json
mc admin policy attach s3 overleaf-filestore \
  --user=OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID

# history buckets, user and policy
mc mb --ignore-existing s3/overleaf-project-blobs
mc mb --ignore-existing s3/overleaf-chunks
mc admin user add s3 \
  OVERLEAF_HISTORY_S3_ACCESS_KEY_ID \
  OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY
mc admin policy create s3 overleaf-history policy-history.json
mc admin policy attach s3 overleaf-history \
  --user=OVERLEAF_HISTORY_S3_ACCESS_KEY_ID

Überblick

Installation

Konfiguration

Wartung

Benutzer- und Projektverwaltung

Support

S3

Wann Sie S3 für die Datenspeicherung in Betracht ziehen sollten

Optionen für S3-kompatiblen Objektspeicher

Latenz bei der Wahl eines S3-kompatiblen Objektspeichers

S3-Einrichtung

Zugriffsrichtlinien

Übersicht der Variablen

Bei Verwendung von AWS S3

Bei Verwendung einer selbst gehosteten Option

MINIO-Einrichtung

​Wann Sie S3 für die Datenspeicherung in Betracht ziehen sollten

​Optionen für S3-kompatiblen Objektspeicher

​Latenz bei der Wahl eines S3-kompatiblen Objektspeichers

​S3-Einrichtung

​Zugriffsrichtlinien

​Übersicht der Variablen

​Bei Verwendung von AWS S3

​Bei Verwendung einer selbst gehosteten Option

​MINIO-Einrichtung

Wann Sie S3 für die Datenspeicherung in Betracht ziehen sollten

Optionen für S3-kompatiblen Objektspeicher

Latenz bei der Wahl eines S3-kompatiblen Objektspeichers

S3-Einrichtung

Zugriffsrichtlinien

Übersicht der Variablen

Bei Verwendung von AWS S3

Bei Verwendung einer selbst gehosteten Option

MINIO-Einrichtung