S3 - Ayakaleaf Pro

Ten dokument opisuje konfigurację S3 w Server CE i Ayakaleaf Pro. Migrację istniejących danych do pamięci zgodnej z S3 opisuje osobny przewodnik.

Czy dane przechowywane w S3 są szyfrowane, jeśli wdrożysz Ayakaleaf Pro z włączoną pamięcią s3.md?Nie. Dane nie są szyfrowane. Wszystkie fragmenty historii, pliki szablonów, pliki PDF i inne pliki są przechowywane jako zwykły tekst. Jeśli korzystasz z zewnętrznego dostawcy pamięci S3, zwróć szczególną uwagę na bezpieczeństwo i prywatność danych.

Kiedy warto rozważyć użycie S3 do przechowywania danych

W przypadku instancji z mniej niż 1000 stanowisk zalecamy korzystanie z lokalnej pamięci dyskowej wraz z regularnymi spójnymi kopiami zapasowymi. W przypadku większych instancji z ponad 1000 stanowisk, które osiągają limity lokalnej pamięci (rozmiaru lub przepustowości), zalecamy użycie backendu w postaci obiektowej pamięci masowej zgodnej z S3 zamiast innych sieciowych rozwiązań pamięci masowej, takich jak NFS.

Opcje obiektowej pamięci masowej zgodnej z S3

Oto najpopularniejsze opcje obiektowej pamięci masowej zgodnej z S3:

AWS S3, usługa zarządzana — sugerujemy wybór AWS S3, jeśli uruchamiasz Overleaf CE/Server Pro w AWS
MINIO, hostowana samodzielnie
Ceph, hostowana samodzielnie
Inni dostawcy hostingu również oferują jakąś formę zarządzanej obiektowej pamięci masowej zgodnej z S3 — jeśli już uruchamiasz Overleaf CE/Server Pro u takiego dostawcy, możesz z niej skorzystać zamiast utrzymywać własną.

Opóźnienia przy wyborze obiektowej pamięci masowej zgodnej z S3

Opóźnienie między instancją Server CE/Server Pro a obiektową pamięcią masową zgodną z S3 ma duży wpływ na czas trwania migracji. Opóźnienie wpływa również na wydajność przesyłania plików w Server CE/Server Pro, a powolne pobieranie plików może znacząco wydłużyć czas kompilacji PDF. Zalecamy minimalizowanie odległości geograficznej między instancją Server CE/Server Pro a obiektową pamięcią masową zgodną z S3. W środowisku zarządzanym oznacza to utworzenie bucketu w tym samym regionie, a w przypadku rozwiązania on-premise — uruchomienie obu w tym samym kampusie.

Konfiguracja S3

Potrzebujemy czterech “bucketów” i dwóch kont użytkowników z ograniczonymi uprawnieniami. overleaf-user-files i OVERLEAF_FILESTORE_USER_FILES_BUCKET_NAME są potrzebne tylko w wersjach sprzed v6.

Buckety nie powinny być publicznie dostępne


Bucket	Zastosowanie	Usługa	Wcześniej w `/var/lib/overleaf/data`
`overleaf-user-files`	pliki użytkowników w projektach	filestore	`user_files`
`overleaf-template-files`	pliki szablonów	filestore	`template_files`
`overleaf-project-blobs`	bloby historii projektów	history i filestore tylko do odczytu	`history/overleaf-project-blobs`
`overleaf-chunks`	fragmenty historii	history	`history/overleaf-chunks`

Możesz chcieć (lub musieć) wybrać inne nazwy — pamiętaj wtedy, aby używać własnych bucketów we wszystkich poleceniach. W dalszej części zamiast rzeczywistych danych uwierzytelniających używane są symbole zastępcze:

Zmienna środowiskowa	Opis
`OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID`	Klucz dostępu / nazwa użytkownika z ograniczonymi uprawnieniami dla usługi filestore.
`OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY`	Klucz tajny / hasło użytkownika z ograniczonymi uprawnieniami dla usługi filestore.
`OVERLEAF_HISTORY_S3_ACCESS_KEY_ID`	Klucz dostępu / nazwa użytkownika z ograniczonymi uprawnieniami dla usługi history.
`OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY`	Klucz tajny / hasło użytkownika z ograniczonymi uprawnieniami dla usługi history.

Server CE i Server Pro potrzebują jedynie niewielkiego zestawu uprawnień do każdego bucketu:

tworzenie obiektów
pobieranie obiektów
usuwanie obiektów
wyświetlanie zawartości bucketu

Zasady dostępu

Oto jak może wyglądać zasada dla użytkownika filestore:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-user-files"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-user-files/*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:GetObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-project-blobs/*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-template-files"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-template-files/*"
    }
  ]
}

Oto jak może wyglądać zasada dla użytkownika history:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-project-blobs"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-project-blobs/*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-chunks"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-chunks/*"
    }
  ]
}

Przegląd zmiennych

W przypadku AWS S3

# Enable S3 backend for filestore
OVERLEAF_FILESTORE_BACKEND=s3

# Bucket name for project files
OVERLEAF_FILESTORE_USER_FILES_BUCKET_NAME=overleaf-user-files

# Bucket name for template files
OVERLEAF_FILESTORE_TEMPLATE_FILES_BUCKET_NAME=overleaf-template-files

# Key for filestore user
OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID=...

# Secret for filestore user
OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY=...

# Bucket region you picked when creating the buckets.
OVERLEAF_FILESTORE_S3_REGION=""

# Enable S3 backend for history
OVERLEAF_HISTORY_BACKEND=s3

# Bucket name for project history blobs
OVERLEAF_HISTORY_PROJECT_BLOBS_BUCKET=overleaf-project-blobs

# Bucket name for history chunks
OVERLEAF_HISTORY_CHUNKS_BUCKET=overleaf-chunks

# Key for history user
OVERLEAF_HISTORY_S3_ACCESS_KEY_ID=...

# Secret for history user
OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY=...

# Bucket region you picked when creating the buckets.
OVERLEAF_HISTORY_S3_REGION=""

W przypadku opcji hostowanej samodzielnie

# Enable S3 backend for filestore
OVERLEAF_FILESTORE_BACKEND=s3

# Bucket name for project files
OVERLEAF_FILESTORE_USER_FILES_BUCKET_NAME=overleaf-user-files

# Bucket name for template files
OVERLEAF_FILESTORE_TEMPLATE_FILES_BUCKET_NAME=overleaf-template-files

# Key for filestore user
OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID=...

# Secret for filestore user
OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY=...

# S3 provider endpoint
OVERLEAF_FILESTORE_S3_ENDPOINT=http://10.10.10.10:9000

# Path style addressing of buckets. Most likely you need to set this to "true".
OVERLEAF_FILESTORE_S3_PATH_STYLE="true"

# Bucket region. Most likely you do not need to configure this.
OVERLEAF_FILESTORE_S3_REGION=""

# Enable S3 backend for history
OVERLEAF_HISTORY_BACKEND=s3

# Bucket name for project history blobs
OVERLEAF_HISTORY_PROJECT_BLOBS_BUCKET=overleaf-project-blobs

# Bucket name for history chunks
OVERLEAF_HISTORY_CHUNKS_BUCKET=overleaf-chunks

# Key for history user
OVERLEAF_HISTORY_S3_ACCESS_KEY_ID=...

# Secret for history user
OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY=...

# S3 provider endpoint
OVERLEAF_HISTORY_S3_ENDPOINT=http://10.10.10.10:9000

# Path style addressing of buckets. Most likely you need to set this to "true".
OVERLEAF_HISTORY_S3_PATH_STYLE="true"

# Bucket region. Most likely you do not need to configure this.
OVERLEAF_HISTORY_S3_REGION=""

Konfiguracja MINIO

MINIO_ROOT_USER i MINIO_ROOT_PASSWORD to dane uwierzytelniające użytkownika root instancji MINIO.

Aby uzyskać mc, postępuj zgodnie z oficjalną dokumentacją.

mc alias set s3 http://10.10.10.10:9000 MINIO_ROOT_USER MINIO_ROOT_PASSWORD

# Put the contents of the policies from the previous section in the
# respective json file policy-filestore.json and policy-history.json.

# Reminder: Replace the bucket names and credentials accordingly.

# filestore buckets, user and policy
mc mb --ignore-existing s3/overleaf-user-files
mc mb --ignore-existing s3/overleaf-template-files
mc admin user add s3 \
  OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID \
  OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY
mc admin policy create s3 overleaf-filestore policy-filestore.json
mc admin policy attach s3 overleaf-filestore \
  --user=OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID

# history buckets, user and policy
mc mb --ignore-existing s3/overleaf-project-blobs
mc mb --ignore-existing s3/overleaf-chunks
mc admin user add s3 \
  OVERLEAF_HISTORY_S3_ACCESS_KEY_ID \
  OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY
mc admin policy create s3 overleaf-history policy-history.json
mc admin policy attach s3 overleaf-history \
  --user=OVERLEAF_HISTORY_S3_ACCESS_KEY_ID

Przegląd

Instalacja

Konfiguracja

Utrzymanie

Zarządzanie użytkownikami i projektami

Wsparcie

S3

Kiedy warto rozważyć użycie S3 do przechowywania danych

Opcje obiektowej pamięci masowej zgodnej z S3

Opóźnienia przy wyborze obiektowej pamięci masowej zgodnej z S3

Konfiguracja S3

Zasady dostępu

Przegląd zmiennych

W przypadku AWS S3

W przypadku opcji hostowanej samodzielnie

Konfiguracja MINIO

​Kiedy warto rozważyć użycie S3 do przechowywania danych

​Opcje obiektowej pamięci masowej zgodnej z S3

​Opóźnienia przy wyborze obiektowej pamięci masowej zgodnej z S3

​Konfiguracja S3

​Zasady dostępu

​Przegląd zmiennych

​W przypadku AWS S3

​W przypadku opcji hostowanej samodzielnie

​Konfiguracja MINIO

Kiedy warto rozważyć użycie S3 do przechowywania danych

Opcje obiektowej pamięci masowej zgodnej z S3

Opóźnienia przy wyborze obiektowej pamięci masowej zgodnej z S3

Konfiguracja S3

Zasady dostępu

Przegląd zmiennych

W przypadku AWS S3

W przypadku opcji hostowanej samodzielnie

Konfiguracja MINIO