S3 - Ayakaleaf Pro

Tento dokument popisuje nastavení S3 v Server CE a Ayakaleaf Pro. Migraci existujících dat do úložiště kompatibilního s S3 popisuje samostatný návod.

Pokud nasadíte Ayakaleaf Pro s povoleným úložištěm s3.md, jsou data uložená v S3 šifrovaná?Ne. Data nejsou šifrována. Všechny bloky historie, soubory šablon, PDF a další soubory se ukládají jako prostý text. Pokud používáte externí úložiště S3 od třetí strany, věnujte prosím zvýšenou pozornost zabezpečení dat a ochraně soukromí.

Kdy zvážit použití S3 pro ukládání dat

U instancí s méně než 1000 licencemi doporučujeme používat místní diskové úložiště s pravidelnými konzistentními zálohami. U větších instancí s více než 1000 licencemi, které narážejí na limity svého místního úložiště (velikost nebo propustnost), doporučujeme místo jiných síťových úložišť, jako je NFS, použít jako backend objektové úložiště kompatibilní s S3.

Možnosti objektového úložiště kompatibilního s S3

Toto jsou nejoblíbenější možnosti objektového úložiště kompatibilního s S3:

AWS S3, spravované; pokud provozujete Overleaf CE/Server Pro na AWS, doporučujeme zvolit AWS S3
MINIO, self-hosted
Ceph, self-hosted
Také další poskytovatelé hostingu nabízejí nějakou formu spravovaného objektového úložiště kompatibilního s S3. Pokud již Overleaf CE/Server Pro u takového poskytovatele provozujete, možná budete chtít použít toto úložiště místo provozování vlastního.

Latence při výběru objektového úložiště kompatibilního s S3

Latence mezi instancí Server CE/Server Pro a vaším objektovým úložištěm kompatibilním s S3 výrazně ovlivňuje dobu potřebnou k dokončení migrace. Latence má vliv také na výkon nahrávání souborů v Server CE/Server Pro a pomalé stahování souborů může výrazně prodloužit i dobu kompilace PDF. Doporučujeme minimalizovat geografickou vzdálenost mezi instancí Server CE/Server Pro a objektovým úložištěm kompatibilním s S3. Ve spravovaném prostředí to znamená zřídit bucket ve stejném regionu, u on-premise řešení pak provozovat obojí ve stejném areálu.

Nastavení S3

Potřebujeme čtyři „buckety“ a dva uživatelské účty s omezenými oprávněními. overleaf-user-files a OVERLEAF_FILESTORE_USER_FILES_BUCKET_NAME jsou potřeba pouze ve verzích před v6.

Buckety by neměly být veřejně přístupné


Bucket	Použití	Služba	Dříve v `/var/lib/overleaf/data`
`overleaf-user-files`	uživatelské soubory projektů	filestore	`user_files`
`overleaf-template-files`	soubory šablon	filestore	`template_files`
`overleaf-project-blobs`	bloby historie projektů	history a filestore pouze pro čtení	`history/overleaf-project-blobs`
`overleaf-chunks`	bloky historie	history	`history/overleaf-chunks`

Možná budete chtít nebo muset zvolit jiný název; v takovém případě nezapomeňte vlastní buckety použít ve všech příkazech. V následujícím textu se místo skutečných přihlašovacích údajů používají zástupné symboly:

Proměnná prostředí	Popis
`OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID`	Přístupový klíč / uživatelské jméno omezeného uživatele služby filestore.
`OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY`	Tajný klíč / heslo omezeného uživatele služby filestore.
`OVERLEAF_HISTORY_S3_ACCESS_KEY_ID`	Přístupový klíč / uživatelské jméno omezeného uživatele služby history.
`OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY`	Tajný klíč / heslo omezeného uživatele služby history.

Server CE a Server Pro potřebují u každého bucketu jen malou sadu oprávnění:

vytvoření objektu
získání objektu
smazání objektu
výpis bucketu

Zásady přístupu

Takto by mohla vypadat zásada pro uživatele filestore:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-user-files"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-user-files/*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:GetObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-project-blobs/*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-template-files"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-template-files/*"
    }
  ]
}

Takto by mohla vypadat zásada pro uživatele history:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-project-blobs"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-project-blobs/*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-chunks"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-chunks/*"
    }
  ]
}

Přehled proměnných

Při použití AWS S3

# Enable S3 backend for filestore
OVERLEAF_FILESTORE_BACKEND=s3

# Bucket name for project files
OVERLEAF_FILESTORE_USER_FILES_BUCKET_NAME=overleaf-user-files

# Bucket name for template files
OVERLEAF_FILESTORE_TEMPLATE_FILES_BUCKET_NAME=overleaf-template-files

# Key for filestore user
OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID=...

# Secret for filestore user
OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY=...

# Bucket region you picked when creating the buckets.
OVERLEAF_FILESTORE_S3_REGION=""

# Enable S3 backend for history
OVERLEAF_HISTORY_BACKEND=s3

# Bucket name for project history blobs
OVERLEAF_HISTORY_PROJECT_BLOBS_BUCKET=overleaf-project-blobs

# Bucket name for history chunks
OVERLEAF_HISTORY_CHUNKS_BUCKET=overleaf-chunks

# Key for history user
OVERLEAF_HISTORY_S3_ACCESS_KEY_ID=...

# Secret for history user
OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY=...

# Bucket region you picked when creating the buckets.
OVERLEAF_HISTORY_S3_REGION=""

Při použití self-hosted řešení

# Enable S3 backend for filestore
OVERLEAF_FILESTORE_BACKEND=s3

# Bucket name for project files
OVERLEAF_FILESTORE_USER_FILES_BUCKET_NAME=overleaf-user-files

# Bucket name for template files
OVERLEAF_FILESTORE_TEMPLATE_FILES_BUCKET_NAME=overleaf-template-files

# Key for filestore user
OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID=...

# Secret for filestore user
OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY=...

# S3 provider endpoint
OVERLEAF_FILESTORE_S3_ENDPOINT=http://10.10.10.10:9000

# Path style addressing of buckets. Most likely you need to set this to "true".
OVERLEAF_FILESTORE_S3_PATH_STYLE="true"

# Bucket region. Most likely you do not need to configure this.
OVERLEAF_FILESTORE_S3_REGION=""

# Enable S3 backend for history
OVERLEAF_HISTORY_BACKEND=s3

# Bucket name for project history blobs
OVERLEAF_HISTORY_PROJECT_BLOBS_BUCKET=overleaf-project-blobs

# Bucket name for history chunks
OVERLEAF_HISTORY_CHUNKS_BUCKET=overleaf-chunks

# Key for history user
OVERLEAF_HISTORY_S3_ACCESS_KEY_ID=...

# Secret for history user
OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY=...

# S3 provider endpoint
OVERLEAF_HISTORY_S3_ENDPOINT=http://10.10.10.10:9000

# Path style addressing of buckets. Most likely you need to set this to "true".
OVERLEAF_HISTORY_S3_PATH_STYLE="true"

# Bucket region. Most likely you do not need to configure this.
OVERLEAF_HISTORY_S3_REGION=""

Nastavení MINIO

MINIO_ROOT_USER a MINIO_ROOT_PASSWORD jsou přihlašovací údaje uživatele root instance MINIO.

Při získávání nástroje mc postupujte podle oficiální dokumentace.

mc alias set s3 http://10.10.10.10:9000 MINIO_ROOT_USER MINIO_ROOT_PASSWORD

# Put the contents of the policies from the previous section in the
# respective json file policy-filestore.json and policy-history.json.

# Reminder: Replace the bucket names and credentials accordingly.

# filestore buckets, user and policy
mc mb --ignore-existing s3/overleaf-user-files
mc mb --ignore-existing s3/overleaf-template-files
mc admin user add s3 \
  OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID \
  OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY
mc admin policy create s3 overleaf-filestore policy-filestore.json
mc admin policy attach s3 overleaf-filestore \
  --user=OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID

# history buckets, user and policy
mc mb --ignore-existing s3/overleaf-project-blobs
mc mb --ignore-existing s3/overleaf-chunks
mc admin user add s3 \
  OVERLEAF_HISTORY_S3_ACCESS_KEY_ID \
  OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY
mc admin policy create s3 overleaf-history policy-history.json
mc admin policy attach s3 overleaf-history \
  --user=OVERLEAF_HISTORY_S3_ACCESS_KEY_ID

Přehled

Instalace

Konfigurace

Údržba

Správa uživatelů a projektů

Podpora

S3

Kdy zvážit použití S3 pro ukládání dat

Možnosti objektového úložiště kompatibilního s S3

Latence při výběru objektového úložiště kompatibilního s S3

Nastavení S3

Zásady přístupu

Přehled proměnných

Při použití AWS S3

Při použití self-hosted řešení

Nastavení MINIO

​Kdy zvážit použití S3 pro ukládání dat

​Možnosti objektového úložiště kompatibilního s S3

​Latence při výběru objektového úložiště kompatibilního s S3

​Nastavení S3

​Zásady přístupu

​Přehled proměnných

​Při použití AWS S3

​Při použití self-hosted řešení

​Nastavení MINIO

Kdy zvážit použití S3 pro ukládání dat

Možnosti objektového úložiště kompatibilního s S3

Latence při výběru objektového úložiště kompatibilního s S3

Nastavení S3

Zásady přístupu

Přehled proměnných

Při použití AWS S3

Při použití self-hosted řešení

Nastavení MINIO