S3 - Ayakaleaf Pro

Dit document behandelt het instellen van S3 in Server CE en Ayakaleaf Pro. Er is een aparte handleiding voor het migreren van bestaande gegevens naar S3-compatibele opslag.

Als je Ayakaleaf Pro implementeert met s3.md-opslag ingeschakeld, worden de gegevens in S3 dan versleuteld opgeslagen?Nee. De gegevens worden niet versleuteld. Alle history-chunks, sjabloonbestanden, PDF’s en andere bestanden worden als platte tekst opgeslagen. Als je een externe S3-opslagprovider van een derde partij gebruikt, besteed dan veel aandacht aan gegevensbeveiliging en privacy.

Wanneer overweeg je S3 voor gegevensopslag

Voor instanties met minder dan 1000 seats raden we lokale schijfopslag aan, met regelmatige consistente back-ups. Voor grotere instanties met meer dan 1000 seats die de grenzen van hun lokale opslag bereiken (qua grootte of doorvoer), raden we een S3-compatibele objectopslag-backend aan boven andere netwerkgebaseerde opslagoplossingen zoals NFS.

Opties voor S3-compatibele objectopslag

Dit zijn de populairste opties voor S3-compatibele objectopslag:

AWS S3, beheerd; we raden AWS S3 aan wanneer je Overleaf CE/Server Pro op AWS draait
MINIO, self-hosted
Ceph, self-hosted
Andere hostingproviders bieden ook een vorm van beheerde S3-compatibele objectopslag; als je Overleaf CE/Server Pro al bij zo’n provider draait, wil je die misschien gebruiken in plaats van zelf opslag te beheren.

Latency bij het kiezen van S3-compatibele objectopslag

De latency tussen de Server CE/Server Pro-instantie en je S3-compatibele objectopslag is een belangrijke factor in de tijd die nodig is om de migratie te voltooien. De latency beïnvloedt ook de uploadprestaties in Server CE/Server Pro, en trage downloads kunnen ook een grote invloed hebben op de compilatietijden van PDF’s. We raden aan de geografische afstand tussen je Server CE/Server Pro-instantie en de S3-compatibele objectopslag zo klein mogelijk te houden. In een beheerde omgeving betekent dit dat je een bucket in dezelfde regio aanmaakt; bij een on-premises-oplossing dat je beide op dezelfde campus draait.

S3 instellen

We hebben vier “buckets” en twee beperkte gebruikersaccounts nodig. overleaf-user-files en OVERLEAF_FILESTORE_USER_FILES_BUCKET_NAME zijn alleen nodig vóór v6.

Buckets mogen niet openbaar toegankelijk zijn


Bucket	Gebruik	Service	Voorheen in `/var/lib/overleaf/data`
`overleaf-user-files`	gebruikersbestanden van projecten	filestore	`user_files`
`overleaf-template-files`	sjabloonbestanden	filestore	`template_files`
`overleaf-project-blobs`	history-blobs van projecten	history en alleen-lezen filestore	`history/overleaf-project-blobs`
`overleaf-chunks`	history-chunks	history	`history/overleaf-chunks`

Mogelijk wil of moet je een andere naam kiezen; gebruik in dat geval de eigen buckets in alle opdrachten. Hieronder worden placeholders gebruikt voor de daadwerkelijke inloggegevens:

Omgevingsvariabele	Beschrijving
`OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID`	De toegangssleutel/gebruikersnaam van de beperkte gebruiker van de filestore-service.
`OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY`	De geheime sleutel/het wachtwoord van de beperkte gebruiker van de filestore-service.
`OVERLEAF_HISTORY_S3_ACCESS_KEY_ID`	De toegangssleutel/gebruikersnaam van de beperkte gebruiker van de history-service.
`OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY`	De geheime sleutel/het wachtwoord van de beperkte gebruiker van de history-service.

Server CE en Server Pro hebben slechts een kleine set rechten per bucket nodig:

object aanmaken
object ophalen
object verwijderen
bucket weergeven

Toegangsbeleid

Zo zou een beleid voor de filestore-gebruiker eruit kunnen zien:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-user-files"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-user-files/*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:GetObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-project-blobs/*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-template-files"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-template-files/*"
    }
  ]
}

Zo zou een beleid voor de history-gebruiker eruit kunnen zien:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-project-blobs"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-project-blobs/*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-chunks"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-chunks/*"
    }
  ]
}

Overzicht van variabelen

Bij gebruik van AWS S3

# Enable S3 backend for filestore
OVERLEAF_FILESTORE_BACKEND=s3

# Bucket name for project files
OVERLEAF_FILESTORE_USER_FILES_BUCKET_NAME=overleaf-user-files

# Bucket name for template files
OVERLEAF_FILESTORE_TEMPLATE_FILES_BUCKET_NAME=overleaf-template-files

# Key for filestore user
OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID=...

# Secret for filestore user
OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY=...

# Bucket region you picked when creating the buckets.
OVERLEAF_FILESTORE_S3_REGION=""

# Enable S3 backend for history
OVERLEAF_HISTORY_BACKEND=s3

# Bucket name for project history blobs
OVERLEAF_HISTORY_PROJECT_BLOBS_BUCKET=overleaf-project-blobs

# Bucket name for history chunks
OVERLEAF_HISTORY_CHUNKS_BUCKET=overleaf-chunks

# Key for history user
OVERLEAF_HISTORY_S3_ACCESS_KEY_ID=...

# Secret for history user
OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY=...

# Bucket region you picked when creating the buckets.
OVERLEAF_HISTORY_S3_REGION=""

Bij gebruik van een self-hosted optie

# Enable S3 backend for filestore
OVERLEAF_FILESTORE_BACKEND=s3

# Bucket name for project files
OVERLEAF_FILESTORE_USER_FILES_BUCKET_NAME=overleaf-user-files

# Bucket name for template files
OVERLEAF_FILESTORE_TEMPLATE_FILES_BUCKET_NAME=overleaf-template-files

# Key for filestore user
OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID=...

# Secret for filestore user
OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY=...

# S3 provider endpoint
OVERLEAF_FILESTORE_S3_ENDPOINT=http://10.10.10.10:9000

# Path style addressing of buckets. Most likely you need to set this to "true".
OVERLEAF_FILESTORE_S3_PATH_STYLE="true"

# Bucket region. Most likely you do not need to configure this.
OVERLEAF_FILESTORE_S3_REGION=""

# Enable S3 backend for history
OVERLEAF_HISTORY_BACKEND=s3

# Bucket name for project history blobs
OVERLEAF_HISTORY_PROJECT_BLOBS_BUCKET=overleaf-project-blobs

# Bucket name for history chunks
OVERLEAF_HISTORY_CHUNKS_BUCKET=overleaf-chunks

# Key for history user
OVERLEAF_HISTORY_S3_ACCESS_KEY_ID=...

# Secret for history user
OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY=...

# S3 provider endpoint
OVERLEAF_HISTORY_S3_ENDPOINT=http://10.10.10.10:9000

# Path style addressing of buckets. Most likely you need to set this to "true".
OVERLEAF_HISTORY_S3_PATH_STYLE="true"

# Bucket region. Most likely you do not need to configure this.
OVERLEAF_HISTORY_S3_REGION=""

MINIO instellen

MINIO_ROOT_USER en MINIO_ROOT_PASSWORD zijn de root-inloggegevens van de MINIO-instantie.

Volg de officiële documentatie om een exemplaar van mc te verkrijgen.

mc alias set s3 http://10.10.10.10:9000 MINIO_ROOT_USER MINIO_ROOT_PASSWORD

# Put the contents of the policies from the previous section in the
# respective json file policy-filestore.json and policy-history.json.

# Reminder: Replace the bucket names and credentials accordingly.

# filestore buckets, user and policy
mc mb --ignore-existing s3/overleaf-user-files
mc mb --ignore-existing s3/overleaf-template-files
mc admin user add s3 \
  OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID \
  OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY
mc admin policy create s3 overleaf-filestore policy-filestore.json
mc admin policy attach s3 overleaf-filestore \
  --user=OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID

# history buckets, user and policy
mc mb --ignore-existing s3/overleaf-project-blobs
mc mb --ignore-existing s3/overleaf-chunks
mc admin user add s3 \
  OVERLEAF_HISTORY_S3_ACCESS_KEY_ID \
  OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY
mc admin policy create s3 overleaf-history policy-history.json
mc admin policy attach s3 overleaf-history \
  --user=OVERLEAF_HISTORY_S3_ACCESS_KEY_ID

Overzicht

Installatie

Configuratie

Onderhoud

Gebruikers- en projectbeheer

Ondersteuning

S3

Wanneer overweeg je S3 voor gegevensopslag

Opties voor S3-compatibele objectopslag

Latency bij het kiezen van S3-compatibele objectopslag

S3 instellen

Toegangsbeleid

Overzicht van variabelen

Bij gebruik van AWS S3

Bij gebruik van een self-hosted optie

MINIO instellen

​Wanneer overweeg je S3 voor gegevensopslag

​Opties voor S3-compatibele objectopslag

​Latency bij het kiezen van S3-compatibele objectopslag

​S3 instellen

​Toegangsbeleid

​Overzicht van variabelen

​Bij gebruik van AWS S3

​Bij gebruik van een self-hosted optie

​MINIO instellen

Wanneer overweeg je S3 voor gegevensopslag

Opties voor S3-compatibele objectopslag

Latency bij het kiezen van S3-compatibele objectopslag

S3 instellen

Toegangsbeleid

Overzicht van variabelen

Bij gebruik van AWS S3

Bij gebruik van een self-hosted optie

MINIO instellen