S3 - Ayakaleaf Pro

Dette dokumentet dekker oppsett av S3 i Server CE og Ayakaleaf Pro. En egen veiledning for migrering av eksisterende data til S3-kompatibel lagring er også tilgjengelig.

Hvis du installerer Ayakaleaf Pro med s3.md-lagring aktivert, blir dataene som lagres i S3 kryptert?Nei. Dataene er ikke kryptert. Alle historikkbiter (chunks), malfiler, PDF-er og andre filer lagres i klartekst. Hvis du bruker en ekstern S3-lagringsleverandør fra en tredjepart, bør du være svært oppmerksom på datasikkerhet og personvern.

Når bør du vurdere å bruke S3 til datalagring

For instanser med færre enn 1000 seter anbefaler vi lokal disklagring med regelmessige konsistente sikkerhetskopier. For større instanser med mer enn 1000 seter som når grensene for lokal lagring (størrelse eller gjennomstrømning), anbefaler vi en S3-kompatibel objektlagringsbackend fremfor andre nettverksbaserte lagringsløsninger som NFS.

Alternativer for S3-kompatibel objektlagring

Her er de mest populære alternativene for S3-kompatibel objektlagring:

AWS S3, administrert; vi foreslår AWS S3 når du kjører Overleaf CE/Server Pro på AWS
MINIO, selvdriftet
Ceph, selvdriftet
Andre vertsleverandører tilbyr også en form for administrert S3-kompatibel objektlagring. Hvis du allerede kjører Overleaf CE/Server Pro hos en slik leverandør, kan det være lurt å bruke denne i stedet for å drifte din egen.

Hensyn til latens ved valg av S3-kompatibel objektlagring

Latensen mellom Server CE/Server Pro-instansen og den S3-kompatible objektlagringen din har stor betydning for hvor lang tid migreringen tar. Latensen påvirker også ytelsen ved filopplasting i Server CE/Server Pro, og trege filnedlastinger kan også ha stor innvirkning på kompileringstiden for PDF-er. Vi foreslår å minimere den geografiske avstanden mellom Server CE/Server Pro-instansen og den S3-kompatible objektlagringen. I et administrert miljø betyr dette å klargjøre en bucket i samme region, og for en lokal løsning å kjøre begge på samme campus.

Oppsett av S3

Vi trenger fire “buckets” og to begrensede brukerkontoer. overleaf-user-files og OVERLEAF_FILESTORE_USER_FILES_BUCKET_NAME trengs bare før v6.

Buckets skal ikke være offentlig tilgjengelige


Bucket	Bruk	Tjeneste	Tidligere i `/var/lib/overleaf/data`
`overleaf-user-files`	prosjektets brukerfiler	filestore	`user_files`
`overleaf-template-files`	malfiler	filestore	`template_files`
`overleaf-project-blobs`	blober for prosjekthistorikk	history og skrivebeskyttet filestore	`history/overleaf-project-blobs`
`overleaf-chunks`	historikkbiter (chunks)	history	`history/overleaf-chunks`

Du kan ønske eller trenge å velge et annet navn; sørg i så fall for å bruke de egendefinerte bucketene i alle kommandoene. Nedenfor brukes plassholdere for faktisk legitimasjon:

Miljøvariabel	Beskrivelse
`OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID`	Tilgangsnøkkelen/brukernavnet til den begrensede brukeren for filestore-tjenesten.
`OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY`	Den hemmelige nøkkelen/passordet til den begrensede brukeren for filestore-tjenesten.
`OVERLEAF_HISTORY_S3_ACCESS_KEY_ID`	Tilgangsnøkkelen/brukernavnet til den begrensede brukeren for history-tjenesten.
`OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY`	Den hemmelige nøkkelen/passordet til den begrensede brukeren for history-tjenesten.

Server CE og Server Pro trenger bare et lite sett med tillatelser på hver bucket:

opprette objekt
hente objekt
slette objekt
liste bucket

Tilgangspolicyer

Slik kan en policy for filestore-brukeren se ut:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-user-files"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-user-files/*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:GetObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-project-blobs/*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-template-files"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-template-files/*"
    }
  ]
}

Slik kan en policy for history-brukeren se ut:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-project-blobs"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-project-blobs/*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-chunks"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-chunks/*"
    }
  ]
}

Oversikt over variabler

Ved bruk av AWS S3

# Enable S3 backend for filestore
OVERLEAF_FILESTORE_BACKEND=s3

# Bucket name for project files
OVERLEAF_FILESTORE_USER_FILES_BUCKET_NAME=overleaf-user-files

# Bucket name for template files
OVERLEAF_FILESTORE_TEMPLATE_FILES_BUCKET_NAME=overleaf-template-files

# Key for filestore user
OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID=...

# Secret for filestore user
OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY=...

# Bucket region you picked when creating the buckets.
OVERLEAF_FILESTORE_S3_REGION=""

# Enable S3 backend for history
OVERLEAF_HISTORY_BACKEND=s3

# Bucket name for project history blobs
OVERLEAF_HISTORY_PROJECT_BLOBS_BUCKET=overleaf-project-blobs

# Bucket name for history chunks
OVERLEAF_HISTORY_CHUNKS_BUCKET=overleaf-chunks

# Key for history user
OVERLEAF_HISTORY_S3_ACCESS_KEY_ID=...

# Secret for history user
OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY=...

# Bucket region you picked when creating the buckets.
OVERLEAF_HISTORY_S3_REGION=""

Ved bruk av et selvdriftet alternativ

# Enable S3 backend for filestore
OVERLEAF_FILESTORE_BACKEND=s3

# Bucket name for project files
OVERLEAF_FILESTORE_USER_FILES_BUCKET_NAME=overleaf-user-files

# Bucket name for template files
OVERLEAF_FILESTORE_TEMPLATE_FILES_BUCKET_NAME=overleaf-template-files

# Key for filestore user
OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID=...

# Secret for filestore user
OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY=...

# S3 provider endpoint
OVERLEAF_FILESTORE_S3_ENDPOINT=http://10.10.10.10:9000

# Path style addressing of buckets. Most likely you need to set this to "true".
OVERLEAF_FILESTORE_S3_PATH_STYLE="true"

# Bucket region. Most likely you do not need to configure this.
OVERLEAF_FILESTORE_S3_REGION=""

# Enable S3 backend for history
OVERLEAF_HISTORY_BACKEND=s3

# Bucket name for project history blobs
OVERLEAF_HISTORY_PROJECT_BLOBS_BUCKET=overleaf-project-blobs

# Bucket name for history chunks
OVERLEAF_HISTORY_CHUNKS_BUCKET=overleaf-chunks

# Key for history user
OVERLEAF_HISTORY_S3_ACCESS_KEY_ID=...

# Secret for history user
OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY=...

# S3 provider endpoint
OVERLEAF_HISTORY_S3_ENDPOINT=http://10.10.10.10:9000

# Path style addressing of buckets. Most likely you need to set this to "true".
OVERLEAF_HISTORY_S3_PATH_STYLE="true"

# Bucket region. Most likely you do not need to configure this.
OVERLEAF_HISTORY_S3_REGION=""

Oppsett av MINIO

MINIO_ROOT_USER og MINIO_ROOT_PASSWORD er rotlegitimasjonen for MINIO-instansen.

Følg den offisielle dokumentasjonen for å skaffe en kopi av mc.

mc alias set s3 http://10.10.10.10:9000 MINIO_ROOT_USER MINIO_ROOT_PASSWORD

# Put the contents of the policies from the previous section in the
# respective json file policy-filestore.json and policy-history.json.

# Reminder: Replace the bucket names and credentials accordingly.

# filestore buckets, user and policy
mc mb --ignore-existing s3/overleaf-user-files
mc mb --ignore-existing s3/overleaf-template-files
mc admin user add s3 \
  OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID \
  OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY
mc admin policy create s3 overleaf-filestore policy-filestore.json
mc admin policy attach s3 overleaf-filestore \
  --user=OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID

# history buckets, user and policy
mc mb --ignore-existing s3/overleaf-project-blobs
mc mb --ignore-existing s3/overleaf-chunks
mc admin user add s3 \
  OVERLEAF_HISTORY_S3_ACCESS_KEY_ID \
  OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY
mc admin policy create s3 overleaf-history policy-history.json
mc admin policy attach s3 overleaf-history \
  --user=OVERLEAF_HISTORY_S3_ACCESS_KEY_ID

Oversikt

Installasjon

Konfigurasjon

Vedlikehold

Bruker- og prosjektadministrasjon

Støtte

S3

Når bør du vurdere å bruke S3 til datalagring

Alternativer for S3-kompatibel objektlagring

Hensyn til latens ved valg av S3-kompatibel objektlagring

Oppsett av S3

Tilgangspolicyer

Oversikt over variabler

Ved bruk av AWS S3

Ved bruk av et selvdriftet alternativ

Oppsett av MINIO

​Når bør du vurdere å bruke S3 til datalagring

​Alternativer for S3-kompatibel objektlagring

​Hensyn til latens ved valg av S3-kompatibel objektlagring

​Oppsett av S3

​Tilgangspolicyer

​Oversikt over variabler

​Ved bruk av AWS S3

​Ved bruk av et selvdriftet alternativ

​Oppsett av MINIO

Når bør du vurdere å bruke S3 til datalagring

Alternativer for S3-kompatibel objektlagring

Hensyn til latens ved valg av S3-kompatibel objektlagring

Oppsett av S3

Tilgangspolicyer

Oversikt over variabler

Ved bruk av AWS S3

Ved bruk av et selvdriftet alternativ

Oppsett av MINIO