S3 - Ayakaleaf Pro

Tämä dokumentti käsittelee S3:n määrittämistä Server CE:ssä ja Ayakaleaf Prossa. Olemassa olevan datan siirtämisestä S3-yhteensopivaan tallennustilaan on oma erillinen oppaansa.

Jos otat Ayakaleaf Pron käyttöön s3.md -tallennustila käytössä, onko S3:een tallennettu data salattu?Ei. Dataa ei salata. Kaikki historiapalat (history chunks), mallitiedostot, PDF-tiedostot ja muut tiedostot tallennetaan selväkielisinä. Jos käytät kolmannen osapuolen ulkoista S3-tallennuspalvelua, kiinnitä erityistä huomiota tietoturvaan ja yksityisyyteen.

Milloin S3:n käyttöä datan tallennukseen kannattaa harkita

Alle 1000 käyttäjäpaikan instansseille suosittelemme paikallista levytallennusta yhdessä säännöllisten yhtenäisten varmuuskopioiden kanssa. Suuremmille, yli 1000 käyttäjäpaikan instansseille, jotka saavuttavat paikallisen tallennustilansa rajat (koko tai läpäisykyky), suosittelemme S3-yhteensopivaa objektitallennustaustajärjestelmää muiden verkkopohjaisten tallennusratkaisujen, kuten NFS:n, sijaan.

S3-yhteensopivan objektitallennuksen vaihtoehdot

Tässä ovat suosituimmat vaihtoehdot S3-yhteensopivaan objektitallennukseen:

AWS S3, hallinnoitu palvelu; suosittelemme AWS S3:a, kun Overleaf CE/Server Pro ajetaan AWS:ssä
MINIO, itse isännöity
Ceph, itse isännöity
Myös muilla palveluntarjoajilla on jonkinlainen hallinnoitu S3-yhteensopiva objektitallennus. Voit halutessasi käyttää niitä oman ratkaisun ylläpitämisen sijaan, jos ajat jo Overleaf CE:tä/Server Prota kyseisen palveluntarjoajan ympäristössä.

Viivenäkökohdat S3-yhteensopivaa objektitallennusta valittaessa

Server CE/Server Pro -instanssin ja S3-yhteensopivan objektitallennuksen välinen viive vaikuttaa merkittävästi siirron kestoon. Viive vaikuttaa myös tiedostojen latausnopeuteen Server CE:ssä/Server Prossa, ja hitaat tiedostolataukset voivat pidentää myös PDF-käännösaikoja huomattavasti. Suosittelemme minimoimaan maantieteellisen etäisyyden Server CE/Server Pro -instanssin ja S3-yhteensopivan objektitallennuksen välillä. Hallinnoidussa ympäristössä tämä tarkoittaa bucketin luomista samalle alueelle, ja paikallisessa ratkaisussa molempien ajamista samalla kampuksella.

S3-määritys

Tarvitsemme neljä “buckettia” ja kaksi rajoitettua käyttäjätiliä. overleaf-user-files ja OVERLEAF_FILESTORE_USER_FILES_BUCKET_NAME tarvitaan vain ennen versiota v6.

Bucketit eivät saa olla julkisesti saatavilla


Bucket	Käyttö	Palvelu	Aiemmin hakemistossa `/var/lib/overleaf/data`
`overleaf-user-files`	projektien käyttäjätiedostot	filestore	`user_files`
`overleaf-template-files`	mallitiedostot	filestore	`template_files`
`overleaf-project-blobs`	projektihistorian blobit	history ja vain luku -tilassa oleva filestore	`history/overleaf-project-blobs`
`overleaf-chunks`	historiapalat	history	`history/overleaf-chunks`

Saatat haluta tai joutua valitsemaan eri nimen. Varmista tällöin, että käytät mukautettuja bucketteja kaikissa komennoissa. Seuraavassa käytetään varsinaisten tunnistetietojen paikkamerkkejä:

Ympäristömuuttuja	Kuvaus
`OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID`	Filestore-palvelun rajoitetun käyttäjän käyttöavain/käyttäjänimi.
`OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY`	Filestore-palvelun rajoitetun käyttäjän salainen avain/salasana.
`OVERLEAF_HISTORY_S3_ACCESS_KEY_ID`	History-palvelun rajoitetun käyttäjän käyttöavain/käyttäjänimi.
`OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY`	History-palvelun rajoitetun käyttäjän salainen avain/salasana.

Server CE ja Server Pro tarvitsevat kuhunkin buckettiin vain pienen joukon käyttöoikeuksia:

objektin luominen
objektin hakeminen
objektin poistaminen
bucketin listaaminen

Käyttöoikeuskäytännöt

Filestore-käyttäjän käytäntö voisi näyttää tältä:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-user-files"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-user-files/*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:GetObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-project-blobs/*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-template-files"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-template-files/*"
    }
  ]
}

History-käyttäjän käytäntö voisi näyttää tältä:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-project-blobs"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-project-blobs/*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-chunks"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-chunks/*"
    }
  ]
}

Muuttujien yleiskatsaus

AWS S3:a käytettäessä

# Enable S3 backend for filestore
OVERLEAF_FILESTORE_BACKEND=s3

# Bucket name for project files
OVERLEAF_FILESTORE_USER_FILES_BUCKET_NAME=overleaf-user-files

# Bucket name for template files
OVERLEAF_FILESTORE_TEMPLATE_FILES_BUCKET_NAME=overleaf-template-files

# Key for filestore user
OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID=...

# Secret for filestore user
OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY=...

# Bucket region you picked when creating the buckets.
OVERLEAF_FILESTORE_S3_REGION=""

# Enable S3 backend for history
OVERLEAF_HISTORY_BACKEND=s3

# Bucket name for project history blobs
OVERLEAF_HISTORY_PROJECT_BLOBS_BUCKET=overleaf-project-blobs

# Bucket name for history chunks
OVERLEAF_HISTORY_CHUNKS_BUCKET=overleaf-chunks

# Key for history user
OVERLEAF_HISTORY_S3_ACCESS_KEY_ID=...

# Secret for history user
OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY=...

# Bucket region you picked when creating the buckets.
OVERLEAF_HISTORY_S3_REGION=""

Itse isännöityä vaihtoehtoa käytettäessä

# Enable S3 backend for filestore
OVERLEAF_FILESTORE_BACKEND=s3

# Bucket name for project files
OVERLEAF_FILESTORE_USER_FILES_BUCKET_NAME=overleaf-user-files

# Bucket name for template files
OVERLEAF_FILESTORE_TEMPLATE_FILES_BUCKET_NAME=overleaf-template-files

# Key for filestore user
OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID=...

# Secret for filestore user
OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY=...

# S3 provider endpoint
OVERLEAF_FILESTORE_S3_ENDPOINT=http://10.10.10.10:9000

# Path style addressing of buckets. Most likely you need to set this to "true".
OVERLEAF_FILESTORE_S3_PATH_STYLE="true"

# Bucket region. Most likely you do not need to configure this.
OVERLEAF_FILESTORE_S3_REGION=""

# Enable S3 backend for history
OVERLEAF_HISTORY_BACKEND=s3

# Bucket name for project history blobs
OVERLEAF_HISTORY_PROJECT_BLOBS_BUCKET=overleaf-project-blobs

# Bucket name for history chunks
OVERLEAF_HISTORY_CHUNKS_BUCKET=overleaf-chunks

# Key for history user
OVERLEAF_HISTORY_S3_ACCESS_KEY_ID=...

# Secret for history user
OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY=...

# S3 provider endpoint
OVERLEAF_HISTORY_S3_ENDPOINT=http://10.10.10.10:9000

# Path style addressing of buckets. Most likely you need to set this to "true".
OVERLEAF_HISTORY_S3_PATH_STYLE="true"

# Bucket region. Most likely you do not need to configure this.
OVERLEAF_HISTORY_S3_REGION=""

MINIO-määritys

MINIO_ROOT_USER ja MINIO_ROOT_PASSWORD ovat MINIO-instanssin pääkäyttäjän tunnistetiedot.

Noudata virallista dokumentaatiota hankkiaksesi mc-työkalun.

mc alias set s3 http://10.10.10.10:9000 MINIO_ROOT_USER MINIO_ROOT_PASSWORD

# Put the contents of the policies from the previous section in the
# respective json file policy-filestore.json and policy-history.json.

# Reminder: Replace the bucket names and credentials accordingly.

# filestore buckets, user and policy
mc mb --ignore-existing s3/overleaf-user-files
mc mb --ignore-existing s3/overleaf-template-files
mc admin user add s3 \
  OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID \
  OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY
mc admin policy create s3 overleaf-filestore policy-filestore.json
mc admin policy attach s3 overleaf-filestore \
  --user=OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID

# history buckets, user and policy
mc mb --ignore-existing s3/overleaf-project-blobs
mc mb --ignore-existing s3/overleaf-chunks
mc admin user add s3 \
  OVERLEAF_HISTORY_S3_ACCESS_KEY_ID \
  OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY
mc admin policy create s3 overleaf-history policy-history.json
mc admin policy attach s3 overleaf-history \
  --user=OVERLEAF_HISTORY_S3_ACCESS_KEY_ID

Yleiskatsaus

Asennus

Määritys

Ylläpito

Käyttäjien ja projektien hallinta

Tuki

S3

Milloin S3:n käyttöä datan tallennukseen kannattaa harkita

S3-yhteensopivan objektitallennuksen vaihtoehdot

Viivenäkökohdat S3-yhteensopivaa objektitallennusta valittaessa

S3-määritys

Käyttöoikeuskäytännöt

Muuttujien yleiskatsaus

AWS S3:a käytettäessä

Itse isännöityä vaihtoehtoa käytettäessä

MINIO-määritys

​Milloin S3:n käyttöä datan tallennukseen kannattaa harkita

​S3-yhteensopivan objektitallennuksen vaihtoehdot

​Viivenäkökohdat S3-yhteensopivaa objektitallennusta valittaessa

​S3-määritys

​Käyttöoikeuskäytännöt

​Muuttujien yleiskatsaus

​AWS S3:a käytettäessä

​Itse isännöityä vaihtoehtoa käytettäessä

​MINIO-määritys

Milloin S3:n käyttöä datan tallennukseen kannattaa harkita

S3-yhteensopivan objektitallennuksen vaihtoehdot

Viivenäkökohdat S3-yhteensopivaa objektitallennusta valittaessa

S3-määritys

Käyttöoikeuskäytännöt

Muuttujien yleiskatsaus

AWS S3:a käytettäessä

Itse isännöityä vaihtoehtoa käytettäessä

MINIO-määritys