S3 - Ayakaleaf Pro

Dokumen ini membahas penyiapan S3 di Server CE dan Ayakaleaf Pro. Panduan terpisah tersedia untuk memigrasikan data yang sudah ada ke penyimpanan yang kompatibel dengan S3.

Jika Anda men-deploy Ayakaleaf Pro dengan penyimpanan s3.md diaktifkan, apakah data yang disimpan di S3 terenkripsi?Tidak. Data tidak dienkripsi. Semua history chunk, file template, PDF, dan file lainnya disimpan dalam bentuk plaintext. Jika Anda menggunakan penyedia penyimpanan S3 eksternal pihak ketiga, harap perhatikan dengan saksama keamanan dan privasi data.

Kapan sebaiknya menggunakan S3 untuk penyimpanan data

Untuk instans dengan kurang dari 1000 seat, kami menyarankan penggunaan penyimpanan disk lokal dengan pencadangan yang konsisten secara rutin. Untuk instans yang lebih besar dengan lebih dari 1000 seat yang mencapai batas penyimpanan lokalnya (ukuran atau throughput), kami menyarankan penggunaan backend object storage yang kompatibel dengan S3 dibandingkan solusi penyimpanan berbasis jaringan lainnya seperti NFS.

Opsi object storage yang kompatibel dengan S3

Berikut adalah opsi paling populer untuk object storage yang kompatibel dengan S3:

AWS S3, terkelola; kami menyarankan memilih AWS S3 saat menjalankan Overleaf CE/Server Pro di AWS
MINIO, self-hosted
Ceph, self-hosted
Penyedia hosting lain juga memiliki semacam object storage terkelola yang kompatibel dengan S3; Anda mungkin ingin menggunakannya alih-alih menjalankan sendiri jika Anda sudah menjalankan Overleaf CE/Server Pro di penyedia tersebut.

Pertimbangan latensi saat memilih object storage yang kompatibel dengan S3

Latensi antara instans Server CE/Server Pro dan object storage yang kompatibel dengan S3 sangat memengaruhi waktu yang dibutuhkan untuk menyelesaikan migrasi. Latensi juga memengaruhi kinerja unggah file di Server CE/Server Pro, dan unduhan file yang lambat juga dapat berdampak besar pada waktu kompilasi PDF. Kami menyarankan untuk meminimalkan jarak geografis antara instans Server CE/Server Pro Anda dan object storage yang kompatibel dengan S3. Dalam lingkungan terkelola, ini berarti menyediakan bucket di region yang sama, dan untuk solusi on-premise, menjalankan keduanya di kampus yang sama.

Penyiapan S3

Kita membutuhkan empat “bucket” dan dua akun pengguna dengan akses terbatas. overleaf-user-files dan OVERLEAF_FILESTORE_USER_FILES_BUCKET_NAME hanya diperlukan sebelum v6.

Bucket tidak boleh dapat diakses secara publik


Bucket	Penggunaan	Layanan	Sebelumnya di `/var/lib/overleaf/data`
`overleaf-user-files`	file pengguna proyek	filestore	`user_files`
`overleaf-template-files`	file template	filestore	`template_files`
`overleaf-project-blobs`	blob riwayat proyek	history dan filestore baca saja	`history/overleaf-project-blobs`
`overleaf-chunks`	history chunk	history	`history/overleaf-chunks`

Anda mungkin ingin/perlu memilih nama yang berbeda; pastikan untuk menggunakan bucket kustom tersebut di semua perintah. Bagian berikut akan menggunakan placeholder untuk kredensial yang sebenarnya:

Variabel lingkungan	Deskripsi
`OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID`	Access key/nama pengguna dari pengguna terbatas layanan filestore.
`OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY`	Secret key/kata sandi dari pengguna terbatas layanan filestore.
`OVERLEAF_HISTORY_S3_ACCESS_KEY_ID`	Access key/nama pengguna dari pengguna terbatas layanan history.
`OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY`	Secret key/kata sandi dari pengguna terbatas layanan history.

Server CE dan Server Pro hanya memerlukan sejumlah kecil izin pada setiap bucket:

membuat objek (create object)
mengambil objek (get object)
menghapus objek (delete object)
menampilkan daftar bucket (list bucket)

Kebijakan Akses

Berikut adalah contoh kebijakan untuk pengguna filestore:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-user-files"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-user-files/*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:GetObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-project-blobs/*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-template-files"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-template-files/*"
    }
  ]
}

Berikut adalah contoh kebijakan untuk pengguna history:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-project-blobs"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-project-blobs/*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-chunks"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-chunks/*"
    }
  ]
}

Ikhtisar variabel

Saat menggunakan AWS S3

# Enable S3 backend for filestore
OVERLEAF_FILESTORE_BACKEND=s3

# Bucket name for project files
OVERLEAF_FILESTORE_USER_FILES_BUCKET_NAME=overleaf-user-files

# Bucket name for template files
OVERLEAF_FILESTORE_TEMPLATE_FILES_BUCKET_NAME=overleaf-template-files

# Key for filestore user
OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID=...

# Secret for filestore user
OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY=...

# Bucket region you picked when creating the buckets.
OVERLEAF_FILESTORE_S3_REGION=""

# Enable S3 backend for history
OVERLEAF_HISTORY_BACKEND=s3

# Bucket name for project history blobs
OVERLEAF_HISTORY_PROJECT_BLOBS_BUCKET=overleaf-project-blobs

# Bucket name for history chunks
OVERLEAF_HISTORY_CHUNKS_BUCKET=overleaf-chunks

# Key for history user
OVERLEAF_HISTORY_S3_ACCESS_KEY_ID=...

# Secret for history user
OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY=...

# Bucket region you picked when creating the buckets.
OVERLEAF_HISTORY_S3_REGION=""

Saat menggunakan opsi self-hosted

# Enable S3 backend for filestore
OVERLEAF_FILESTORE_BACKEND=s3

# Bucket name for project files
OVERLEAF_FILESTORE_USER_FILES_BUCKET_NAME=overleaf-user-files

# Bucket name for template files
OVERLEAF_FILESTORE_TEMPLATE_FILES_BUCKET_NAME=overleaf-template-files

# Key for filestore user
OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID=...

# Secret for filestore user
OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY=...

# S3 provider endpoint
OVERLEAF_FILESTORE_S3_ENDPOINT=http://10.10.10.10:9000

# Path style addressing of buckets. Most likely you need to set this to "true".
OVERLEAF_FILESTORE_S3_PATH_STYLE="true"

# Bucket region. Most likely you do not need to configure this.
OVERLEAF_FILESTORE_S3_REGION=""

# Enable S3 backend for history
OVERLEAF_HISTORY_BACKEND=s3

# Bucket name for project history blobs
OVERLEAF_HISTORY_PROJECT_BLOBS_BUCKET=overleaf-project-blobs

# Bucket name for history chunks
OVERLEAF_HISTORY_CHUNKS_BUCKET=overleaf-chunks

# Key for history user
OVERLEAF_HISTORY_S3_ACCESS_KEY_ID=...

# Secret for history user
OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY=...

# S3 provider endpoint
OVERLEAF_HISTORY_S3_ENDPOINT=http://10.10.10.10:9000

# Path style addressing of buckets. Most likely you need to set this to "true".
OVERLEAF_HISTORY_S3_PATH_STYLE="true"

# Bucket region. Most likely you do not need to configure this.
OVERLEAF_HISTORY_S3_REGION=""

Penyiapan MINIO

MINIO_ROOT_USER dan MINIO_ROOT_PASSWORD adalah kredensial root dari instans MINIO.

Silakan ikuti dokumentasi resmi untuk mendapatkan salinan mc.

mc alias set s3 http://10.10.10.10:9000 MINIO_ROOT_USER MINIO_ROOT_PASSWORD

# Put the contents of the policies from the previous section in the
# respective json file policy-filestore.json and policy-history.json.

# Reminder: Replace the bucket names and credentials accordingly.

# filestore buckets, user and policy
mc mb --ignore-existing s3/overleaf-user-files
mc mb --ignore-existing s3/overleaf-template-files
mc admin user add s3 \
  OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID \
  OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY
mc admin policy create s3 overleaf-filestore policy-filestore.json
mc admin policy attach s3 overleaf-filestore \
  --user=OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID

# history buckets, user and policy
mc mb --ignore-existing s3/overleaf-project-blobs
mc mb --ignore-existing s3/overleaf-chunks
mc admin user add s3 \
  OVERLEAF_HISTORY_S3_ACCESS_KEY_ID \
  OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY
mc admin policy create s3 overleaf-history policy-history.json
mc admin policy attach s3 overleaf-history \
  --user=OVERLEAF_HISTORY_S3_ACCESS_KEY_ID

Ikhtisar

Instalasi

Konfigurasi

Pemeliharaan

Manajemen pengguna dan proyek

Dukungan

S3

Kapan sebaiknya menggunakan S3 untuk penyimpanan data

Opsi object storage yang kompatibel dengan S3

Pertimbangan latensi saat memilih object storage yang kompatibel dengan S3

Penyiapan S3

Kebijakan Akses

Ikhtisar variabel

Saat menggunakan AWS S3

Saat menggunakan opsi self-hosted

Penyiapan MINIO

​Kapan sebaiknya menggunakan S3 untuk penyimpanan data

​Opsi object storage yang kompatibel dengan S3

​Pertimbangan latensi saat memilih object storage yang kompatibel dengan S3

​Penyiapan S3

​Kebijakan Akses

​Ikhtisar variabel

​Saat menggunakan AWS S3

​Saat menggunakan opsi self-hosted

​Penyiapan MINIO

Kapan sebaiknya menggunakan S3 untuk penyimpanan data

Opsi object storage yang kompatibel dengan S3

Pertimbangan latensi saat memilih object storage yang kompatibel dengan S3

Penyiapan S3

Kebijakan Akses

Ikhtisar variabel

Saat menggunakan AWS S3

Saat menggunakan opsi self-hosted

Penyiapan MINIO