S3 - Ayakaleaf Pro

В этом документе описана настройка S3 в Server CE и Ayakaleaf Pro. Перенос существующих данных в S3-совместимое хранилище описан в отдельном руководстве.

Если вы развёртываете Ayakaleaf Pro с включённым хранилищем s3.md, шифруются ли данные, хранящиеся в S3?Нет. Данные не шифруются. Все фрагменты истории, файлы шаблонов, PDF и прочие файлы хранятся в открытом виде. Если вы используете стороннего поставщика внешнего хранилища S3, уделите особое внимание безопасности и конфиденциальности данных.

Когда стоит использовать S3 для хранения данных

Для экземпляров менее чем на 1000 мест мы рекомендуем использовать локальное дисковое хранилище с регулярным согласованным резервным копированием. Для более крупных экземпляров (более 1000 мест), упирающихся в ограничения локального хранилища (по объёму или пропускной способности), мы рекомендуем использовать S3-совместимое объектное хранилище вместо других сетевых решений хранения, таких как NFS.

Варианты S3-совместимого объектного хранилища

Наиболее популярные варианты S3-совместимого объектного хранилища:

AWS S3, управляемый сервис; мы рекомендуем выбирать AWS S3, если Overleaf CE/Server Pro работает в AWS
MINIO, самостоятельное размещение
Ceph, самостоятельное размещение
Другие хостинг-провайдеры также предлагают управляемые S3-совместимые объектные хранилища; если Overleaf CE/Server Pro уже работает у такого провайдера, возможно, стоит использовать их вместо собственного хранилища.

Задержки при выборе S3-совместимого объектного хранилища

Задержка между экземпляром Server CE/Server Pro и S3-совместимым объектным хранилищем во многом определяет время, необходимое для завершения миграции. Задержка также влияет на скорость загрузки файлов в Server CE/Server Pro, а медленное скачивание файлов может существенно увеличить время компиляции PDF. Мы рекомендуем минимизировать географическое расстояние между экземпляром Server CE/Server Pro и S3-совместимым объектным хранилищем. В управляемой среде это означает создание бакета в том же регионе, а для локального решения — размещение обоих компонентов на одной площадке.

Настройка S3

Нам понадобятся четыре «бакета» и две учётные записи пользователей с ограниченными правами. overleaf-user-files и OVERLEAF_FILESTORE_USER_FILES_BUCKET_NAME нужны только для версий до v6.

Бакеты не должны быть общедоступными


Бакет	Назначение	Сервис	Ранее в `/var/lib/overleaf/data`
`overleaf-user-files`	пользовательские файлы проектов	filestore	`user_files`
`overleaf-template-files`	файлы шаблонов	filestore	`template_files`
`overleaf-project-blobs`	blob-объекты истории проектов	history и filestore только для чтения	`history/overleaf-project-blobs`
`overleaf-chunks`	фрагменты истории	history	`history/overleaf-chunks`

Возможно, вы захотите или будете вынуждены выбрать другие имена — в этом случае обязательно используйте свои имена бакетов во всех командах. Далее вместо реальных учётных данных используются заполнители:

Переменная окружения	Описание
`OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID`	Ключ доступа/имя пользователя с ограниченными правами для сервиса filestore.
`OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY`	Секретный ключ/пароль пользователя с ограниченными правами для сервиса filestore.
`OVERLEAF_HISTORY_S3_ACCESS_KEY_ID`	Ключ доступа/имя пользователя с ограниченными правами для сервиса history.
`OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY`	Секретный ключ/пароль пользователя с ограниченными правами для сервиса history.

Server CE и Server Pro требуется лишь небольшой набор прав на каждый бакет:

создание объекта
получение объекта
удаление объекта
просмотр списка объектов бакета

Политики доступа

Так может выглядеть политика для пользователя filestore:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-user-files"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-user-files/*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:GetObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-project-blobs/*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-template-files"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-template-files/*"
    }
  ]
}

Так может выглядеть политика для пользователя history:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-project-blobs"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-project-blobs/*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-chunks"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-chunks/*"
    }
  ]
}

Обзор переменных

При использовании AWS S3

# Enable S3 backend for filestore
OVERLEAF_FILESTORE_BACKEND=s3

# Bucket name for project files
OVERLEAF_FILESTORE_USER_FILES_BUCKET_NAME=overleaf-user-files

# Bucket name for template files
OVERLEAF_FILESTORE_TEMPLATE_FILES_BUCKET_NAME=overleaf-template-files

# Key for filestore user
OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID=...

# Secret for filestore user
OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY=...

# Bucket region you picked when creating the buckets.
OVERLEAF_FILESTORE_S3_REGION=""

# Enable S3 backend for history
OVERLEAF_HISTORY_BACKEND=s3

# Bucket name for project history blobs
OVERLEAF_HISTORY_PROJECT_BLOBS_BUCKET=overleaf-project-blobs

# Bucket name for history chunks
OVERLEAF_HISTORY_CHUNKS_BUCKET=overleaf-chunks

# Key for history user
OVERLEAF_HISTORY_S3_ACCESS_KEY_ID=...

# Secret for history user
OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY=...

# Bucket region you picked when creating the buckets.
OVERLEAF_HISTORY_S3_REGION=""

При использовании варианта с самостоятельным размещением

# Enable S3 backend for filestore
OVERLEAF_FILESTORE_BACKEND=s3

# Bucket name for project files
OVERLEAF_FILESTORE_USER_FILES_BUCKET_NAME=overleaf-user-files

# Bucket name for template files
OVERLEAF_FILESTORE_TEMPLATE_FILES_BUCKET_NAME=overleaf-template-files

# Key for filestore user
OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID=...

# Secret for filestore user
OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY=...

# S3 provider endpoint
OVERLEAF_FILESTORE_S3_ENDPOINT=http://10.10.10.10:9000

# Path style addressing of buckets. Most likely you need to set this to "true".
OVERLEAF_FILESTORE_S3_PATH_STYLE="true"

# Bucket region. Most likely you do not need to configure this.
OVERLEAF_FILESTORE_S3_REGION=""

# Enable S3 backend for history
OVERLEAF_HISTORY_BACKEND=s3

# Bucket name for project history blobs
OVERLEAF_HISTORY_PROJECT_BLOBS_BUCKET=overleaf-project-blobs

# Bucket name for history chunks
OVERLEAF_HISTORY_CHUNKS_BUCKET=overleaf-chunks

# Key for history user
OVERLEAF_HISTORY_S3_ACCESS_KEY_ID=...

# Secret for history user
OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY=...

# S3 provider endpoint
OVERLEAF_HISTORY_S3_ENDPOINT=http://10.10.10.10:9000

# Path style addressing of buckets. Most likely you need to set this to "true".
OVERLEAF_HISTORY_S3_PATH_STYLE="true"

# Bucket region. Most likely you do not need to configure this.
OVERLEAF_HISTORY_S3_REGION=""

Настройка MINIO

MINIO_ROOT_USER и MINIO_ROOT_PASSWORD — это учётные данные root для экземпляра MINIO.

Чтобы получить mc, следуйте официальной документации.

mc alias set s3 http://10.10.10.10:9000 MINIO_ROOT_USER MINIO_ROOT_PASSWORD

# Put the contents of the policies from the previous section in the
# respective json file policy-filestore.json and policy-history.json.

# Reminder: Replace the bucket names and credentials accordingly.

# filestore buckets, user and policy
mc mb --ignore-existing s3/overleaf-user-files
mc mb --ignore-existing s3/overleaf-template-files
mc admin user add s3 \
  OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID \
  OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY
mc admin policy create s3 overleaf-filestore policy-filestore.json
mc admin policy attach s3 overleaf-filestore \
  --user=OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID

# history buckets, user and policy
mc mb --ignore-existing s3/overleaf-project-blobs
mc mb --ignore-existing s3/overleaf-chunks
mc admin user add s3 \
  OVERLEAF_HISTORY_S3_ACCESS_KEY_ID \
  OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY
mc admin policy create s3 overleaf-history policy-history.json
mc admin policy attach s3 overleaf-history \
  --user=OVERLEAF_HISTORY_S3_ACCESS_KEY_ID

Обзор

Установка

Настройка

Обслуживание

Управление пользователями и проектами

Поддержка

S3

Когда стоит использовать S3 для хранения данных

Варианты S3-совместимого объектного хранилища

Задержки при выборе S3-совместимого объектного хранилища

Настройка S3

Политики доступа

Обзор переменных

При использовании AWS S3

При использовании варианта с самостоятельным размещением

Настройка MINIO

​Когда стоит использовать S3 для хранения данных

​Варианты S3-совместимого объектного хранилища

​Задержки при выборе S3-совместимого объектного хранилища

​Настройка S3

​Политики доступа

​Обзор переменных

​При использовании AWS S3

​При использовании варианта с самостоятельным размещением

​Настройка MINIO

Когда стоит использовать S3 для хранения данных

Варианты S3-совместимого объектного хранилища

Задержки при выборе S3-совместимого объектного хранилища

Настройка S3

Политики доступа

Обзор переменных

При использовании AWS S3

При использовании варианта с самостоятельным размещением

Настройка MINIO