S3 - Ayakaleaf Pro

Este documento aborda a configuração do S3 no Server CE e no Ayakaleaf Pro. Há um guia separado sobre a migração de dados existentes para um armazenamento compatível com S3.

Se você implantar o Ayakaleaf Pro com o armazenamento s3.md ativado, os dados armazenados no S3 são criptografados?Não. Os dados não são criptografados. Todos os chunks de histórico, arquivos de template, PDFs e outros arquivos são armazenados em texto simples. Se você usar um provedor externo de armazenamento S3 de terceiros, preste muita atenção à segurança e à privacidade dos dados.

Quando considerar o uso do S3 para armazenamento de dados

Para instâncias com menos de 1000 licenças, recomendamos usar armazenamento em disco local com backups consistentes regulares. Para instâncias maiores, com mais de 1000 licenças, que atingem os limites do armazenamento local (tamanho ou taxa de transferência), recomendamos usar um back end de armazenamento de objetos compatível com S3 em vez de outras soluções de armazenamento em rede, como NFS.

Opções de armazenamento de objetos compatível com S3

Estas são as opções mais populares de armazenamento de objetos compatível com S3:

AWS S3, gerenciado; sugerimos escolher o AWS S3 ao executar o Overleaf CE/Server Pro na AWS
MINIO, auto-hospedado
Ceph, auto-hospedado
Outros provedores de hospedagem também oferecem algum tipo de armazenamento de objetos gerenciado compatível com S3; você pode preferir usá-lo em vez de manter o seu próprio se já executa o Overleaf CE/Server Pro nesse provedor.

Considerações sobre latência ao escolher um armazenamento de objetos compatível com S3

A latência entre a instância do Server CE/Server Pro e seu armazenamento de objetos compatível com S3 contribui muito para o tempo necessário para concluir a migração. A latência também afeta o desempenho do upload de arquivos no Server CE/Server Pro, e downloads de arquivos lentos também podem ter um grande impacto nos tempos de compilação de PDF. Sugerimos minimizar a distância geográfica entre sua instância do Server CE/Server Pro e o armazenamento de objetos compatível com S3. Em um ambiente gerenciado, isso significa provisionar um bucket na mesma região e, em uma solução on-premise, executar os dois no mesmo campus.

Configuração do S3

Precisamos de quatro “buckets” e duas contas de usuário restritas. overleaf-user-files e OVERLEAF_FILESTORE_USER_FILES_BUCKET_NAME só são necessários antes da v6.

Os buckets não devem ser acessíveis publicamente


Bucket	Uso	Serviço	Anteriormente em `/var/lib/overleaf/data`
`overleaf-user-files`	arquivos de usuário dos projetos	filestore	`user_files`
`overleaf-template-files`	arquivos de template	filestore	`template_files`
`overleaf-project-blobs`	blobs do histórico de projetos	history e filestore somente leitura	`history/overleaf-project-blobs`
`overleaf-chunks`	chunks de histórico	history	`history/overleaf-chunks`

Você pode querer/precisar escolher um nome diferente; certifique-se de usar os buckets personalizados em todos os comandos. A seguir, serão usados placeholders para as credenciais reais:

Variável de ambiente	Descrição
`OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID`	A chave de acesso/nome de usuário do usuário restrito do serviço filestore.
`OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY`	A chave secreta/senha do usuário restrito do serviço filestore.
`OVERLEAF_HISTORY_S3_ACCESS_KEY_ID`	A chave de acesso/nome de usuário do usuário restrito do serviço history.
`OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY`	A chave secreta/senha do usuário restrito do serviço history.

O Server CE e o Server Pro precisam apenas de um pequeno conjunto de permissões em cada bucket:

criar objeto
obter objeto
excluir objeto
listar bucket

Políticas de acesso

Veja como poderia ser uma política para o usuário do filestore:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-user-files"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-user-files/*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:GetObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-project-blobs/*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-template-files"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-template-files/*"
    }
  ]
}

Veja como poderia ser uma política para o usuário do history:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-project-blobs"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-project-blobs/*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket"
      ],
      "Resource": "arn:aws:s3:::overleaf-chunks"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:PutObject",
        "s3:GetObject",
        "s3:DeleteObject"
      ],
      "Resource": "arn:aws:s3:::overleaf-chunks/*"
    }
  ]
}

Visão geral das variáveis

Ao usar o AWS S3

# Enable S3 backend for filestore
OVERLEAF_FILESTORE_BACKEND=s3

# Bucket name for project files
OVERLEAF_FILESTORE_USER_FILES_BUCKET_NAME=overleaf-user-files

# Bucket name for template files
OVERLEAF_FILESTORE_TEMPLATE_FILES_BUCKET_NAME=overleaf-template-files

# Key for filestore user
OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID=...

# Secret for filestore user
OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY=...

# Bucket region you picked when creating the buckets.
OVERLEAF_FILESTORE_S3_REGION=""

# Enable S3 backend for history
OVERLEAF_HISTORY_BACKEND=s3

# Bucket name for project history blobs
OVERLEAF_HISTORY_PROJECT_BLOBS_BUCKET=overleaf-project-blobs

# Bucket name for history chunks
OVERLEAF_HISTORY_CHUNKS_BUCKET=overleaf-chunks

# Key for history user
OVERLEAF_HISTORY_S3_ACCESS_KEY_ID=...

# Secret for history user
OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY=...

# Bucket region you picked when creating the buckets.
OVERLEAF_HISTORY_S3_REGION=""

Ao usar uma opção auto-hospedada

# Enable S3 backend for filestore
OVERLEAF_FILESTORE_BACKEND=s3

# Bucket name for project files
OVERLEAF_FILESTORE_USER_FILES_BUCKET_NAME=overleaf-user-files

# Bucket name for template files
OVERLEAF_FILESTORE_TEMPLATE_FILES_BUCKET_NAME=overleaf-template-files

# Key for filestore user
OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID=...

# Secret for filestore user
OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY=...

# S3 provider endpoint
OVERLEAF_FILESTORE_S3_ENDPOINT=http://10.10.10.10:9000

# Path style addressing of buckets. Most likely you need to set this to "true".
OVERLEAF_FILESTORE_S3_PATH_STYLE="true"

# Bucket region. Most likely you do not need to configure this.
OVERLEAF_FILESTORE_S3_REGION=""

# Enable S3 backend for history
OVERLEAF_HISTORY_BACKEND=s3

# Bucket name for project history blobs
OVERLEAF_HISTORY_PROJECT_BLOBS_BUCKET=overleaf-project-blobs

# Bucket name for history chunks
OVERLEAF_HISTORY_CHUNKS_BUCKET=overleaf-chunks

# Key for history user
OVERLEAF_HISTORY_S3_ACCESS_KEY_ID=...

# Secret for history user
OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY=...

# S3 provider endpoint
OVERLEAF_HISTORY_S3_ENDPOINT=http://10.10.10.10:9000

# Path style addressing of buckets. Most likely you need to set this to "true".
OVERLEAF_HISTORY_S3_PATH_STYLE="true"

# Bucket region. Most likely you do not need to configure this.
OVERLEAF_HISTORY_S3_REGION=""

Configuração do MINIO

MINIO_ROOT_USER e MINIO_ROOT_PASSWORD são as credenciais root da instância MINIO.

Siga a documentação oficial para obter uma cópia do mc.

mc alias set s3 http://10.10.10.10:9000 MINIO_ROOT_USER MINIO_ROOT_PASSWORD

# Put the contents of the policies from the previous section in the
# respective json file policy-filestore.json and policy-history.json.

# Reminder: Replace the bucket names and credentials accordingly.

# filestore buckets, user and policy
mc mb --ignore-existing s3/overleaf-user-files
mc mb --ignore-existing s3/overleaf-template-files
mc admin user add s3 \
  OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID \
  OVERLEAF_FILESTORE_S3_SECRET_ACCESS_KEY
mc admin policy create s3 overleaf-filestore policy-filestore.json
mc admin policy attach s3 overleaf-filestore \
  --user=OVERLEAF_FILESTORE_S3_ACCESS_KEY_ID

# history buckets, user and policy
mc mb --ignore-existing s3/overleaf-project-blobs
mc mb --ignore-existing s3/overleaf-chunks
mc admin user add s3 \
  OVERLEAF_HISTORY_S3_ACCESS_KEY_ID \
  OVERLEAF_HISTORY_S3_SECRET_ACCESS_KEY
mc admin policy create s3 overleaf-history policy-history.json
mc admin policy attach s3 overleaf-history \
  --user=OVERLEAF_HISTORY_S3_ACCESS_KEY_ID

Visão geral

Instalação

Configuração

Manutenção

Gerenciamento de usuários e projetos

Suporte

S3

Quando considerar o uso do S3 para armazenamento de dados

Opções de armazenamento de objetos compatível com S3

Considerações sobre latência ao escolher um armazenamento de objetos compatível com S3

Configuração do S3

Políticas de acesso

Visão geral das variáveis

Ao usar o AWS S3

Ao usar uma opção auto-hospedada

Configuração do MINIO

​Quando considerar o uso do S3 para armazenamento de dados

​Opções de armazenamento de objetos compatível com S3

​Considerações sobre latência ao escolher um armazenamento de objetos compatível com S3

​Configuração do S3

​Políticas de acesso

​Visão geral das variáveis

​Ao usar o AWS S3

​Ao usar uma opção auto-hospedada

​Configuração do MINIO

Quando considerar o uso do S3 para armazenamento de dados

Opções de armazenamento de objetos compatível com S3

Considerações sobre latência ao escolher um armazenamento de objetos compatível com S3

Configuração do S3

Políticas de acesso

Visão geral das variáveis

Ao usar o AWS S3

Ao usar uma opção auto-hospedada

Configuração do MINIO