升级到新的 Docker 镜像时,所有尚未运行的迁移都会自动执行,这可能需要一些时间,具体取决于数据集的大小,查看日志可以了解进度。更多信息请参阅我们的日志文档。
数据存储
Ayakaleaf Pro 将数据存储在三个不同的位置:- MongoDB 数据库: 存放用户和项目数据。
- Redis: 作为处理中数据的高性能缓存,主要存储与项目编辑和协作相关的信息。
- Overleaf 文件系统: 存储不可编辑的项目文件(包括图片),并在项目编译期间充当临时磁盘缓存。
根据实例搭建时间的不同,它可能是
~/sharelatex_data 或 ~/overleaf_data。对于项目文件和完整的项目历史数据,我们也支持兼容 S3 的存储后端。
执行一致性备份
进行一致性备份时,需要包含以下三个存储:- MongoDB
- Redis
- Overleaf 文件系统数据
bin/docker-compose stop sharelatex;如果使用的是 Docker Compose,请运行 docker compose stop sharelatex。
sharelatex 容器停止后,即可开始备份。
备份成功完成后,你需要启动 sharelatex 容器。为此,如果你使用的是 Toolkit 部署,请运行 bin/docker-compose start sharelatex;如果使用的是 Docker Compose,请运行 docker compose start sharelatex。
- 备份应存储在与运行 Overleaf 实例的服务器不同的另一台服务器上,最好完全位于不同的地点。
- 将数据库复制到多个 MongoDB 实例可以提供一定的冗余,但无法防止数据损坏。
- 测试备份是确保其完整且可用的最佳方式。
MongoDB
MongoDB 附带一个名为 mongodump 的命令行工具,可用于备份数据库中存储的用户和项目数据。 在sharelatex 容器已停止、mongo 容器仍在运行的情况下,将 sharelatex 数据库导出到宿主机上的文件,并以同样的方式恢复(--drop 会替换现有的集合):
Overleaf 文件系统数据
对于 Toolkit 部署,不可编辑文件的存储路径通过config/overleaf.rc 中的 OVERLEAF_DATA_PATH 环境变量指定,但根据实例创建时间的不同,它也可能是 data/sharelatex。
需要使用 rsync 之类的工具递归复制该目录,以确保创建完整的备份。
Redis
Redis 存储用户会话,以及在写入 MongoDB 之前尚待处理的文档更新。 仅追加文件(AOF)持久化是 Redis 持久化的推荐配置。 对于新安装,Toolkit 用户默认已启用 AOF 持久化;现有用户可以在此处找到有关启用 AOF 的更多信息。 如果你决定在使用 AOF 持久化的同时继续使用 RDB 快照,可以将 RDB 文件复制到安全的位置作为备份。在服务器之间迁移数据
最好的情况是新实例中还没有任何有价值的数据。我们没有用于合并多个实例数据的流程。 假设新实例中还没有数据,你可以按照以下步骤操作。总体而言,我们将mongo、redis 和 overleaf 卷打包成 tar 包,复制到新服务器,然后在那里重新解压。
Toolkit
Docker Compose
mongo、redis、overleaf 卷的路径。
以 root 用户(或使用 sudo)运行时,tar 会保留文件的所有者/属组和权限,这对于恢复备份至关重要。
文件夹详解
以下文件夹附有额外的标注:
- (b) 需要包含在备份中,最好在实例停止时进行以确保一致性
- (d) 可以删除
- (e) 临时文件,可在实例停止时删除
~/mongo_data(b)- MongoDB 数据目录
~/redis_data(b)- Redis 数据库数据目录
~/overleaf_data- bin
- synctex (d)
- 最新版本中已不再使用,以前使用的是自定义的 synctex 二进制文件(synctex 用于 .tex 文件与 PDF 之间的源码映射)
- synctex (d)
- data
- cache (e)
- 编译用的二进制文件缓存
- compiles (e)
- LaTeX 编译在此进行
- db.sqlite (d)
- 最新版本中已不再使用,以前用于存储 clsi 缓存详情(现已改为简单的内存映射或扫描磁盘)
- db.sqlite-wal (d)
- 最新版本中已不再使用,参见 db.sqlite
- output (e)
- LaTeX 编译输出的存储位置,用于提供给客户端
- template_files (b)
- 模板系统的图片预览(仅限 Ayakaleaf Pro)
- user_files (b)
- 项目的二进制文件
- history (b)
- 完整项目历史文件
- cache (e)
- tmp
- dumpFolder (e)
- 处理 zip 文件时产生的临时文件
- uploads (e)
- 文件上传的缓冲区(二进制文件/从 zip 新建项目的上传)
- projectHistories (e)
- 完整项目历史迁移的临时文件
- dumpFolder (e)
- bin
问答
MongoDB 数据已损坏或部分被删除,而且我没有备份。我该怎么办?
MongoDB 数据已损坏或部分被删除,而且我没有备份。我该怎么办?
回答:如果修复过程中修改了数据,MongoDB 将无法再以副本集成员的身份启动,而 Toolkit 正是以副本集成员方式(然后使用上文 MongoDB 中的
mongo 容器本身不保存任何数据:数据库位于 data/mongo(即 config/overleaf.rc 中的 MONGO_DATA_PATH)。如果只是容器损坏,请使用 bin/docker-compose rm -sf mongo 将其删除,然后运行 bin/up -d 重新创建。如果 MongoDB 因文件损坏或丢失而无法启动,最后的手段是使用 MongoDB 自带的 mongod --repair。它会丢弃损坏的数据,并为丢失的文件创建空的占位文件,因此可能会造成数据丢失。请先停止所有服务并复制数据目录,然后使用与 mongo 容器相同的镜像(config/overleaf.rc 中的 MONGO_IMAGE 和 MONGO_VERSION,默认为 mongo:8.0)运行修复:--replSet overleaf)运行它的:bin/logs mongo 会显示 This instance has been repaired and may contain modified replicated data。此时,请在不带 --replSet 的情况下启动修复后的文件,将其导出,然后将导出的数据恢复到新数据库中:mongorestore 命令恢复 mongo-backup.gz。如果 MongoDB 数据已完全丢失,Ayakaleaf Pro 无法重建项目。用户、项目列表、文件夹树、文档的当前文本以及历史记录索引都存储在 MongoDB 中。data/overleaf/data/history 中仍保存着上传的文件和历史记录内容,它们以内容哈希(overleaf-project-blobs)以及 gzip 压缩的 JSON 历史记录块(overleaf-chunks)的形式存储,但没有任何工具可以将它们还原为项目。你只能手动搜索这些文件。
