При переходе на новый Docker-образ все миграции, которые ещё не были выполнены, запускаются автоматически. Это может занять некоторое время в зависимости от объёма ваших данных; следить за ходом выполнения можно по журналам. Подробнее см. в документации Logging.
Хранение данных
Ayakaleaf Pro хранит свои данные в трёх разных местах:- База данных MongoDB: здесь хранятся данные пользователей и проектов.
- Redis: служит высокопроизводительным кешем для оперативных данных и в основном хранит информацию, связанную с редактированием проектов и совместной работой.
- Файловая система Overleaf: хранит нередактируемые файлы проектов (включая изображения), а также служит временным дисковым кешем при компиляции проектов.
Это может быть
~/sharelatex_data или ~/overleaf_data — в зависимости от того, когда был настроен ваш экземпляр.Для файлов проектов и данных полной истории проектов мы также поддерживаем S3-совместимые хранилища.
Создание согласованной резервной копии
При создании согласованной резервной копии необходимо включить три хранилища:- MongoDB
- Redis
- Данные файловой системы Overleaf
bin/docker-compose stop sharelatex, если вы используете развертывание через Toolkit, или docker compose stop sharelatex, если используете Docker Compose.
После остановки контейнера sharelatex можно начинать резервное копирование.
После успешного завершения резервного копирования необходимо запустить контейнер sharelatex. Для этого выполните bin/docker-compose start sharelatex, если вы используете развертывание через Toolkit, или docker compose start sharelatex, если используете Docker Compose.
- Резервные копии следует хранить на сервере, отличном от того, на котором работает ваш экземпляр Overleaf, а в идеале — вообще в другом месте.
- Репликация баз данных на несколько экземпляров MongoDB может обеспечить некоторую избыточность, но не защищает от повреждения данных.
- Тестирование резервных копий — лучший способ убедиться, что они полны и работоспособны.
MongoDB
В комплекте с MongoDB поставляется инструмент командной строки mongodump, с помощью которого можно создать резервную копию данных пользователей и проектов, хранящихся в базе данных. Остановив контейнерsharelatex и оставив контейнер mongo запущенным, выгрузите базу данных sharelatex в файл на хосте и восстанавливайте её тем же способом (--drop заменяет существующие коллекции):
Данные файловой системы Overleaf
Для развертываний через Toolkit путь, по которому хранятся нередактируемые файлы, задаётся вconfig/overleaf.rc переменной окружения OVERLEAF_DATA_PATH, однако в зависимости от того, когда был создан ваш экземпляр, это может быть data/sharelatex.
Для создания полной резервной копии необходимо рекурсивно скопировать этот каталог с помощью такого инструмента, как rsync.
Redis
Redis хранит пользовательские сеансы и ожидающие обновления документов до их сброса в MongoDB. Рекомендуемая конфигурация сохранения данных Redis — режим Append Only File (AOF). У пользователей Toolkit режим AOF включён по умолчанию для новых установок; существующие пользователи могут найти дополнительную информацию о включении AOF здесь. Если вы решите продолжать использовать снимки RDB вместе с AOF, можно скопировать файл RDB в безопасное место в качестве резервной копии.Перенос данных между серверами
В идеале в новом экземпляре ещё не должно быть ценных данных. У нас нет процедуры слияния данных разных экземпляров. Если в новом экземпляре ещё нет данных, можно выполнить следующие шаги. В общих чертах мы создаём tar-архив томовmongo, redis и overleaf, копируем его на новый сервер и распаковываем там.
Toolkit
Docker Compose
mongo, redis и overleaf.
При запуске от имени пользователя root (или через sudo) tar сохраняет владельца/группу файлов и права доступа, что критически важно при восстановлении из резервной копии.
Подробно о каталогах
У следующих каталогов есть дополнительные пометки:
- (b) включать в резервные копии, лучше всего при остановленном экземпляре для обеспечения согласованности
- (d) можно удалить
- (e) временные файлы, можно удалить при остановленном экземпляре
~/mongo_data(b)- каталог данных mongodb
~/redis_data(b)- каталог данных базы redis
~/overleaf_data- bin
- synctex (d)
- не используется в последнем выпуске; ранее использовался собственный бинарный файл synctex (synctex применяется для сопоставления исходного кода между файлами .tex и pdf)
- synctex (d)
- data
- cache (e)
- кеш бинарных файлов для компиляции
- compiles (e)
- здесь выполняется компиляция latex
- db.sqlite (d)
- не используется в последнем выпуске; ранее хранил сведения о кеше clsi (теперь они перенесены в простые структуры в памяти либо определяются сканированием диска)
- db.sqlite-wal (d)
- не используется в последнем выпуске, см. db.sqlite
- output (e)
- хранилище результатов компиляции latex для отдачи клиенту
- template_files (b)
- изображения предпросмотра системы шаблонов (только Ayakaleaf Pro)
- user_files (b)
- бинарные файлы проектов
- history (b)
- файлы полной истории проектов
- cache (e)
- tmp
- dumpFolder (e)
- временные файлы, возникающие при обработке zip-файлов
- uploads (e)
- буферизация загружаемых файлов (загрузка бинарных файлов / создание нового проекта из zip)
- projectHistories (e)
- временные файлы для миграций полной истории проектов
- dumpFolder (e)
- bin
Вопросы и ответы
Данные MongoDB повреждены или частично удалены, а резервной копии нет. Что можно сделать?
Данные MongoDB повреждены или частично удалены, а резервной копии нет. Что можно сделать?
Ответ: Сам контейнер Если при восстановлении пришлось изменить данные, MongoDB больше не запускается как участник набора реплик, а Toolkit запускает её именно так (Затем восстановите
mongo не хранит данных: база данных находится в data/mongo (MONGO_DATA_PATH в config/overleaf.rc). Если повреждён только контейнер, удалите его командой bin/docker-compose rm -sf mongo и выполните bin/up -d, чтобы создать его заново.Если MongoDB не может запуститься, потому что её файлы повреждены или отсутствуют, последнее средство — встроенная в MongoDB команда mongod --repair. Она отбрасывает повреждённые данные и создаёт пустые файлы-заглушки вместо отсутствующих, поэтому потеря данных неизбежна. Сначала остановите всё и скопируйте каталог данных, затем запустите восстановление с тем же образом, что и у вашего контейнера mongo (MONGO_IMAGE и MONGO_VERSION в config/overleaf.rc, по умолчанию mongo:8.0):--replSet overleaf): bin/logs mongo показывает This instance has been repaired and may contain modified replicated data. В этом случае запустите восстановленные файлы без --replSet, выгрузите их и восстановите дамп в новую базу данных:mongo-backup.gz с помощью команды mongorestore из раздела MongoDB выше.Если данные MongoDB полностью утрачены, Ayakaleaf Pro не может восстановить проекты. Пользователи, список проектов, деревья папок, текущий текст документов и индекс истории хранятся в MongoDB. В data/overleaf/data/history по-прежнему находятся загруженные файлы и содержимое истории, сохранённые под хешами содержимого (overleaf-project-blobs) и в виде сжатых gzip JSON-фрагментов истории (overleaf-chunks), но инструмента, который превращал бы их обратно в проекты, не существует. Искать в них можно только вручную.
