Når du oppgraderer til et nytt Docker-image, kjøres alle migreringer som ikke allerede er kjørt, automatisk. Dette kan ta litt tid avhengig av størrelsen på datasettet, og ved å følge loggene kan du se fremdriften. Mer informasjon finner du i dokumentasjonen om Logging.
Datalagring
Ayakaleaf Pro lagrer dataene sine på tre separate steder:- MongoDB-database: Her ligger bruker- og prosjektdata.
- Redis: fungerer som en høyytelsesbuffer for data under behandling, og lagrer hovedsakelig informasjon knyttet til prosjektredigeringer og samarbeid.
- Overleaf-filsystemet: lagrer prosjektfiler som ikke kan redigeres (inkludert bilder) og fungerer også som en midlertidig diskbuffer under kompilering av prosjekter.
Dette kan være
~/sharelatex_data eller ~/overleaf_data, avhengig av når instansen din ble satt opp.For prosjektfiler og fullstendig prosjekthistorikk støtter vi også S3-kompatible lagringsbackends.
Ta en konsistent sikkerhetskopi
Det er tre lagre som må inkluderes når du tar en konsistent sikkerhetskopi:- MongoDB
- Redis
- Data i Overleaf-filsystemet
bin/docker-compose stop sharelatex hvis du bruker en Toolkit-installasjon, eller docker compose stop sharelatex hvis du bruker Docker Compose.
Når sharelatex-containeren er stoppet, kan du starte sikkerhetskopieringen.
Når sikkerhetskopieringen er fullført uten feil, må du starte sharelatex-containeren. Dette gjør du ved å kjøre bin/docker-compose start sharelatex hvis du bruker en Toolkit-installasjon, eller docker compose start sharelatex hvis du bruker Docker Compose.
- Sikkerhetskopier bør lagres på en annen server enn den Overleaf-instansen kjører på, helst på et helt annet sted.
- Replikering av databaser til flere MongoDB-instanser kan gi en viss redundans, men beskytter ikke mot korrupsjon.
- Å teste sikkerhetskopiene er den beste måten å sikre at de er fullstendige og fungerer.
MongoDB
MongoDB leveres med et kommandolinjeverktøy kalt mongodump som kan brukes til å lage en sikkerhetskopi av bruker- og prosjektdata som er lagret i databasen. Medsharelatex-containeren stoppet og mongo-containeren fortsatt kjørende dumper du sharelatex-databasen til en fil på verten, og gjenoppretter den på samme måte (--drop erstatter de eksisterende samlingene):
Data i Overleaf-filsystemet
For Toolkit-installasjoner angis stien der filene som ikke kan redigeres lagres, iconfig/overleaf.rc med miljøvariabelen OVERLEAF_DATA_PATH, men avhengig av når instansen ble opprettet, kan dette være data/sharelatex.
Du må bruke et verktøy som rsync til å kopiere denne katalogen rekursivt for å sikre at en fullstendig sikkerhetskopi blir laget.
Redis
Redis lagrer brukerøkter og ventende dokumentoppdateringer før de skrives til MongoDB. Append Only File-persistens (AOF) er den anbefalte konfigurasjonen for persistens i Redis. Toolkit-brukere har AOF-persistens aktivert som standard for nye installasjoner. Eksisterende brukere finner mer informasjon om hvordan AOF aktiveres her. Hvis du velger å fortsette å bruke RDB-øyeblikksbilder sammen med AOF-persistens, kan du kopiere RDB-filen til et sikkert sted som sikkerhetskopi.Migrere data mellom servere
I beste fall har du ikke noen verdifulle data i den nye instansen ennå. Vi har ingen prosess for å slå sammen data fra flere instanser. Forutsatt at den nye instansen ikke har noen data ennå, er her noen trinn du kan følge. Overordnet lager vi et tar-arkiv av volumenemongo, redis og overleaf, kopierer det over til den nye serveren og pakker det ut der igjen.
Toolkit
Docker Compose
mongo, redis og overleaf.
Når du kjører som root-bruker (eller med sudo), beholder tar eier/gruppe og tillatelser for filene, noe som er avgjørende når sikkerhetskopien gjenopprettes.
Mapper i detalj
Følgende mapper har tilleggsmerknader:
- (b) inkluder i sikkerhetskopier, helst når instansen er stoppet for å sikre konsistens
- (d) kan slettes
- (e) flyktige filer, kan slettes når instansen er stoppet
~/mongo_data(b)- datakatalog for mongodb
~/redis_data(b)- datakatalog for redis-databasen
~/overleaf_data- bin
- synctex (d)
- ikke brukt i nyeste versjon; tidligere ble en egendefinert synctex-binærfil brukt (synctex brukes til kildekobling mellom .tex-filer og pdf-en)
- synctex (d)
- data
- cache (e)
- buffer for binærfiler ved kompilering
- compiles (e)
- LaTeX-kompileringen skjer her
- db.sqlite (d)
- ikke brukt i nyeste versjon; lagret tidligere detaljer om clsi-bufferen (enten flyttet til enkle minnebaserte tabeller, eller så skanner vi disken)
- db.sqlite-wal (d)
- ikke brukt i nyeste versjon, se db.sqlite
- output (e)
- lagring av LaTeX-kompileringsresultater som skal leveres til klienten
- template_files (b)
- forhåndsvisningsbilder for malsystemet (kun Ayakaleaf Pro)
- user_files (b)
- binærfiler for prosjekter
- history (b)
- filer for fullstendig prosjekthistorikk
- cache (e)
- tmp
- dumpFolder (e)
- midlertidige filer fra håndtering av zip-filer
- uploads (e)
- mellomlagring av filopplastinger (opplasting av binærfiler / nytt prosjekt fra zip)
- projectHistories (e)
- midlertidige filer for migreringer av fullstendig prosjekthistorikk
- dumpFolder (e)
- bin
Spørsmål og svar
MongoDB-dataene er korrupte eller delvis slettet, og jeg har ingen sikkerhetskopi. Hva kan jeg gjøre?
MongoDB-dataene er korrupte eller delvis slettet, og jeg har ingen sikkerhetskopi. Hva kan jeg gjøre?
Svar: Hvis reparasjonen måtte endre data, starter ikke MongoDB lenger som medlem av et replikasett, og Toolkit kjører den som det (Gjenopprett deretter
mongo-containeren lagrer ingen data selv: databasen ligger i data/mongo (MONGO_DATA_PATH i config/overleaf.rc). Hvis bare containeren er ødelagt, fjerner du den med bin/docker-compose rm -sf mongo og kjører bin/up -d for å opprette den på nytt.Hvis MongoDB ikke kan starte fordi filene er skadet eller mangler, er siste utvei MongoDBs egen mongod --repair. Den forkaster korrupte data og oppretter tomme stubbfiler for manglende filer, så du må regne med datatap. Stopp alt og kopier datakatalogen først, og kjør deretter reparasjonen med samme image som mongo-containeren din (MONGO_IMAGE og MONGO_VERSION i config/overleaf.rc, mongo:8.0 som standard):--replSet overleaf): bin/logs mongo viser This instance has been repaired and may contain modified replicated data. Start da de reparerte filene uten --replSet, dump dem, og gjenopprett dumpen i en ny database:mongo-backup.gz med mongorestore-kommandoen under MongoDB ovenfor.Hvis MongoDB-dataene er helt borte, kan ikke Ayakaleaf Pro gjenoppbygge prosjektene. Brukere, prosjektlisten, mappetrær, gjeldende tekst i dokumenter og indeksen over historikken lagres alle i MongoDB. data/overleaf/data/history inneholder fortsatt opplastede filer og historikkinnhold, lagret under innholdshasher (overleaf-project-blobs) og som gzip-komprimerte JSON-historikkbiter (overleaf-chunks), men det finnes ikke noe verktøy som gjør dem om til prosjekter igjen. Du kan bare søke gjennom dem manuelt.
