Backup via rsync unter Unix

[AG1M]

Hallo,

habe folgendes vor:

Ich möchte meine USB HDD (mit NTFS formatiert) auf mein Unix NAS (FreeNAS aktuelle Version) komplett sichern.

D.h. ich möchte in selbst gewählten intervallen manuell sichern (hab mir gedacht rsync wäre da das richtige?) und immer nur den aktuellen Stand haben (die Daten Spiegeln sozusagen).

Bloß wie stelle ich das am einfachsten an und geht das auch (bezüglich der NTFS Geschichte), habt ihr da evtl. auch andere Lösungsvorschläge dafür? Bin Unix Anfänger, muss ich dazu noch sagen.

[AG1M]

So kleines Update

Hab die letzen Stunden etwas gebastelt

Folgendes habe ich gemacht:

Via SSH mit putty auf mein FreeNAS als root verbunden dann:

Code: Alles auswählen

kldload fuse
mount -t ntfs -o ro,umask=0022,gid=1000,uid=1001 /dev/da1s1 /mnt/usbhdd

Seltsamerweise ging das mounten ohne zuerst "kldload fuse" einzugeben nicht, da kam immer

Code: Alles auswählen

"fuse: failed to open fuse device: No such file or directory"

danach:

Code: Alles auswählen

rsync --delete -a -v /mnt/usbhdd/ /mnt/wdraid/Files

Hat super funktionert, aber kann mir jemand sagen ob man da noch etwas besser, oder anders machen kann bzw. sollte?

[50493D33]

Vielleicht möchtest du dir rsnapshot angucken?

rsnapshot is a filesystem snapshot utility for making backups of local and remote systems.

Using rsync and hard links, it is possible to keep multiple, full backups instantly available. The disk space required is just a little more than the space of one full backup, plus incrementals.

Dein Nas sollte dabei möglichst hardlinks unterstützen.

[AG1M]

Danke für den Link Verstehe ich das richtig das Images davon erzeugt werden? Ich brauche keine Inkrementelle Backups etc. ich spiegle die Daten immer, so das immer nur der aktuelle Datenstand als vollständiges Vollbackup auf Fileebene vorhanden ist. Oder hab ich das falsch verstanden?

[pawlak]

Warum brauchst du es nicht? Ist doch für ne Sicherung sehr praktisch, falls du doch mal ne Datei noch brauchst, die du vor nem Monat gelöscht hast. Und rsnapshot verbraucht ja nicht so viel mehr Speicherplatz.

Was ist denn, wenn die Platte nicht eingebunden wird oder das Veerzeichnis leer ist? Also die Platte säuft quasi ab, Dateisystem ist leer. Du machst die Sicherung und durch das --delete löscht du gleich noch die Sicherung mit.

[AG1M]

Also so sieht es bei mir aus: Habe eine Raid 1 USB HDD (2x1 TB) und ein Raid 1 NAS (2x2 TB), auf der Raid 1 USB HDD liegen alle möglichen Daten die ich nur extrem selten brauche oder nutze.

Mein Raid 1 NAS wird für viele verschiedene Dinge aktiv täglich genutzt und zusätzlich wollte ich nur in (langen) regelmäßigen Zeitabständen die Raid 1 USB HDD, zusätzlich sichern (falls mal der extreme Zufall auftreten sollte das beide HDDs aus der Raid 1 USB HDD ausfallen). Alte Datenbestände etc. brauche ich nicht, da ich immer nur den aktuellen Stand benötige, bzw. brauche.

Da ich eine Sicherung nur ganz selten davon mache und einzelene Änderungen sehr selten, schaue ich vorab auf die Raid 1 USB HDD ob alles i.O. ist, ich verstehe natürlich auch deinen Standpunkt, falls wirklich ein Fehler auftritt und dann auch die Sicherung "zerstört" wird.

[Debee]

Über das Netzwerk nehme ich

rsync -iavxSHz --progress --bwlimit=12345 --partial --delete-before --force -e ssh <source> <dest>

mit Ortsangaben wie user@1.2.3.4:/backup/hier/. .
Und die User-IDs werden mit der Option --numeric-ids richtig übertragen, unabhängig vom User-Namen.
Das --delete-before ist wichtig wenn es eng wird.
Das rsync verkraftet auch Unterbrechungen; ich habe damit mal über eine Woche lang eine DVD per ISDN upgeloadet

Lokal verwende ich rsync so:

rsync -iavxSH --force --delete-after <source> <dest>

Und zum simplen Auslesen von Kameras und ähnlichem so:

rsync -iavxSH <source> <dest>

[huensohn]

Möchte dass mal aufgreifen:
Hab hier ein NAS (Synology) auf dem ein rsync daemon läuft:
rsync://nas.local:: NetBackup
Außerdem ein SSH Server. Weitere Software wollte ich eigentlich nicht drauf installieren, aber smb, afp oder nfs könnte ich bei Bedarf noch aktivieren wenns hilft.

Wie sicher ich da jetzt mein Desktop System (arch) am besten drauf? Und sicher ich besser über ssh oder rsync (keys wurden bereits getauscht)?
Bisherige Versuche haben leider nicht geklappt, is immer einfach irgendwo hängengeblieben.

Wollte mein System auch möglichst komplett sichern (nicht nur ~/*), bin da von TimeMachine recht verwöhnt und hab grad recht wenig Peil.
Sollte dazu vielleicht noch erwähnen dass mein /boot auf nem USB Stick residiert (ders aber natürlich gemountet wenn das backup gestartet wird).

[pawlak]

Wo blieb es denn hängen?

Das rsync-Protokoll soll ja nicht grad das beste sein (Vorsicht: Halbwissen!) und über SSH ist's a bissal lahm. Ich selbst sichere das über NFS und rsync (allerdings nicht das komplett System).

[onkelcolo]

Wenn dir die NTFS-Metadaten (Attribute, ACLs, etc.) wurscht sind, kannst du das so machen. Ansonsten solltest du dir auf jeden Fall rdiff-backup ansehen.

[AG1M]

An die Experten, mache mein Backup ja via rsync. Geht alles auch wunderbar nur die Geschwindkeit ist sehr langsam...

Mal als Beispiel:

Wenn ich von meinem Windows PC auf FreeNAS via SMB zugreife und kopiere habe ich 60-70 MB/s. Wenn ich von meinem Linux PC auf FreeNAS via NFS zugreife und kopiere habe ich auch 60-70 MB/s.

Wenn ich nun mit rsync von meinem FreeNAS zum anderen Unix kopiere sind es max. 12 MB/s... wieso ist das so langsam?

[onkelcolo]

Wer bzw. wie misst du da die resultierende Geschwindigkeit?

rsync spart Bandbreite/Traffic, und erkauft sich das durch die noetige Rechenleistung auf beiden beteiligten Endpunkten. Es kann also durchaus sein, dass du weniger Daten ueber deine Leitung huschen siehst, wenn du zwei Verzeichnisse via rsync abgleichst, es aber trotzdem kuerzer dauert, als wenn du die Daten mit der maximalen Geschwindigkeit, die der Link zwischen den Hosts hergibt, als Ganzes uebertragen wuerdest. Wenn das nicht der Fall ist, solltest du den Einsatz von rsync vielleicht nochmal ueberdenken. Es sei denn, du kannst mit der "unbelegten" Bandbreite im Netz sonst irgendwas Tolles anfangen.

[AG1M]

Ist die Anzeige unter Unix wenn ich rsync starte (nutze das mit detailierter Ausgabe), zusätzlich sehe ich im Traffic Monitor von FreeNAS auch die schlappen 12 MB/s. Beim normalen Kopieren sehe ich einmal unter Windows (Freecomander) die 60-70 MB/s und im FreeNAS Monitor auch die 60-70 MB/s.

Zusätzlich habe ich einen Test gemacht mit einer 10 GB RAW Avi Datei, einmal mit rsync, einmal nur kopieren via SMB oder NFS, selbes Ergebniss kopieren ist sehr sehr sehr viel schneller auch bei nur einer einzigen Datei