Zum Hauptinhalt springen

Buckets von anderen Anbietern migrieren

Da der centron Object Storage S3-kompatibel ist, lässt sich ein bestehender Bucket von AWS S3 oder einem anderen S3-kompatiblen Anbieter direkt kopieren. Diese Anleitung nutzt rclone (empfohlen) und zeigt alternativ den MinIO Client.

Vorbereitung​

  1. Ziel-Bucket bei centron anlegen – siehe Bucket erstellen. Bucket-Namen sind nicht übertragbar; ggf. neuen Namen wählen.
  2. Zugangsdaten beider Seiten bereitlegen (Quelle und Ziel).
  3. Datenmenge prüfen: Beim Quellanbieter kann ausgehender Traffic Kosten verursachen.
  4. Feature-Abgleich: ACLs, Bucket-Policies, Objekt-Metadaten und Speicherklassen werden je nach Tool nur teilweise übernommen. Versionshistorien werden nicht migriert – nur der aktuelle Stand.

Migration mit rclone​

Remotes konfigurieren​

~/.config/rclone/rclone.conf:

[quelle]
type = s3
provider = AWS                # bzw. "Other" für andere Anbieter
access_key_id = QUELLE_ACCESS_KEY
secret_access_key = QUELLE_SECRET_KEY
region = eu-central-1         # Region des Quellanbieters
# endpoint = https://...      # bei Nicht-AWS-Anbietern setzen

[centron]
type = s3
provider = Other
access_key_id = CENTRON_ACCESS_KEY
secret_access_key = CENTRON_SECRET_KEY
region = 
endpoint = https://s3.internet1.de

Testlauf und Kopie​

# Trockenlauf: zeigt, was kopiert würde
rclone copy quelle:alter-bucket centron:neuer-bucket --dry-run -P

# Eigentliche Migration (parallelisiert)
rclone copy quelle:alter-bucket centron:neuer-bucket \
  -P --transfers 16 --checkers 32

Verifikation​

# Vergleicht Größe und Hashes beider Seiten
rclone check quelle:alter-bucket centron:neuer-bucket

# Objektanzahl und Gesamtgröße
rclone size quelle:alter-bucket
rclone size centron:neuer-bucket

Nachzügler übertragen​

Falls während der Migration weiter in die Quelle geschrieben wurde, einen abschließenden Sync durchführen (idealerweise nach einem Schreib-Stopp):

rclone sync quelle:alter-bucket centron:neuer-bucket -P
Warnung

rclone sync löscht Objekte im Ziel, die in der Quelle nicht (mehr) existieren. Für rein additive Läufe rclone copy verwenden.

Alternative: MinIO Client (mc)​

mc alias set quelle https://s3.eu-central-1.amazonaws.com QUELLE_ACCESS_KEY QUELLE_SECRET_KEY
mc alias set centron https://s3.internet1.de CENTRON_ACCESS_KEY CENTRON_SECRET_KEY

mc mirror quelle/alter-bucket centron/neuer-bucket

Nacharbeiten​

  • Anwendungen und Backup-Jobs auf den neuen Endpoint/Bucket umstellen
  • Öffentliche Freigaben, CORS- und Lifecycle-Regeln im Ziel neu einrichten
  • Nach erfolgreicher Verifikation: Quelle bereinigen, um doppelte Kosten zu vermeiden

Tipps für große Migrationen​

  • Migration von einem centron Cloud-Server aus durchführen – kurze Wege zum Ziel-Endpoint, keine lokale Bandbreitenbegrenzung
  • Bei Millionen kleiner Objekte --checkers erhöhen; bei wenigen großen Objekten --transfers moderat halten
  • rclone copy ist idempotent: abgebrochene Läufe einfach erneut starten

Verwandte Themen​

Letztes Update am