Verificare in sicurezza un trasferimento S3 di grandi dimensioni

Per gli oggetti S3 grandi usa il caricamento multipart. La configurazione rclone verificata da dosya passa a multipart a 64Mi; il gateway accetta numeri di parte da 1 a 10.000 e limita ogni parte a 5 GiB.

Prima di iniziare

Annota la dimensione in byte dell’origine, bucket e chiave di destinazione e impostazioni multipart del client. Mantieni spazio di archiviazione sufficiente fino al completamento. I limiti di dimensione dei file per credenziale e ruolo vengono valutati quando il gateway può vedere il totale multipart completo.

Le parti fino a 50 MiB sono memorizzate nel buffer e ritentate alla scrittura nell’archiviazione; quelle più grandi sono trasmesse direttamente e non possono riprodurre il corpo già consumato nella stessa richiesta. Il client deve riprovare il numero della parte fallita. Interrompi esplicitamente un caricamento multipart incompleto per liberare le parti salvate e il relativo posto di concorrenza.

Passaggi

1. Imposta la soglia multipart del client sotto il limite di trasporto per singola richiesta; per rclone usa il valore rilasciato upload_cutoff = 64Mi.
2. Avvia il caricamento sul bucket esatto dello spazio di lavoro e sulla chiave relativa alla cartella di ancoraggio, poi annota l’ID del caricamento restituito senza esporre credenziali.
3. Controlla le risposte riuscite delle parti e i loro ETag; mantieni i numeri tra 1 e 10.000 e ogni dimensione dichiarata entro 5 GiB.
4. Se una parte fallisce, riprova con lo stesso numero; se abbandoni il trasferimento, invia AbortMultipartUpload invece di lasciarlo incompleto.
5. Completa il caricamento e verifica che CompleteMultipartUpload risponda con successo; il completamento ricontrolla permessi, ruolo, quota, blocco per copie di sicurezza e limiti sulla dimensione totale.
6. Usa HEAD per confrontare Content-Length salvato con i byte di origine, registra l’ETag multipart e scarica o controlla un campione del contenuto se serve una verifica più approfondita.

Risultato previsto

Un file dosya completo compare nella chiave richiesta con lo stesso numero di byte dell’origine. L’ETag multipart conferma l’assemblaggio nella forma prevista per più parti; non è un checksum MD5 dell’intero file.

Se il completamento restituisce QuotaExceeded, EntityTooLarge, un rifiuto per blocco o NoSuchUpload, non presumere che il file sia stato salvato. Risolvi il problema, interrompi eventuali caricamenti ancora attivi e avvia una nuova sessione multipart. Il percorso attuale di completamento applica i limiti di dimensione dei file della credenziale e del ruolo e la quota; non applica l’impostazione max_file_size_gb dello spazio di lavoro.

Guide correlate

• Connettersi con strumenti compatibili con S3
• Risolvere i problemi di accesso S3