大きなS3転送を安全に検証する

大きなS3オブジェクトにはマルチパートアップロードを使用してください。dosyaでテスト済みのrclone設定は64Miで切り替わります。ゲートウェイは1〜10,000のパート番号を受け付け、各パートを5 GiB以下に制限します。

始める前に

転送元のバイトサイズ、保存先のバケットとキー、クライアントのマルチパート設定を記録してください。完了まで十分なストレージの空きを確保します。認証情報とロールのファイルサイズ制限は、ゲートウェイがマルチパートの合計サイズを確認できる時点で評価されます。

50 MiB以下のパートはバッファリングされ、ストレージへの書き込み時に再試行されます。それより大きなパートは直接ストリーミングされ、読み取り済みの本文を同じリクエスト内で再送できません。クライアントは失敗したパート番号を再試行する必要があります。未完了のマルチパートアップロードは明示的に中止し、保存されたパートと同時実行スロットを解放してください。

手順

1. クライアントのマルチパートしきい値を、単一リクエストの転送上限より小さく設定します。rcloneではリリース済みのupload_cutoff = 64Miの値を使用します。
2. 正確なワークスペースバケットとアンカーからの相対キーにアップロードを開始し、認証情報を公開せずに返されたアップロードIDを記録します。
3. 成功したパートの応答とETagを監視します。パート番号は1〜10,000、各パートの申告サイズは5 GiB以下に保ちます。
4. パートが失敗したら同じ番号を再試行します。転送を断念する場合は未完了のままにせず、AbortMultipartUploadを送信します。
5. アップロードを完了し、CompleteMultipartUploadの成功応答を確認します。完了時にスコープ、ロール、容量制限、バックアップロック、合計サイズの制限が再確認されます。
6. HEADを使用して保存されたContent-Lengthを転送元のバイト数と比較し、マルチパートETagを記録します。より厳密な検証が必要な場合は、内容をダウンロードするかサンプルを確認します。

期待される結果

指定したキーに、転送元と同じバイト数の完全なdosyaファイルが1件表示されます。マルチパートETagは想定されたマルチパート形式で組み立てられたことを示す記録であり、ファイル全体のMD5チェックサムではありません。

完了時にQuotaExceeded、EntityTooLarge、ロックによる拒否、またはNoSuchUploadが返された場合、ファイルが保存されたと決めつけないでください。原因を解消し、まだ有効なアップロードを中止して、新しいマルチパートセッションを開始します。現在のマルチパート完了処理では認証情報とロールのファイルサイズ制限および容量制限が適用されますが、ワークスペースのmax_file_size_gb設定は適用されません。

関連ガイド

• S3互換ツールで接続する
• S3アクセスの問題を解決する