rcloneの転送並行数を制限する

rcloneは通常、4件のファイルを並列に転送します。リモートからローカルへ転送する大きなファイルでは、256 MiBのしきい値を超えると、さらに4本の範囲ストリームを開く場合があります。そのため、--transfers 1だけでは、同時に実行されるdosyaからのダウンロードが1つになるとは限りません。

手順

1. 機密情報を含まないフォルダー1件から始め、現在のコマンド、rcloneのバージョン、転送方向、APIキーまたはロールの転送制限を記録してください。
2. 同じパスを--dry-runでプレビューしてください。並行数を変えても、コピー元とコピー先の逆転は修正されません。
3. アップロードや通常のコピーでは、--transfers 1 --checkers 2から始めてください。測定した実行が問題なく完了してから、値を1つずつ増やしてください。
4. dosyaからローカルへのダウンロードで、1件のファイルに1本の範囲ストリームを使う必要がある場合は、--multi-thread-streams 0を追加してください：rclone copy dosya-webdav:All/sample ./sample-download --transfers 1 --multi-thread-streams 0 --progress。
5. HTTP 429に注意し、Retry-Afterの値を記録してください。並行数を減らしても、1日の送信量、ストレージ、リクエスト頻度、ファイルごとの容量の制限は回避できません。
6. 経過時間、最終的なエラー、終了ステータスを記録してください。繰り返し制限されずにジョブの期限を満たす最小の設定を使ってください。

範囲リクエストを含む各ストリーミングWebDAV GETは、それぞれ使用枠を取得します。プロトコルの通信にはプランによる呼び出し数と並行数の上限は適用されませんが、キーとロールに明示された制限は引き続き適用されます。アップロードにはストレージとファイルポリシーの制限も適用されます。

期待される結果

制限した転送が、原因不明の429、タイムアウト、使用枠の拒否なしに完了します。記録したフラグにより、並列ファイル数と、ダウンロード時の大きなファイル内のストリーム数の両方が制限されます。

サーバーが再試行までの待機時間を返した場合は、実行を重ねずにその時間だけ待ってください。低い並行数で問題なく完了し、値を上げると失敗する場合は、再試行を無制限に増やさず、最後に安定した設定に戻してください。

関連ガイド

• dosyaでrcloneを使う
• rclone syncのドライランを実行する