gallery-dl のダウンロードアーカイブ：再ダウンロードを防ぐ

--download-archive オプションを使うと、gallery-dl はローカルファイルを参照します。コマンドラインのリファレンスでは、処理した項目を記録し、すでにアーカイブにある項目をスキップすると説明されています。同じファイルを再利用すれば、次回のプロフィール、ギャラリー、定期ジョブの実行時に、すべてを新規項目として扱わず過去の記録を確認できます。

アーカイブはダウンローダーの処理履歴であり、メディア、保存先一覧、チェックサムではありません。削除したファイルを復元したり、ファイルが今も開けることを確認したりはできません。ファイル名テンプレートは新しいファイルの名前を決めるだけで、アーカイブの代わりにはならず、異なる URL の画像データを比較する機能もありません。

• 次回以降の実行から同じアーカイブファイルへアクセスできる必要があります。
• ダウンロードしたメディアとは別にアーカイブをバックアップしてください。
• 項目が記録されていても、ローカルファイルが存在することや変更されていないことの証明にはなりません。

gallery-dl を実行するアカウントとマシンから利用できる場所を選びます。スケジューラーでは、相対パスは作業ディレクトリに左右されるため、絶対パスのほうが確認しやすくなります。普段から名前を変更したり、整理したり、置き換えたりするフォルダーは避けてください。

用途が分かる名前を付け、コマンドと一緒にパスを記録します。内部形式を推測してファイル名を変えたり編集したりしないでください。ジョブを移行する場合は、アーカイブを意図してコピーし、新しいコマンドがそのコピーを参照するようにします。

gallery-dl --download-archive "$HOME/.local/share/gallery-dl/archives/creator-a.archive" "URL"

gallery-dl --download-archive "C:\Users\you\AppData\Local\gallery-dl\archives\creator-a.archive" "URL"

アクセスする権限のある対応 URL を使います。初めて扱う URL なら、まずアーカイブを指定せずにシミュレーションしてください。その後、専用のアーカイブパスと小さな範囲を使って実際に少量を処理し、保存先と再実行時の動作を確認します。

URL、範囲、アーカイブパスを変えずにもう一度実行します。記録済みの項目はスキップされるはずです。テスト結果を理解できてから、より多く処理したい場合にだけ範囲の制限を外します。定期ジョブでは、確認済みのオプションとパスをコマンドと一緒に保存し、実行した環境も記録しておきます。

• 2 回のテストで同じアーカイブファイルを使います。
• 最初の結果が分かるまで範囲を広げないでください。
• テスト後に範囲を外すのは、処理対象を増やしたいときだけにします。

gallery-dl --range "1-5" --download-archive "$HOME/.local/share/gallery-dl/archives/creator-a.archive" "URL"

gallery-dl --range "1-5" --download-archive "$HOME/.local/share/gallery-dl/archives/creator-a.archive" "URL"

定期的に確認するプロフィールやコレクションは、1 つの安定したアーカイブパスで管理すると分かりやすくなります。担当者、保存先、実行時刻が異なるジョブでは、ファイルを分けると切り分けやすくなります。URL の種類を同じ処理として扱う意図があり、一緒にテストした場合にだけ共有してください。

アーカイブは実行対象を選びません。範囲、日付フィルター、抽出設定が対象を決め、アーカイブはその処理に履歴を渡します。ジョブが途中で終わったり並び順が変わったりした場合は、スキップしきい値を加える前に、対象選択とアーカイブの両方を確認します。

ダウンロードアーカイブは、ファイルのバイト列を比較する重複検出器ではありません。異なる URL にある同一メディアをまとめたり、ファイル内容の変更を検出したりすると考えないでください。内容比較が必要なら、別のローカルファイル管理手段を使います。

メディアを移動または削除しても記録が残ることがあるため、アーカイブからそのファイルを復元することはできません。履歴をリセットする前にコピーを保管してください。変化するコレクションでは、範囲や日付フィルターが今も必要な項目を選んでいるかも確認します。

gallery-dl --config-ignore --simulate "URL"

gallery-dl --help

どのジョブが使うか分かるメモを添えて、メディアの保存先とは別にアーカイブをバックアップします。ジョブを移行する前にファイルをコピーし、新しいコマンドがそのコピーを使うようにしてください。全件処理を予定する前に、権限のある小さなテストで新しいパスを確認できます。

ジョブを作り直す場合、置き換え後の設定が小さなテストを通過するまでは古い履歴を残します。別々のマシンにあるアーカイブが自動同期されるとは限りません。また、形式を確認していないファイルを編集しないでください。

• 一時フォルダーや定期的に整理するフォルダーには置かないでください。
• ジョブ、URL の種類、アーカイブパス、確認済みコマンドを一緒に記録します。
• マシンを変更したり履歴を意図してリセットしたりする前にコピーします。
• 復元または移動したファイルは、権限のある小さな実行でテストします。

項目が再ダウンロードされる場合は、実際に実行されたコマンドを調べます。--download-archive が含まれているか、パスが一致するか、プロセスがファイルにアクセスできるかを確認してください。スケジューラーは別のアカウントや作業ディレクトリを使うことがあるため、テスト時と環境を比べます。

次に URL、範囲、フィルター、設定を比較します。権限のある URL を 1 つずつ試し、パスが分からないまま大規模な実行をしないでください。想定した項目がスキップされる場合は、まず対象選択の設定を確認し、リセット前にコピーを保管します。

対応 URL、確認済みのコマンド、分かりやすい保存先、ジョブと一緒に使い続けるアーカイブパスを用意します。小さな範囲で試し、同じコマンドを再実行し、動作が分かってから実行範囲を広げます。履歴はメディアとは別にバックアップしてください。結果が変わったら、何かをリセットする前にパス、URL、範囲、フィルター、設定を比べます。