Archive de téléchargements gallery-dl : éviter les doublons
Une archive de téléchargements gallery-dl conserve un historique persistant que les tâches récurrentes peuvent consulter. Réutilisez le même chemin lors des prochaines exécutions pour ignorer les éléments connus et traiter les nouveaux éléments éligibles. Ce guide présente une commande prudente, la portée de l’archive, son entretien et le diagnostic des problèmes.
Flux d’exécutions répétéesFichier local stableLimites de l’archive
L’archive est un historique consulté par les exécutions suivantes ; elle ne contient pas les médias téléchargés.En bref : réutilisez un seul fichier d’archive
Une archive de téléchargements gallery-dl stable se configure avec --download-archive FILE et le même chemin à chaque exécution. Commencez par une URL prise en charge et une petite plage ; vérifiez que le fichier est lu et mis à jour, et gardez une sauvegarde distincte. L’archive suit les décisions de téléchargement : ce n’est ni une copie de vos médias ni un contrôle d’intégrité des fichiers.
COMPRENDRE L’HISTORIQUE
Rôle de l’archive de téléchargements gallery-dl
L’option --download-archive relie gallery-dl à un fichier local. Une archive de téléchargements gallery-dl enregistre les éléments traités et ignore ceux qui y figurent déjà, comme le précise la référence de la ligne de commande. En réutilisant ce fichier, une exécution ultérieure d’un profil, d’une galerie ou d’une tâche planifiée peut consulter son historique au lieu de traiter chaque élément comme nouveau.
L’archive sert au suivi interne du téléchargeur ; ce n’est ni un média, ni une liste de destinations, ni une somme de contrôle. Elle ne peut pas restaurer les fichiers supprimés ni confirmer qu’un fichier s’ouvre toujours. Un modèle de nommage ne fait que nommer les nouveaux fichiers : il ne remplace pas l’historique et ne compare pas les octets d’images provenant d’URL différentes.
Les prochaines exécutions doivent pouvoir accéder au même fichier d’archive.
Sauvegardez l’archive séparément des médias téléchargés.
La présence d’un élément dans l’archive ne prouve pas que son fichier local existe ou soit intact.
CHOISIR LE FICHIER UNE FOIS
Choisir un chemin stable pour l’archive
Choisissez un emplacement accessible au compte et à la machine qui exécutent gallery-dl. Pour une tâche planifiée, un chemin absolu est plus facile à vérifier, car un chemin relatif dépend du répertoire de travail. Évitez les dossiers que vous renommez, nettoyez ou remplacez régulièrement.
Donnez au fichier un nom lié à sa tâche, notez son chemin avec la commande et ne le renommez pas ou ne le modifiez pas en devinant son format interne. Lors d’un déplacement de tâche, copiez l’archive volontairement et indiquez cette copie dans la nouvelle commande.
Si une tâche récurrente change de machine, de shell ou de paramètres de planification, vérifiez le chemin exact avant de supposer que son historique a suivi la tâche.
TESTER LE CYCLE
Tester la première exécution puis la suivante
Utilisez une URL prise en charge à laquelle vous êtes autorisé à accéder. Pour une URL inconnue, commencez par une simulation sans archive. Faites ensuite une petite exécution réelle avec une plage limitée et un chemin d’archive dédié afin de vérifier la destination et le comportement lors d’une répétition.
Répétez la même URL et la même plage avec le même chemin d’archive. Les éléments enregistrés devraient être ignorés. Lorsque le résultat du test est clair, retirez la limite uniquement si vous souhaitez traiter davantage d’éléments. Pour une tâche planifiée, conservez l’option et le chemin testés avec la commande, et notez l’environnement utilisé.
Une répétition n’est un test utile que si l’URL, la plage et le chemin de l’archive restent identiques.
Conservez le même fichier d’archive pendant les deux exécutions de test.
N’élargissez pas la plage avant d’avoir compris le premier résultat.
Après le test, retirez la plage uniquement si vous voulez traiter davantage d’éléments.
Décider quelles tâches doivent partager une archive
Un profil ou une collection que vous consultez régulièrement est plus facile à gérer avec un chemin d’archive stable. Des fichiers distincts sont utiles lorsque les tâches ont des responsables, des destinations ou des horaires différents. Ne partagez un fichier que si vous voulez gérer ces types d’URL dans le même flux et que vous les avez testés ensemble.
L’archive ne choisit pas les éléments traités par une exécution. Une plage, un filtre de dates ou un réglage d’extracteur détermine les éléments examinés ; l’archive fournit l’historique à ce processus. Si une tâche s’arrête plus tôt ou si l’ordre change, vérifiez la sélection et le comportement de l’archive avant d’ajouter un seuil d’exclusion.
Type de tâche
Choix pratique de l’archive
Points à vérifier
Un profil consulté régulièrement
Conserver un chemin stable pour cette tâche
La commande planifiée résout toujours le même chemin
Créateurs ou destinations distincts
Utiliser des fichiers séparés aux noms explicites
Chaque commande désigne le fichier voulu
Une collection volontairement regroupée
Partager seulement après un petit test
Les types d’URL et l’historique se comportent comme prévu
FIXER LES ATTENTES
Ce qu’une archive ne peut pas détecter
Une archive de téléchargements n’est pas un détecteur de doublons octet par octet. Ne supposez pas qu’elle fusionne des médias identiques provenant d’URL différentes ou qu’elle détecte le contenu modifié d’un fichier. Pour comparer les contenus, utilisez un processus local distinct de gestion des fichiers.
Une entrée peut rester présente après le déplacement ou la suppression du média correspondant ; l’archive ne pourra donc pas restaurer ce fichier. Gardez une copie avant de réinitialiser l’historique. Si une collection évolue, vérifiez aussi que la plage ou le filtre de dates sélectionne encore les éléments souhaités.
Inspecter une URL prise en charge avant de changer les filtres
gallery-dl --config-ignore --simulate "URL"
Consulter les options de la commande
gallery-dl --help
PRÉSERVER L’HISTORIQUE
Sauvegarder et déplacer l’archive avec précaution
Sauvegardez l’archive avec une note sur la tâche qui l’utilise, séparément du dossier des médias. Avant de déplacer une tâche, copiez le fichier et indiquez cette copie dans la nouvelle commande. Un petit test autorisé peut confirmer le nouveau chemin avant de planifier une exécution complète.
Si vous réinitialisez une tâche, conservez l’ancien historique jusqu’à la réussite d’un petit test avec le remplacement. Ne supposez pas que des copies sur deux machines se synchronisent automatiquement et ne modifiez pas un fichier dont vous n’avez pas vérifié le format.
Gardez le chemin actif stable et une copie séparée avant un déplacement ou une réinitialisation prévue.
Gardez l’archive hors des dossiers temporaires ou régulièrement nettoyés.
Notez ensemble la tâche, le type d’URL, le chemin d’archive et la commande testée.
Copiez le fichier avant de changer de machine ou de réinitialiser volontairement l’historique.
Testez une archive restaurée ou déplacée avec une petite exécution autorisée.
VÉRIFIER LES ENTRÉES
Résoudre les téléchargements répétés
Si des éléments sont téléchargés de nouveau, inspectez la commande réellement exécutée. Vérifiez la présence de --download-archive, la correspondance du chemin et les droits d’accès du processus. Un planificateur peut utiliser un autre compte ou répertoire de travail ; comparez son environnement à celui de la commande testée.
Comparez ensuite l’URL, la plage, les filtres et la configuration. Testez une seule URL autorisée à la fois et évitez une nouvelle exécution volumineuse tant que le chemin de l’archive n’est pas clair. Si des éléments attendus sont ignorés, vérifiez d’abord les paramètres de sélection et gardez une copie avant toute réinitialisation.
Tout est téléchargé de nouveau
Vérifiez l’option, le chemin absolu, le compte du système et le répertoire de travail du planificateur. Confirmez que la deuxième exécution utilise le même fichier que la première.
Vérifiez l’URL sélectionnée, la plage et les filtres avant de modifier l’archive. Gardez une copie et utilisez une archive de test distincte si vous devez vérifier une exécution vierge.
Inspecter les options de commande actuelles
Tester une URL autorisée
Éviter de modifier un format d’archive inconnu
UNE ROUTINE RÉPÉTABLE
Une routine fiable avec l’archive gallery-dl
Utilisez une URL prise en charge, une commande vérifiée, une destination prévisible et un chemin d’archive qui reste associé à la tâche. Testez une petite plage, répétez la même commande, puis élargissez l’exécution seulement lorsque le comportement de l’archive est clair. Sauvegardez son historique séparément des médias. Si le résultat change, comparez le chemin, l’URL, la plage, les filtres et la configuration avant toute réinitialisation.
Questions fréquentes
FAQ sur l’archive de téléchargements gallery-dl
Comment empêcher gallery-dl de télécharger à nouveau les mêmes éléments ?
Utilisez --download-archive avec un chemin de fichier local stable et transmettez ce même chemin lors des prochaines exécutions. Commencez par un petit test et vérifiez que l’exécution suivante consulte le fichier.
Quel chemin choisir pour le fichier d’archive ?
Choisissez un emplacement accessible au compte et à la tâche gallery-dl. Pour un planificateur, un chemin absolu est plus facile à vérifier qu’un chemin relatif, qui peut dépendre du répertoire de travail.
L’archive contient-elle mes images téléchargées ?
Non. C’est un historique utilisé par les exécutions répétées, séparé du dossier des médias. Ce n’est ni une sauvegarde ni un contrôle d’intégrité.
Puis-je utiliser une archive pour plusieurs URL ?
Seulement si vous décidez que ces tâches doivent partager leur historique et si vous testez les types d’URL concernés. Des fichiers distincts sont plus faciles à diagnostiquer lorsque les responsables, destinations ou horaires diffèrent.
Pourquoi des éléments sont-ils téléchargés de nouveau malgré l’archive ?
Vérifiez la présence de l’option et l’utilisation du même fichier accessible. Comparez l’URL, la plage, les filtres, le compte et le répertoire de travail du planificateur.
Comment télécharger volontairement un élément déjà archivé ?
Conservez l’archive actuelle et utilisez un fichier de test distinct ou une méthode volontaire confirmée par la documentation officielle à jour. Ne modifiez pas un fichier dont vous n’avez pas vérifié le format.