Archiver le WEB, comment faire ?

1

Qu’est-ce que le format de fichier WARC ?

Le format de fichier WARC (Web ARChive) est un standard utilisé pour l’archivage du contenu web. Développé sous l’égide du Consortium International pour la Préservation de l’Internet, il a été conçu pour améliorer la gestion des archives web par rapport à son prédécesseur, le format ARC. Le WARC a été normalisé par l’ISO sous la référence ISO 28500.

archiver_le_web
archiver_le_web856×818 842 KB

Caractéristiques principales

  • Structure des fichiers : Un fichier WARC est une concaténation de plusieurs enregistrements WARC, chacun comprenant un en-tête et un bloc de contenu. Les types d’enregistrements incluent des réponses HTTP, des requêtes, des métadonnées et d’autres informations pertinentes sur le processus d’archivage.

  • Types d’enregistrements : Les enregistrements WARC peuvent être classés en plusieurs catégories :

    • warcinfo : Informations sur le fichier WARC lui-même.
    • response : Réponses HTTP capturées.
    • request : Requêtes HTTP envoyées.
    • resource : Contenu brut ou fichiers associés.
    • metadata : Informations supplémentaires sur les ressources.
    • revisit : Enregistrements de revisites à une ressource déjà archivée.
    • conversion et continuation : Pour gérer les transformations et les enregistrements continus[1][4].

  • Compression : Les fichiers WARC sont souvent compressés avec gzip, ce qui leur donne l’extension .warc.gz. Cela permet une gestion plus efficace de l’espace de stockage tout en conservant l’intégrité des données[1][4].

Utilisation du format WARC

Le format WARC est largement utilisé par les bibliothèques numériques et les organisations d’archivage pour stocker des copies de pages web et d’autres ressources numériques. Il permet non seulement de conserver le contenu tel qu’il apparaissait à un moment donné, mais aussi d’inclure des métadonnées sur le contexte de l’archivage, comme la date et l’adresse IP du serveur ayant réalisé la capture[4][5].

Importance dans l’archivage numérique

Le WARC est essentiel pour :

  • La préservation historique : Il permet aux chercheurs et aux historiens d’accéder à des versions passées de sites web, ce qui est crucial pour l’étude des évolutions culturelles et sociales en ligne.
  • La gestion des ressources numériques : Le format facilite le stockage et la récupération efficaces de grandes quantités de données archivées[1][4][5].

Avantages du format WARC par rapport à d’autres formats d’archives web

Le format WARC (Web ARChive) présente plusieurs avantages par rapport à d’autres formats d’archives web, tels que ARC ou des formats d’archivage général comme ZIP. Voici les principaux atouts du format WARC :

**** 1. Norme ISO et adoption large

Le format WARC est une norme internationale (ISO 28500:2017), ce qui garantit sa pérennité et son adoption par de nombreuses institutions de préservation, telles que la Bibliothèque du Congrès et l’Internet Archive. Cette standardisation favorise l’interopérabilité entre différents systèmes et outils, facilitant ainsi la création, la lecture et le traitement des fichiers WARC[1][2].

**** 2. Capacité de capturer des contenus complexes

WARC est conçu spécifiquement pour archiver des pages web dans leur contexte original, incluant non seulement le texte mais aussi les images, les vidéos, et les fichiers associés (comme HTML, CSS, JS). Cela permet de préserver des sites dynamiques et interactifs, ce qui est souvent un défi pour d’autres formats d’archivage qui ne gèrent pas bien ce type de contenu[2][5].

**** 3. Métadonnées intégrées

Les fichiers WARC incluent des métadonnées détaillées sur le contenu archivé ainsi que sur le processus de capture (comme la date et l’adresse IP). Cela enrichit l’archive en fournissant des informations contextuelles essentielles pour la recherche historique et la conformité réglementaire[2][4].

**** 4. Automatisation du processus d’archivage

Le format WARC permet l’automatisation des processus de collecte de données grâce à sa structure bien définie. Cela est crucial pour gérer efficacement l’énorme volume de données généré par les sites web modernes[2][4].

**** 5. Accessibilité à long terme

En tant que format standardisé largement utilisé, les fichiers WARC sont susceptibles de rester accessibles sur le long terme. Leur adoption par des institutions reconnues assure qu’ils continueront à être supportés par les logiciels et systèmes futurs, ce qui est essentiel pour la préservation à long terme[1][2].

**** 6. Non-propriétaire

Le format WARC est non-propriétaire, ce qui signifie que ses spécifications sont disponibles publiquement. Cela encourage une adoption plus large et une mise en œuvre sans contraintes liées aux licences[2].

**** 7. Adaptabilité aux besoins évolutifs

WARC a été conçu pour répondre aux exigences changeantes des archivistes et chercheurs en matière d’archivage web. Il est régulièrement mis à jour pour s’adapter aux nouvelles réalités du web, ce qui le rend plus pertinent que certains formats plus anciens qui peuvent ne pas répondre aux besoins contemporains[1][5].

Comment créer un fichier WARC ?

Créer un fichier WARC (Web ARChive) implique plusieurs étapes, généralement réalisées à l’aide d’outils spécialisés pour l’archivage web. Voici un aperçu des méthodes et étapes pour générer un fichier WARC :

**** 1. Utilisation d’outils d’archivage

Il existe plusieurs outils open source et logiciels conçus pour capturer le contenu web et le stocker au format WARC. Parmi les plus populaires, on trouve :

  • Heritrix : Un robot d’archivage web développé par l’Internet Archive, qui permet de configurer des collectes de sites web et de sauvegarder les résultats au format WARC.

  • Webrecorder : Un outil qui permet de capturer des sessions de navigation et de les enregistrer sous forme de fichiers WARC, tout en préservant les interactions dynamiques.

  • Wget : Bien que principalement utilisé pour télécharger des fichiers, il peut être configuré pour générer des fichiers WARC avec certaines options.

**** 2. Configuration du processus d’archivage

Pour créer un fichier WARC, il est essentiel de définir certains paramètres :

  • Cible à archiver : Spécifiez l’URL ou le domaine que vous souhaitez archiver.

  • Détails de la collecte : Configurez les options telles que la profondeur de crawl, les types de fichiers à inclure ou exclure, et la gestion des cookies.

  • Métadonnées : Incluez des informations pertinentes comme le nom du projet, la date et l’heure de la collecte, ainsi que d’autres métadonnées utiles pour l’identification future du contenu archivé.

**** 3. Exécution du processus

Une fois l’outil configuré :

  • Lancez le processus d’archivage. L’outil va parcourir le site web spécifié, collectant le contenu et le stockant dans un fichier WARC.

  • Pendant ce processus, chaque page visitée et son contenu sont enregistrés avec les métadonnées appropriées.

**** 4. Vérification et gestion des fichiers WARC

Après la collecte :

  • Vérifiez l’intégrité du fichier WARC généré en utilisant des outils comme warcio ou WarcTools pour analyser son contenu.

  • Organisez vos fichiers WARC en fonction des projets ou des périodes de collecte pour faciliter leur gestion future.

Exemple d’utilisation avec Heritrix

Voici un exemple simplifié d’utilisation d’Heritrix pour créer un fichier WARC :

# Télécharger et installer Heritrix
git clone https://github.com/internetarchive/heritrix3.git
cd heritrix3

# Configurer une tâche de collecte (job)
./bin/heritrix -a admin:admin http://example.com

# Lancer la collecte
./bin/heritrix -b /path/to/your/job

# Les fichiers WARC seront générés dans le répertoire spécifié

En suivant ces étapes, vous pouvez créer efficacement un fichier WARC qui préserve le contenu web pour une utilisation future.

Citations:
[1] NetIQ Documentation: Guide d'installation de l'application utilisateur du module de provisioning basé sur les rôles Identity Manager version 4.0.2 - Installation et configuration du fichier WAR de l'application utilisateur
[2] WARC Implementation Guidelines
[3] Qu'est-ce qu'un fichier WAR ? Informations sur le fichier WAR
[4] https://www.bnf.fr/fr/cooperer-autour-de-larchivage-du-web
[5] IBM Documentation
[6] https://docs.oracle.com/cd/E19957-01/820-0362/gewvu/index.html
[7] https://docs.aws.amazon.com/fr_fr/elasticbeanstalk/latest/dg/java-tomcat-multiple-war-files.html
[8] https://thephpleague.com/fr/
[9] https://www.netiq.com/fr-fr/documentation/idm402/install/data/bf58xxv.html
[10] https://numerique.banq.qc.ca/patrimoine/details/52327/4076856

2

Savez vous que vous pouvez sauvegarder une page Web dans le WayBackMachine si la page visée ne s’y trouve pas?

C’est expliqué ici:
https://help.archive.org/help/save-pages-in-the-wayback-machine/

Installez l’extension pour votre navigateur pour sauvegarder des pages, c’est encore plus simple !

Pour Chrome:

Pour Firefox:

Pour Edge:

Pour Safari:

3

Voir aussi: