# Pourquoi Brewster Kahle a-t-il fondé l’Internet Archive en 1996?

Date: 2021-05-10 · Author: Robert Scales · https://guidetoartificialintelligence.com/fr/apprendre/pourquoi-fonder-internet-archive/

**Answer:** Brewster Kahle a lancé l’Internet Archive à San Francisco en mai 1996 parce que les pages Web disparaissaient en quelques semaines et que personne n’en gardait de copie, comme les bibliothèques le font pour les vieux livres et les journaux. L’organisme sans but lucratif s’est donné pour tâche de recueillir tout ce qui était public sur Internet pour que les historiens, les chercheurs et le public puissent s’en servir plus tard.

L’Internet Archive a 25 ans cette semaine. Brewster Kahle, un ingénieur en informatique, l’a fondé à San Francisco en mai 1996 avec une inquiétude simple : le Web grandissait vite, et presque rien n’en était conservé. Une page pouvait être en ligne un mois et disparaître le suivant, sans qu’aucune bibliothèque en garde une copie.

La solution qu’il a choisie : une bibliothèque pour Internet lui-même, un organisme sans but lucratif qui copierait les pages Web publiques et d’autres contenus en ligne, les conserverait à long terme et les ouvrirait aux chercheurs. Aujourd’hui, cette collection est l’un des plus grands témoins des débuts du Web, et le problème qu’elle aborde, ce qu’il advient de l’information que personne ne garde, est devenu une question pour l’IA aussi.

## Quel problème Kahle voulait-il régler?

Dans un essai daté du 4 novembre 1996, écrit pour *Scientific American*, Kahle comparait le Web à des médias plus anciens qui ont perdu leurs débuts : les premiers manuscrits brûlés dans la bibliothèque d’Alexandrie, les premiers imprimés qu’on n’a pas gardés, les premiers films fondus pour en récupérer l’argent. Il ne voulait pas que le Web répète cette histoire.

Ses chiffres montrent à quel point le Web était fragile. Il estimait le Web à environ 50 millions de pages, un nombre qui doublait chaque année, et une page moyenne ne restait en ligne qu’environ 75 jours. Il racontait aussi l’histoire de Carl Malamud, professeur invité au MIT, qui craignait que les lecteurs de son livre tombent sur « 404 Document not found » en essayant ses références Web, et qui se demandait si Internet était trop peu fiable pour qu’on le cite.

## Comment l’Archive recueillait-elle le Web?

La méthode est la même que celle des moteurs de recherche : un programme appelé robot d’indexation (*crawler*). Il télécharge une page, lit les liens qu’elle contient, puis télécharge les pages vers lesquelles pointent ces liens, et ainsi de suite. L’essai de Kahle explique que l’Archive voulait recueillir toutes les pages Web accessibles au public, ainsi que des systèmes Internet plus anciens comme Gopher et les groupes de discussion Netnews, et les logiciels qu’on pouvait télécharger.

Voici le travail d’un robot d’indexation dans un petit exemple :

| Étape | Ce que fait le robot | Ce qu’il conserve |
|---|---|---|
| 1 | Ouvre une page d’accueil | La page et ses images |
| 2 | Dresse la liste de tous ses liens | Une file de nouvelles adresses |
| 3 | Visite chaque adresse de la file | Chaque nouvelle page, avec sa date |
| 4 | Revient quelques semaines plus tard | Une copie plus récente, pour comparer les changements |

Kahle était clair sur les limites. Les pages protégées par mot de passe ou enfouies dans des bases de données restent hors d’atteinte, et les propriétaires de sites peuvent signaler aux robots qu’ils ne sont pas les bienvenus. L’archive montrerait à quoi ressemblait le Web à un moment donné, pas chacun de ses recoins. À la fin de 1996, elle contenait environ 600 gigaoctets, et sa première page d’accueil décrivait une collection en voie d’atteindre dix téraoctets.

## D’où viennent l’argent et l’espace de stockage?

Conserver autant de données en 1996 coûtait cher. L’essai de Kahle compare les disques, les robots à bandes et les bandes rangées sur des étagères, et explique un mélange : des disques rapides pour ce qu’on demande le plus souvent, des bandes moins chères pour le reste. Il promettait aussi de transférer les données vers de nouveaux supports tous les dix ans pour qu’elles restent lisibles, puisqu’un disque informatique de 15 ans peut être plus difficile à lire qu’un livre imprimé par Gutenberg.

L’Archive est un organisme sans but lucratif. Kahle a recueilli ses premiers instantanés du Web avec Bruce Gilliat et, à la même période, il bâtissait aussi une entreprise distincte à but lucratif qui parcourait le Web, Alexa Internet. L’Archive a longtemps travaillé depuis le Presidio, une ancienne base militaire de San Francisco, et depuis 2009, elle est installée dans une ancienne église de la ville. Elle garde aussi des copies ailleurs, dont à la Bibliotheca Alexandrina, en Égypte, pour qu’une seule catastrophe ne puisse pas effacer la collection. Sa mission déclarée : « l’accès universel à tout le savoir ».

> **À essayer :** pensez à un site Web que vous utilisiez il y a dix ans ou plus et qui a changé ou fermé. Notez son adresse, puis cherchez-la dans la collection de l’Internet Archive, sur archive.org, et comparez la copie la plus ancienne avec la plus récente. Notez une chose qui y était et qui a disparu.

## Pourquoi les archives du Web comptent-elles pour l’IA?

Les grands modèles de langage d’aujourd’hui apprennent à partir d’énormes quantités de texte, et une bonne partie de ce texte vient du Web. L’[article sur GPT-3](https://arxiv.org/abs/2005.14165) publié par OpenAI en 2020 indique que la plupart de ses données d’entraînement venaient d’une copie filtrée de Common Crawl, une collection publique distincte de pages Web recueillies par des robots semblables à ceux que décrivait Kahle. La question « quelles parties du Web ont été conservées, et comment? » détermine donc maintenant ce que ces modèles savent et ce qui leur échappe.

Les archives aident aussi à régler un problème que l’IA aggrave : vérifier les sources. Quand un robot conversationnel ou un article renvoie à une page qui n’existe plus, une copie archivée permet de voir ce que la page disait vraiment, et quand. La mise en garde de Kahle s’applique ici aussi : les robots d’indexation ratent le contenu payant ou privé et tout ce que les propriétaires de sites excluent, si bien qu’une archive est un vaste échantillon du Web, pas le Web au complet. Savoir ce qui manque fait partie de la lecture d’une archive comme d’un modèle entraîné sur du texte Web.

## Sources

- Archiving the Internet: https://web.archive.org/web/1997/http://www.archive.org/sciam_article.html
- The Internet Archive (home page, January 1997): https://web.archive.org/web/19970126045828/http://www.archive.org/
- Internet Archive: https://en.wikipedia.org/wiki/Internet_Archive