Collecter le Web : mission... possible

Transcription

Collecter le Web : mission…possible !
Montréal, 25 novembre 2013
Mireille Laforce, Chef de service, acquisitions des collections patrimoniales
Carole Gagné, Bibliothécaire, dépôt des publications numériques et collecte des sites Web
Direction des acquisitions et de la préservation des collections patrimoniales
Sommaire de la présentation
• Pourquoi collecter le web?
• Historique
• Contexte législatif
• Collectes réalisées à ce jour
• Processus de collecte
• Applications
• Diffusion
• Avenir du programme de collecte à BAnQ
Bibliothèque et Archives nationales du Québec ▪ 2
Pourquoi collecter le Web?
Le Web…
 source d’information, de divertissement et de
communication incontournable
 source de contenus souvent exclusifs : blogues,
vidéos, médias sociaux, etc.
 source primordiale pour l’étude de notre société
mais aussi…
 Patrimoine documentaire tout comme les archives, les
livres, les journaux, publications numériques, etc.
 Doit être rassemblé, conservé et diffusé comme tout
autre patrimoine documentaire.
ainsi donc…
 … la collecte de sites Web est une suite évidente aux
travaux que BAnQ mène avec les autres patrimoines
documentaires.
Historique
Historique
Réflexions et travaux visant le numérique :
2000 –  Conservation des sites web gouvernementaux (Archives
nationales)
 Dépôt de publications numériques (Bibliothèque nationale)
2009
 BAnQ devient membre de l’International Internet
Preservation Consortium (IIPC)
 Premières collectes de sites gouvernementaux - projet
pilote
2012
 Programme officiel de collecte de sites Web instauré
2013
 Inclus dans le plan stratégique 2013-2016 de BAnQ
Historique - International Internet Preservation
Consortium (IIPC)
 44 institutions (bibliothèques nationales, universités américaines,
Internet Archive)
 Mission :
▪ développer outils, normes et pratiques de collecte
▪ promouvoir l’accès et l’utilisation des archives du Web
 Mode collaboratif :
▪ mise en commun d’expertise
▪ développement partagé des outils
▪ parrainage d’institution
Contexte législatif
Trois législations importantes :
• Loi sur Bibliothèque et Archives nationales du Québec
• Loi sur le droit d’auteur du Canada
• Loi sur les archives
Loi sur Bibliothèque et Archives nationales du Québec
• L’une des missions de BAnQ :
▪ rassembler le patrimoine documentaire publié du Québec
afin de le conserver et d’y donner accès = principalement
dépôt légal
• Dépôt légal ne couvre pas le numérique (ni publications
numériques, ni sites web) pour l’instant.
Loi sur le droit d’auteur du Canada
•
Obligation d’obtenir, avant toute collecte, une licence qui
permettra à BAnQ :
1. de reproduire et archiver une copie du site ;
2. effectuer les opérations nécessaires (migration, conversion de
fichiers) pour assurer la conservation et la diffusion à long terme ;
3. donner accès aux usagers :
▪
dans les locaux de BAnQ uniquement (postes sécurisés sans
possibilité d’impression ou de sauvegarde) ;
ou
▪ sur le site Web de BAnQ.
Loi sur les archives
• Permet de collecter 150 sites d’organismes
gouvernementaux à des fins de conservation
seulement;
• Licence nécessaire pour pouvoir diffuser les sites,
même dans les locaux de BAnQ;
• Autres organismes gouvernementaux non couverts
(environ 120) : nécessité d’obtenir des licences.
Contexte législatif : ailleurs
En général, les institutions peuvent collecter sans
autorisation mais :
•
ne peuvent diffuser sans autorisation, même dans leurs locaux
(BAC)
ou
•
diffuser dans leurs locaux uniquement (BnF)
ou
•
diffuser dans leurs locaux mais vont chercher des licences pour
pouvoir diffuser à travers leur site web (British Library, LC)
Obligation d’obtenir une licence pour collecter
= contrainte majeure
Réduit l’ampleur des travaux qui peuvent être menés
par BAnQ puisque l’effort nécessaire à l’obtention des
licences
= énergivore, souvent sans résultat
Empêche BAnQ de mener collectes spontanées lors
d’événements importants :
ex. : Lac-Mégantic, Crise étudiante
Collectes réalisées à ce jour
Grandes phases de collectes
 Sites gouvernementaux
2009-2013
 Élections provinciales
en 2012
 Élections municipales
de 2013
Collecte de sites des ministères et organismes
gouvernementaux
Période de collecte
• De 2009 à maintenant
Fréquence de collecte
• Annuelle
• Exception s’il y a une refonte d’un site
• Nouveau site thématique
Collecte de sites des organismes
gouvernementaux – obtention de licences
Objectif visé
Obtenir une licence d’autorisations des 271 organismes
gouvernementaux (M/O)
 156 M/O ont accordés une autorisation (57%)
 115 M/O à approcher à nouveau
Nombre d’autorisations reçues des M/O entre 2009 et 2013
200
57%
150
100
50
0
24%
65
2009-2011
22%
11%
31
2012
156
60
2013
Total
Collecte de sites des élections provinciales
2012 (thématique)
•
20 juillet au 18 septembre 2012
• Avant – pendant (quotidien) – après les élections
Sites visés par la collecte
• 6 principaux partis politiques






Parti québécois (PQ) (uniquement dans le cadre des campagnes électorales)
Parti vert du Québec (PVQ)
Parti libéral du Québec (PLQ) (uniquement diffusion interne)
Québec Solidaire (QS)
Option nationale (ON)
Coalition Avenir Québec (CAQ)
• Assemblée nationale - section des députés (http://www.assnat.qc.ca/fr/deputes)
• Directeur général des élections - refus d’accorder une licence
Collecte de sites des élections municipales
2013 (thématique)
•
15 août au 21 novembre 2013
• Avant – pendant – après les élections
Sites visés par la collecte
• Une ville par région administrative
▪ 19 villes approchées
▪ 18 autorisations reçues (Montréal, Laval, Québec, Gatineau, Longueuil, etc.)
• 26 partis politiques municipaux ciblés
▪ 18 autorisations reçues et 8 en cours d’obtention
▪ 26 sites des partis politiques ciblés et des candidats à la mairies collectés
• Site du Ministère des Affaires municipales, des Régions et de l'Occupation du
territoire (MAMROT)
• Site officiel gouvernemental pour les élections municipales (MAMROT)
▪ http://www.electionsmunicipales.gouv.qc.ca
Données – 3 grandes phases de collecte
Gouvernemental
Élections
provinciales
2012
Élections
municipales
2013
Total
Nombre
d’organismes
220
7
45
272
Nombre de
collectes
361
228
298
887
Nombre de
domaines
(URL)
collectés
442
12
90
544
Nombre de
documents
collectés
14 320 474
3 963 205
3 277 387
21 561 066
Données – nombre d’organismes vs nombre de
domaines
• Organisme : Ministère des Affaires municipales, des
Régions et de l'Occupation du territoire (MAMROT)
• Domaines (Url) collectés du MAMROT
Ex.:
–
–
–
–
–
http://mamrot.gouv.qc.ca/
http://www.piscines.gouv.qc.ca/
http://www.mapiscinesecuritaire.com/
http://electionsmunicipales.gouv.qc.ca/
http://semainedelamunicipalite.gouv.qc.ca/
Processus de collecte
Collecter le site Web : 4 grandes étapes
Obtention d’autorisation
Collecte de sites
robot moissonneur Heritrix
Contrôle de qualité
Wayback Machine
Diffusion des collectes
Wayback Machine
Processus de collecte (Heritrix)
Analyse des sites à collecter
Gestion du profil de collecte
(canevas de base)
(type de collecte)
en cours de collecte
Création et démarrage
de la collecte
Diverses vérifications
Gestion de la collecte
(« job »)
 Niveau de profondeur
 Niveau de profondeur
 Exclusion
 Exclusion
 Type de fichiers à
collecter
 Type de fichiers à
collecter
 URL à collecter
 URL à collecter
Note : Possibilité d’établir plusieurs collectes
distinctes en fonction d’un même profil
 Journal de bord (« log »)
 Rapports de collecte
Mise en PAUSE de la collecte
(trappes, etc.)
 Ajouts d’exclusions et
expressions régulières
 Redémarrage de la
collecte
Processus - conservation et diffusion des
collectes
Environnement de collecte
Heritrix
Espace de conservation
(fichiers ARC et WARC)
Wayback Machine
Diffusion
Wayback de diffusion
Diffusion interne
uniquement
Diffusion interne
et externe
en cours de collecte
Applications
Heritrix : console des administrateurs, v. 3.1.1
 Robot moissonneur
«web crawler»
 Conçu par Internet
Archive
 Logiciel libre
programmé en Java
 Amélioration par
Internet Archive et
les membres du
consortium d’IIPC
Heritrix, contrôle de qualité en cours de
collecte
• Vérifications du journal de bord (logs) et des rapports
concernant la collecte en temps réel
Les applications internes
Gestion des licences
d’autorisation
Données à propos des
collectes
Statistiques
Wayback Machine




Diffusion et navigation dans les sites Web collectés
Logiciel libre développé par Internet Archive
Permet également d’effectuer le contrôle de qualité
Travail continu sur l’amélioration de la navigation et de la
recherche par les membre d’IIPC et Internet Archive
Diffusion
Diffusion : Internet Archive
 Diffuse depuis 1996
 Contient plus de 366
milliards de pages
Web archivées
https://archive.org/
• Recherche par URL
• Travaille sur la recherche plein texte
• Offre un calendrier des différentes collectes effectuées
Version du site de la Bibliothèque nationale du Québec
collecté en 1996
Diffusion : Autres exemples
Library of Congress
http://loc.gov/webarchiving/
British Library
http://www.webarchive.org.uk/ukwa/
Bibliothèque et Archives Canada
http://www.collectionscanada.gc.ca/
archivesweb/index-f.html
Bibliothèque nationale d’Australie
http://pandora.nla.gov.au/
Diffusion par BAnQ :
Élections provinciales de 2012
 Diffusé depuis 2012
 Uniquement diffusion
interne pour l’instant
Diffusion à BAnQ – à venir
Diffusion
prévue pour
l’hiver 2014
Diffusion à BAnQ :
Collecte du site Web de l’Assemblée nationale
Avenir du programme de collecte à BAnQ
 Modification du règlement sur le dépôt légal
pour inclure le numérique (publications numériques et sites
web)
 Pouvoir collecter afin de conserver et de diffuser dans les
locaux de BAnQ sans licence
 Élargir la collecte à d’autres sites
 Politique de sélection
 Intégrer la collecte de sites Web comme activité
courante
 Stabiliser les environnements et outils de travail
 Conservation à long terme
 dépôt numérique fiable
Merci !
Questions?
Région de Montréal : 514 873-1100
Sans frais, d’ailleurs au Québec : 1 800 363-9028
GRANDE BIBLIOTHÈQUE
475, boulevard De Maisonneuve Est
Montréal (Québec) H2L 5C4
Estrie
225, rue Frontenac, bureau 401
Sherbrooke (Québec) J1H 1K1
CENTRE DE CONSERVATION
2275, rue Holt
Montréal (Québec) H2G 3H1
Mauricie et Centre-du-Québec
225, rue des Forges, bureau 208
Trois-Rivières (Québec) G9A 2G7
CENTRES D’ARCHIVES
Montréal
535, avenue Viger Est
Montréal (Québec) H2L 2P3
Titre
Abitibi-Témiscamingue et Nord-du-Québec
27, rue du Terminus Ouest
Rouyn-Noranda (Québec) J9X 2P3
Bas-Saint-Laurent et
Gaspésie–Îles-de-la-Madeleine
337, rue Moreault
Rimouski (Québec) G5L 1P4
Gaspé
80, boulevard de Gaspé
Gaspé (Québec) G4X 1A9
Côte-Nord
700, boulevard Laure, bureau 190
Sept-Îles (Québec) G4R 1Y1
Outaouais
855, boulevard de la Gappe
Gatineau (Québec) J8T 8H9
Québec
Pavillon Louis-Jacques-Casault
Campus de l’Université Laval
1055, avenue du Séminaire
Québec (Québec) G1V 4N1
Saguenay–Lac-Saint-Jean
930, rue Jacques-Cartier Est, bureau C-103
Saguenay (Québec) G7H 7K9

Collecter le Web : mission... possible

Transcription

Documents pareils

Marché aux livres de la Grande Bibliothèque

Inscription de Marcelle Gauvreau au concours de botanique du

Schéma de la coupe d`un sol, utilisé par Pierre Dansereau pour

E-DEP 044 La Celle-Guenand. (PDF, 3 Ko)

Certificat humoristique remis à Pierre Dansereau Certificat

Traduction en portugais du livre de Marcelle Gauvreau intitulé en

Diocèse de Digne, Riez et Sisteron

Issue #9: The Tyranny of the Medium: A Comment on “Total Archives”

Françoise Masson et les pigeons de la Place Saint

Maquette illustrant l`aménagement intérieur du Biodôme de