Comment extraire le texte de n'importe quelle page web : guide pratique

Pourquoi vous voudriez le texte d'une page web

La réponse évidente est la recherche. Vous trouvez un article, une page produit ou une section de documentation et vous avez besoin de ce texte ailleurs. Mais il y a des raisons plus spécifiques :

• Migration de contenu : déplacer des articles d'un ancien CMS vers un nouveau sans emporter du HTML cassé
• Surveillance des prix : récupérer les prix ou la disponibilité des produits sur des pages de vente de façon programmée
• Accessibilité : réduire des pages complexes et chargées en JavaScript à du texte lisible
• Pipelines de données : alimenter des outils NLP ou des modèles de résumé qui n'ont besoin que de texte brut
• Flux de traduction : extraire le texte avant de l'envoyer à un service de traduction

Le copier-coller gère les cas simples. Lorsque vous avez besoin de plus d'un paragraphe ou d'un résultat propre, il vous faut une extraction correcte.

Ce qui se passe lors de l'extraction de texte

À la base, l'extraction de texte suit une courte séquence. Une requête est envoyée à l'URL, le serveur retourne du HTML, et un analyseur parcourt ce HTML pour distinguer le contenu de la structure.

L'analyseur supprime les balises HTML. Ce qui est généralement conservé :

• Texte des paragraphes, titres et éléments de liste
• Texte des liens (parfois avec l'URL)
• Contenu des cellules de tableau
• Texte alternatif des images

Ce qui est supprimé : menus de navigation, barres latérales, bannières de cookies, scripts en ligne et conteneurs publicitaires.

La différence entre copier-coller et l'extraction correcte

Quand vous sélectionnez du texte sur une page et le collez, le navigateur fait de son mieux pour préserver la mise en page visuelle. Parfois ça marche. Souvent non.

Les problèmes avec copier-coller :

• Les liens de navigation se retrouvent mélangés à votre texte car ils étaient visuellement proches
• Les caractères invisibles — espaces insécables, joncteurs de largeur nulle — provoquent des comportements étranges lors de la recherche ou du traitement
• Les tableaux deviennent une ligne de texte confuse sans délimiteur
• Les numéros de notes de bas de page et les étiquettes publicitaires s'insèrent au milieu des phrases

L'extraction correcte travaille à partir du code source HTML, pas du rendu visuel. Elle connaît la différence structurelle entre une balise <p> et un <span class="ad-label">.

Quand l'extraction se complique

Contenu rendu par JavaScript (SPAs). De nombreux sites modernes envoient un HTML presque vide et chargent le contenu réel via JavaScript. Si vous récupérez le HTML brut, vous obtenez une coquille avec presque aucun texte.

Murs payants. Si le contenu est derrière un mur payant, l'extraction vous donne exactement ce que voit un visiteur non connecté.

Murs de connexion. Certains contenus ne sont visibles qu'après authentification. Cela nécessite des cookies de session que le simple extracteur d'URL ne peut pas fournir sans identifiants.

CAPTCHAs et détection de bots. Les sites avec beaucoup de trafic de scraping déploient souvent la détection de bots. L'extracteur peut être bloqué ou recevoir un défi CAPTCHA.

Conseils pratiques pour des résultats propres

• Supprimer les espaces blancs en début et fin de chaque ligne
• Réduire plusieurs lignes vides consécutives à une seule
• Surveiller les artefacts d'encodage — la séquence ’ à la place d'une apostrophe indique un problème d'encodage
• Vérifier le contenu dynamique : le texte chargé après une interaction peut ne pas apparaître
• Supprimer le texte dupliqué de la navigation et du pied de page

Formats de fichier courants pour le texte extrait

.txt brut est le choix le plus sûr. Fonctionne partout et est le format le plus simple pour le traitement programmatique.

Markdown est meilleur quand la structure compte. Un bon extracteur peut convertir les balises <h2> en ## et <strong> en **gras**.

CSV est judicieux pour des données structurées — un tableau de prix, une liste de produits.

JSON est utile quand vous construisez un pipeline de données et souhaitez conserver les métadonnées avec le contenu.