Come estrarre testo da qualsiasi pagina web: guida pratica

Perché vorresti il testo da una pagina web

La risposta ovvia è ricerca. Trovi un articolo, una pagina prodotto o una sezione di documentazione e hai bisogno del testo altrove. Ma ci sono ragioni più specifiche:

• Migrazione di contenuti: spostare articoli da un vecchio CMS a uno nuovo senza portarsi dietro HTML rotto
• Monitoraggio dei prezzi: estrarre prezzi o disponibilità da pagine di vendita in modo programmato
• Accessibilità: ridurre pagine complesse e ricche di JavaScript a testo leggibile
• Pipeline di dati: alimentare strumenti NLP o modelli di sintesi che necessitano solo di testo normale
• Flussi di traduzione: estrarre il testo prima di inviarlo a un servizio di traduzione

Il copia-incolla gestisce i casi semplici. Quando hai bisogno di più di un paragrafo, o quando hai bisogno che sia pulito, serve un'estrazione corretta.

Cosa succede quando estrai testo

Nella sostanza, l'estrazione di testo segue una breve sequenza. Una richiesta viene inviata all'URL, il server restituisce HTML, e un parser percorre quell'HTML per distinguere il contenuto dalla struttura.

Il parser rimuove i tag HTML. Cosa viene tipicamente conservato:

• Testo di paragrafi, intestazioni ed elementi di lista
• Testo dei link (a volte con l'URL)
• Contenuto delle celle di tabella
• Testo alternativo delle immagini

Cosa viene scartato: menu di navigazione, barre laterali, banner sui cookie, script in linea e contenitori pubblicitari.

La differenza tra copia-incolla ed estrazione corretta

Quando selezioni testo su una pagina e lo incolli, il browser fa del suo meglio per preservare il layout visivo. A volte funziona. Spesso no.

I problemi con il copia-incolla:

• I link di navigazione finiscono nel tuo testo perché erano visivamente vicini
• I caratteri invisibili — spazi non separabili, connettori a larghezza zero — causano comportamenti strani durante la ricerca o l'elaborazione
• Le tabelle diventano una riga di testo caotica senza delimitatori
• I numeri di nota a piè di pagina e le etichette pubblicitarie si inseriscono nel mezzo delle frasi

L'estrazione corretta lavora dal codice sorgente HTML, non dal rendering visivo. Conosce la differenza strutturale tra un tag <p> e uno <span class="ad-label">.

Quando l'estrazione si complica

Contenuto renderizzato con JavaScript (SPA). Molti siti moderni inviano HTML quasi vuoto e caricano il contenuto reale via JavaScript. Se recuperi l'HTML grezzo, ottieni un guscio con quasi nessun testo.

Paywall. Se il contenuto è dietro un paywall, l'estrazione ti dà esattamente ciò che vede un visitatore non autenticato.

Muri di login. Alcuni contenuti sono visibili solo dopo l'autenticazione. Sono necessari cookie di sessione o intestazioni di token che un semplice estrattore URL non può fornire senza credenziali.

CAPTCHA e rilevamento bot. I siti con molto traffico di scraping spesso implementano il rilevamento dei bot. L'estrattore potrebbe essere bloccato del tutto.

Consigli pratici per risultati puliti

• Rimuovi gli spazi bianchi iniziali e finali da ogni riga
• Comprimi più righe vuote consecutive in una sola
• Attenzione agli artefatti di codifica — la sequenza ’ al posto di un apostrofo indica un problema di codifica
• Controlla il contenuto dinamico: il testo caricato dopo un'interazione potrebbe non apparire
• Rimuovi il testo duplicato di navigazione e piè di pagina

Formati di file comuni per il testo estratto

.txt semplice è l'opzione più sicura. Funziona ovunque ed è il formato più semplice per l'elaborazione programmatica.

Markdown è meglio quando la struttura conta. Un buon estrattore può convertire i tag <h2> in ## e <strong> in **grassetto**.

CSV ha senso quando estrai dati strutturati — una tabella di prezzi, un elenco di prodotti.

JSON è utile quando costruisci una pipeline di dati e vuoi conservare i metadati insieme al contenuto.