Herhangi Bir Web Sayfasından Metin Çıkarma: Pratik Rehber

Bir web sayfasından metin neden istersiniz?

En belirgin cevap araştırma. Bir makale, ürün sayfası veya belgeleme bölümü buluyorsunuz ve metni başka bir yere — not, tablo ya da bir AI aracı için girdi — taşımanız gerekiyor. Ama insanların metin çıkarma araçlarına başvurmasının daha spesifik nedenleri var:

• İçerik göçü: makaleleri eski bir CMS'den yenisine bozuk HTML yığını taşımadan aktarmak
• Fiyat takibi: perakende sayfalarından ürün fiyatlarını veya stok durumunu düzenli aralıklarla çekmek
• Erişilebilirlik: karmaşık, JavaScript-ağırlıklı bir sayfayı ekran okuyucular veya düşük bant genişliği durumları için okunabilir metne indirgemek
• Veri hatları: yalnızca düz metin isteyen NLP araçlarına, sınıflandırıcılara veya özetleme modellerine web içeriği beslemek
• Yasal ve uyumluluk: kayıt amacıyla web sayfası içeriğini belirli bir zaman noktasında arşivlemek
• Çeviri iş akışları: bir çeviri servisine göndermeden önce metni çıkarmak, sonra yeniden eklemek

Kopyala-yapıştır basit durumları halleder. Bir paragraftan fazlasına ihtiyaç duyduğunuzda ya da temiz bir sonuç gerektiğinde, doğru çıkarmaya ihtiyaç duyarsınız.

Metin çıkarırken neler olur?

Özünde metin çıkarma kısa bir adım dizisini izler. URL'e bir istek gönderilir, sunucu HTML döndürür ve ardından bir ayrıştırıcı içerik ile yapıyı ayırt etmek için HTML'i gezinir.

Ayrıştırıcı HTML etiketlerini temizler — <div>, <span>, <nav>, <header> ve diğerlerini kaldırır. Nelerin korunacağı araca göre değişir, ama tipik olarak:

• Paragraf metni, başlıklar ve liste öğeleri
• Bağlantı metni (bazen URL eklenerek)
• Tablo hücresi içeriği
• Resimlerden alternatif metin

Ne düşer: gezinme menüleri, kenar çubukları, çerez bannerları, altbilgi standardı metin, reklam konteynerleri ve satır içi betikler veya stiller. İyi bir çıkarıcı, ana içerik alanını tanımlamak için sezgisel yöntemler kullanır.

Kopyala-yapıştır ile doğru çıkarma arasındaki fark

Bir web sayfasındaki metni seçip yapıştırdığınızda, tarayıcı görsel düzeni korumak için elinden geleni yapar. Bazen bu işe yarar. Çoğu zaman yaramaz.

Kopyala-yapıştırla karşılaşılan sorunlar:

• Görsel olarak yakın oldukları için gezinme linkleri metninize karışır
• Görünmez karakterler — bölünmez boşluklar ( ), sıfır genişlikli birleştiriciler, yumuşak kısa çizgiler — metin arama veya işleme sırasında garip davranışlara neden olur
• Tablolar gibi biçimlendirilmiş içerik, sınırlayıcısız karmaşık bir metin satırına dönüşür
• Dipnot numaraları, kenar çubuğu alıntıları ve reklam etiketleri cümle ortasına eklenir
• Satır sonları paragrafların gerçekten bittiği yerde değil, ekranınızda metnin sardığı yerde görünür

Doğru çıkarma, görsel render'dan değil HTML kaynağından çalışır. Yapısal farkı bilir: <p> etiketi bir paragraftır, <span class="ad-label"> atlanacak bir şeydir.

Çıkarma ne zaman zorlaşır?

Her web sayfası basit bir HTML belgesi değildir. Çıkarmayı gerçekten zorlaştıran birkaç şey var:

JavaScript ile render edilen içerik (SPA'lar). React, Vue veya Angular ile oluşturulmuş modern siteler neredeyse boş HTML gönderir ve içeriği sayfa yüklendikten sonra JavaScript aracılığıyla yükler. Ham HTML'i alırsanız, neredeyse metin içermeyen bir kabuk elde edersiniz.

Ödeme duvarları. İçerik bir ödeme duvarının arkasındaysa, çıkarma size tam olarak giriş yapmamış bir ziyaretçinin gördüğünü verir: bir tanıtım paragrafı ve abonelik isteği.

Giriş duvarları. Bazı içerikler yalnızca kimlik doğrulamasından sonra görülebilir. Basit bir URL çıkarıcısının kimlik bilgileri olmadan yapamayacağı kimlik bilgisi bilgileri gerektirir.

CAPTCHA'lar ve bot tespiti. Çok fazla kazıma trafiği gören siteler sıklıkla bot tespiti kullanır. Çıkarıcı tamamen engellenebilir veya içerik yerine bir CAPTCHA meydan okumasıyla karşılaşabilir.

Hız sınırlama. Aktif engelleme olmaksızın bile, aynı etki alanına tekrar tekrar istek atmak hız sınırlamasına yol açar.

Temiz sonuçlar için pratik ipuçları

• Her satırın başındaki ve sonundaki boşlukları kırpın. Sayfalar genellikle yapısal öğeler arasında büyük boşluk blokları içerir.
• Birden fazla ardışık boş satırı tek bir satıra indirgeyin.
• Kodlama hatalarına dikkat edin. Kesme işareti beklediğiniz yerde ’ dizisi görünüyorsa, sayfa Windows-1252'de sunulmuş ama UTF-8 olarak yorumlanmıştır.
• Dinamik içeriği kontrol edin. İhtiyacınız olan metin bir kullanıcı etkileşiminden sonra yükleniyorsa, temel bir çıkarmada görünmeyebilir.
• Yinelenen metni kaldırın. Gezinme linkleri, ekmek kırıntıları ve altbilgi içeriği bazen ana içerikle birlikte çıkarılır.

Çıkarılan metin için yaygın dosya biçimleri

Düz .txt en güvenli varsayılandır. Her yerde çalışır ve programatik işleme için en kolay biçimdir.

Markdown, yapı önemli olduğunda daha iyi bir seçimdir. İyi bir çıkarıcı <h2> etiketlerini ##'ye, <strong>'u **kalın**'a dönüştürebilir.

CSV, yapılandırılmış verileri çıkardığınızda mantıklıdır — bir fiyat tablosu, ürün adları ve özellikleri listesi.

JSON, meta verileri içerikle birlikte korumak istediğinizde kullanışlıdır: kaynak URL, çıkarma zaman damgası, sayfa başlığı ve metnin kendisi ayrı alanlar olarak.

Tek seferlik araştırma veya içerik çalışması yapan çoğu insan için düz metin veya Markdown doğru seçimdir.