HTML إلى نص: الحصول على الكلمات فقط من ملف صفحة ويب
في بعض الأحيان لا تريد مستندًا. تريد جدار من الجمل. بيانات التدريب لمصنف، مجموعة
لنمذجة الموضوع، وأجزاء من فهرس التضمين، ومدخلات للملخص الذي سيتجاهل التنسيق
على أية حال - في كل تلك، كل # و | و ** هو الحرف الذي
يكلفك شيئا ولا يشتري لك شيئا.
هذا هو الغرض من هذه الصفحة. أسقط في أ .html أو .htm الملف وستعود
نثر قابل للقراءة مع اختفاء العلامات - بدون علامات، أو سمات، أو بناء جملة. مجاني، بدون تسجيل، حد 50 ميجابايت،
ولا يتم تخزين الملف في أي مكان بعد ذلك. إذا كنت تريد الاحتفاظ بالتسلسل الهرمي للعناوين والجداول بدلاً من ذلك،
HTML إلى Markdown هو الأخ
الصفحة، ويقوم تبديل التنسيق أعلاه بنقل ملفك إليها دون إعادة التحميل.
ما هي "علامات التجريد" التي يجب أن يتم تصحيحها فعليًا
يؤدي حذف كل شيء بين الأقواس بشكل ساذج إلى إنتاج بيانات غير صحيحة، ومن الجدير فهم السبب — إنه الفرق بين النص القابل للاستخدام والفوضى.
يحتوي HTML على عناصر كتلة وعناصر مضمّنة، ويحتاجون إلى معالجة معاكسة. عندما أ
</p> يغلق والقادم <p> يفتح، وهذا هو حد الفقرة و
يجب أن يصبح فاصل أسطر. عندما أ </strong> يغلق في منتصف الجملة، وهذا ليس أ
الحدود على الإطلاق - سيؤدي إدخال سطر جديد هناك إلى تقسيم الجملة إلى النصف. أخطأ في هذا وتنتهي
مع النص حيث the quick brown fox يصل كأربعة أسطر منفصلة لأن شخص ما بالخط العريض
اثنين من الكلمات.
النصف الآخر من المهمة هو مسافة بيضاء. يقوم HTML بطي المسافات وعلامات التبويب والأسطر الجديدة وصولاً إلى واحد عندما
يتم عرضه، لذا فإن المصدر الذي تمت طباعته بشكل جميل باستخدام مسافة بادئة يحتوي على كميات هائلة من المسافات البيضاء
لم يكن من المفترض أن يكون مرئيًا أبدًا. مناسب HTML إلى النص تحويل ينهار نفسه
بالطريقة التي يعمل بها المتصفح، وهذا هو السبب في أن الإخراج يُقرأ كما تبدو الصفحة وليس كما يبدو الملف.
عناصر القائمة تحصل على خطوط خاصة بها، <br> يصبح فاصل، ويتم فصل خلايا الجدول
بدلا من التشويش معا.
الكيانات والاقتباسات الذكية والشخصيات الغامضة
يقوم HTML بتشفير أحرف معينة حتى لا تتعارض مع الترميز. & هو
علامة العطف. < هي علامة أقل من. هي مساحة غير قابلة للكسر،
’ هي الفاصلة العليا مجعد، — هو شرطة م. في المتصفح لك
لا ترى الرموز أبدًا، بل ترى الشخصيات.
في النص المستخرج، تعتبر الكيانات غير المشفرة سامة. يعامل الرمز المميز ’ كعدة
الرموز المميزة للضوضاء، فشل مطابقة الكلمات الرئيسية don’t، وأي سلسلة المتلقين للمعلومات
المقارنة فواصل بهدوء. لذلك يتم فك تشفير الكيانات في طريقها للخروج. المساحات غير القابلة للكسر هي المساحات الخادعة
على وجه التحديد لأنها تبدو متطابقة مع المساحات العادية على الشاشة بينما تفشل في كل منها
split(" ") تكتب؛ أنها تأتي من خلال مساحات حقيقية هنا.
الترميز يستحق نظرة سريعة أيضًا. تعلن معظم الملفات الحديثة <meta charset="utf-8">ولكن
أحيانًا تكون الصفحات الأقدم وصادرات CMS متخفية باسم Latin-1 أو Windows-1252. إذا كان الإخراج الخاص بك لديه
’ حيث يجب أن تكون الفاصلة العليا، فإن الملف المصدر كذب بشأن ترميزه - أعد حفظه باسم
UTF-8 من محرر النصوص وتحويله مرة أخرى.
النص الذي لم يكن من المفترض أن يُقرأ أبدًا
تحتوي الصفحة على كلمات أكثر مما تظهر لك، وبعضها يظهر في الاستخراج:
- التنقل ونص التذييل. تسميات القائمة، ومسارات التنقل، و"العودة إلى الأعلى"، و خريطة الموقع المكونة من ثمانين رابطًا في الأسفل. نص شرعي، لا قيمة له من الناحية الدلالية. في مقالة إخبارية محفوظة وهذا يمكن أن يفوق المقال نفسه.
- لافتات ملفات تعريف الارتباط ونسخة الموافقة. مائتي كلمة من القواعد القانونية التي تظهر على كل صفحة تحفظها من هذا النطاق - مما يعني أنك إذا كنت تقوم بإنشاء مجموعة بيانات، فأنت على وشك القيام بذلك مكررة لهم ألف مرة.
- النص البديل وتسميات ARIA. في بعض الأحيان تكون ذات قيمة (قد يكون النص البديل للمخطط هو النص الوحيد وصف البيانات)، وأحيانًا يتم تكرار "الصورة" أربعين مرة فقط.
- العناصر المخفية. امتدادات قارئ الشاشة فقط، ولوحات الأكورديون المطوية، و
<noscript>تحتوي جميع النسخ الاحتياطية على نص حقيقي في المصدر على الرغم من أنك لم ترها من قبل المقدمة لهم.
أفضل الممارسات إذا كان المصدر مهمًا: احفظ الصفحة من وضع القارئ في متصفحك، والذي يتجاهل معظمها الأثاث قبل أن يصل إلى الملف. بخلاف ذلك، قم بتحويل ثم قم بقص الرأس والذيل الإخراج. من السهل اكتشاف النموذج النمطي المتكرر بمجرد أن تعرف كيفية البحث عنه، وقطعه هو الأعلى دقيقة القيمة التي ستنفقها على خط الأنابيب بأكمله.
لماذا يتفوق النص العادي على Markdown في البرمجة اللغوية العصبية
هذا ليس مجرد "Markdown ولكنه أبسط" - بالنسبة للعديد من خطوط الأنابيب، يعد النص العادي هو الاختيار الصحيح و Markdown هو الأسوأ.
- التضمين. يقوم نموذج التضمين بتشفير كل ما تقدمه له، بما في ذلك بناء الجملة. الأنابيب تعمل الأحرف وتجزئات العناوين على تغيير المتجهات دون إضافة معنى، وتؤثر على النموذج حد الإدخال النثر النظيف يدمج بشكل أكثر نظافة.
- المصنفات ونماذج المواضيع. يتم التعامل مع نهج حقيبة الكلمات و TF-IDF
**word**وwordكرموز مختلفة إلا إذا قمت بالتنظيف المسبق. تخطي المشكلة تماما. - فهرسة البحث. معظم خطوط أنابيب الفهرس تريد الجمل. إطعامهم Markdown يعني كتابة خطوة تجريد لم تكن في حاجة إليها.
- تجزئة الجملة. تعمل المقسمات مثل spaCy أو NLTK على النثر. بناء جملة الجدول يربكهم في إنتاج شظايا.
- ميزانية الرمز المميز. في الصفحة الطويلة، يؤدي إسقاط العلامة إلى تقليل عدد الرموز المميزة بشكل ملحوظ - يوضح لك العداد الموجود أسفل الإخراج المبلغ بالضبط، ويقارن بين التنسيقين في نفس الوقت الملف عبارة عن تجربة بنقرة واحدة.
الملف الذي لديك مقابل الصفحة التي لا تملكها
تقوم هذه الأداة بتحويل ملف HTML الذي تقوم بتحميله. لا يذهب ويجلب عنوان URL. هذا التمييز يهم أكثر مما يبدو، لأن الحالتين تفشلان بطرق مختلفة.
إذا جاء ملفك من حفظ باسم في المتصفح على موقع يستخدم JavaScript بشكل كثيف، فقد لا يحتوي على أي نص تقريبًا — مجرد حاوية div فارغة وبرنامج نصي للحزمة، مع إنشاء المحتوى الفعلي في وقت التشغيل ولم يكتب على القرص. ستحصل على نتيجة شبه فارغة وستبدو وكأن المحول معطل. ذلك لم يفعل ذلك؛ الكلمات ليست في الملف. ابحث في المصدر عن جملة تتذكر تأكيدها.
عندما يحدث ذلك، استخدم Web2Txt بدلاً من ذلك — فهو يأخذ عنوان URL مباشرًا ويعرض الصفحة ويستخرج من النتيجة. استخدم هذه الصفحة عندما يكون لديك بالفعل الملف: تصدير البريد الإلكتروني، وبناء الوثائق، وتفريغ CMS، وتقرير تم إنشاؤه بتنسيق HTML، وملف مؤرشف الصفحة منذ سنوات مضت.
وظائف نموذجية
- بناء مجموعة التدريب أو التقييم من مجلد الصفحات المؤرشفة، حيث يمكنك تريد نثرًا أوليًا وتنسيقًا متسقًا عبر آلاف المستندات.
- سهولة القراءة وتدقيق المحتوى — عدد الكلمات، ومستوى القراءة، وتكرار الكلمات الرئيسية. كل هذه تحتاج إلى النص دون أن تؤدي العلامات إلى تحريف الأرقام.
- الأنابيب في البرامج النصية. نص عادي يذهب إلى
grep،wc، أ diff، أو سطر واحد من لغة بايثون دون أي دراما هروب. - تلخيص صفحة طويلة حيث لا تهتم بالهيكل وتفضل الإنفاق الرموز الموجودة على المحتوى.
- استخراج النص من ملف HTML لأعمال الترجمة أو النسخ، حيث المترجم يريد الجمل ولا شيء غير ذلك.
الأسئلة المتداولة
كيف يمكنني تحويل ملف HTML إلى نص؟
إسقاط .html أو .htm الملف أعلاه ويعود النص المقروء مع إزالة كل علامة ونص وكتلة نمط. مجانًا، بدون تسجيل، 50 ميجابايت لكل ملف. قم بتنزيله كـ .txt أو انسخه مباشرة إلى ما تحتاج إليه الكلمات بدلاً من العلامات.
هل يمكنني تحويل صفحة ويب مباشرة عن طريق لصق عنوان URL؟
ليس في هذه الصفحة - هذه الصفحة تأخذ ملفًا لديك بالفعل. للحصول على عنوان URL، Web2Txt جلب الصفحة واستخراجها مباشرة، مما يؤدي إلى حفظ رحلة الحفظ ثم التحميل ذهابًا وإيابًا. استخدم هذه الصفحة للصفحات التي قمت بحفظها سابقًا، أو نصوص البريد الإلكتروني المصدرة، أو HTML الذي تم إنشاؤه بواسطة شيء محلي.
هل يزيل التنقل والإعلانات ولافتات ملفات تعريف الارتباط؟
يعتبر اللوح المعياري خطرًا معروفًا وليس مشكلة تم حلها. البرامج النصية والأنماط والعلامات تذهب دائمًا؛ ما إذا كان الشريط الجانبي أو إشعار ملف تعريف الارتباط يتم احتسابه كمحتوى هو حكم، والصفحة المحفوظة تحمل كل ذلك في نفس DOM. قم بمسح الجزء العلوي والسفلي من المخرجات، حيث يتم تجميع حطام الملاحة.
ماذا يحدث للروابط الموجودة في الصفحة؟
يظل النص الرابط موجودًا بينما لا تبقى الكلمات وعناوين URL الموجودة خلفه. الجملة التي تقول "راجع دليل التثبيت" تتحول إلى ذلك بالضبط، دون الإشارة إلى المكان الذي تشير إليه. إذا كانت الوجهات مهمة - مثل إنشاء خريطة الارتباط، والتحقق من المراجع الصادرة - فاستخدمها HTML إلى Markdown، الذي يبقي hrefs في بناء الجملة بين قوسين.
لماذا يكون مخرجاتي مليئًا بالأسطر الفارغة والأحرف الضالة؟
عادةً ما يتم حفظ الصفحة مع DOM الكامل الخاص بها - كتل القالب المخفية، وحمولات JSON-LD، وSVG المضمنة وأجزاء التحليلات كلها موجودة في هذا الترميز وتحتوي جميعها على نص من نوع ما. يقوم التعبير العادي المكون من سطر واحد بمسح النمط المتكرر بمجرد اكتشافه، أو إعادة حفظ الصفحة باستخدام طريقة عرض القارئ في المتصفح وتحويل ذلك بدلاً من ذلك.
بقية الجناح
File2Txt يعالج كل المدعومة التنسيق من مربع تحميل واحد إذا كنت تفضل عدم الاختيار. أو اذهب مباشرة: قوات الدفاع الشعبي إلى النص للمستندات، كلمة إلى نص لـ DOCX، EPUB إلى النص للكتب الإلكترونية، و CSV إلى النص للبيانات المحددة.
العمل مع الكود؟ ال GitHub لتحويل النص، ال GitLab المحول و محول الدليل المحلي تتسطح بالكامل المشروع في ملف واحد. و هذا الدليل يغطي السؤال الأوسع المتمثل في تجهيز المستندات لـ LLM.
تم إنشاء Repo2Txt وصيانته بواسطة v12hero، مطور مستقل يبني تطبيقات أصلية وتطبيقات ويب تهتم بالخصوصية أولاً.