Tukar EPUB kepada Teks Percuma Dalam Talian

EPUB kepada Teks: Mengubah Rak Buku Menjadi Sesuatu yang Anda Boleh Mengira

Buku ialah prosa bentuk panjang yang disunting terbaik yang kami ada. Ditulis secara profesional, disalin secara profesional, beribu-ribu perkataan dengan suara yang konsisten tanpa menu navigasi, sepanduk kuki atau bahagian ulasan bercampur masuk. Sebagai bahan mentah untuk apa-apa sahaja berbentuk bahasa — benam, analisis gaya, perolehan semula, latihan a pengelas untuk mengecam nada — itu sukar untuk ditewaskan.

Masalahnya ialah ia terletak di dalam fail berzip fail XHTML. An EPUB kepada penukar teks mendapatkannya: satu aliran prosa berterusan, tiada tag, tiada markup watak, tiada apa-apa tokenizer anda perlu diajar untuk diabaikan. Muat naik di atas dan ia akan kembali dalam beberapa saat. Percuma, tiada pendaftaran, had 50 MB, tiada apa yang disimpan.

Mengapa Teks Rata Adalah Bentuk Yang Tepat untuk Kerja Ini

Teks biasa bukan pilihan belanjawan di sini. Untuk kebanyakan perkara yang anda akan lakukan dengan buku pada skala, ia adalah format perkakas sebenarnya mengharapkan:

• Embeddings dan mendapatkan semula semantik. Potong prosa, sematkan setiap potongan, dapatkan semula persamaan. Markdown cincang dan asterisk menduduki kedudukan token dan tidak menyumbang apa-apa kepada makna — mereka mencairkan vektor. Perenggan yang bersih dapat diperoleh dengan lebih baik, dan setiap pustaka di bumi mengambilnya teks secara lalai.
• Kebolehbacaan dan stilometri. Flesch-Kincaid, purata panjang ayat, nisbah jenis-token, kekayaan kosa kata, irama tanda baca. Ini adalah ukuran dan pemformatan peringkat perkataan dan ayat token merosakkan setiap satu daripada mereka.
• Cari pengindeksan merentas perpustakaan. Postgres tsvector, SQLite FTS5, Elasticsearch, atau folder biasa anda grep. Kesemua mereka mahu teks mentah dalam medan. lima puluh buku yang ditukar menjadikan enjin carian peribadi yang benar-benar pantas.
• Linguistik Korpus dan saluran paip NLP. Konkordansi, analisis kolokasi, dinamakan pengekstrakan entiti, pemodelan topik. spaCy dan NLTK mengambil rentetan, bukan markup.
• Teks-ke-pertuturan dan kebolehaksesan. Enjin TTS yang diserahkan Markdown akan membaca dengan ceria "hash hash Bab Empat" dengan kuat.
• Edisi berbeza. Dua cetakan tajuk yang sama, diekstrak ke teks, dijalankan melalui a perbezaan peringkat perkataan — begitulah cara anda mencari apa yang sebenarnya diubah oleh edisi kedua.

Apa yang Anda Berputus asa dengan Meratakan

Sempadan bab. Itulah kos sebenar, dan ia merupakan tawaran yang lebih besar untuk buku berbanding kebanyakan jenis dokumen, kerana buku itu cukup panjang sehingga "di mana saya" penting.

Dalam EPUB sumber, setiap bab ialah fail XHTML yang berasingan dengan tag tajuk dan entri dalam navigasi dokumen. Diratakan, tajuk bab menjadi baris pendek teks yang terletak di atas baris teks yang panjang, dengan tiada apa yang menandakannya sebagai berbeza. Minta model untuk "merumuskan bab tujuh" dan ia perlu mencari tahu di mana tujuh bermula daripada lafaz sahaja. Biasanya ia menguruskan. Kadang-kadang ia memulakan perenggan lewat dan senyap meringkaskan perkara yang salah.

Petikan blok berhenti menjadi berbeza secara visual daripada penceritaan, yang penting untuk bukan fiksyen apabila dipetik bahan sumber dan hujah penulis sendiri duduk berdampingan. Jika ada yang menanggung beban untuk apa anda lakukan, ambil EPUB kepada Markdown sebaliknya — pokok tajuk kekal di sana dan anda boleh menghiris fail dengan bersih mengikut bab. Togol format di bahagian atas halaman ini bertukar antara mereka dan membawa fail pilihan anda merentasi, supaya anda boleh menghasilkan kedua-duanya dan bandingkan tanpa memuat naik dua kali.

Artefak Tipografi Berbaloi Dibersihkan

Penaip penerbit dengan betul, yang bagus untuk membaca dan agak menjengkelkan untuk pengiraan. Segelintir perkara yang boleh dipercayai ditunjukkan dalam teks buku yang diekstrak, dan satu laluan cari-dan-ganti mengendalikan kebanyakannya:

• Petikan kerinting dan apostrof. Buku menggunakan petikan tipografi, bukan " dan '. Tokenisers biasanya mengatasi, tetapi regex naif dan padanan rentetan tidak akan — cari don't dalam novel dan anda mungkin mendapat apa-apa semasa halaman penuh dengan don’t.
• Em sengkang dan sengkang en. Selalunya tanpa jarak, yang bermaksud pembahagi ayat sekali-sekala lekatkan dua ayat atau putuskan satu di tempat yang salah.
• Tanda sempang lembut dan ruang tidak pecah. Tidak kelihatan pada skrin, hadir dalam aliran bait, dan bertanggungjawab secara senyap-senyap untuk jumlah perkataan yang tidak sepadan dengan apa-apa.
• Ligatur. "fi" dan "fl" kadangkala adalah glyph tunggal. Mereka biasanya mengekstrak halus, tetapi fon terbenam yang luar biasa boleh menghasilkan aksara ganjil dalam perkataan ganjil.
• Perkara depan dan belakang. Halaman tajuk, notis hak cipta, dedikasi, pengakuan, "tentang pengarang", baki indeks. Boilerplate yang muncul dalam setiap buku yang anda tukar, jadi ia menjadi perbendaharaan kata biasa yang palsu di seluruh korpus. Potong jika anda melakukan kerja kekerapan.

Tiada satu pun daripada ini adalah penukar yang ceroboh. Ia adalah perkara yang benar-benar ada dalam fail, dan mengetahui untuk mencarinya adalah sebahagian besar daripada pertempuran.

DRM, dan Dari Mana Buku Boleh Tukar Datang

Buku yang dibeli daripada peruncit utama biasanya disulitkan. XHTML di dalam bekas dikacau dan an encryption.xml fail mengisytiharkannya, jadi tiada penukar — yang ini disertakan — boleh membaca sepatah perkataan ia. Muat naik satu dan anda akan mendapat ralat atau output kosong. Perlu diketahui sebelum anda menghabiskan sepuluh minit tertanya-tanya apa yang berlaku.

Banyak sumber yang baik adalah bebas DRM dengan reka bentuk. Katalog domain awam Project Gutenberg sangat besar dan sesuai untuk kerja korpus. Ebook Standard menghasilkan edisi domain awam set taip dengan teliti dengan luar biasa markup bersih. Kebanyakan penerbit teknikal, akhbar bersebelahan arXiv, tajuk Creative Commons, dan apa sahaja yang anda mengeksport diri anda semua menukar tanpa aduan. Menukar buku yang anda miliki untuk kajian anda sendiri adalah perkara biasa penggunaan; mengedarkan semula teks yang diekstrak buku berhak cipta tidak. Cukup kata.

Melakukan Ini Merentasi Seluruh Perpustakaan

Menukar satu buku adalah kerja dua saat. Versi yang menarik ialah menukar empat puluh dan merawat hasil sebagai set data. Beberapa perkara yang menjadikannya berjalan lancar:

• Zip kumpulan itu. ZIP ke teks mengambil arkib dan menukar setiap fail yang disokong di dalamnya dalam satu laluan, yang mengalahkan empat puluh berasingan muat naik. Tonton siling 50 MB — EPUB adalah kecil, tetapi yang bergambar tidak.
• Normalisasi sebelum anda memotong. Luruskan petikan, longgarkan tanda sempang lembut, runtuhkan berulang garisan kosong. Lakukan sekali semasa menelan dan setiap langkah hiliran menjadi lebih mudah.
• Potong pada sempadan perenggan, bukan kiraan aksara tetap. Buku mempunyai perenggan sebenar dan ia adalah unit semantik semula jadi. Buta 1,000 aksara membelah ayat yang dipotong separuh dan menghasilkan benam untuk serpihan.
• Kekalkan nama fail sebagai metadata. Setelah semuanya menjadi satu aliran teks, tajuk dan pengarangnya satu-satunya asal yang anda ada. Simpan mereka bersama setiap ketul atau anda akan mendapatkan petikan yang hebat dan tidak tahu dari buku mana ia datang.
• Semak kiraan token. Kaunter di bawah output memberikan anda nombor sebenar untuk a tajuk yang diberikan, iaitu perbezaan antara merancang saluran paip dan meneka satu.

EPUB Adalah Bahan Sumber Yang Lebih Baik Daripada Versi PDF

Jika tajuk yang sama wujud dalam kedua-dua format, EPUB memberikan anda teks yang lebih bersih dengan kurang kerja. PDF ialah susun atur tetap: setiap baris visual ialah larian glyph yang berasingan, jadi perenggan tiba dipecah menjadi baris pendek, perkataan sempang merentas pemisah baris kekal ditanda sempang, dan pengepala yang sedang berjalan serta nombor halaman mendarat di dalam anda prosa setiap beberapa ratus perkataan. PDF ke teks berurusan dengan semua itu, tetapi anda akan menyental selepas itu.

EPUB boleh dialirkan semula. Tiada halaman, oleh itu tiada perabot halaman, dan perenggan adalah perenggan sebenar dalam penanda — supaya ia keluar sebagai baris berterusan yang boleh dipadankan oleh carian regex. Untuk apa sahaja melibatkan carian frasa, pemisahan ayat atau pembenaman, perbezaan itu sahaja berbaloi untuk ditukar.

Soalan Lazim

Bagaimanakah cara saya menukar EPUB kepada teks?

Lepaskan .epub ke dalam penukar di atas dan teks buku itu kembali sebagai teks biasa yang boleh anda muat turun sebagai .txt. Percuma, tanpa pendaftaran, 50 MB setiap fail — lebih selesa daripada sebarang keperluan e-buku boleh alir semula, memandangkan EPUB adalah HTML yang dimampatkan malah buku panjang jarang melepasi beberapa megabait.

Adakah ia berfungsi pada buku yang dibeli daripada Kindle atau Apple Books?

Hanya jika ia bebas DRM. Buku yang dibeli biasanya disulitkan dan diikat pada akaun yang membelinya, dan fail yang disulitkan tidak mempunyai teks yang boleh dibaca di dalamnya untuk dicapai oleh mana-mana penukar. Tajuk domain awam daripada Project Gutenberg, Ebook Standard, buku teknikal daripada penerbit yang menjual fail tidak disulitkan dan eksport anda sendiri semuanya bertukar secara normal.

Adakah bab kekal dipisahkan dalam output?

Sempadan bab kekal sebagai pecahan aliran, tetapi tajuk bab tiba sebagai baris biasa tanpa menandainya sebagai tajuk — itulah sifat meratakan kepada teks. Jika anda perlu menavigasi atau memotong mengikut bab selepas itu, EPUB kepada Markdown mengekalkan tahap tajuk yang membolehkannya.

Bagaimana pula dengan nota kaki dan nota hujung?

Mereka datang melalui, biasanya dikumpulkan di penghujung bahagian yang mereka miliki dan bukannya sebaris tempat penanda duduk. Untuk teks ilmiah ini bermakna satu larian badan nota muncul di antara bab. Mudah untuk membaca masa lalu, patut diketahui sama ada anda mengumpul output untuk pembenaman dan tertanya-tanya mengapa satu bahagian adalah semua petikan.

Bolehkah saya suapkan keseluruhan buku kepada LLM dengan cara ini?

Anda boleh menukarnya dalam satu pas, tetapi semak kiraan token sebelum menampal. Novel setebal 300 halaman mempunyai kira-kira 120,000 token — dalam tetingkap konteks 200K, dan dengan selesa mengenai perkara yang akan diterima oleh antara muka sembang dalam satu mesej. Kaunter di bawah output memberitahu anda nombor sebelum anda mengetahui cara yang sukar.

Selebihnya Kit Alat

EPUB ialah salah satu daripada tiga belas format yang disokong. File2Txt mengendalikan kesemuanya daripada a muat naik tunggal. Untuk manuskrip ada Perkataan ke teks, untuk teks kaya warisan dokumen RTF kepada teks, dan untuk disimpan artikel HTML kepada teks. Berstruktur data anda sendiri melalui CSV kepada teks atau JSON ke teks.

Di luar dokumen: tukar a GitHub repositori kepada teks, a GitLab projek, atau a folder tempatan, dan gunakan Web2Txt untuk menarik halaman langsung ke bawah sebagai teks. Ada lagi panduan untuk menyediakan dokumen untuk LLM jika anda mahukan gambaran yang lebih luas.

Repo2Txt dibina dan diselenggara oleh v12hero, pembangun bebas membina apl asli dan web yang mengutamakan privasi.