ZIP ke Teks: Mengubah Arkib Menjadi Korpus Boleh Dicari Tunggal
Terdapat masa tertentu alat ini dibina untuknya. Anda mempunyai arkib — eksport, sandaran, fail seseorang menghantar — penuh dengan dokumen dalam setengah dozen format, dan apa yang anda perlukan sebenarnya bukan untuk membacanya. Anda perlu mencari merentas kesemuanya sekaligus. Kira kekerapan istilah muncul. Suapkan lot itu kepada benam model. Cari tiga fail daripada lapan puluh yang menyebut klausa tertentu.
Muat naik ZIP, dapatkan kembali satu isi rata teks biasa yang mengandungi semua yang boleh dibaca di dalamnya. Tiada tajuk, tiada jadual paip, tiada aksara sintaks — hanya prosa anda boleh grep, indeks, bongkah atau tampal. percuma, tiada akaun, had 50 MB pada arkib, tiada apa yang disimpan setelah anda mendapat output anda.
Satu Arkib Masuk, Satu Korpus Keluar
Arkib dibongkar, pokok di dalamnya berjalan, dan setiap fail dengan sambungan yang disokong ditukar
dengan logik yang sama ia akan diperolehi sebagai muat naik kendiri. Kemudian semuanya kembali bersatu sebagai berterusan
teks. Laluan folder dari dalam arkib dibawa melalui, jadi anda masih boleh mengetahui bahawa sesuatu telah datang
daripada exports/2023/ bukannya drafts/ - tetapi output itu sendiri adalah rata, seragam,
dan mudah diproses secara mekanikal.
Hujah kecekapan membuat dirinya sendiri. Empat puluh dokumen yang ditukar secara individu ialah empat puluh muat naik dan empat puluh operasi papan keratan. Sebagai seorang bujang penukaran fail pukal kepada teks, ia adalah satu. Dan kerana semuanya tiba dalam satu output, tiada langkah pemasangan semula selepas itu — tidak perlu risau sama ada anda menampal fail 23 dua kali dan melangkau 24.
Mengapa Teks Rata Berdentum Markdown untuk Kerja Pukal
Markdown memperoleh simpanannya apabila manusia membaca output atau apabila struktur dokumen membawa maksud. Untuk kebanyakan perkara yang anda akan lakukan dengan keseluruhan arkib sekali gus, kedua-duanya tidak terpakai, dan markup menjadi overhed:
- Pembenaman dan saluran paip RAG. Chunkers bekerja pada prosa. Meja paip dan penanda tajuk berpecah merentasi sempadan bahagian, cairkan isyarat semantik dalam setiap vektor, dan gunakan belanjawan itu harus pergi ke kandungan sebenar. Kebanyakan jalur kod pengingesan Markdown sebagai langkah pertamanya — mulakan tanpanya.
- Pengindeksan carian. Apa sahaja yang anda suapkan, tokenizer mahukan kata-kata yang bersih. Sintaks aksara menjadi bunyi yang perlu dibuang oleh penganalisis.
- Analisis kata kunci dan kekerapan. Kiraan penggal, kejadian bersama, TF-IDF, regex mudah sapuan — semuanya lebih bersih daripada teks tanpa hiasan, tanpa risiko pembatas jadual mendaftar sebagai token.
- Deduplikasi dan pembezaan. Membandingkan dua penukaran arkib untuk melihat perkara yang berubah jauh lebih mudah apabila pemformatan tidak dapat memperkenalkan perbezaan palsu.
- Kecekapan token. Merentasi berpuluh-puluh dokumen, penanda struktur ditambah kepada yang sebenar pecahan tetingkap konteks anda. Menjatuhkannya memberi anda ruang untuk lebih banyak bahan sumber.
Balik ke ZIP ke Markdown apabila sebaliknya adalah benar — apabila anda memerlukan sempadan yang jelas antara dokumen, apabila jadual dan penomboran klausa perkara, atau bila anda akan membaca sendiri hasilnya. Togol format di bahagian atas bertukar dan membawa arkib yang anda pilih bersamanya, supaya anda boleh menghasilkan kedua-duanya daripada satu muat naik dan melihat yang sesuai dengan kerja.
Ketahui Apa yang Ada Dalam Arkib Sebelum Anda Muat Naik
Format yang disokong menukar di mana-mana sahaja ia berada di dalam pokok: PDF, Word, PowerPoint, Excel, HTML, CSV, JSON, XML, EPUB, RTF, MSG dan imej. Arkib bercampur adalah kes standard. Jika anda mahukan secara spesifik bagaimana a jenis tertentu berkelakuan setelah diratakan, lihat PDF ke teks, Perkataan ke teks, CSV kepada teks, atau MSG kepada teks untuk mesej Outlook.
Perkara yang dilangkau: video, audio, perduaan, fon dan apa-apa sahaja di luar senarai yang disokong. dua lagi kes yang patut diketahui sebelum anda terkejut dengan output.
- Imej tidak dibaca di dalam arkib. Dengan sendirinya, fail imej mendapat teksnya diiktiraf dan dikembalikan. Dibundel ke dalam ZIP mereka tidak — pas kumpulan mencatat fail dan meneruskan, jadi arkib tangkapan skrin atau halaman yang diimbas memproses tanpa ralat dan memberi anda nama fail daripada perkataan dalam gambar. Apabila perkataan adalah intipati, ekstrak imej tersebut dan hantarkannya melalui imej kepada teks satu pada a masa.
- PDF yang diimbas mempunyai masalah yang sama. PDF yang benar-benar foto kertas tidak mempunyai teks terbenam untuk diekstrak. Uji satu dengan cuba memilih ayat dalam pembaca — jika anda tidak boleh, jalankan pengecaman teks sebelum anda zip.
- Arkib bersarang. ZIP yang mengandungi ZIP lain patut dibongkar satu tahap dengan tangan sebelum memuat naik.
Tempat Flat Corpus Memperoleh Simpanannya
- Semakan dokumen mengikut kelantangan. Himpunan pendedahan atau eksport bilik data di mana yang pertama soalan ialah "yang mana antara ini yang menyebut perkara yang saya minat" — bukan "baca saya dokumen ini".
- Membina asas pengetahuan. Buku panduan, dasar dan dokumen proses syarikat, ditukar masuk sekali lulus dan dimasukkan ke dalam sistem perolehan semula sebagai kebenaran asas yang dijawab oleh pembantu.
- Sokongan dan eksport tiket. Perbualan berbulan-bulan diratakan menjadi teks yang boleh anda jalankan analisis tema selesai, atau minta model untuk berkumpul dalam aduan berulang.
- Korpora penyelidikan. Folder kertas, laporan dan set data bertukar menjadi satu badan teks untuk analisis silang dokumen dan bukannya bacaan satu demi satu.
- Penghijrahan dan audit kandungan. Sebelum memindahkan set dokumentasi ke platform baharu, tukar keseluruhan arkib dan cari rujukan mati, nama produk lapuk atau halaman pendua.
- Eksport ruang kerja. Muat turun Slack, Notion dan Takeout secara strukturnya tidak kemas dan penuh daripada folder bersarang. Meratakan mereka adalah apa yang menjadikan mereka mudah dikendalikan.
Saiz, Susunan dan Batching Sensible
Had 50 MB dikenakan pada arkib yang dimuat naik, bukan untuk fail secara individu. Mampatkan dokumen berat teks baik, jadi banyak daripada mereka sesuai; media tidak memampatkan dan akan makan keseluruhan elaun secara percuma. keluarkan video dan imej besar sebelum zip.
Jika anda akan bekerja melalui korpus dalam bahagian, pisahkan mengikut folder dan zip setiap bahagian secara berasingan — satu arkib setiap pelanggan, setiap suku tahun, setiap projek. Ia mengekalkan setiap output pada saiz yang sebenarnya anda boleh tampal, dan ia menyimpan bahan berkaitan bersama-sama. Kaunter token di bawah output ialah nombor untuk dikemudi oleh: ia memberitahu anda dengan serta-merta sama ada kumpulan sesuai dengan tetingkap konteks model anda atau memerlukan pemisahan, sebelum anda mengetahui jalan susah.
Dan jika arkib ialah projek kod sumber dan bukannya dokumen, gunakan fail penukar direktori tempatan sebaliknya. Ia memberi anda pepohon kotak semak folder supaya anda boleh mengecualikan kebergantungan, membina output dan mengunci fail sebelum ini penukaran — mengawal muat naik arkib tidak boleh ditawarkan. Kod yang sudah ada pada hos adalah lebih mudah lagi: the GitHub kepada penukar teks berfungsi terus dari URL.
Soalan Lazim
Bagaimanakah cara menukar fail ZIP kepada teks?
Muat naik arkib di atas. Ia dibongkar, pokok di dalamnya berjalan, dan setiap fail dengan sambungan yang disokong ditukar dan dicantumkan menjadi satu badan rata teks biasa. Percuma, tiada pendaftaran, 50 MB setiap arkib, tiada apa yang disimpan. Laluan folder dari dalam arkib dibawa melalui supaya anda boleh mengetahui dari mana setiap bahagian datang.
Apakah jenis fail di dalam arkib yang boleh ditukar?
Tiga belas yang sama yang dikendalikan oleh tapak ini sebagai muat naik kendiri — PDF, Word, PowerPoint, Excel, HTML, CSV, JSON, XML, imej, EPUB, RTF, mesej Outlook dan arkib bersarang. Apa-apa lagi dalam ZIP dilangkau dan bukannya dibuang sebagai bunyi binari, jadi himpunan mencampurkan dokumen dengan video dan boleh laku masih menghasilkan output yang bersih.
Adakah ia berfungsi pada arkib yang dilindungi kata laluan?
Tidak. ZIP yang disulitkan tidak mempunyai entri yang boleh dibaca sehingga ia dinyahsulit dengan kata laluan dan tiada tempat untuk membekalkannya. Ekstraknya secara setempat dengan kata laluan dahulu, zip semula tanpa penyulitan, atau arahkan ke penukar folder tempatan pada direktori yang diekstrak sebaliknya.
Arkib saya lebih besar daripada 50 MB — bagaimana sekarang?
Pisahkan mengikut folder dan tukar secara pas, atau langkau arkib sepenuhnya: ekstraknya pada mesin anda dan gunakan penukar folder tempatan, yang tidak mempunyai langkah muat naik, berjalan di seluruh pokok, dan membolehkan anda menanda dengan tepat fail yang hendak disertakan. Untuk pembuangan dokumen yang besar, itulah laluan yang lebih baik.
Adakah ini alat yang betul untuk repositori kod zip?
Tidak juga. Untuk kod sumber, the GitHub penukar dan alat folder tempatan dibina untuk tugas itu — ia menunjukkan kepada anda pepohon direktori, membolehkan anda nyahpilih node_modules dan fail kunci, dan kira token semasa anda pergi. Halaman ini bertujuan untuk arkib dokumen, di mana tiada pokok untuk dipangkas.
Selebihnya Kit Alat
File2Txt mengambil sebarang format yang disokong dari satu halaman jika anda tidak mahu memilih satu. Ada a lebih lama panduan kepada menyediakan fail untuk LLM jika anda mahukan alasan di sebalik semua ini di satu tempat.
Repo2Txt dibina dan diselenggara oleh v12hero, pembangun bebas membina apl asli dan web yang mengutamakan privasi.