RTF thành văn bản: Loại bỏ các từ kiểm soát, giữ các từ
Rất nhiều người khám phá RTF một cách khó khăn. Bạn đã có một thư mục .rtf tập tin, bạn cần
nội dung trong cơ sở dữ liệu và vì định dạng ASCII đơn giản về mặt kỹ thuật nên bạn nghĩ rằng bạn chỉ có thể đọc tệp
và được thực hiện. Sau đó, bạn nhìn vào những gì bạn đã tải và nó {\rtf1\ansi\deff0{\fonttbl{\f0\froman Times
New Roman;}}{\colortbl;\red0\green0\blue0;}\viewkind4\uc1\pard\f0\fs24 Dear Sir,\par và khoảng bốn
kilobyte đó trước câu thứ hai của bức thư.
RTF là văn bản, nhưng đó là văn bản có ngôn ngữ đánh dấu bao quanh và việc kéo các từ ra có nghĩa là thực sự phân tích cú pháp các từ điều khiển thay vì hy vọng biểu thức chính quy ở dấu gạch chéo ngược. Đó là những gì nó làm. Trích xuất văn bản từ tệp RTF và bạn nhận được văn xuôi theo thứ tự đọc và không có gì khác. Miễn phí, không cần đăng ký, giới hạn 50 MB, không có gì được lưu trữ ở phía chúng tôi.
Tại sao Tước ngây thơ lại sai
Thật thú vị khi viết một hàm hai mươi dòng để xóa bất cứ thứ gì bắt đầu bằng dấu gạch chéo ngược. Nó hoạt động trên ba tập tin đầu tiên và sau đó lặng lẽ làm hỏng phần còn lại. Những cách cụ thể mà nó phá vỡ cũng đáng được biết nếu bạn không bao giờ viết hàm đó, bởi vì chúng giống như những thứ mà trình phân tích cú pháp thực sự phải xử lý:
- Các nhóm tiêu đề không có nội dung. Bảng phông chữ, bảng màu, biểu định kiểu và bảng sửa đổi đều nằm ở đầu tệp trong dấu ngoặc nhọn. Loại bỏ các từ kiểm soát nhưng giữ văn bản bên trong các nhóm đó và đầu ra của bạn bắt đầu bằng danh sách tên kiểu chữ.
- Niềng răng mang ý nghĩa. Định dạng tổ và phạm vi của nhóm. Một số nhóm -
\*\generator,\info, dữ liệu đối tượng được nhúng - nên được loại bỏ toàn bộ, không được mở ra. - Các lối thoát trông giống như nội dung.
\'92là nhân vật có thật, không phải từ kiểm soát để xóa. Hãy xóa nó và mọi dấu nháy đơn trong tài liệu sẽ biến mất ở giữa từ. - Nhị phân ẩn bên trong. Hình ảnh sống trong
\pictnhóm theo chuỗi hex dài các chữ số trông giống hệt văn bản thông thường đối với một bộ lọc ngu ngốc. Đó là cách bạn có được 40.000 nhân vật của0100090000ở giữa một lá thư. - Điểm đánh dấu đoạn quan trọng.
\parphải trở thành ngắt dòng, không phải là không có gì, hoặc toàn bộ tài liệu xuất hiện dưới dạng một đoạn văn dài.
Nơi RTF xuất hiện hàng loạt
Không ai có ba tệp RTF. Mọi người có ba nghìn, bởi vì hệ thống nào đó đã phát ra chúng đều đặn kể từ năm 2004. Các nghi phạm thông thường:
- Khám phá pháp lý và hồ sơ vụ án. Bảng điểm, hồ sơ và thư từ được xuất từ hệ thống quản lý hồ sơ, thường nằm trong một thư mục phẳng với các tên tệp khó hiểu.
- Tài liệu lâm sàng. Ghi chú chính tả, tóm tắt xuất viện và thư giới thiệu được lưu trữ dưới dạng các đốm màu RTF trong bảng EHR - thường là do nhà cung cấp đã chọn nó vào năm 2003 và không có gì buộc phải thay đổi kể từ đó.
- Hồ sơ chính phủ. Được chọn vì lý do tương tự như các tòa án đã chọn nó: một cơ chế mở, ổn định thông số kỹ thuật vẫn sẽ mở sau ba mươi năm nữa.
- Lưu trữ email cũ. Chế độ văn bản đa dạng thức của Outlook là RTF dưới da nên bị loại Trích xuất email MSG liên tục.
- Xuất ứng dụng kế thừa. Bất kỳ công cụ CRM, bộ phận trợ giúp hoặc lĩnh vực kinh doanh nào có trường văn bản có định dạng từ trước kỷ nguyên trình soạn thảo web gần như chắc chắn lưu trữ RTF trong một cột.
- Tài liệu WordPad. Hàng thập kỷ ghi chú và thủ tục không chính thức được lưu giữ bởi những người đã sử dụng bất cứ thứ gì Windows được mở theo mặc định.
Chủ đề chung: đây là những kho lưu trữ bạn muốn tìm kiếm, lập chỉ mục hoặc đặt câu hỏi - chính xác là văn bản đơn giản về công việc dành cho.
Mã hóa là phần thực sự quan trọng
Hầu hết các vấn đề về RTF thực tế là các vấn đề về mã hóa ký tự chứ không phải vấn đề về cấu trúc. Định dạng được thiết kế trước khi Unicode được giải quyết và các tệp cũ hơn mang lịch sử đó trong đó.
Tiêu đề khai báo một trang mã - \ansicpg1252 đối với Windows Tây Âu là cái phổ biến,
nhưng bạn sẽ gặp \ansicpg1251 cho chữ Cyrillic, \ansicpg1250 cho Trung Âu và
\mac dành cho các tập tin bắt đầu hoạt động trên máy Macintosh cổ điển. Các ký tự không phải ASCII sau đó sẽ xuất hiện dưới dạng
hex thoát như thế nào \'92 hoặc \'e9, ý nghĩa của nó phụ thuộc hoàn toàn vào điều đó
tuyên bố. Nếu viết sai thì é sẽ trở thành một chữ cái Cyrillic, hoặc một dấu nháy đơn cong sẽ trở thành một chiếc hộp.
Sử dụng tập tin mới hơn \uN? - một điểm mã Unicode theo sau là một ký tự dự phòng cho người đọc
già để xử lý nó. Phân tích cú pháp đúng cách bạn sẽ có được ký tự thực sự; phân tích cú pháp một cách bất cẩn, bạn sẽ nhận được dự phòng, điều này
thường là một dấu hỏi theo nghĩa đen. Đó là nguồn gốc của các tài liệu mà mọi dấu gạch ngang và trích dẫn thông minh đều có
biến thành ?.
Vì vậy: trước khi bạn chuyển một lô vào cơ sở dữ liệu, hãy mở hai hoặc ba tệp đã chuyển đổi và xem xét cụ thể dấu nháy đơn, dấu ngoặc kép, dấu gạch ngang và bất kỳ tên nào có dấu. Bốn điều đó cho bạn biết liệu mã hóa đã được đọc chính xác. Nếu họ sai, họ sẽ sai một cách nhất quán và tìm và thay thế xuyên suốt. lô sửa chữa nó trong một lần.
Nhắn tin hay Markdown? Câu hỏi quyết định
Điều quan trọng là liệu tài liệu có các bảng mà bạn quan tâm hay không.
Các bảng RTF được xác định rõ ràng bằng \trowd và \cellx, vì vậy họ xây dựng lại
vào các bảng ống một cách sạch sẽ nếu bạn yêu cầu Markdown. Làm phẳng chúng thành văn bản và các giá trị đều tồn tại nhưng
cột mà mỗi cột thuộc về thì không - bảng thanh toán trở thành một dãy số được phân tách bằng khoảng trắng,
và không có lời nhắc nào sẽ lấy lại các cột. Nếu đó là tài liệu của bạn, hãy sử dụng
RTF tới Markdown. Chuyển đổi định dạng
ở đầu trang này sẽ chuyển qua và giữ lại tệp bạn đã chọn.
Đối với mọi thứ khác - thư từ, ghi chú, bản ghi, bản ghi nhớ, thư từ, hầu hết những gì RTF thực sự được sử dụng
for - văn bản là đầu ra tốt hơn. Đó là những gì các chỉ mục tìm kiếm toàn văn bản muốn, những gì các đường dẫn nhúng được phân chia theo
mặc định, cái gì grep đọc và những gì trình phân loại mong đợi. Dấu hoa thị và đường ống của Markdown sẽ
chỉ là những ký tự bạn loại bỏ ở bước tiếp theo.
Vượt qua một lô lớn
- Nén thư mục. ZIP thành văn bản chuyển đổi mọi tệp được hỗ trợ trong kho lưu trữ trong một lần, tốt hơn rất nhiều so với việc tải chúng lên từng cái một. Hãy chú ý đến mức trần 50 MB - RTF không bị nén và các tệp có hình ảnh được nhúng sẽ lớn hơn nhiều hơn số từ của họ gợi ý.
- Lấy mẫu trước khi bạn cam kết. Trước tiên, hãy chuyển đổi năm tệp từ các năm khác nhau. Mã hóa các vấn đề được nhóm lại theo thời đại và theo công cụ tạo ra chúng, và một mẫu sẽ cho bạn thấy mô hình trước khi bạn xử lý ba nghìn.
- Giữ nguyên tên tệp dưới dạng siêu dữ liệu. Khi nó là văn bản phẳng, tên tệp có thể là tên duy nhất xuất xứ bạn đã để lại. Lưu trữ nó cùng với mỗi bản ghi.
- Mong đợi bản tóm tắt. Tiêu đề thư, chân trang và phần kết thúc tiêu chuẩn lặp lại trong mọi tập tin trong một kho văn bản. Chúng trở thành những từ vựng thường xuyên một cách giả tạo trong bất kỳ tần suất hoặc phân tích chủ đề nào, vì vậy loại bỏ chúng khi bạn phát hiện ra mẫu.
- Chú ý cắt ngắn. Rất nhiều công cụ phát ra RTF hơi không phù hợp với độ không cân bằng niềng răng. Nếu tệp được chuyển đổi dừng ở giữa câu thì nguồn không đúng định dạng chứ không phải tệp chuyển đổi thất bại âm thầm - hãy mở bản gốc trong trình soạn thảo văn bản và bạn thường sẽ thấy nó sai ở đâu.
- Kiểm tra số lượng mã thông báo. Bộ đếm bên dưới đầu ra cho bạn biết chi phí của một tài liệu trước khi bạn dán nó vào bất cứ đâu, điều này rất hữu ích khi bạn quyết định dung lượng của một kho lưu trữ phù hợp với một nhắc nhở.
RTF, DOCX và cái nào cần chuyển đổi
Nếu một tài liệu tồn tại dưới dạng cả hai, hãy lấy DOCX. Nó mang một hệ thống phân cấp phong cách phù hợp và ngữ nghĩa phong phú hơn, và Word sang văn bản thì hiện đại hơn tương đương với trang này
Nhưng RTF có một lợi thế thực sự cho việc trích xuất văn bản hàng loạt và đó không phải là sự hoài cổ: đó là một phương pháp tuyến tính duy nhất. luồng không có lớp nén. Không có vùng chứa zip nào bị hỏng, không có phần XML nào tham chiếu lẫn nhau. Khi có sự cố xảy ra, bạn có thể mở tệp trong bất kỳ trình chỉnh sửa nào và tận mắt đọc nguyên nhân. Trên vài nghìn tệp không rõ nguồn gốc, khả năng dự đoán đó có giá trị đáng kinh ngạc.
Câu hỏi thường gặp
Làm cách nào để trích xuất văn bản từ tệp RTF?
Thả .rtf vào bộ chuyển đổi ở trên. Các từ kiểm soát được phân tích cú pháp chính xác và bạn sẽ có được văn xuôi theo thứ tự đọc mà không có bất kỳ đánh dấu nào. Miễn phí, không cần đăng ký, 50 MB mỗi tệp, không có gì được lưu trữ. Tải xuống dưới dạng .txt hoặc sao chép nó ra.
Tại sao tôi không thể mở RTF trong trình soạn thảo văn bản?
Bạn có thể, và bạn sẽ thấy {\rtf1\ansi\deff0{\fonttbl{\f0\froman Times New Roman;}} tiếp theo là vài kilobyte nữa trước câu thứ hai của bức thư. RTF là ASCII, nhưng nó là ASCII được gói trong ngôn ngữ đánh dấu. Các từ ở trong đó, xen kẽ với các bảng phông chữ, bảng màu và các từ điều khiển phải được phân tích cú pháp thay vì khớp mẫu.
Tại sao bản thân việc loại bỏ dấu gạch chéo ngược lại tạo ra kết quả bị hỏng?
Bởi vì các từ điều khiển không được phân cách thống nhất và một số dữ liệu mang theo bạn phải giữ lại. Một biểu thức chính quy xóa mọi thứ sau dấu gạch chéo ngược cũng xóa \'e9, đó là cách RTF mã hóa một ký tự có dấu - vì vậy mọi tên có dấu phụ sẽ âm thầm mất đi các chữ cái. Nó hoạt động trên ba tập tin đầu tiên và lặng lẽ làm hỏng phần còn lại.
Các ký tự có dấu và không phải tiếng Anh có tồn tại được không?
Có, khi tệp khai báo mã hóa chính xác, điều này hầu hết đều làm được. RTF thoát khỏi các ký tự không phải ASCII dưới dạng chuỗi hex được gắn với trang mã được khai báo và phân tích cú pháp thích hợp sẽ giải quyết chúng trở lại Unicode thực. Đây là lỗi phổ biến nhất của việc bóc tách bằng tay và là lỗi gây thiệt hại nhiều nhất cho tập dữ liệu tên hoặc địa chỉ.
Các bảng trong tài liệu RTF có chuyển đổi được không?
Nội dung ô đi qua, nhưng vì văn bản đang chạy chứ không phải ở dạng lưới - văn bản thuần túy không có cách nào để thể hiện một cột. Nếu tài liệu là một báo cáo được xây dựng xung quanh các bảng, RTF tới Markdown thay vào đó giữ các hàng và cột dưới dạng bảng ống.
Phần còn lại của bộ công cụ
RTF là một trong mười ba định dạng được hỗ trợ. File2Txt xử lý tất cả chúng từ một tải lên một lần nếu bạn không muốn chọn một trang. Gần đó: PDF thành văn bản cho bố cục cố định tài liệu, EPUB sang văn bản cho sách điện tử, HTML thành văn bản cho các trang đã lưu và XML thành văn bản đối với loại khác định dạng trao đổi kế thừa.
Làm việc với mã hoặc web trực tiếp? Có Kho lưu trữ GitHub sang trình chuyển đổi văn bản, một Phiên bản GitLab, một trình chuyển đổi thư mục cục bộvà Web2Txt để thu thập URL. các hướng dẫn chuẩn bị tài liệu cho LLM bao gồm phiên bản chung của điều này.
Repo2Txt được xây dựng và duy trì bởi v12hero, một nhà phát triển độc lập xây dựng các ứng dụng web và ứng dụng gốc ưu tiên quyền riêng tư.