Chuyển CSV sang văn bản online miễn phí

Chuyển tệp CSV sang văn bản online miễn phí. Tải tệp lên và nhận ngay kết quả sạch, sẵn sàng cho LLM. Không cần đăng ký, tối đa 50 MB, không lưu tệp.

CSV thành văn bản: Giá trị không có cú pháp bảng

Có một điểm khiến việc biến CSV thành một bảng đẹp mắt không còn tác dụng nữa. Chín mươi nghìn dòng giao dịch nhật ký không cần căn chỉnh cột — chúng cần phải khớp ở đâu đó, được chia nhỏ, được nhúng hoặc được dẫn vào điều tiếp theo. Giàn giáo bàn ở quy mô đó hoàn toàn là trên cao: đường ống, khoảng đệm và các hàng phân cách nhân với mỗi dòng trong tập tin.

Trang này chuyển đổi một .csv tập tin thành văn bản phẳng có thể đọc được. Việc trích dẫn đã được giải quyết, việc thoát không bị ràng buộc, mã hóa được chuẩn hóa và những gì bạn nhận được là giá trị thực tế - một bản ghi trên mỗi dòng, không có gì trang trí. Miễn phí, không cần đăng ký, dung lượng tối đa là 50 MB và không giữ lại tệp. Nếu bạn muốn căn chỉnh thay vào đó là phiên bản bảng, CSV sang Markdown chỉ cần một cú nhấp chuột thông qua chuyển đổi định dạng ở trên, thao tác này sẽ chuyển tệp của bạn sang để bạn không phải tải lên hai lần.

Những gì thực sự thay đổi

"Văn bản thuần túy từ CSV" có vẻ như không hoạt động - CSV đã là văn bản. Không phải vậy, vì tệp CSV thô đã đầy của máy tồn tại hoàn toàn để trình phân tích cú pháp có thể tìm thấy ranh giới trường:

  • Trình bao bọc trích dẫn biến mất. "Smith, John" trở thành Smith, John. Các trích dẫn chưa bao giờ là một phần của dữ liệu; họ đã ở đó nên dấu phẩy bên trong sẽ không được đọc như một dấu phân cách.
  • Dấu ngoặc kép không được thoát. "She said ""no""" trở thành She said "no", đó là giá trị luôn luôn như vậy.
  • Các dòng mới được nhúng sẽ bị làm phẳng. Trường nhận xét văn bản tự do có thể chứa dòng một cách hợp pháp ngắt bên trong dấu ngoặc kép, nghĩa là một bản ghi kéo dài năm dòng trong tệp. Còn lại một mình, đó phá hủy mọi quá trình xử lý dựa trên dòng ở phía dưới. Thu gọn nó sẽ giữ một bản ghi trên một dòng.
  • Dấu phân cách được giải quyết. Cho dù nguồn là dấu phẩy, dấu chấm phẩy, tab hay đường ống tách biệt, đầu ra nhất quán — điều này quan trọng nếu bạn đang xử lý tệp từ nhiều nguồn mà mỗi người chọn một cách khác nhau.
  • Mã hóa được chuẩn hóa thành UTF-8, do đó xuất khẩu Latin-1 ngừng sản xuất é ở đâu một é nên như vậy.

Hàng tiêu đề vẫn xuất hiện ở trên cùng, vì vậy tên cột ở đó dành cho ngữ cảnh - bạn chỉ không hiểu được chúng được lặp lại hoặc ràng buộc trực quan với từng giá trị.

Số học mã thông báo

Đây là lý do chính khiến mọi người chọn văn bản trên Markdown cho dữ liệu dạng bảng và lý do đó đủ đơn giản về trực tiếp.

Bảng Markdown trả một chi phí cố định cho mỗi ô — một đường ống, một khoảng trắng ở đầu, một khoảng trắng ở cuối — cộng với một dấu phân cách hàng. Trên bảng mười cột, mỗi hàng có thêm ba mươi ký tự lẻ trước bất kỳ dữ liệu nào. Trên mười nghìn hàng bạn đã thêm vài trăm nghìn ký tự cú pháp không mang thông tin gì nhu cầu của mô hình. Cùng một giá trị, dấu chân lớn hơn về mặt vật chất.

Liệu điều đó có quan trọng hay không phụ thuộc hoàn toàn vào tập tin của bạn. Cách trung thực nhất để tìm hiểu là chuyển đổi cả hai cách và đọc bộ đếm mã thông báo bên dưới đầu ra — nó ở ngay đó, phải mất hai lần nhấp chuột để chuyển đổi định dạng và nó đánh bại việc đoán. Trên một tập hợp phân tích nhỏ, bảng sẽ thắng vì sự căn chỉnh thực sự giúp ích cho mô hình. Trên bất cứ thứ gì dài, văn bản sẽ thắng vì nó phù hợp.

Nhúng, lập chỉ mục và các đoạn cấp hàng

Nếu CSV đang truy cập vào cơ sở dữ liệu vectơ hoặc chỉ mục tìm kiếm thay vì cửa sổ trò chuyện thì văn bản phẳng là định dạng bạn muốn.

Các tài liệu khối trong đường dẫn truy xuất và đối với dữ liệu dạng bảng, đoạn tự nhiên là bản ghi. Một dòng trên mỗi ghi lại bản đồ một cách rõ ràng vào đó: phân chia trên dòng mới, nhúng từng dòng, xong. Markdown các hàng trong bảng về mặt kỹ thuật cũng nằm trên dòng riêng của chúng, nhưng mỗi đoạn sau đó mang các ký tự ống làm dịch chuyển vectơ mà không cần thêm ý nghĩa và bối cảnh tiêu đề bị mắc kẹt trong một đoạn cách đó vài nghìn hàng.

Logic tương tự áp dụng cho tìm kiếm toàn văn. Người lập chỉ mục đánh dấu ranh giới từ và dấu câu; cho ăn Cú pháp bảng của chúng có nghĩa là làm ô nhiễm chỉ mục hoặc viết một bước loại bỏ mà lẽ ra bạn không cần. Văn bản phẳng đi vào nguyên trạng. Đây cũng là hình dạng phù hợp để xử lý văn bản cổ điển — grep, wc -l, sort, uniq, một vòng lặp Python nhanh — trong đó một tệp được chuyển đổi trở thành một đầu vào khác chứ không phải là thứ bạn phải phân tích cú pháp trước.

Những gì bạn từ bỏ

Nói thẳng về sự cân bằng: không có lưới căn chỉnh, mối liên hệ giữa một giá trị và cột của nó trở nên yếu hơn. Một mô hình đọc hàng 4.000 văn bản phẳng phải nhớ rằng giá trị thứ bảy là vùng mã. Thông thường nó quản lý. Trên một tập tin hẹp với các giá trị đặc biệt — ngày tháng, tiền tệ, hiển nhiên danh mục - nó quản lý dễ dàng. Trên một tệp rộng gồm các số nguyên, nó sẽ bắt đầu đoán.

Vì vậy, quy tắc ngón tay cái chạy như thế này. Các câu hỏi phân tích về một tập dữ liệu có thể quản lý được — "dòng sản phẩm nào hoạt động kém", "tìm các mục trùng lặp", "tóm tắt điều này theo quý" — muốn CSV tới Markdown và đường ống của nó các bảng. Công việc hàng loạt, truy xuất, lập chỉ mục, xây dựng kho văn bản và viết kịch bản muốn có văn bản thuần túy. Nếu tập tin là cả hai rộng và dài, hãy cân nhắc cắt nó xuống các cột mà bạn thực sự quan tâm trước khi chuyển đổi; một xuất sáu cột trả lời các câu hỏi tốt hơn sáu mươi cột bất kể định dạng.

Các tệp lớn và biết khi nào nên chia nhỏ

Giới hạn tải lên ở đây là 50 MB, tức là rất nhiều CSV — có thể lên tới hàng trăm nghìn hàng cho một xuất khẩu điển hình. Chuyển đổi hoạt động tốt. Không dán kết quả vào mô hình và không có cửa sổ ngữ cảnh hiện đang được bán sẽ mất nó.

Một số cách tiếp cận có hiệu quả hơn là cố gắng:

  • Cố tình lấy mẫu. Vài trăm hàng đại diện cho mô hình biết mọi điều nó cần biết về hình dạng dữ liệu của bạn, sự phân bổ giá trị và các trường hợp biên. Hỏi của bạn các câu hỏi dựa trên mẫu, sau đó tự mình chạy logic kết quả trên toàn bộ tệp.
  • Lọc trước khi chuyển đổi. Bỏ các cột không ai hỏi về. Xuất khẩu rộng rãi là thường rộng vì ai đó đã chọn mọi thứ chứ không phải vì mọi thứ đều quan trọng.
  • Chia bằng khóa tự nhiên — tháng, khu vực, khách hàng — vì vậy mỗi phần là một đơn vị mạch lạc chứ không phải là một lát cắt tùy ý.
  • Tổng hợp đầu tiên. Nếu câu hỏi là "xu hướng là gì", một mô hình lý luận sẽ số liệu tóm tắt đánh bại lý luận mô hình trên một triệu hàng thô và nó rẻ hơn.

Những điều nhỏ nhặt khiến mọi người khó chịu

  • Dấu phẩy ở cuối. Một số nhà xuất khẩu kết thúc mỗi dòng bằng dấu phân cách, tạo ra một dòng ảo cột trống ở cuối mỗi bản ghi. Vô hại, nhưng kết quả đầu ra trông kỳ quặc và có thể bị hỏng đếm trường trong tập lệnh.
  • Các giá trị bị thiếu không nhất quán. Chuỗi trống, NULL, N/A, - và \N tất cả đều có nghĩa là "không có giá trị" tùy thuộc vào hệ thống nào đã ghi tệp. các công cụ chuyển đổi sẽ chuyển chúng theo nguyên trạng, vì vậy nếu bạn đang thực hiện bất kỳ thao tác thống kê nào, hãy tự chuẩn hóa chúng.
  • Kết thúc dòng. Windows CRLF so với Unix LF đôi khi không hiển thị trên màn hình rất dễ thấy đối với một kịch bản. Đầu ra được bình thường hóa.
  • Các số có dấu phân cách hàng nghìn viết như 1,234 dấu ngoặc kép bên trong là một nguồn gây nhầm lẫn phổ biến - dấu phẩy đó là định dạng, không phải cấu trúc và nó tồn tại trong văn bản bởi vì nó thực sự là một phần của giá trị.
  • Vẫn có bảng tính? Excel thành văn bản đọc trực tiếp XLSX, xử lý nhiều trang tính và tránh toàn bộ loại sự cố CSV của Excel giới thiệu xuất khẩu trên đường ra.

Câu hỏi thường gặp

Làm cách nào để chuyển đổi CSV thành tệp txt?

Thả .csv vào trình chuyển đổi ở trên và tải xuống kết quả dưới dạng .txt. Miễn phí, không cần đăng ký, 50 MB mỗi tệp. Điều đáng nói rõ ràng: CSV đã là văn bản thuần túy, do đó, điều này làm là loại bỏ cấu trúc dấu phân cách và cung cấp cho bạn các giá trị dưới dạng các dòng văn xuôi có thể đọc được.

CSV của tôi đã là văn bản — tại sao tôi lại chuyển đổi nó?

Bởi vì "văn bản thuần túy" và "được phân cách bằng dấu phẩy" không giống nhau đối với bất kỳ nội dung nào được đọc tiếp theo. Các mô hình nhúng, bộ phân loại và chỉ mục toàn văn bản xử lý mọi dấu phẩy và ký tự trích dẫn như một mã thông báo không mang ý nghĩa gì nhưng chiếm một vị trí. Việc loại bỏ các dấu phân cách sẽ loại bỏ tiếng ồn đó. Nếu đích đến của bạn phân tích cú pháp CSV, đừng chuyển đổi — bạn sẽ vứt bỏ cấu trúc mà nó muốn.

Tại sao CSV của tôi bị hỏng trên các trường có dấu phẩy?

Đó là lỗi CSV cổ điển và nó xảy ra ngược dòng với bất kỳ trình chuyển đổi nào. Một lĩnh vực như Smith, John phải được trích dẫn trong file nguồn; nếu bất cứ thứ gì được xuất ra nó không được trích dẫn chính xác thì hàng đó đã không rõ ràng trên đĩa và không trình đọc nào có thể khôi phục phần phân tách dự định. Mở tệp thô và kiểm tra trích dẫn trước khi đổ lỗi cho đầu ra.

Nó có xử lý các tệp được phân cách bằng dấu chấm phẩy hoặc tab không?

Việc xuất khẩu được phân tách bằng dấu chấm phẩy - mặc định ở phần lớn châu Âu - đủ phổ biến để họ thường phân tích cú pháp. Dữ liệu được phân tách bằng tab được lưu bằng .csv tiện ích mở rộng là trường hợp khó xử, vì tiện ích mở rộng hứa hẹn một điều và byte là một điều khác. Nếu kết quả đầu ra của bạn trông giống như một cột dài không bị ngắt quãng thì đó là lý do tại sao.

CSV sang văn bản hoặc CSV tới Markdown?

Nhắn tin khi các hàng thực sự là một danh sách — một cột gồm URL, tên sản phẩm, mã lỗi — và các dấu phân cách chỉ gây cản trở. Markdown khi tệp thực sự ở dạng bảng và bạn cần con người hoặc mô hình để xem giá trị nào thuộc về cột nào.

Ở những nơi khác trong Bộ công cụ

File2Txt chấp nhận mọi định dạng được hỗ trợ từ một lần tải lên. Gần đó: JSON thành văn bản để kết xuất API và xuất nhật ký, XML thành văn bản đối với nguồn cấp dữ liệu và tệp trao đổi kế thừa, HTML thành văn bản cho các trang đã lưu và PDF thành văn bản cho các tài liệu.

Nếu dữ liệu nằm bên cạnh mã, hãy làm phẳng dự án bằng GitHub sang trình chuyển đổi văn bản, cái Công cụ chuyển đổi GitLab, hoặc bộ chuyển đổi thư mục cục bộ, và đưa một mô hình cả hai cùng một lúc. Đối với nguồn web, Web2Txt loại bỏ một URL trực tiếp. Có nhiều thông tin nền tảng hơn trong hướng dẫn chuẩn bị hồ sơ cho LLM.

Repo2Txt được xây dựng và duy trì bởi v12hero, một nhà phát triển độc lập xây dựng các ứng dụng web và ứng dụng gốc ưu tiên quyền riêng tư.