ZIP в Markdown: одна загрузка, весь архив конвертирован
Конвертировать документы по одному можно, пока их не будет двадцать. Тогда это двадцать загрузок, двадцать ждёт, двадцать копипастов, и к четырнадцатому файлу ты уже потерял счет, какие из них ты уже сделал. Это проблема, для устранения которой существует эта страница.
Заархивируйте папку. Загрузите один архив. Каждый поддерживаемый документ конвертируется за один проход и возвращается как Markdown, при этом собственная структура каждого файла не повреждена и четко отделена от следующего. Это пакетное задание, замаскированное под загрузку файла — и это тот же бесплатный инструмент, что и остальная часть пакета. Без регистрации, Ограничение 50 МБ, потом ничего не сохраняется.
Что на самом деле происходит с вашим архивом
Архив распаковывается, дерево файлов внутри просматривается сверху вниз и каждый файл с поддерживаемым именем Расширение подвергается такому же преобразованию, как и на отдельной специальной странице. PDF внутри вашего ZIP обрабатывается точно так же, как PDF-файл, загруженный напрямую. Электронная таблица становится таблицей. Колода становится слайд-за-слайдовые разделы. Затем результаты объединяются в один документ Markdown.
Две детали имеют большее значение, чем люди ожидают. Во-первых, структура папок внутри архива такая
сохраняется как контекст - ты можешь это сказать 2024/q3/board-pack.pdf пришел из другого
место, чем archive/old/board-pack.pdf, что имеет огромное значение, когда имена файлов повторяются
каталоги, и они всегда так делают. Во-вторых, архив распаковывается на месте, а не сворачивается в файл
куча. Иерархия, которую кто-то построил при организации этих файлов, сама по себе является информацией.
если его выбросить, результат будет сложнее обосновать.
Архивы смешанного формата — это нормальный случай, а не неудобный. ZIP-архив, содержащий четыре файла PDF и два файла Word. документы, электронные таблицы и презентации PowerPoint преобразуются за один раз, каждый файл обрабатывается логикой соответствующий своему формату.
Что конвертируется, а что пропускается
Все, что конвертер обрабатывает как отдельную загрузку, также работает внутри архива — PDF, DOCX, PPTX, XLSX. а также XLS, HTML, CSV, JSON, XML, EPUB, RTF, MSG и изображения. Если вы хотите точно знать, как данный тип ведет себя, отдельные страницы подробно описаны: PDF в Markdown, Слово Markdown, PowerPoint для Markdownи Excel до Markdown прикрыть четверых самые распространенные вещи, которые люди находят в рабочем архиве.
Пропускается все, без текста. Видео, аудио, шрифты, скомпилированные двоичные файлы, установщики и проприетарные форматы, не входящие в список поддерживаемых, ничего не дают и остаются в покое. Изображения заслуживают внимания, и это привлекает людей. Загруженные самостоятельно файлы изображений получают читайте правильно — текст на скриншоте или сфотографированной странице возвращается как текст. Внутри архива они нет. Пакетная передача записывает, что файл был там и перемещается дальше, поэтому ZIP-файл со скриншотами преобразуется успешно и по-прежнему выдает вам имена файлов вместо слов на экранах. Если эти слова являются точка, вытащите картинки и прокрутите их изображение для Markdown напрямую.
Вложенные архивы — ZIP внутри вашего ZIP — это еще одна вещь, которую следует проверить. Если ваш экспорт прибыл как архив архивов, распакуйте один уровень самостоятельно и перезаархивируйте содержимое перед загрузкой. Две минуты уборка, гораздо лучшая производительность.
Почему Markdown является правильным выбором для партии
В одном документе выбор Markdown вместо простого текста является суждением. Двадцать документов в одном выход, он перестает быть близким.
Причина в границах. Когда несколько файлов объединяются в один текст, сложнее всего И вы, и языковая модель знаете, где заканчивается один документ и начинается следующий. Markdown заголовков дайте вам это бесплатно — каждый файл заявляет о себе, и все, что находится под ним, явно принадлежит ему. Спросите модель «какой из этих контрактов имеет самый короткий период уведомления», и она может отвечать по каждому документу, а не размывание пунктов из трёх соглашений в один уверенный, неправильный ответ.
Структура каждого файла также сохраняется. Таблицы электронной таблицы остаются таблицами. Слайды деки остаются отдельными разделы. Нумерация статей отчета остается неизменной. Вот и весь аргумент в пользу пакетное преобразование документов в Markdown вместо простого текста: структура – это то, что делает многодокументный контекст с возможностью навигации, а не просто большой.
Исключением является массовый анализ — встраивания, поисковая индексация, работа с ключевыми словами в корпусе и т. д. вам нужна одна плоская куча прозы, а синтаксические символы — это шум. Это ZIP в тексти переключатель вверху этой страницы переключается на нее, сохраняя уже выбранный вами архив.
Архивы, которые люди действительно загружают
- Пакеты вложений электронной почты. Кто-то отправляет «все на проверку» в виде ZIP девятки. вложения. Конвертируйте лот, прочитайте краткое описание, решите, какие два вам действительно нужно открыть правильно.
- Экспорт данных. Google Takeout, экспорт рабочей области Slack, дампы рабочей области Notion и Все экспортированные данные службы поддержки поступают в виде архивов, полных вложенных папок. Это превращает дерево каталогов, которое вы бы в противном случае щелкните в течение часа, чтобы получить что-то читаемое за один проход.
- Пакеты материалов курса. Слайды лекций, раздаточные материалы и списки для чтения в одном модуле. за одну загрузку. Преобразуйте его, а затем попросите учебное пособие, составленное из реальных материалов, а не из общие знания модели по предмету.
- Передача клиентов и пакеты комплексной проверки. Экспорт комнаты данных, документ поставщика Bundle, папка передачи проекта — все это становится доступным для поиска текстом за один шаг, с папкой пути, рассказывающие вам о происхождении каждого предмета.
- Грантовые и тендерные заявки. Многодокументные ответы с приложениями, где необходимо. для проверки согласованности файлов, написанных разными людьми.
- Личные архивы. Старые папки резервных копий, о которых невозможно вспомнить. Конвертировать первое, копать второе.
Линия 50 МБ и жизнь под ней
Ограничение распространяется на загружаемый вами архив, а не на отдельные файлы внутри него. Обычно это щедро, поскольку ZIP хорошо сжимает форматы с большим количеством текста — папка с документами Word и электронными таблицами может сжиматься. резко, поэтому архивы с большим количеством файлов по-прежнему часто помещаются удобно.
Что выходит за рамки, так это средства массовой информации. Видео, аудио и изображения высокого разрешения почти не сжимаются и не сжимаются. потреблять весь бюджет, ничего не внося в результат. Если ваш архив за чертой, зачистите вытащите и повторно заархивируйте — вы не потеряете ничего, что собирались использовать. Разделите действительно большие наборы документов на два или три архива по папкам и конвертируйте их последовательно.
Другой бюджет, на который стоит обратить внимание, — это счетчик токенов под выходными данными. Пятьдесят документов преобразуются в штраф и все равно не поместится в контекстное окно небольшой модели. Знать номер перед вставкой лучше, чем узнав об ошибке, и он сообщает вам, следует ли отправлять весь пакет или обрабатывать его частями.
Если ваш ZIP действительно является проектом кода
Стоит сказать прямо, потому что это всплывает постоянно. Если вы заархивировали репозиторий или папку с исходным кодом, это
это неправильный инструмент. Используйте локальный каталог
преобразователь вместо этого — он считывает папку прямо с вашего компьютера, показывает вам дерево флажков файла.
структуру и позволяет вам точно выбрать, какие файлы будут выводиться на выходе. Это означает, что вы можете отказаться
node_modules, создавать артефакты и блокировать файлы, прежде чем они съедят все ваше контекстное окно,
а это не то, что слепое преобразование архива может вам помочь.
Проект уже где-то размещен? Полностью откажитесь от застегивания молнии — GitHub конвертер репозитория в текст тянет дерево прямо из URL-адреса.
Часто задаваемые вопросы
Как преобразовать ZIP-архив в Markdown?
Загрузите его выше, и каждый поддерживаемый файл внутри преобразуется в Markdown и объединяется, при этом пути к папкам архива сохраняются в виде заголовков. Бесплатно, 50 МБ за архив, без аккаунта. Результат один .md документ, в котором вы все еще можете видеть, какой раздел из какого файла взят.
Пути к файлам становятся заголовками?
Да, и это причина выбрать Markdown вместо плоский текст для архива. Содержимое каждого файла находится под заголовком, указывающим его путь внутри ZIP-архива, поэтому вывод остается доступным для навигации, и модель, задаваемая вопросом о конкретном документе, может найти его, а не гадать по контексту.
Обрабатываются ли вложенные архивы?
ZIP внутри ZIP рассматривается как другой поддерживаемый файл и распаковывается по очереди. Полезно для экспорта, который объединяет месячные архивы в годовой. Следует избегать очень глубокой вложенности — выходные данные становятся длинными, а уровни заголовков достигают нижнего уровня в шесть, после чего структура перестает выражаться.
В каком порядке выходят файлы?
Порядок обхода каталогов, что означает группировку файлов по папкам, а не по релевантности. Для архива со смысловой разметкой это совершенно правильно. Для плоского дампа из двухсот файлов со сгенерированными именами порядок произвольный, и вам нужно будет искать выходные данные, а не читать их сверху вниз.
Есть ли ограничение на количество файлов внутри?
Практическим ограничением является ограничение размера архива в 50 МБ, а не количество файлов, но следите за счетчиком токенов под выходными данными. Несколько сотен документов могут в несколько раз превосходить большинство контекстных окон модели, поэтому зачастую лучше преобразовать нужное подмножество, чем создавать корпус, который нельзя никуда вставить.
Остальная часть инструментария
File2Txt обрабатывает все тринадцать поддерживаемые форматы из одного места, если вы не хотите выбирать страницу. И тот руководство по подготовке файлов для LLM дает более широкий аргумент в пользу конвертации, прежде чем вы подскажете.
Repo2Txt создан и поддерживается v12hero, независимый разработчик, создающий собственные и веб-приложения, ориентированные на конфиденциальность.