تحويل مستودع GitLab إلى نص: ملف واحد يستطيع LLM قراءته فعلًا
يعد لصق التعليمات البرمجية في ملف واحد في نافذة الدردشة في كل مرة طريقة سيئة لقضاء فترة ما بعد الظهر. النموذج يجيب على كل سؤال من خلال عرض تفصيلي لمشروعك، وسيظل عليك أن تقول "انتظر، هذا هو يتم استيراد ملف آخر"، وبحلول الوقت الذي يكتمل فيه السياق، تكون المحادثة قد انحرفت جانبًا. الإصلاح ممل وفعال: أعطه كامل الشريحة ذات الصلة من المستودع مقدمًا، في شريحة واحدة كتلة من النص.
وهذا ما تفعله هذه الصفحة. إنه أقصر مسار من مستودع GitLab إلى سياق LLM: الصق
https://gitlab.com/... عنوان URL للمشروع، تقوم الأداة بقراءة ملف
شجرة المستودع من خلال واجهة برمجة التطبيقات GitLab، وستحصل على شجرة مربعات اختيار لكل ملف. ضع علامة على ما يهم،
قم بإلغاء تحديد ما لا يحدث، ثم اضغط على إنشاء. تأتي خريطة الدليل متبوعة بالمحتويات الكاملة للملفات
اخترت، مع عدد رمزي حتى تعرف ما إذا كان مناسبًا أم لا. انسخه أو قم بتنزيله كنص أو احصل على
الملفات المحددة كملف ZIP.
الصق عنوان URL الذي تبحث عنه بالفعل
لا يوجد معرف مشروع للبحث عنه ولا يوجد حقل اسم منفصل. انسخ عنوان URL من متصفحك
شريط العناوين والصقه فيه. تعمل المجموعات الفرعية المتداخلة — عادة GitLab هي دفن مشروع ثلاثة أو أربعة
مستويات عميقة تحت company/platform/services/billing يتم التعامل معها، لأن مسار المشروع
يحصل على ترميز URL قبل أن يصل إلى واجهة برمجة التطبيقات.
إذا كان عنوان URL الذي نسخته يتضمن فرعًا أو علامة، فسيتم استخدام هذا المرجع. إذا كان مجرد عنوان URL للمشروع فقط، فإن ملف
يتم حل الفرع الافتراضي للمشروع تلقائيًا، لذلك لا تحتاج إلى تذكر ما إذا كان هذا خاصًا أم لا
استقر الريبو على main، masterأو develop. تم جلب الشجرة
بشكل متكرر ومرقّم، وهو أمر مهم أكثر مما يبدو - يتم تشغيل الكثير من GitLab monorepos
آلاف الملفات، وطلب واحد غير مرقّم سيمنحك بهدوء مشروعًا مقطوعًا.
المشاريع الخاصة، وأين يذهب الرمز المميز الخاص بك بالضبط
المشاريع العامة لا تحتاج إلى شيء. للحصول على رمز خاص، أضف GitLab رمز وصول شخصي وسيتم إرساله كـ
PRIVATE-TOKEN رأس على طلبات
واجهة برمجة تطبيقات GitLab.
إن توخي الحذر بشأن لصق رمز مميز في أداة ويب هو أمر بديهي صحيح، لذا إليك الإصدار البسيط:
يتم تخزين الرمز المميز في متصفحك localStorage وتستخدم فقط للاتصال
gitlab.com مباشرة من المتصفح الخاص بك. ولا يتم إرساله إلى أي خادم خاص بنا، لأن
لا يتم توجيه الطلبات من خلال واحدة.
نطاق القراءة فقط هو كل ما يحتاجه — read_api أو read_repository. لا تسليمها
لن يتم استخدام حق الوصول للكتابة أبدًا، وقم بتعيين تاريخ انتهاء الصلاحية أثناء تواجدك في شاشة الرمز المميز. إنه يستحق أيضًا
إضافة رمز مميز حتى لعمليات إعادة الشراء العامة: تكون المكالمات غير المصادق عليها إلى واجهة برمجة التطبيقات GitLab محدودة السعر، لذلك إذا
أنت تقوم بسحب مشروع كبير أو إعادة تشغيل نفس التحويل عدة مرات، وهو طلب مصادق عليه
هو الفرق بين الجلب السلس وجدار الأخطاء.
الإدارة الذاتية GitLab: الإجابة الصادقة
هذه الأداة تتحدث إلى gitlab.com وفقط gitlab.com. ليس هناك مجال للعرف
مثيل URL، واللصق gitlab.yourcompany.internal لن ينجح. إذا كنت على استضافة ذاتية
أو مثيل مُدار ذاتيًا، هذا رقم مستقيم.
والخبر السار هو أن الإجابة الأفضل للمثيل المُدار ذاتيًا لم تكن أبدًا استدعاء واجهة برمجة التطبيقات (API) على أي حال. استنساخ الريبو - لديك بيانات اعتماد بالفعل - وأشر إلى محول الدليل المحلي في المجلد. فهو يقرأ الملفات من خلال واجهات برمجة تطبيقات الملفات الخاصة بالمتصفح، بحيث لا يتم تحميل أي شيء ولا يترك أي شيء جهازك. بالنسبة لمثيل خاص موجود خلف جدار الحماية الخاص بالشركة، فهذا هو الإصدار الذي سيستخدمه فريق الأمان لديك لقد طلبت بغض النظر. نفس شجرة مربع الاختيار، نفس الإخراج، نفس عدد الرموز المميزة. يستغرق أيضًا ملف ZIP إذا تفضل تصدير أرشيف بدلاً من استنساخه.
ما يجب تحديده، وما يجب تركه
يبدأ فحص كل شيء، وهو اختيار خاطئ لكل مشروع حقيقي تقريبًا. الغريزة متى إن تحويل GitLab الريبو إلى نص هو أخذ كل ذلك؛ مقاومة ذلك. تفريغ الريبو مفيد هي ميزانية منسقة - الميزانية المميزة التي تنفقها على الضوضاء المتولدة هي الميزانية التي لا ينفقها النموذج على الكود الفعلي. قم بإلغاء تحديد هذه أولاً:
- التبعيات التي تم بيعها وتثبيتها —
node_modules،vendor،.venv، أي شيء تم تسجيله من سجل الحزمة. النموذج يعرف بالفعل ما هو Express يبدو. - ملفات القفل.
package-lock.json،yarn.lock،poetry.lock،Gemfile.lock. يمكن أن يحتوي ملف القفل على عشرات الآلاف من الرموز المميزة التجزئات ودبابيس الإصدار التي لا تجيب على أي سؤال يطرحه أي شخص على الإطلاق. احتفظ بالبيان، وأسقط القفل. - بناء المخرجات والأصول المصغرة —
dist،build،.next، الحزم المجمعة، خرائط المصدر. إنها التعليمات البرمجية الخاصة بك، والتي تم إعادة صياغتها في شكل لا يمكن لأي شيء القيام بذلك سبب حول. - لقطات وتركيبات. تتكرر تركيبات الاختبار الكبيرة وملفات اللقطات تصميم. فاز اثنان من الممثلين على الأربعمائة.
- الهجرة، في الغالب. دليل المخطط مع ست سنوات من عمليات الترحيل المتزايدة هو يستحق تضمينه فقط عندما يتعلق السؤال بتاريخ الهجرة نفسه.
احتفظ بالأشياء التي تشرح النية: الملفات المصدر، وملف README، والبيان، و
.gitlab-ci.yml. هذا الأخير هو حقًا نصيحة بنكهة GitLab - تكوين CI هو المكان
خطوات البناء واختبار الأوامر ونشر الأهداف وافتراضات البيئة كلها موجودة في مكان واحد. قم بتضمينها
ويمكن للنموذج الإجابة على "لماذا يفشل هذا في CI ولكنه يمر محليًا" بدلاً من التخمين.
تبديل عرض الدليل هو النصف الآخر من هذا. تحولت إلى كامل، يتضمن الإخراج
تم وضع علامة على بنية المستودع الكاملة مع الملفات المحددة، بحيث يمكن للنموذج أن يرى ذلك أ
payments الوحدة موجودة على الرغم من أنك لم تقم بتضمينها — سياق مفيد ورخيص في الرموز المميزة.
تحولت إلى تمت تصفيته، سيظهر فقط ما حددته. عادةً ما يكون الخيار الكامل هو الخيار الافتراضي الأفضل
عندما تختار خدمة واحدة من بين monorepo؛ تكون التصفية أكثر ترتيبًا عند إرسال رسالة مركزة
حفنة من الملفات.
الوظائف التي يعد هذا أمرًا جيدًا بالفعل
- الهبوط في مشروع غير مألوف. حدد الدليل المصدر، وREADME، وCI config، ثم اطلب شرحًا تفصيليًا لنقاط الدخول وأماكن تدفق الطلب بمجرد وصوله. عشرون دقيقة من التوجيه، مضغوطة في موجه واحد.
- مراجعة طلب الدمج مع البيئة المحيطة به. يخبرك الفرق بما تغير؛ ذلك لا يخبرك بما يستدعي الوظيفة التي تغيرت. قم بتصدير الدليل الذي تم لمسه وملفه الجيران، قم بلصق الفرق بجانبه، وستحصل على تعليقات المراجعة حول العواقب بدلاً من أسلوب.
- كتابة الوثائق لم يكتب أحد. أدخل وحدة نمطية واطلب README، و ملاحظة معمارية، أو سلاسل مستندات تتوافق مع اصطلاحات الكود الحالية بدلاً من اختراعها جديدة.
- توليد الاختبارات. قم بتضمين الوحدة بالإضافة إلى ملفين أو ثلاثة ملفات اختبار موجودة. ال الجزء الثاني هو ما يجعل المخرجات قابلة للاستخدام - يقوم النموذج بنسخ التركيبات والتسمية والتأكيد الخاصة بك الأسلوب بدلاً من إنتاج شيء لا يناسب المجموعة.
- أعمال الهجرة والترقية. المطبات إصدار الإطار، إعادة كتابة اللغة، مبادلة ORM. تحتاج هذه إلى رؤية قاعدة التعليمات البرمجية الكاملة لالتقاط كل موقع اتصال، وهو بالضبط ما يفعله موقع واحد يمنحك تصدير النص.
- عمليات التدقيق. اسأل أين تتم قراءة الأسرار، أو نقاط النهاية التي تتخطى المصادقة، أو ما الذي لا يزال يصل إلى ملف واجهة برمجة التطبيقات الداخلية المهملة. أسئلة واسعة مثل هذه لا يمكن الإجابة عليها ملفًا تلو الآخر.
في معظمها، الجزء المثير للاهتمام هو دليل خدمة واحد وليس المجموعة بأكملها. حدد ذلك
الشجرة الفرعية، واترك الباقي، وتحقق من عدد الرموز المميزة قبل اللصق - يتم إنشاؤها باستخدام الملف
gpt-tokenizer Library، لذا فهو عدد حقيقي يمكنك مقارنته بسياق النموذج الخاص بك
نافذة بدلا من التخمين. إنها نفس النتيجة سواء قمت بتصدير رمز GitLab لتمرير مراجعة الذكاء الاصطناعي أو
قم بتحويل مشروع GitLab إلى ملف نصي لـ ChatGPT أو Claude أو Gemini - ملف واحد، ويمكنك قراءته
قبل أن ترسله.
الملفات الموجودة بجوار التعليمات البرمجية الخاصة بك
المستودعات ليست ملفات مصدر فقط. يتم الالتزام بالتكوين والمخططات والبيانات الأولية والمواصفات جنبًا إلى جنب مع و البعض منهم يقرأ بشكل سيء عندما يتم إغراقه خامًا. تصبح التنسيقات المنظمة أفضل مثل Markdown: JSON إلى Markdown للتكوين و حمولات واجهة برمجة التطبيقات، XML إلى Markdown ل ملفات Maven وAndroid وملفات SOAP القديمة التي لم تختفي أبدًا، CSV إلى Markdown لبيانات البذور و الصادرات، و HTML إلى Markdown ل القوالب والمستندات التي تم إنشاؤها. المواصفات التي وصلت ك قوات الدفاع الشعبي تحويل أيضا، و أرشيف مضغوط يمكن تسطيحها بشكل مستقيم في النص. File2Txt يتعامل مع الكثير إذا كنت تفضل عدم اختيار صفحة.
الأسئلة المتداولة
كيف أقوم بتحويل مستودع GitLab إلى ملف نصي؟
الصق عنوان URL للمشروع أعلاه وسيتم تحميل شجرة الملفات كقائمة مربعات اختيار. حدد الملفات التي تريدها وقم بتصدير ملف نصي واحد مع بنية الدليل في الأعلى وكل ملف في الأسفل، برئاسة مساره. مجاني، بدون تثبيت، بدون اشتراك.
هل يعمل مع GitLab المستضاف ذاتيًا؟
تعرض المثيلات المُدارة ذاتيًا واجهة REST API نفسها مثل gitlab.com، لذا فإن المثيل الذي يمكن الوصول إليه يتصرف بنفس الطريقة. المشكلة هي الوصول إلى الشبكة - لا يمكن الوصول إلى مثيل خلف شبكة VPN خاصة بالشركة أو شبكة خاصة من علامة تبويب المتصفح الخاص بك، ولن يغير ذلك أي قدر من الرموز المميزة. بالنسبة لهؤلاء، قم باستنساخ المشروع واستخدام محول المجلد المحلي.
كيف أقوم بتحويل مشروع خاص GitLab؟
توفير رمز وصول شخصي مع read_repository النطاق. قم بإنشائه ضمن التفضيلات → رموز الوصول، وامنحه أقصر مدة صلاحية تغطي جلستك، ثم احذفه بعد ذلك. كل ما يحتاجه هذا هو القراءة فقط - الرمز المميز ذو نطاق الكتابة أو نطاق واجهة برمجة التطبيقات (API) هو عرض أكثر مما تتطلبه المهمة.
لماذا استخدام هذا بدلا من استنساخ الريبو؟
يؤدي الاستنساخ إلى حصولك على شجرة عاملة، وهو الشكل الخاطئ للمهمة. ما يريده النموذج هو مستند واحد يحتوي على البنية والمحتويات معًا، مع إزالة التشويش. يقوم الاستنساخ أيضًا بسحب السجل الكامل وكل تبعية - عادةً ما تكون وحدات البايت أكبر بكثير من المصدر الذي تريد التفكير فيه بالفعل.
هل يتعامل مع المجموعات الفرعية ومسارات المشروع المتداخلة؟
نعم. تعني بنية المجموعة المتداخلة GitLab أن مسارات المشروع تعمل على عدة أجزاء بعمق، والمسار الكامل هو ما يحدد المشروع - الصق عنوان URL الكامل من شريط عناوين المتصفح الخاص بك بدلاً من تجميع واحد يدويًا، وسيتم حل البحث بشكل صحيح.
هل يمكنني تحويل طلب دمج مختلف بدلاً من المشروع بأكمله؟
ليس من هذه الصفحة - فهو يعمل على شجرة المستودع في مرجع معين. بالنسبة إلى أعمال المراجعة، فإن النمط المعتاد هو تحويل الملفات التي يمسها طلب الدمج، ولصقها كسياق، ثم لصق الفرق نفسه أسفلها. يحتاج النموذج إلى الكود المحيط به للحكم على التغيير، ونادرًا ما يوفره الاختلاف وحده.
كل شيء آخر في مجموعة الأدوات
الرمز على GitHub بدلاً من ذلك؟ ال GitHub إعادة إرسال النص محول يعمل بنفس الطريقة. فقط على جهازك، أو على نسخة مُدارة ذاتيًا قمت باستنساخها؟ استخدم ال محول الدليل المحلي. بحاجة إلى موقع التوثيق بدلا من المصدر الذي ينشئه؟ Web2Txt يستخرج عنوان URL إلى Markdown.
بالنسبة للحجج الأطول وراء كل هذا، هناك دليل تغذية المستودع في نموذج الذكاء الاصطناعي، واحد على تحويل قاعدة التعليمات البرمجية إلى ملف جاهز LLM، أ الدليل الكامل لتحويل المستودعات لـ LLMs، وقطعة أوسع على إعداد الملفات لأدوات الذكاء الاصطناعي.
تم إنشاء Repo2Txt وصيانته بواسطة v12hero، مطور مستقل يبني تطبيقات أصلية وتطبيقات ويب تهتم بالخصوصية أولاً.