الذكاء الاصطناعي والبنية التحتية لـ LLM

بنية تحتية للذكاء الاصطناعي وLLM من أجل الإنتاج

بنية تحتية إنتاجية لنماذج LLM والوكلاء: عقد GPU مقوّاة، وخدمة النماذج، والاسترجاع، وتكاملات الأدوات، تُشغَّل بضوابط الحماية وقابلية الرصد التي يتطلّبها الإنتاج.

ما أعمله

  • Kubernetes على عقد GPU بنظام Linux مقوّى: ضبط النواة والتعريفات وبيئة تشغيل الحاويات
  • جدولة وتوزيع وتوسّع تلقائي مدركة لوحدات GPU لأحمال عمل الاستدلال والمعالجة الدُفعية
  • خدمة النماذج باستخدام vLLM وOllama، مع ضوابط للخدمة وضوابط حماية للنشر
  • مسارات التوليد المعزّز بالاسترجاع (RAG) وقواعد البيانات المتجهية
  • خوادم Model Context Protocol (MCP) تمنح نماذج LLM وصولًا آمنًا للقراءة فقط إلى بيانات البنية التحتية
  • عزل المستأجرين وواجهات API للخدمة الذاتية وأدلة التشغيل وقابلية الرصد لمنصات LLM

كيف أتعامل معه

أحمال عمل الذكاء الاصطناعي هي أحمال عمل بنية تحتية ذات حوافّ أكثر حدّة: عتاد مكلف، وطلب يأتي على دفعات، وأنماط فشل جديدة. أتعامل معها بالصرامة نفسها التي أتعامل بها مع أي نظام إنتاجي، من تخطيط السعة إلى أدلة تشغيل المناوبة.

الذكاء الاصطناعي النافع يحتاج إلى الوصول إلى بيانات حقيقية، بأمان. وأفضّل واجهات أدوات ضيّقة للقراءة فقط مثل MCP، وصلاحيات صريحة، وسجلات تدقيق كاملة، على الوصول الواسع.

سجل الإنجازات

  • تصميم بنية تحتية للذكاء الاصطناعي قائمة على Kubernetes على عقد GPU بنظام Linux مقوّى باستخدام Terraform وAnsible وAWS، بما في ذلك توزيع وتوسّع تلقائي مدركان لوحدات GPU.

    Mercor
  • بناء منصات LLM ووكلاء إنتاجية باستخدام RAG وقواعد البيانات المتجهية وvLLM / Ollama وتكاملات MCP.

    Mercor
  • نشر خادم MCP لـ NetBox وروبوت محادثة يتيح لنموذج LLM مستضاف ذاتيًا الإجابة عن أسئلة حول بنية الشبكة التحتية.

    مفتوح المصدر

مشاريع ذات صلة

الأسئلة الشائعة

أسئلة يطرحها الناس

ما بنية الذكاء الاصطناعي التحتية التي يبنيها Jad Seifeddine؟

يبني Jad منصات LLM ووكلاء إنتاجية: Kubernetes على عقد GPU بنظام Linux مقوّى، وجدولة وتوسّع تلقائي مدركان لوحدات GPU، وخدمة النماذج باستخدام vLLM وOllama، ومسارات RAG بقواعد بيانات متجهية، وتكاملات Model Context Protocol (MCP)، مع أدلة تشغيل وضوابط حماية.

ما خادم MCP، وهل بنى Jad Seifeddine واحدًا؟

يعرض خادم Model Context Protocol (MCP) الأدوات والبيانات لنموذج LLM عبر واجهة معيارية. ونشر Jad خادم MCP لـ NetBox وروبوت محادثة يتيحان لنموذج LLM مستضاف ذاتيًا ومتوافق مع OpenAI الاستعلام عن الأجهزة والمواقع وعناوين IP وسجل التغييرات في NetBox بلغة طبيعية.

هل لديك مشكلة صعبة في البنية التحتية؟

منفتح على أعمال استشارية وتعاقدية وإرشادية مختارة. أخبرني بما تبنيه وأين يؤلمك.