AI 与 LLM 基础设施

面向生产环境的 AI 与 LLM 基础设施

面向 LLM 和智能体的生产基础设施:加固的 GPU 节点、模型服务、检索和工具集成,以生产环境所要求的护栏和可观测性来运行。

我做什么

  • 运行在加固 Linux GPU 节点上的 Kubernetes:内核、驱动和容器运行时调优
  • 面向推理和批处理工作负载的 GPU 感知调度、放置和自动扩缩容
  • 基于 vLLM 和 Ollama 的模型服务,配有服务控制和部署护栏
  • 检索增强生成(RAG)流水线与向量数据库
  • Model Context Protocol(MCP)服务器,让 LLM 安全、只读地访问基础设施数据
  • 面向 LLM 平台的租户隔离、自助服务 API、运行手册和可观测性

我的方法

AI 工作负载本质上是基础设施工作负载,只是更加棘手:昂贵的硬件、突发的需求和新的故障模式。我以对待任何生产系统同样的严谨来对待它们,从容量规划到值班运行手册。

有用的 AI 需要安全地访问真实数据。相比宽泛的访问权限,我更倾向于 MCP 这类窄而只读的工具接口、明确的权限和完整的审计跟踪。

过往业绩

  • 使用 Terraform、Ansible 和 AWS 在加固的 Linux GPU 节点上设计了基于 Kubernetes 的 AI 基础设施,包括 GPU 感知放置和自动扩缩容。

    Mercor
  • 使用 RAG、向量数据库、vLLM / Ollama 和 MCP 集成构建了生产级 LLM 和智能体平台。

    Mercor
  • 发布了一个 NetBox MCP 服务器和聊天机器人,让自托管的 LLM 能够回答有关网络基础设施的问题。

    开源

相关项目

常见问题

大家常问的问题

Jad Seifeddine 构建哪些 AI 基础设施?

Jad 构建生产级 LLM 和智能体平台:运行在加固 Linux GPU 节点上的 Kubernetes、GPU 感知调度与自动扩缩容、基于 vLLM 和 Ollama 的模型服务、配合向量数据库的 RAG 流水线,以及 Model Context Protocol(MCP)集成,并配备运行手册和护栏。

什么是 MCP 服务器?Jad Seifeddine 构建过吗?

Model Context Protocol(MCP)服务器通过标准接口向 LLM 提供工具和数据。Jad 发布了一个 NetBox MCP 服务器和聊天机器人,让自托管、兼容 OpenAI 接口的 LLM 能用自然语言查询 NetBox 中的设备、站点、IP 地址和变更历史。

有棘手的基础设施问题?

有选择地承接咨询、合同和顾问工作。告诉我你在构建什么,以及哪里出了问题。