NetBox MCP 服务器与聊天机器人
用自然语言向你的网络提问,由自托管 LLM 从 NetBox 中给出答案。
AI 与 LLM 基础设施
面向 LLM 和智能体的生产基础设施:加固的 GPU 节点、模型服务、检索和工具集成,以生产环境所要求的护栏和可观测性来运行。
AI 工作负载本质上是基础设施工作负载,只是更加棘手:昂贵的硬件、突发的需求和新的故障模式。我以对待任何生产系统同样的严谨来对待它们,从容量规划到值班运行手册。
有用的 AI 需要安全地访问真实数据。相比宽泛的访问权限,我更倾向于 MCP 这类窄而只读的工具接口、明确的权限和完整的审计跟踪。
使用 Terraform、Ansible 和 AWS 在加固的 Linux GPU 节点上设计了基于 Kubernetes 的 AI 基础设施,包括 GPU 感知放置和自动扩缩容。
Mercor使用 RAG、向量数据库、vLLM / Ollama 和 MCP 集成构建了生产级 LLM 和智能体平台。
Mercor发布了一个 NetBox MCP 服务器和聊天机器人,让自托管的 LLM 能够回答有关网络基础设施的问题。
开源用自然语言向你的网络提问,由自托管 LLM 从 NetBox 中给出答案。
常见问题
Jad 构建生产级 LLM 和智能体平台:运行在加固 Linux GPU 节点上的 Kubernetes、GPU 感知调度与自动扩缩容、基于 vLLM 和 Ollama 的模型服务、配合向量数据库的 RAG 流水线,以及 Model Context Protocol(MCP)集成,并配备运行手册和护栏。
Model Context Protocol(MCP)服务器通过标准接口向 LLM 提供工具和数据。Jad 发布了一个 NetBox MCP 服务器和聊天机器人,让自托管、兼容 OpenAI 接口的 LLM 能用自然语言查询 NetBox 中的设备、站点、IP 地址和变更历史。