组织何时需要本地部署的私有化 LLM？

基于大语言模型（LLM）的 AI 助手能用日常语言回答问题。问题在于，许多组织不能把内部文档上传到公共 AI 服务。这正是本地部署的私有化 LLM 发挥作用的地方。

什么是本地部署的私有化 LLM？

AI 模型和您的文档运行在组织自有的服务器上——办公室、数据中心或私有云。问题和答案都不会离开您的网络。

这类系统通常采用检索（retrieval）方式：先为内部文档建立索引，AI 再根据相关的文档片段作答，并附上引用来源。

您的组织需要它的信号

• 答案就在 SOP、法规或合同里，但要花很长时间才能找到。
• 同一个团队不断回答同样的问题。
• 文档较为敏感，不能在公共服务上处理。
• 各部门的文档访问权限各不相同。

需要准备什么

• 文档集：希望能被提问的文档，以及各自的负责人。
• 访问权限：谁可以查看哪些文档。
• 服务器：根据用户数量和文档规模测算需求。
• 答案测试：与熟悉文档内容的团队一起进行。

关键管控

确保每个问题及答案来源都有记录（审计日志），并且用户只能获得其有权查看的文档中的答案。

从小处着手

选择一个部门和一组文档，例如运营 SOP。评估答案是否真正有帮助，再扩展到其他部门。sentrAI 设计为 100% 本地部署运行。