跳到正文

Model Gateway

模型从哪来,算给谁

AI 产品真正的可变成本是模型调用。把它收进一个网关,才谈得上「统一供给、统一计量、密钥不落地」。

部分完成

客户端侧的多模型接入已上线;网关侧的统一计量与配额仍在建设。

两种模式

你可以用我们的模型,也可以用自己的

不是二选一 —— 同一套系统里,敏感岗位走本地,其余走云端。

云端模型(运营方供给)

已上线

好处:开箱即用,不用自己申请 API Key、不用管额度和账单。

代价:密钥在服务端,不下发到客户端 —— 你的员工拿不到,也就漏不出去。

本地模型(自托管 Ollama)

已上线

好处:数据不出内网,适合有保密要求的场景。

代价:需要一台带显卡的机器;模型能力上限取决于你选的开源模型。

网关做了什么

它不只是转发请求

同样的一次对话,走技术岗和走市场岗,背后可以是完全不同的模型。

客户端不接触密钥

已上线

云端大模型由运营方统一下发,密钥不落到客户机器上。

按角色分模型

已上线

技术岗配代码模型、市场岗配文案模型,在员工名片上直接切换。

本地模型自托管

已上线

可接自己的 Ollama,敏感数据不出内网。

统一计量与配额

部分完成

调用量、成本、配额在一处结算,和订阅打通。

两个必须正面回答的问题

我的数据、我的账单

这两件事说不清楚,产品做得再好也不敢上生产。

数据

  • · 客户端不持有云端模型密钥,密钥在服务端。
  • · 需要完全不出网的场景,走本地 Ollama。
  • · 经营数据(客户、任务、产出物)存在你自己的客户端与租户空间里,可以整体导出带走。
  • · 云端模型由第三方模型厂商提供,其数据处理受各自条款约束 —— 这一条我们不替他们打包票。

费用

  • · 模型用量按订阅档位包含额度,不是按次另计。
  • · 用超了会先提示,不会静默扣款。
  • · 本地模型的调用不计入额度 —— 那是你自己的电费。
  • · 统一计量与配额仍在建设中(见页首状态),当前以各产品内的额度展示为准。

具体档位与额度还没定价发布。需要报价请联系我们