云端模型(运营方供给)
已上线好处:开箱即用,不用自己申请 API Key、不用管额度和账单。
代价:密钥在服务端,不下发到客户端 —— 你的员工拿不到,也就漏不出去。
Model Gateway
AI 产品真正的可变成本是模型调用。把它收进一个网关,才谈得上「统一供给、统一计量、密钥不落地」。
客户端侧的多模型接入已上线;网关侧的统一计量与配额仍在建设。
两种模式
不是二选一 —— 同一套系统里,敏感岗位走本地,其余走云端。
好处:开箱即用,不用自己申请 API Key、不用管额度和账单。
代价:密钥在服务端,不下发到客户端 —— 你的员工拿不到,也就漏不出去。
好处:数据不出内网,适合有保密要求的场景。
代价:需要一台带显卡的机器;模型能力上限取决于你选的开源模型。
网关做了什么
同样的一次对话,走技术岗和走市场岗,背后可以是完全不同的模型。
云端大模型由运营方统一下发,密钥不落到客户机器上。
技术岗配代码模型、市场岗配文案模型,在员工名片上直接切换。
可接自己的 Ollama,敏感数据不出内网。
调用量、成本、配额在一处结算,和订阅打通。
两个必须正面回答的问题
这两件事说不清楚,产品做得再好也不敢上生产。
具体档位与额度还没定价发布。需要报价请联系我们。