AI Gateway 使用指南

前言

本指南旨在为企业用户提供云器 AI Gateway 产品的全面使用指导，涵盖产品核心功能、详细操作流程、最佳实践及常见问题解答。云器 AI Gateway 是云器平台推出的企业级 AI 网关服务，提供统一的多模型 API 管理、智能路由调度、BYOK（Bring Your Own Key）模型接入、用量统计分析及权限管理等核心能力，帮助企业简化多厂商大模型集成流程，降低运维复杂度，保障 AI 服务的稳定性、安全性与可观测性。

一、产品介绍

1.0 什么是 AI Gateway

AI Gateway（AI 网关 / LLM 网关） 是专门面向大模型服务的流量治理中间件，充当 AI 应用程序与多种 AI 模型服务之间的统一接入层和控制平面。

你可以把它想象成企业 AI 能力的"智能前台"：所有 AI 调用请求都先经过网关，由网关统一决定谁可以用、能用多少、用哪个模型、花多少钱、安不安全，最终将处理后的结果返回给应用。

AI Gateway 与传统 API 网关的区别：AI Gateway 不是传统 API 网关的简单升级，而是针对大模型服务的特性（长连接、大带宽、高延迟、流式传输、Token 计费）设计的全新组件：

对比维度	AI Gateway	传统 API Gateway
核心目标	大模型流量治理与 AI 能力管控	通用 API 流量转发与管理
计费单位	Token 级精确计量	请求次数 / 带宽
流量特性	长连接、流式传输、大 Payload	短连接、请求-响应模式
核心能力	语义缓存、模型路由、内容安全	负载均衡、限流、鉴权
协议支持	OpenAI API、Anthropic API 等 AI 专属协议	HTTP、gRPC、WebSocket 等通用协议

工作原理：

接入层处理：接收应用的 HTTP/gRPC 请求，执行身份认证和基础参数验证
请求预处理：进行敏感信息脱敏、提示词安全检查、配额校验
智能路由决策：根据路由规则和实时状态选择最优的模型服务
上游转发：将标准化后的请求转发给选定的模型服务，网关统一管理 API 密钥
响应处理：接收模型的流式响应，执行内容安全审核，统计 Token 用量
结果返回：将处理后的响应返回给客户端，同时记录日志和监控数据

AI Gateway 是云器平台专为企业级 AI 应用打造的统一接入与管理网关，是企业 AI 基础设施的核心枢纽。它向上承接企业内部各类 AI 应用（智能客服、内容生成、代码辅助、数据分析等），向下统一对接国内外主流大模型厂商、行业垂直模型及企业自有模型。

在当前企业 AI 落地的普遍痛点下，云器 AI Gateway 解决了以下核心问题：

接口碎片化：不同厂商提供的 API 接口规范不一致，企业需要为每个厂商单独开发适配代码，维护成本高
运维复杂度高：多模型并行使用时，缺乏统一的监控、告警与故障排查机制
成本不可控：无法按团队、项目、应用维度精细化管控 AI 用量，容易出现超额消费
数据安全风险：多渠道调用模型时，数据泄露风险增加，缺乏统一的安全管控与审计能力
灵活性不足：切换模型厂商或新增模型时，需要修改业务代码，影响业务连续性

通过云器 AI Gateway，企业可以实现 "一次接入、全局使用"，大幅降低 AI 应用的开发与运维成本，提升 AI 服务的稳定性、安全性与可观测性。

1.2 产品核心价值

云器 AI Gateway 为企业带来四大核心价值：

降本增效：统一 API 接口，减少多模型适配开发工作量；智能路由策略自动选择最优性价比模型，降低AI调用成本
统一管控：集中管理所有模型资源与调用权限，实现 "一个平台管所有 AI"
灵活扩展：支持快速接入新的模型厂商与自定义模型，无需修改业务代码，随业务需求灵活扩展

1.3 核心优势

1.3.1 多模型统一接入

全厂商覆盖：支持阿里云百炼、字节跳动豆包、AWS Bedrock等国内外主流大模型厂商
标准接口兼容：提供 100% 兼容 OpenAI 的 REST API 接口，原有基于 OpenAI 开发的业务代码无需修改，只需替换 API 端点与密钥即可无缝切换
多模态支持：全面支持文本生成、图像理解、语音识别与合成、代码生成等多模态能力
模型版本管理：统一管理不同版本的模型，支持平滑升级与回滚

1.3.2 智能路由与负载均衡

多维度路由策略：支持基于价格、吞吐量、延迟、地域等多维度的智能路由
- 价格优先：自动选择当前可用的价格最低的供应商，最大化成本效益
- 吞吐优先：自动选择吞吐量最高的供应商，应对高并发场景
- 延迟优先：自动选择延迟最低的供应商，保障用户体验

1.3.3 BYOK 无缝集成

多供应商支持：目前支持阿里云百炼 - 北京、AWS Bedrock US-EAST-1、BytePlus AP-SOUTHEAST等主流供应商的 BYOK 接入
零代码集成：只需在平台中输入你的第三方 API 密钥，即可完成自有模型的接入，无需任何开发工作
独立账单体系：使用 BYOK 模型时，账单直接走你自己的第三方供应商账户，平台不收取任何额外费用
统一管理体验：BYOK 模型与平台内置模型享有完全一致的管理体验，支持统一的路由、监控与用量统计

1.3.4 精细化用量管理

多维度用量统计：支持按模型、账户、API Key、用户、时间等多个维度统计 Token 消耗
细粒度限额控制：支持为每个 API Key 设置独立的 Token 限额与有效期，防止意外超额消费
实时用量监控：实时展示 Token 消耗趋势，支持用量阈值告警
成本分摊与分析：自动生成多维度成本分析报表，支持按团队、项目进行成本分摊
数据导出：支持将所有用量数据导出为 Excel 格式，便于企业内部财务核算

1.3.5 企业级安全管控

细粒度权限管理：支持基于角色的访问控制（RBAC），不同用户拥有不同的操作权限

1.4 核心功能模块

云器 AI Gateway 包含以下五大核心功能模块，对应左侧导航栏菜单：

功能模块	核心能力	业务价值
API KEY 管理	密钥创建 / 编辑 / 删除 / 禁用、有效期配置、Token 限额设置、路由策略绑定、批量操作、用量查看	实现不同业务、不同团队之间的权限隔离与用量管控
模型广场	模型展示与搜索、模型详情查看、调用示例一键复制、模型运行状态监控	快速了解平台支持的模型能力，获取集成代码，监控模型运行状态
BYOK	第三方供应商管理、自有密钥配置、模型选择、连通性测试、BYOK 模型管理	无缝接入企业自有第三方模型服务，保留原有账户与账单体系
用量统计	多维度用量查询、趋势分析、明细查看、数据导出、成本分析	全面了解 AI 成本构成，实现精细化成本管控与分摊
权限管理	用户授权、角色管理、权限回收	保障平台安全，实现不同用户的权限隔离

1.5 适用场景

云器 AI Gateway 采用云原生分布式架构，分为接入层、路由层、模型层、管控层四个层次：

接入层：提供统一的 API 接入端点，负责请求鉴权、流量控制、协议转换
路由层：核心智能路由引擎，负责根据路由策略将请求转发到最优的模型接入点
模型层：对接各类模型厂商的 API 接口，负责请求转发与响应处理
管控层：提供 API Key 管理、模型管理、BYOK 管理、用量统计、权限管理等管控功能

1.6 适用场景

1.6.1 企业多模型统一管理场景

业务痛点：企业同时使用多家厂商的大模型，每个厂商都有独立的 API 接口、密钥管理与计费体系，开发与运维复杂度高，成本难以管控。

解决方案：通过云器 AI Gateway 统一接入所有模型，提供标准化 API 接口，实现集中的密钥管理、路由调度、用量统计与监控告警。

1.6.2 AI 应用快速开发场景

业务痛点：开发者需要花费大量时间学习不同厂商的 API 文档，编写适配代码，开发周期长，效率低。

解决方案：云器 AI Gateway 提供 100% 兼容 OpenAI 的标准 API 接口，开发者只需学习一套接口规范，即可调用所有模型。平台还提供丰富的调用示例与 SDK，进一步降低开发门槛。

1.6.3 AI 成本精细化管控场景

业务痛点：企业 AI 成本快速增长，但无法准确统计每个团队、每个项目的 AI 用量，成本分摊困难，容易出现超额消费。

解决方案：云器 AI Gateway 支持为每个团队、每个项目创建独立的 API Key，并设置独立的 Token 限额。平台提供多维度的用量统计与成本分析报表，帮助企业实现精准的成本分摊与管控。

1.6.4 自有模型接入场景

业务痛点：企业已经在第三方厂商开通了模型服务，希望保留原有账户与账单体系，但又想通过统一网关进行管理。

解决方案：通过云器 AI Gateway 的 BYOK 功能，只需输入企业自有 API 密钥，即可将第三方模型接入统一网关，享受与平台内置模型完全一致的管理体验。

1.7 与传统集成方式对比

对比维度	传统多模型集成方式	云器 AI Gateway 集成方式
开发工作量	每个厂商单独开发适配代码，工作量大	一次开发，调用所有模型，工作量减少 80%
运维复杂度	多套系统并行运维，复杂度高	统一平台管理，运维简单
成本管控	无法精细化管控，成本不可控	多维度用量统计与限额，成本精准可控
模型切换	需要修改业务代码，影响业务连续性	无需修改代码，一键切换
安全管控	分散管控，安全风险高	统一安全管控，全方位保障数据安全
可观测性	缺乏统一监控，问题排查困难	全链路可观测，快速定位问题

联系我们