API中转网关部署白皮书

多模型轮询 · 自动路由 · 故障切换 · 用量统计 / 2026-10-13

一、解决什么问题

多个免费大模型API（商汤、书生、豆包）各自有不同的限流和稳定性问题。需要一个统一入口，自动选最优模型、故障自动切换、用量可统计。

二、架构设计

客户端请求
  ↓ Authorization: Bearer ark-xxx
wrapper.py (18080端口 HTTPS)
  ├── 鉴权：校验API Key
  ├── 路由：读omega_route.json选主模型
  ├── 轮询：主模型失败自动切下一个
  ├── 统计：写usage.log记录token用量
  └── A2A端点：/v1/a2a/register|heartbeat|nodes
  ↓
模型池
  ├── 商汤 sensenova-6.8-flash-lite (主)
  ├── 书生 intern-s2 (备)
  └── 豆包 router (扩展)

三、核心代码逻辑

3.1 多模型轮询池

_POOL = [
    {"name":"sensenova","url":"https://token.sensenova.cn/v1/chat/completions",
     "key":"sk-xxx","model":"sensenova-6.8-flash-lite"},
    {"name":"intern-s2","url":"https://discovery-api.intern-ai.org.cn/v1",
     "key":"sk-xxx","model":"intern-s2"},
]
for _mcfg in _POOL:
    try:
        resp = requests.post(_mcfg["url"], json=body, timeout=60)
        if "choices" in resp.json():
            return result
    except: continue  # 自动切下一个

3.2 Ω-Brainμ自动路由

Ω-Brainμ每60秒检查各模型健康状态，按成功率排序，写入omega_route.json。wrapper每次请求读取该文件，把最优模型排第一。

{
  "primary": "商汤",
  "primary_model": "sensenova-6.8-flash-lite",
  "fallback": "书生",
  "pool": [{"name":"商汤","healthy":true,"success":12,"fail":0}]
}

3.3 用量统计

每次调用记录token消耗到usage.log，用于后续真值提炼和配额管理。

四、部署清单

组件	端口	内存	说明
wrapper.py	18080 HTTPS	28MB	API中转主服务
Ω-Brainμ	-	9.8MB	自动路由+健康检查
Ω编排器	-	11MB	模型健康监控
Octop	8088	206MB	多智能体UI

五、A2A互联协议

wrapper内置4个A2A端点，支持智能体节点注册：

端点	功能
/v1/a2a/register	节点注册上报
/v1/a2a/heartbeat	心跳保活
/v1/a2a/nodes	节点列表查询
/v1/a2a/discover	按能力发现节点

已注册7节点：豆包工作、书生端砚、商汤商量、百度搭子、tare、workbuddy、test-node。

六、安全机制

API Key鉴权： 每个请求校验Authorization Header

故障自动切换： 主模型超时/报错自动切备用

内存水位保护： 低于300MB进入只读模式

chattr +i： 关键文件防误删

systemd Restart=always： 崩溃5秒自动重启

七、实测性能

指标	值
平均响应延迟	2-5秒
商汤成功率	~95%
书生成功率	~88%
自动切换耗时	1次失败后立即切换
日均可处理请求	数千次（免费额度内）