113 lines
3.2 KiB
Markdown
113 lines
3.2 KiB
Markdown
# openai-api-route 文档
|
||
|
||
这是一个 OpenAI API 负载均衡的简易工具，使用 golang 原生 reverse proxy 方法转发请求到 OpenAI 上游
|
||
|
||
功能包括：
|
||
|
||
- 更改 Authorization 验证头
|
||
- 多种负载均衡策略
|
||
- 记录完整的请求内容、IP 地址、响应时间以及 GPT 回复文本
|
||
- 上游返回错误时发送 飞书 或 Matrix 消息通知
|
||
|
||
本文档详细介绍了如何使用负载均衡和能力 API 的方法和端点。
|
||
|
||
## 部署方法
|
||
|
||
### 编译
|
||
|
||
以下是编译和运行该负载均衡 API 的步骤：
|
||
|
||
1. 首先，确保您已经安装了 golang 和 gcc。
|
||
|
||
2. 克隆本仓库到您的本地机器上。
|
||
|
||
3. 打开终端，并进入到仓库目录中。
|
||
|
||
4. 在终端中执行以下命令来编译代码：
|
||
|
||
```
|
||
make
|
||
```
|
||
|
||
这将会编译代码并生成可执行文件。
|
||
|
||
5. 编译成功后，您可以直接运行以下命令来启动负载均衡 API：
|
||
|
||
```
|
||
./openai-api-route
|
||
```
|
||
|
||
默认情况下，API 将会在本地的 8888 端口进行监听。
|
||
|
||
如果您希望使用不同的监听地址，可以使用 `-addr` 参数来指定，例如：
|
||
|
||
```
|
||
./openai-api-route -addr 0.0.0.0:8080
|
||
```
|
||
|
||
这将会将监听地址设置为 0.0.0.0:8080。
|
||
|
||
6. 如果数据库不存在，系统会自动创建一个名为 `db.sqlite` 的数据库文件。
|
||
|
||
如果您希望使用不同的数据库地址，可以使用 `-database` 参数来指定，例如：
|
||
|
||
```
|
||
./openai-api-route -database /path/to/database.db
|
||
```
|
||
|
||
这将会将数据库地址设置为 `/path/to/database.db`。
|
||
|
||
7. 现在，您已经成功编译并运行了负载均衡和能力 API。您可以根据需要添加上游、管理上游，并使用 API 进行相关操作。
|
||
|
||
### 运行
|
||
|
||
以下是运行命令的用法：
|
||
|
||
```
|
||
Usage of ./openai-api-route:
|
||
-add
|
||
添加一个 OpenAI 上游
|
||
-addr string
|
||
监听地址（默认为 ":8888"）
|
||
-database string
|
||
数据库地址（默认为 "./db.sqlite"）
|
||
-endpoint string
|
||
OpenAI API 基地址（默认为 "https://api.openai.com/v1"）
|
||
-list
|
||
列出所有上游
|
||
-noauth
|
||
不检查传入的授权头
|
||
-sk string
|
||
OpenAI API 密钥（sk-xxxxx）
|
||
```
|
||
|
||
您可以直接运行 `./openai-api-route` 命令，如果数据库不存在，系统会自动创建。
|
||
|
||
### 上游管理
|
||
|
||
您可以使用以下命令添加一个上游：
|
||
|
||
```bash
|
||
./openai-api-route -add -sk sk-xxxxx -endpoint https://api.openai.com/v1
|
||
```
|
||
|
||
您也可以使用 `/admin/upstreams` 的 HTTP 接口进行控制。
|
||
|
||
另外，您还可以直接编辑数据库中的 `openai_upstreams` 表。
|
||
|
||
## 身份验证
|
||
|
||
### 身份验证中间件流程
|
||
|
||
1. 从请求头中获取`Authorization`字段的值。
|
||
2. 检查`Authorization`字段的值是否以`"Bearer"`开头。
|
||
- 如果不是，则返回错误信息："authorization header should start with 'Bearer'"（HTTP 状态码 403）。
|
||
3. 去除`Authorization`字段值开头的`"Bearer"`和前后的空格。
|
||
4. 将剩余的值与预先设置的身份验证配置进行比较。
|
||
- 如果不匹配，则返回错误信息："wrong authorization header"（HTTP 状态码 403）。
|
||
5. 如果身份验证通过，则返回`nil`。
|
||
|
||
## 上游管理
|
||
|
||
没什么好说的，直接操作数据库 `openai_upstreams` 表，改动立即生效
|