部署文档

README.md

@@ -1,7 +1,90 @@
 # API 文档
 
-本文档提供了使用该负载君恩和能够API的方法和端点的详细说明。
+本文档详细介绍了如何使用负载均衡和能力 API 的方法和端点。
 
+## 部署方法
+
+### 编译
+
+以下是编译和运行该负载均衡 API 的步骤：
+
+1. 首先，确保您已经安装了 golang 和 gcc。
+
+2. 克隆本仓库到您的本地机器上。
+
+3. 打开终端，并进入到仓库目录中。
+
+4. 在终端中执行以下命令来编译代码：
+
+   ```
+   make
+   ```
+
+   这将会编译代码并生成可执行文件。
+
+5. 编译成功后，您可以直接运行以下命令来启动负载均衡和能力 API：
+
+   ```
+   ./openai-api-route
+   ```
+
+   默认情况下，API 将会在本地的 8888 端口进行监听。
+
+   如果您希望使用不同的监听地址，可以使用 `-addr` 参数来指定，例如：
+
+   ```
+   ./openai-api-route -addr 0.0.0.0:8080
+   ```
+
+   这将会将监听地址设置为 0.0.0.0:8080。
+
+6. 如果数据库不存在，系统会自动创建一个名为 `db.sqlite` 的数据库文件。
+
+   如果您希望使用不同的数据库地址，可以使用 `-database` 参数来指定，例如：
+
+   ```
+   ./openai-api-route -database /path/to/database.db
+   ```
+
+   这将会将数据库地址设置为 `/path/to/database.db`。
+
+7. 现在，您已经成功编译并运行了负载均衡和能力 API。您可以根据需要添加上游、管理上游，并使用 API 进行相关操作。
+
+### 运行
+
+以下是运行命令的用法：
+
+```
+Usage of ./openai-api-route:
+  -add
+        添加一个 OpenAI 上游
+  -addr string
+        监听地址（默认为 ":8888"）
+  -database string
+        数据库地址（默认为 "./db.sqlite"）
+  -endpoint string
+        OpenAI API 基地址（默认为 "https://api.openai.com/v1"）
+  -list
+        列出所有上游
+  -noauth
+        不检查传入的授权头
+  -sk string
+        OpenAI API 密钥（sk-xxxxx）
+```
+
+您可以直接运行 `./openai-api-route` 命令，如果数据库不存在，系统会自动创建。
+
+### 上游管理
+
+您可以使用以下命令添加一个上游：
+
+```bash
+./openai-api-route -add -sk sk-xxxxx -endpoint https://api.openai.com/v1
+```
+
+您也可以使用 `/admin/upstreams` 的 HTTP 接口进行控制。
+
+另外，您还可以直接编辑数据库中的 `openai_upstreams` 表。
 ## 身份验证
 
 ### 身份验证中间件流程

main.go

@@ -97,6 +97,7 @@ func main() {
 	db.Take(&authConfig, "key = ?", "authorization")
 
 	engine.POST("/v1/*any", func(c *gin.Context) {
+		begin := time.Now()
 		trackID := uuid.New()
 		// check authorization header
 		if !*noauth {
@@ -224,7 +225,7 @@ func main() {
 		if err != nil {
 			log.Println("Failed to read from response tee buffer", err)
 		}
-		go recordAssistantResponse(contentType, db, trackID, resp)
+		go recordAssistantResponse(contentType, db, trackID, resp, time.Now().Sub(begin))
 	})
 
 	// ---------------------------------

record.go

@@ -17,6 +17,7 @@ type Record struct {
 	IP          string
 	Body        string
 	Response    string
+	ElapsedTime time.Duration
 }
 
 func recordUserMessage(c *gin.Context, db *gorm.DB, trackID uuid.UUID, body []byte) {
@@ -62,7 +63,7 @@ type FetchModeUsage struct {
 	TotalTokens      int64 `json:"total_tokens"`
 }
 
-func recordAssistantResponse(contentType string, db *gorm.DB, trackID uuid.UUID, body []byte) {
+func recordAssistantResponse(contentType string, db *gorm.DB, trackID uuid.UUID, body []byte, elapsedTime time.Duration) {
 	result := ""
 	// stream mode
 	if strings.HasPrefix(contentType, "text/event-stream") {
@@ -113,6 +114,7 @@ func recordAssistantResponse(contentType string, db *gorm.DB, trackID uuid.UUID,
 		return
 	}
 	record.Response = result
+	record.ElapsedTime = elapsedTime
 	if db.Save(&record).Error != nil {
 		log.Println("Error to save record:", record)
 		return