cucyuqing

Author	SHA1	Message	Date
heimoshuiyu	9dc23b714c	无风险也更新	2024-10-18 19:59:02 +08:00
heimoshuiyu	1545a85b09	输出风险分析	2024-10-18 19:35:26 +08:00
heimoshuiyu	115d95bbef	udpate README.md	2024-10-18 18:38:32 +08:00
heimoshuiyu	34ad16ff02	dbscan 最大七天或 10w 数据	2024-10-18 18:10:23 +08:00
heimoshuiyu	8a6db8f8f2	add requirements_version.txt	2024-10-18 17:26:48 +08:00
heimoshuiyu	cae3877048	risk-analyze main 循环	2024-10-18 16:59:43 +08:00
heimoshuiyu	3d36dcadf6	add README.md	2024-10-18 16:46:19 +08:00
heimoshuiyu	a051674f2e	feat: 分析结果入mysql	2024-10-18 16:01:29 +08:00
heimoshuiyu	47ae4dc8d5	fix: 二维task文档匹配问题	2024-10-18 15:47:18 +08:00
heimoshuiyu	d52f37e5f0	暂存二位数组转一维，文档ID标记的问题还没解决	2024-10-18 15:43:37 +08:00
heimoshuiyu	ad3ef8e504	添加 kmeans (存档)	2024-10-10 18:31:47 +08:00
heimoshuiyu	b3fa8edf60	添加 cmd.risk-analyze	2024-10-10 18:31:35 +08:00
heimoshuiyu	004552f4d5	添加dbscan	2024-10-10 18:19:50 +08:00
heimoshuiyu	a49db1b71b	使用 title or content 作为embedding内容	2024-10-08 14:35:00 +08:00
heimoshuiyu	16f4469365	调整embedding策略只处理2周内的新闻，利用索引、时间降序	2024-09-23 15:13:33 +08:00
heimoshuiyu	341435e603	WIP: LLM 风险判断	2024-09-20 18:33:56 +08:00
heimoshuiyu	fff2a32d7e	从ES获取的结果中过滤掉\x00	2024-09-20 15:20:19 +08:00
heimoshuiyu	43ddd8665c	fix: ES 同步接口时间精确到秒	2024-09-20 11:44:04 +08:00
heimoshuiyu	1e1f92461a	typo	2024-09-19 14:35:34 +08:00
heimoshuiyu	71fd688227	修改 OPENAI 环境变量为 OPENAI_EMBEDDING	2024-09-19 14:29:30 +08:00
heimoshuiyu	0b658dee88	添加 embedding 错误处理	2024-09-19 14:27:42 +08:00
heimoshuiyu	92e3699cd8	添加 cl100k_base 字典与 text-embedding-3 适配	2024-09-19 14:26:20 +08:00
heimoshuiyu	4b5e59f35d	同步添加重试机制	2024-09-19 11:07:16 +08:00
heimoshuiyu	7395d98ce3	延迟一小时入库 -1 hour -> start_time 相当于即时入库 -2 hour -> start_time -1 -> end_time 相当于延迟一小时入库	2024-09-19 10:55:01 +08:00
heimoshuiyu	dd41d6fa5f	fix: es 返回空数据	2024-09-14 17:19:39 +08:00
heimoshuiyu	07afdf21b8	使用清华源镜像	2024-09-14 17:01:16 +08:00
heimoshuiyu	698f3fd65e	设置时区 TZ=Asia/Shanghai	2024-09-14 17:00:50 +08:00
heimoshuiyu	74292e91e7	添加 print 函数	2024-09-14 16:51:51 +08:00
heimoshuiyu	bc0fffc079	fix: 无限递归	2024-09-14 16:36:19 +08:00
heimoshuiyu	615d96c663	Fix: es_intervals 为空	2024-09-14 12:00:10 +08:00
heimoshuiyu	2d5eae2a18	添加dockerfile	2024-09-14 11:59:56 +08:00
heimoshuiyu	1198df2d4f	删除tiktoken依赖	2024-09-14 10:27:54 +08:00
heimoshuiyu	48d010007a	循环更新 embedding	2024-09-14 10:22:32 +08:00
heimoshuiyu	b2ed1394e0	增加刷新 openai embedding 功能	2024-09-11 18:41:44 +08:00
heimoshuiyu	09b22517df	format	2024-09-11 16:25:17 +08:00
heimoshuiyu	c9d361f56b	从 pg info 字段中提取出需要的字段	2024-09-11 14:48:36 +08:00
heimoshuiyu	8009a8295c	实现同步数据到 mysql	2024-09-11 14:23:48 +08:00
heimoshuiyu	5794c8d5c5	first commit	2024-09-11 09:32:12 +08:00