提示词长度几 K
输入加输出，大概 10K
推理是个树状的结构
如果直接单轮，准确性问题很大
"一步步思考"之类是个摆设
结构化提示词也收效甚微
也试过请 llm 自己优化提示词，没给出什么有价值的优化
目前发现效果最好的是，把整个任务拆了，每个子任务只包含需要的部分，每次只请求一个任务
这个方案缺点有：
1. token 翻倍（这个怎么解决？ 毕竟 token 就是金钱）
2. 耗时翻倍（这个可以并发解决）
或者大家有没有更好的方案？
输入加输出，大概 10K
推理是个树状的结构
如果直接单轮，准确性问题很大
"一步步思考"之类是个摆设
结构化提示词也收效甚微
也试过请 llm 自己优化提示词，没给出什么有价值的优化
目前发现效果最好的是，把整个任务拆了，每个子任务只包含需要的部分，每次只请求一个任务
这个方案缺点有：
1. token 翻倍（这个怎么解决？ 毕竟 token 就是金钱）
2. 耗时翻倍（这个可以并发解决）
或者大家有没有更好的方案？
3 条回复 • 2024-09-14 06:42:51 +08:00
 |
1
mumbler 5 天前
试过 openai 刚刚发布的 o1 模型吗，专门解决复杂推理
|
 |
3
TimePPT 5 天前 via Android
当前没有很好办法解决，保准确率只能牺牲时延和增加计算量，做法就是你说的拆任务配合传统循环+条件判断组成 workflow 控制，这也是为啥会有 dify 这种产品存在
|
Select Language