LLM 的长文本的复杂推理优化问题

提示词长度几 K
输入加输出，大概 10K
推理是个树状的结构

如果直接单轮，准确性问题很大
"一步步思考"之类是个摆设
结构化提示词也收效甚微
也试过请 llm 自己优化提示词，没给出什么有价值的优化

目前发现效果最好的是，把整个任务拆了，每个子任务只包含需要的部分，每次只请求一个任务
这个方案缺点有：
1. token 翻倍（这个怎么解决？毕竟 token 就是金钱）
2. 耗时翻倍（这个可以并发解决）

或者大家有没有更好的方案？

TimePPT

5 天前

当前没有很好办法解决，保准确率只能牺牲时延和增加计算量，做法就是你说的拆任务配合传统循环+条件判断组成 workflow 控制，这也是为啥会有 dify 这种产品存在

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.fyfyfm.apispeedy.workers.dev/t/1072796

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.