搭建网站教程,wordpress动态特效,广电基础设施建设官方网站,省财政厅经济建设处网站本文原文来自DataLearnerAI官方网站#xff1a;GPT-4-Turbo的128K长度上下文性能如何#xff1f;超过73K Tokens的数据支持依然不太好#xff01; | 数据学习者官方网站(Datalearner)https://www.datalearner.com/blog/1051699526438975
GPT-4 Turbo是OpenAI最新发布的号称…本文原文来自DataLearnerAI官方网站GPT-4-Turbo的128K长度上下文性能如何超过73K Tokens的数据支持依然不太好 | 数据学习者官方网站(Datalearner)https://www.datalearner.com/blog/1051699526438975
GPT-4 Turbo是OpenAI最新发布的号称性能超过当前GPT-4的模型。在新版本的ChatGPT中已经可以使用。而接口也在开放。除了速度和质量外GPT-4 Turbo最吸引人的是支持128K超长上下文输入。但是实际测试中GPT-4 Turbo对于超过73K tokens文档的理解能力急速下降。 GPT-4 Turbo简介如何测试GPT-4对超长上下文理解能力的水平GPT-4 Turbo对128超长上下文支持的实际结果 GPT-4 Turbo对128超长上下文支持的实际结果
作者做了一张图描述这个结果 图的横坐标是文档的长度纵坐标是插入的文本在文档的位置。可以看到在右上角区域模型表现效果很差这些基本都是文档上半段然后开始位置之后7%位置之后。但是如果这句话在文档下半段效果反而还可以。
最终的实验结论如下 GPT-4的召回率在输入文档超过73K tokens之后下降明显这意味着如果你的文档超过了50万单词之后可能GPT-4并不能准确找到你问题的答案位置 如果你的答案恰巧在文档7%-50%的位置那么GPT-4能找到的概率最低而50%的位置正好是文档中间。这也侧面验证了此前大模型的Lost in Middles特点具体参考大模型如何使用长上下文信息斯坦福大学最新论文证明你需要将重要的信息放在输入的开始或者结尾处 如果需要回忆的事实位于文档的开头无论上下文长度如何都能被回忆起。这可能意味着模型对文档开头的信息有更好的记忆能力。
