上海建设检测网上登记网站,软文发布平台哪家好,系部网站建设研究方案,wordpress导入汉化包在这个视频中#xff0c;我想带你快速浏览一些例子#xff0c;以建立对在软件应用中使用大型语言模型的实际成本的直观感受。让我们来看看。这是一些示例价格#xff0c;用于从不同的大型语言模型获取提示和回应#xff0c;这些模型对开发者可用。即#xff0c;如果你在你…
在这个视频中我想带你快速浏览一些例子以建立对在软件应用中使用大型语言模型的实际成本的直观感受。让我们来看看。这是一些示例价格用于从不同的大型语言模型获取提示和回应这些模型对开发者可用。即如果你在你的代码中调用这些大型语言模型。OpenAI/GPT3.5每1000个Token收费0.002美元。也就是每1000个Token 0.2美分。GPT4的成本要高得多每1000个Token 6美分而谷歌的PaLM 2和亚马逊的Titan Lite也相当便宜。我在这里展示的是生成不同数量Token的成本。技术上这些大型语言模型也会对提示的长度收费但提示的长度有时称为输入Token几乎总是比输出Token的成本便宜。
现在我们只关注输出Token的成本。你可能会想什么是Token事实证明Token大致是一个单词或单词的一部分。因为这就是大型语言模型处理文本的方式。常见的单词如“the”或“example”在大型语言模型处理时会被计为一个单独的Token。或者我的名字Andrew是一个相对常见的名字所以也是一个单独的Token。但不太常见的词如“translate”可能会被大型语言模型分割为两个Token“tran”和“slate”因此生成“translate”将花费你两个输出Token。不像更常见的单词只会花费你一个Token。或者“programming”可能会被LLM分为“program”和“ming”也花费两个Token。一个不那么频繁的词如“tonkotsu”可能会被分为四个Token如“ton”和“k”、“ots”和“u”。
但在大量文本文档的平均水平上大约每个Token是3/4个单词。如果你要生成300个单词那将花费你大约400个Token。如果数学没有完全理解也没关系。但我希望你从中获得的直觉是Token的数量大致等于单词的数量但稍微多一点。事实证明大约比单词的数量多33%。在下一张幻灯片上我们将使用每1000个Token 0.2美分的成本进行这个计算。但当然如果你使用不同的LLM选项成本可能会更高或更低。 想象一下你正在为自己的团队构建一个LLM应用可能会生成对他们阅读有用的文本。让我们估计生成足够的文本以让你团队中的某人忙上一小时的成本。成年人的典型阅读速度可能是每分钟大约250个单词。为了让某人忙上一小时你需要生成60*250个单词即15000个单词这是LLM输出的。但我们也需要提示LLM来生成这个输出。如果我们假设提示的长度与输出的长度相当那可能会增加另外15000个单词。也就是说如果我们需要总共提示15000个单词的输入然后还要生成15000个单词的输出以让某人忙上一小时。
当然这是一个非常粗略的假设但对于建立直觉来说已经足够好。总共我们需要支付3万个单词的费用。正如我们在上一张幻灯片上看到的因为每个Token大约对应3/4个单词3万个单词大约对应4万个Token。如果每1000个Token的成本是0.002美分那么生成4万个Token的成本是0.002*40即8美分。如果你的软件应用使用的是OpenAI、Azure、谷歌或AWS等提供的云托管LLM服务那么让某人忙上一个小时的成本可能是8美分。我在这个计算中没有做很多假设但这似乎相当便宜。在美国许多地方的最低工资可能在每小时10-15美元左右所以为某人密集阅读额外支付每小时8美分似乎是一个小的增量成本特别是如果它帮助他们更高效。当然如果你有一个百万用户正在使用的免费产品那么8美分乘以一百万次没有相关收入可能会变得昂贵。但我发现对于许多应用程序来说使用LLM的成本比大多数人认为的要便宜。我希望这能给你提供一些关于LLM成本的有用直觉。让我们继续看下一个视频。我们将了解一些更先进的技术它们可以使你的LLM变得更加强大。下一个视频见。
参考
https://www.coursera.org/learn/generative-ai-for-everyone/lecture/6BrQX/cost-intuition
