成都维尼网络 网站建设,选择佛山顺德网站设计,科技创新小发明,wordpress 漂浮公告note 文章目录 note一、引言二、大模型的能力三、大模型的有害性#xff08;上#xff09;四、大模型的有害性#xff08;下#xff09;五、大模型的数据Reference 一、引言
语言模型最初是在信息理论的背景下研究的#xff0c;可以用来估计英语的熵。 熵用于度量概率分布…note 文章目录 note一、引言二、大模型的能力三、大模型的有害性上四、大模型的有害性下五、大模型的数据Reference 一、引言
语言模型最初是在信息理论的背景下研究的可以用来估计英语的熵。 熵用于度量概率分布 H ( p ) ∑ x p ( x ) log 1 p ( x ) . H(p) \sum_x p(x) \log \frac{1}{p(x)}. H(p)x∑p(x)logp(x)1.熵实际上是一个衡量将样本 x ∼ p x∼p x∼p 编码即压缩成比特串所需要的预期比特数的度量。举例来说“the mouse ate the cheese” 可能会被编码成 “0001110101”。熵的值越小表明序列的结构性越强编码的长度就越短。直观地理解 log 1 p ( x ) \log \frac{1}{p(x)} logp(x)1 可以视为用于表示出现概率为 p ( x ) p(x) p(x)的元素 x x x的编码的长度。交叉熵H(p,q)上界是熵H§ H ( p , q ) ∑ x p ( x ) log 1 q ( x ) . H(p,q) \sum_x p(x) \log \frac{1}{q(x)}. H(p,q)x∑p(x)logq(x)1.所以可以通过构建一个只有来自真实数据分布 p p p的样本的语言模型 q q q来估计 H ( p , q ) H(p,q) H(p,q) N-gram模型在计算上极其高效但在统计上效率低下。神经语言模型在统计上是高效的但在计算上是低效的。大模型的参数发展随着深度学习在2010年代的兴起和主要硬件的进步例如GPU神经语言模型的规模已经大幅增加。以下表格显示在过去4年中模型的大小增加了5000倍。
ModelOrganizationDateSize (# params)ELMoAI2Feb 201894,000,000GPTOpenAIJun 2018110,000,000BERTGoogleOct 2018340,000,000XLMFacebookJan 2019655,000,000GPT-2OpenAIMar 20191,500,000,000RoBERTaFacebookJul 2019355,000,000Megatron-LMNVIDIASep 20198,300,000,000T5GoogleOct 201911,000,000,000Turing-NLGMicrosoftFeb 202017,000,000,000GPT-3OpenAIMay 2020175,000,000,000Megatron-Turing NLGMicrosoft, NVIDIAOct 2021530,000,000,000GopherDeepMindDec 2021280,000,000,000
二、大模型的能力
三、大模型的有害性上
四、大模型的有害性下
五、大模型的数据
Reference
[1] 斯坦福大学CS324课程https://stanford-cs324.github.io/winter2022/lectures/introduction/#a-brief-history [2] CS224N lecture notes on language models
