上海定制建设网站,图片式网站利于做优化吗,h5平台网站开发,对外宣传网站建设方案前言#xff1a;回顾以往博客文章#xff0c;最近一次更新在2020-07#xff0c;内容以机器学习、深度学习、CV、Slam为主#xff0c;顺带夹杂个人感悟。笔者并非算法科班出身#xff0c;本科学制药、研究生学金融#xff0c;最原始的算法积累都来源于网络#xff0c;当时… 前言回顾以往博客文章最近一次更新在2020-07内容以机器学习、深度学习、CV、Slam为主顺带夹杂个人感悟。笔者并非算法科班出身本科学制药、研究生学金融最原始的算法积累都来源于网络当时更新博客的缘由无非是“取自网络、用于网络”。自2022年12月ChatGPT横空出世毅然投入“AGI”大军对大语言、多模态、RAG、Agent多有涉猎并希望通过继续更新博客影响更多同好共同奔赴“AGI 终局”。本篇为新时期第一篇相当于是AGI系列文章的综述了后面会不定期更新欢迎大家共同研究、讨论、进步本人微信号(wuyang9647)人多后再拉群。 背景
2012年后来的计算机图灵奖(名人堂级)得主Hinton和他的学生们(包括未来OpenAI的灵魂Ilya)做出了一项令业界震惊的工作他们推出的神经网络AlexNet对图像的识别准确率第一次达到了人类的水平远远超出之前的结果这个结果推动了业界对深度学习追捧的十年也诞生了很多人工智能独角兽公司在中国就有商汤、旷世、依图、云从四小龙都是以图像识别为主业方向。由于这项技术商业变现的局限性并没有超级公司真正诞生出来(自动驾驶原本是可能方向但自动驾驶除了依赖图像识别也依赖即时决策)。商业上对AI的渴求在巨头公司中诞生了小度、天猫精灵、Siri、Cortana等AI助理产品大家使用后发现这些助理达不到实际用户的需求被戏称为人工智障大家对AI颇为失望AI逐渐被冷落进入惨淡发展期。
2022年ChatGPT横空出世。它良好的交互体验让大家眼前一亮用户感觉是在跟真正的人对话了远远超出之前人工智障的最高水平第一次达到了图灵测试水准。
随着大模型技术的迅猛发展AGI通用人工智能的讨论再次成为热点。大模型的崛起让我们看到了AGI的曙光仿佛触手可及。国际上OpenAI引领潮流谷歌、微软等巨头纷纷跟进推动AI在搜索、PC、手机等领域的变革为AGI发展注入强大动力。国内方面科技巨头与新创企业并驾齐驱智谱、MoonShot等提出独特见解与解决方案刘知远教授的大规模预训练方向更是奠定坚实基础。在此背景下我们需重新审视AGI深入了解技术原理关注前沿动态正视不足与局限以更好地利用AI技术并洞悉AGI发展方向。
一、何为AGI 清华刘知远教授定义的“AGI具象化实现路径”
强人工智能Strong AI或通用人工智能Artificial General Intelligence简称AGI是指那些拥有与人类相似甚至超越人类智能水平的人工智能系统。这类AI系统能够全方位地模拟和展现正常人类的智能行为不仅限于逻辑推理、情感理解还包括知识获取与自我意识等多个层面。其核心在于深度整合了人类的意识、感性、知识及自觉等特征使机器具备了更为全面、灵活且自主性强的智能能力。这种智能新形态不仅极大地推动了人工智能领域的发展更深刻地改变了我们对“智能”这一概念的认知和定义。
二、技术井喷
1、语言智能 最新大语言模型清单
不可否认人类智能与我们的语言紧密相连。原因在于抽象是构建逻辑的关键基石而逻辑则是智能得以形成和发展的基础。语言作为对世界的一种抽象描述方式正是通过这套逻辑体系来支撑我们的智能。从更宏观的角度来看抽象、逻辑、推理与预测这四个环节紧密相连共同构成了智能的基石。人脑的抽象能力主要基于对概念的语言表达因此语言在智能的形成与发展中扮演着至关重要的角色。
值得注意的是这里所提到的“逻辑”特指人脑通过抽象能力捕捉到的事物内在规律。这种逻辑依赖于我们的抽象能力才能得以显现。与此同时客观逻辑则代表了事物之间所固有的联系这些联系作为一种客观存在可以被我们抽象成为逻辑形式。
2、多模态智能 VisualGLM-6B 地址https://github.com/THUDM/VisualGLM-6B 简介一个开源的支持图像、中文和英文的多模态对话语言模型语言模型基于 ChatGLM-6B具有 62 亿参数 CogVLM 地址https://github.com/THUDM/CogVLM 简介一个强大的开源视觉语言模型VLM。 VisCPM 地址https://github.com/OpenBMB/VisCPM 简介一个开源的多模态大模型系列支持中英双语的多模态对话能力VisCPM-Chat模型和文到图生成能力VisCPM-Paint模型。 Visual-Chinese-LLaMA-Alpaca 地址GitHub - airaria/Visual-Chinese-LLaMA-Alpaca: 多模态中文LLaMAAlpaca大语言模型VisualCLA 简介基于中文LLaMAAlpaca大模型项目开发的多模态中文大模型。VisualCLA在中文LLaMA/Alpaca模型上增加了图像编码等模块使LLaMA模型可以接收视觉信息。 LLaSM 地址https://github.com/LinkSoul-AI/LLaSM 简介第一个支持中英文双语语音-文本多模态对话的开源可商用对话模型。 Qwen-VL 地址https://github.com/QwenLM/Qwen-VL 简介是阿里云研发的大规模视觉语言模型可以以图像、文本、检测框作为输入并以文本和检测框作为输出。 多模态大模型部分清单与项目地址
显然人脑之所以能够处理复杂环境得益于其多感官支持的多模态输入能力。人类智能正是经过数十年的多模态训练而逐渐形成的。因此在追求类人智能的道路上大模型也将从多模态训练中汲取巨大力量。
多模态训练的核心意义在于它能够从多路信息中提炼出不同维度的结构与关系进而揭示出丰富多元的逻辑联系。实际上人类的身体可以被视为一种高效的多模态信息输入设备这也是具身智能的精髓所在。具体来说人类智能的形成依赖于对人脑结构的塑造而这种塑造又离不开对现实世界的精准建模。建模过程则依赖于对多模态信息的有效抽象最终形成的颅内模型能够提升对未来预测的准确性与精确性这正是人类智能的基石。
3、工具智能 智能体(Agent)经典框架
Agent的核心决策逻辑在于它能让LLM大型语言模型根据不断变化的环境信息选择执行具体工具或对结果作出判断进而对环境产生影响。这一过程通过多轮迭代不断重复直至目标达成。
其决策流程可概括为三个步骤感知Perception、规划Planning和行动Action。感知是Agent从环境中收集信息并提取相关知识的能力规划则是Agent为实现某一目标而进行的决策过程最后行动则是基于环境和规划作出的具体动作。这三个步骤环环相扣共同构成了Agent的智能决策体系。
三、大模型三定律
1、Scaling Law 计算量、数据集、参数规模与模型效果的关系
Scaling law的研究深入探讨了模型性能的缩放定律揭示了模型大小、数据集规模以及训练时所用计算量与交叉熵损失之间的紧密关联。这项研究跨越了七个数量级通过简单的方程式我们便能洞察到模型与数据集大小对过拟合现象的潜在影响以及模型规模如何左右训练速度。这些发现为我们在有限的计算资源下如何选定最佳的模型训练方案提供了有力的理论支撑。
这些研究成果清晰地表明只要我们合理地扩大模型规模、扩充数据集并增加计算投入语言建模的性能就会以平稳且可预测的方式得到显著提升。我们有理由相信未来更大规模的语言模型将展现出比当前模型更为卓越的性能并具备更高的样本利用效率。
2、评价比生成容易 OpenAI 超级对齐团队的主管Jan Leike2022 年发表著名论断评价比生成更容易
Jan Leike原文https://aligned.substack.com/p/alignment-optimism
评估比生成更容易这一原则至关重要。它意味着如果我们把精力集中在评估AI系统的行为上而不是亲自去完成这些任务尽管AI的生成能力可能尚不及我们那么我们的研究进程将大大加速。这一特性构成了递归奖励建模以及在一定程度上OpenAI提出的Debate框架的基石当评估变得比生成更容易时AI辅助的人类将在与智能水平相当的AI生成器的竞争中占据优势。基于这一前提我们可以通过为AI系统执行任务创建评估信号进而训练AI模型使其能够应对越来越复杂的任务。尽管递归奖励建模的扩展能力并非无限但它也无需达到无限扩展。只需确保其能够扩展到足以支持我们监督大量对齐研究的程度即可。
3、相对评价比绝对评价容易 相对评价弱模型来监督强模型
相对评价比绝对评价更易实施OpenAI基于“评价比生成更容易”的理念于2023年底成功发表了超级对齐领域的开创性研究——Weak-to-Strong Generalization。该研究的核心思想是利用弱模型来监督强模型从而实现强模型性能的显著提升。尽管当前我们尚未实现超人智能但通过模拟实验即采用两个相对较弱的模型进行相互监督实验结果充分证明了这一方法的有效性。这与传统机器学习中强模型监督弱模型的做法形成了鲜明对比为超级对齐这一AI乃至人类发展的重要课题带来了新的希望。
从哲学角度来看相对评价相较于绝对评价具有更高的可行性。例如对于非专业设计师而言直接评价一个网页设计的好坏可能颇具挑战。然而当面对两个设计方案时大多数人都能轻松辨别出哪个更优。同样地在大模型生成内容的评价中绝对评分往往受到个人喜好和评分习惯的影响难以形成统一标准。而相对评分特别是像Chatbot Arena这样的双盲相对评分机制则能有效规避这些问题确保评价的客观性和准确性。
四、前沿摸索
1、原生多模态Sora Sora经典示例
OpenAI的ChatGPT与近期的Sora均基于Transformer架构在AI界掀起热潮。然而也有权威声音对这一路线提出质疑更看好世界模型的发展。那么在通往AGI的道路上Transformer与世界模型究竟谁能更胜一筹引领我们走向终极梦想呢
2、全模态 GPT4o经典示例看代码 出结果 做分析
GPT-4的经典示例让我们见证了其强大的实力。只需通过电脑桌面版的ChatGPT进行语音交互无论是询问代码的功能、函数的作用还是输出代码后的结果解读例如温度曲线图中的最热月份或是温度单位等ChatGPT都能对答如流准确无误。作为首个原生全模态大模型GPT-4所展现出的能力着实令人瞩目这也进一步印证了AGI发展的巨大潜力。
3、世界模型 六根手指图像生成的阿喀琉斯之踵
在图像生成领域为何模型经常陷入“六根手指”的怪圈难以精确生成手部图像这背后的核心问题在于自回归框架下的模型缺乏对现实世界的常识性理解。
自回归模型通过利用当前的上下文信息来预测下文当应用于图像生成时“图像像素”便成为了模型的上下文。这类模型能巧妙地将训练图像转化为一维序列借助Transformer转换器进行自回归预测从而捕捉到像素与高级属性如纹理、语义、尺寸等间的微妙联系。然而这种方法的弊端也显而易见。正由于缺乏对现实世界的常识模型在预测图像像素时常常会做出违背常理的判断“六根手指”的怪象便是其中的典型例证。这种偏离现实的“幻觉”现象已成为自回归模型亟待解决的问题。
面对这一困境LeCun提出了“世界模型”的构想。他主张AI应当像婴儿一样学习世界的运作方式以此提升其常识性理解能力。而实现这一构想的关键便在于他所提出的JEPA联合嵌入预测架构。通过JEPA我们可以利用一系列编码器来捕捉世界状态的抽象表征并结合多层次的世界模型预测器来全方位地预测世界的不同状态及其随时间的变化。这种架构有望引领图像生成模型走出“六根手指”的困境迈向更为精准、真实的生成新境界。
五、局限与希望
1、当前AI落地三原则
在探讨AGI的当前局限时我们不难发现大模型技术正逐渐展现出其惊人的潜能与广泛的应用前景。以下三个原则不仅揭示了大模型的能力边界可能也为我们指明了AGI未来的发展方向。
原则一.将一切文字任务都交给大模型。将提案扩展为方案计划书将分析总结为结论精炼润色一段啰嗦的文本将200字扩展成1w字将1000字周报缩写为100字等等大模型都非常擅长。原则二.将一切跨语言任务都交给大模型。英译汉、汉译英、语音转文本、甚至将自然语言转换为编程语言大模型在某些任务上已经很擅长在某些任务上一定会不断更好。原则三.一切跨图文任务都可以交给大模型。让大模型用一段文字描述一张图片让大模型将一段文字描述转化为一张图片。大模型完成的质量不一定会很高但一定有可取之处。
综上所述三个原则分别对应了归纳与总结结合RAG工程、分析与推理结合Agent工程与Action工具以及感知与全能或许是实现AGI的关键路径。随着技术的不断进步与应用的深入拓展我们有理由相信AGI的曙光就在眼前。
2、类人系统 清华刘知远教授“大模型十问”第七问类人系统构建
人的高级认知能力是否可以让大模型学到能不能让大模型像人一样完成一些任务人去完成任务一般会进行几个方面的工作第一我们会把这项任务尝试拆分成若干个简单任务第二针对这些任务去做一些相关信息的获取最后我们会进行所谓的高级推理从而完成更加复杂的任务。
这也是一个非常值得探索的前沿方向在国际上有WebGPT等方法的尝试已经开始让大模型学会使用搜索引擎等等。我们甚至会问可不可以让大模型学会像人一样网上冲浪去有针对性地获取一些相关信息进而完成任务。
3、希望在前方 Deepmind定义的AGI六阶段
Deepmind Framework的最新论文深入剖析了AGI的进展并明确提出了六个评估原则用以衡量AI的能力等级
● 新兴此阶段的AI能力相对有限主要集中在特定的任务范围内。
● 胜任随着技术的演进AI的能力逐渐拓宽能够胜任更为多样化的任务。
● 专家在这一阶段AI的能力进一步得到拓展能够在各项任务中超越大多数人类的表现。
● 天才AI的能力变得更为广泛且深入能够在各种任务中展现出优于绝大多数人类的卓越表现。
● 超人这是AI发展的终极阶段AI将拥有全面的能力能够在所有任务上全面超越人类的表现。
透过这六个原则的“镜头”我们可以清晰地看到当前我们正处于AGI发展的第1级即“新兴”阶段。在这一阶段我们主要关注AI在各个领域中的推理能力、上下文理解能力以及连贯响应生成能力等方面的表现与评估。这些评估不仅有助于我们更全面地了解AI的现状也为AGI的未来发展指明了方向。
结论
是的我们既不应将人工智能神化也不应轻视其潜力。将人脑视为智能演进的终点无异于将人类置于宇宙中的神圣地位这显然是出于人类本能的自我中心偏见。
正如风险管理大师纳西姆·塔勒布在《随机漫步的傻瓜》中所言“傻瓜总认为自己是特别的而他人都是普通的智者则认为自己普通而他人各有特色。”对人工智能的轻视与过度崇拜同样都是片面且有害的。
