国内做的好的游艇网站,重庆建网站,手机域名免费注册,工程项目外包平台Llama系列上新多模态#xff01;3.2版本开源超闭源#xff0c;还和Arm联手搞了手机优化版#xff0c;Meta首款多模态Llama 3.2开源#xff01;1B羊驼宝宝#xff0c;跑在手机上了#xff01; 在多模态领域#xff0c;开源模型也超闭源了#xff01;
就在刚刚结束的Met…Llama系列上新多模态3.2版本开源超闭源还和Arm联手搞了手机优化版Meta首款多模态Llama 3.2开源1B羊驼宝宝跑在手机上了 在多模态领域开源模型也超闭源了
就在刚刚结束的Meta开发者大会上Llama 3.2闪亮登场
这回不仅具备了多模态能力还和Arm等联手推出了专门为高通和联发科硬件优化的“移动”版本。
具体来说此次Meta一共发布了Llama 3.2的4个型号
110亿和900亿参数的多模态版本
10亿参数和30亿参数的轻量级纯文本模型
官方数据显示与同等规模的“中小型”大模型相比Llama 3.2 11B和90B表现出了超越闭源模型的性能。
尤其是在图像理解任务方面Llama 3.2 11B超过了Claude 3 Haiku而90B版本更是能跟GPT-4o-mini掰掰手腕了。
而专为端侧打造的3B版本在性能测试中表现也优于谷歌的Gemma 2 2.6B和微软的Phi 3.5-mini。
如此表现着实吸引了不少网友的关注。
有人兴奋地认为Llama 3.2的推出可能再次“改变游戏规则”
端侧AI正在变得越来越重要。
首个视觉 有关Llama 3.2具体能做什么这次官方也释出了不少demo。
先看个汇总Llama 3.2 11B和90B支持一系列多模态视觉任务包括为图像添加字幕、根据自然语言指令完成数据可视化等等。 举个丢给Llama 3.2一张图片它能把图片中的元素一一拆解告诉你详细的图片信息
同样也可以反过来根据文字指令找出符合用户需求的图片。 Llama 3.2 11B和90B也是首批支持多模态任务的Llama系列模型为此Meta的研究人员打造了一个新的模型架构。
在Llama 3.1的基础之上研究人员在不更新语言模型参数的情况下训练了一组适配器权重将预训练的图像编码器集成到了预训练的语言模型中。
这样Llama 3.2既能保持纯文本功能的完整性也能get视觉能力。
训练过程中Llama 3.2采用图像-文本对数据进行训练。训练分为多个阶段包括在大规模有噪声数据上的预训练和更进一步在中等规模高质量领域内和知识增强数据上的训练。
在后训练post-training中研究人员通过监督微调SFT、拒绝采样RS和直接偏好优化DPO进行了几轮对齐。
专为端侧打造的“小”模型 至于1B和3B这两个轻量级模型目的更加清晰
随着苹果Apple Intelligence的推出对于电子消费市场而言手机等终端上的生成式AI已经成为标配。
而脱离云端独立运行在终端上的模型无论是从功能还是从安全的角度都是终端AIGC落地的关键。 Llama 3.2 1B和3B模型由Llama 3.1的8B和70B模型剪枝、蒸馏得到。
可以简单理解为这俩“小”模型是Llama 3.1教出来的“学生”。
Llama 3.2 1B和3B仅支持文本任务上下文长度为128K。来自Meta合作方Arm的客户业务线总经理Chris Bergey认为
明年初甚至今年年底开发人员就会在应用程序中落地这两个型号的Llama 3.2。
它们拥有更好的效率能在1W功率下或在8毫秒以内提供答案。
不少网友也为此点赞
Llama 3.2的轻量级模型能真正改变AI在手机和其他设备上的应用。
Meta首席技术官对Llama 3.2的发布做了两大亮点总结
首个既能识别图像又能理解文本的多模态模型。最重要的是能够媲美闭源模型
超轻量1B/3B模型解锁更多终端设备可能性
11B和90B这两款模型不仅支持图像推理场景包括图表和图形在内的文档级理解、图像描述以及视觉定位任务而且还能基于现有图表进行推理并快速给出回答。 比如你可以问「去年哪个月销售业绩最好」Llama 3.2就会根据现有图表进行推理并迅速给出答案。 轻量级的1B和3B模型则可以帮助不仅在多语言文本生成和工具调用能力方面表现出色而且具有强大的隐私保护数据永远不会离开设备。 之所以在本地运行模型备受大家的青睐主要在于以下两个主要优势 提示词和响应能够给人瞬间完成的感觉 应用程序可以清晰地控制哪些查询留在设备上哪些可能需要由云端的更大模型处理
视觉模型
作为首批支持视觉任务的Llama模型Meta为11B和90B型打造了一个全新的模型架构。 在图像输入方面训练了一组适配器权重将预训练的图像编码器集成到预训练的大语言模型中。 具体来说该适配器
由一系列交叉注意力层组成负责将图像编码器的表示输入进大语言模型
通过在文本-图像对上的训练实现图像表示与语言表征的对齐
在适配器训练期间Meta会对图像编码器的参数进行更新但不会更新大语言模型参数。 也就是说模型的纯文本能力便不会受到任何影响而开发者也可以将之前部署的Llama 3.1无缝替换成Llama 3.2。 具体的训练流程如下 首先为预训练的Llama 3.1文本模型添加图像适配器和编码器并在大规模噪声图像-文本对数据上进行预训练。 然后在中等规模的高质量领域内和知识增强的图像-文本对数据上再次进行训练。 接着在后训练阶段采用与文本模型类似的方法通过监督微调、拒绝采样和直接偏好优化进行多轮对齐。并加入安全缓解数据保障模型的输出既安全又实用。 这在期间模型所使用的高质量微调数据正是来自合成数据生成技术——使用Llama 3.1模型在领域内图像的基础上过滤和增强问题答案并使用奖励模型对所有候选答案进行排序。 最终我们就能得到一系列可以同时接受图像和文本提示词的模型并能够深入理解和对其组合进行推理。 对此Meta自豪地表示表示「这是Llama模型向更丰富的AI智能体能力迈进的又一步」。 得到全新Llama 3.2加持的助手Meta AI在视觉理解力上非常强。 比如上传一张切开的生日蛋糕图片并问它制作配方。 Meta AI便会给出手把手教程从配料到加工方式一应俱全。
轻量模型
通过利用剪枝pruning和蒸馏distillation这两种方法Meta让全新的1B和3B模型成为了首批能够高效地适应设备的、具有高能力的轻量级Llama模型。
剪枝能够减小Llama的规模并尽可能地保留知识和性能
在此Meta采用了从Llama 3.1 80亿参数模型进行单次结构化剪枝的方法。也就是系统地移除网络的部分内容并调整权重和梯度的幅度从而创建一个更小、更高效的大语言模型同时保留原始网络的性能。
完成剪枝之后则需要使用知识蒸馏来恢复模型的性能。
知识蒸馏是让一个更大的网络给更小的网络传授知识
也就是较小的模型可以借助教师模型的指导获得比从头开始训练更好的性能。为此Meta在预训练阶段融入了来自Llama 3.1 8B和70B模型的logits模型输出的原始预测值并将这些较大模型的输出则用作token级的目标。
后训练阶段Meta采用了与Llama 3.1类似的方法——通过在预训练大语言模型基础上进行多轮对齐来生成最终的聊天模型。 其中每一轮都包括监督微调SFTSupervised Fine-Tuning、拒绝采样RSRejection Sampling和直接偏好优化DPODirect Preference Optimization。 在这期间Meta不仅将模型的上下文长度扩展到了128K token而且还利用经过仔细筛选的合成数据和高质量的混合数据对诸如总结、重写、指令跟随、语言推理和工具使用等多项能力进行了优化。 为了便于开源社区更好地基于Llama进行创新Meta还与高通Qualcomm、联发科Mediatek和Arm展开了密切合作。 值得一提的是Meta这次发布的权重为BFloat16格式。 Llama Stack发行版
Llama Stack API是一个标准化接口用于规范工具链组件如微调、合成数据生成等以定制Llama大语言模型并构建AI智能体应用。 自从今年7月Meta提出了相关的意见征求之后社区反响非常热烈。 如今Meta正式推出Llama Stack发行版——可将多个能够良好协同工作的API提供者打包在一起为开发者提供单一接入点。 这种简化且一致的使用体验让开发者能够在多种环境中使用Llama大语言模型包括本地环境、云端、单节点服务器和终端设备。
完整的发布内容包括 Llama CLI用于构建、配置和运行Llama Stack发行版
多种语言的客户端代码包括Python、Node.js、Kotlin和Swift
Docker容器用于Llama Stack发行版服务器和AI智能体API供应商
多种发行版 单节点Llama Stack发行版通过Meta内部实现和Ollama提供
云端Llama Stack发行版通过AWS、Databricks、Fireworks和Together提供
设备端Llama Stack发行版通过PyTorch ExecuTorch在iOS上实现
本地部署Llama Stack发行版由Dell提供支持
系统安全
这次Meta在模型安全方面主要进行了两个更新 1.Llama Guard 3 11B Vision 它支持Llama 3.2的全新图像理解能力并能过滤文本图像输入提示词或对这些提示词的文本输出响应。 2. Llama Guard 3 1B 它基于Llama 3.2 1B并在剪枝和量化处理之后将模型大小从2,858MB缩减至438MB使部署效率达到前所未有的高度。 参考链接 [1]https://ai.meta.com/blog/llama-3-2-connect-2024-vision-edge-mobile-devices/ [2]https://www.cnet.com/tech/mobile/meta-and-arm-want-to-bring-more-ai-to-phones-and-beyond/#google_vignette [3]https://news.ycombinator.com/item?id41649763
