代做ppt网站,浙江网架公司,wordpress实现多重筛选,东莞自己注册公司流程大家好#xff0c;我是木易#xff0c;一个持续关注AI领域的互联网技术产品经理#xff0c;国内Top2本科#xff0c;美国Top10 CS研究生#xff0c;MBA。我坚信AI是普通人变强的“外挂”#xff0c;专注于分享AI全维度知识#xff0c;包括但不限于AI科普#xff0c;AI工… 大家好我是木易一个持续关注AI领域的互联网技术产品经理国内Top2本科美国Top10 CS研究生MBA。我坚信AI是普通人变强的“外挂”专注于分享AI全维度知识包括但不限于AI科普AI工具测评AI效率提升AI行业洞察。关注我AI之路不迷路2024我们一起变强。 作为开源AI模型领域的领头羊Meta的Llama系列模型在持续迭代不断进化。就在近日的Meta Connect 2024大会上Meta推出了新版本的Llama模型——Llama 3.2。 省流版摘要 Llama 3.2 正式发布包括小型和中型视觉大模型11B和90B以及轻量级的文本模型1B和3B适用于边缘设备和移动设备并提供预训练和指令微调版本。 轻量模型表现突出1B和3B模型支持128K的上下文长度在设备端的任务如摘要生成、指令执行、文本改写中表现卓越适配高通、联发科硬件并针对Arm处理器进行了优化。 视觉模型超越封闭模型Llama 3.2的11B和90B视觉模型可以直接替代对应文本模型在图像理解任务上超过了Claude 3 Haiku等封闭模型支持本地微调和部署。 Llama Stack 分布方案首次推出官方的Llama Stack分布简化了在单节点、本地部署、云端和设备端使用Llama模型的工作流程支持RAG检索增强生成等集成安全的应用。 广泛合作伙伴支持与AWS、Databricks、戴尔科技等合作伙伴协作为企业客户构建了Llama Stack分布方案。设备端通过PyTorch ExecuTorch实现单节点通过Ollama支持。 坚持开放创新Llama 继续在开放性、可修改性和成本效益方面引领行业帮助更多人通过生成式AI实现创意突破。Llama 3.2模型现已可在llama.com和Hugging Face下载并支持多家合作平台即时开发。
为什么推出Llama 3.2
Llama 3.2的推出是对开发者需求的积极响应。Llama 3.1系列模型发布至今已有两个月其中最引人注目的是405B模型它是首个开源的前沿级AI模型。然而Llama 3.1系列尽管性能卓越但在实际应用中搭建这些模型往往需要大量的计算资源和专业知识。如何能够在有限的资源条件下依然享受Llama模型带来的先进功能Llama 3.2在这样的背景下应运而生。
Llama 3.2的核心目标是让更广泛的开发者尤其是在边缘设备和移动设备上构建应用的开发者能够利用轻量且高效的模型进行开发。通过引入1B和3B的轻量级文本模型以及11B和90B的视觉大模型Llama 3.2为设备端的应用提供支持。此外Llama 3.2还进一步优化了对高通、联发科等硬件的支持并针对Arm处理器进行了精细优化确保在边缘设备上的性能表现出色。
Llama 3.2核心能力
Llama 3.2系列中的两款大模型——11B和90B专为图像推理任务而设计支持多种视觉理解应用场景如文档级别的图表和图像解析、图像标注以及基于自然语言描述的视觉定位任务。例如可以通过问题询问上一年度哪个月企业的销售表现最佳Llama 3.2会根据提供的图表快速推理并给出答案。在另一个场景中模型还可以通过分析地图回答某条远足路线何时变得陡峭或特定路径的距离。Llama 3.2模型不仅能够从图像中提取细节还能理解场景的整体内容生成适合的图像说明使得视觉与语言之间的鸿沟得以弥合。
轻量级的1B和3B模型则在多语言文本生成和工具调用能力上表现出色。这些模型能够帮助开发者构建个性化的本地化智能应用确保数据隐私不离开设备本身。比如一个这样的应用可以帮助用户总结最近收到的10条消息提取其中的待办事项并直接通过工具调用发送会议跟进邀请。
在本地运行这些模型具有两个显著优势。首先提示词和模型响应的处理速度更快因为所有操作都在本地进行。其次本地化运行能够保持数据隐私避免诸如消息或日历等信息上传至云端从而确保应用的隐私性更高。由于处理均在本地完成开发者和用户可以完全掌控哪些查询留在设备上处理哪些查询可能需要更大的模型在云端完成。
Llama 3.2模型评估
经过评估Llama 3.2视觉模型在图像识别和多种视觉理解任务上表现与当前领先的基础模型Claude 3 Haiku和GPT-4o mini相当。尤其是3B模型在指令执行、摘要生成、提示词改写和工具使用等任务上超越了Gemma 2 2.6B和Phi 3.5-mini等竞争对手而1B模型在多项任务中与Gemma系列的表现不相上下。
Llama 3.2模型的性能评估基于超过150个基准数据集这些数据集涵盖了多种语言和任务类型。对于视觉大语言模型主要评估了其在图像理解和视觉推理任务中的表现结果显示Llama 3.2在这些关键任务上具备领先优势。
视觉指令微调基准测试
在视觉指令微调基准测试Vision Instruction-Tuned Benchmarks中Llama 3.2的11B和90B模型表现出色尤其在视觉推理、图表理解和问答任务上整体表现优于Claude 3 - Haiku甚至在某些任务上超越了GPT-4o-mini。 图像推理任务 在复杂图表理解任务如ChartQA和AI2 Diagram上Llama 3.2的90B模型得分最高超越了其他模型。 在DocVQA文档视觉问答任务中Llama 3.2的表现与Claude 3 - Haiku接近但仍然稍有领先。 数学与推理任务 Llama 3.2在MATH和MMMU任务上的表现强劲尤其是90B模型远远超越了Claude 3 - Haiku。 文本任务 Llama 3.2在GPQA推理和MMLU通用推理等文本任务中的表现同样很好特别是90B模型在多语言推理任务MGSM上表现优异。 轻量级指令微调基准测试
在轻量级指令微调基准测试Lightweight Instruction-Tuned Benchmarks中Llama 3.2系列的1B和3B模型在多项任务中表现优异尤其在工具使用、数学推理和多语言推理等方面展现了较强的竞争力。其中Llama 3.2 3B在BFCL V2工具使用任务中以67.0分领先在多语言推理任务MGSM中Llama 3.2 3B取得了58.2分显示出其在设备端应用中的强大能力。 通用任务 在MMLU5-shot任务中Llama 3.2 3B以63.4分表现出色超越了Gemma 2 2B IT但略低于Phi-3.5-mini IT的69.0分。 在Open-rewrite eval任务中Llama 3.2系列模型整体领先Llama 3.2 1B和Llama 3.2 3B分别得分41.6和40.1优于其他对比模型。 工具使用 Llama 3.2 3B在BFCL V2工具使用任务中表现优异以67.0分大幅领先于其他模型显示出其在调用工具任务中的强大能力。 数学推理 在GSM8K任务中Llama 3.2 3B表现优异获得77.7分超过了Gemma 2 2B IT的62.5分但Phi-3.5-mini IT依然以86.2分在该任务上领先。 MATH任务中Llama 3.2 3B取得48.0分同样远超Gemma 2 2B IT和Phi-3.5-mini IT。 推理能力 Llama 3.2 3B在ARC Challenge推理任务中取得78.6分略胜于Gemma 2 2B IT但仍低于Phi-3.5-mini IT的87.4分。 多语言任务 在MGSM0-shot任务中Llama 3.2 3B的58.2分显著超越了其他模型表明其在多语言推理任务上的卓越表现。 视觉模型
Llama 3.2的11B和90B模型是首次支持视觉任务的Llama模型。为支持图像输入这些模型采用了全新的架构具备图像推理能力。模型通过引入一组专门训练的适配器权重将预训练的图像编码器与预训练的语言模型进行集成。这些适配器由一系列交叉注意力层组成将图像编码器的表示传递给语言模型确保图像和语言的表示能够很好地对齐。 在训练过程中首先使用包含大量噪声的图像-文本对数据进行预训练然后再通过中等规模的高质量、领域内和知识增强的图像-文本对数据进行进一步训练。在适配器训练阶段仅更新图像编码器的参数而保留语言模型的参数不变以确保其原有的文本处理能力不受影响使得开发者能够将其作为Llama 3.1模型的直接替代方案。
在模型的后期训练中采用了与文本模型相似的调优方法结合多轮的监督微调、拒绝采样和直接偏好优化。通过使用生成的数据结合领域内的图像进行问题和答案的生成确保微调数据的高质量并引入安全缓解数据确保模型在保持有效性的同时具备高安全性。
最终Llama 3.2的视觉模型能够同时处理图像和文本提示具备深度理解和推理能力。
轻量级模型
与Llama 3.1一样Llama 3.2借助强大的教师模型Teacher Model成功打造出性能优异的轻量级模型。通过剪枝Pruning和知识蒸馏Knowledge Distillation两种技术手段Llama 3.2的1B和3B模型首次实现了在设备端高效运行的能力成为轻量化Llama模型中的佼佼者。
剪枝技术的应用使得模型体积得以缩减但依然保留了尽可能多的知识和性能。通过结构化剪枝对Llama 3.1 8B模型进行精细化调整系统性地移除部分网络节点并调整权重和梯度的大小从而生成一个更小、更高效的模型同时保持原网络的性能。
知识蒸馏则通过将较大网络的知识传递给较小网络从而提升小模型的性能。在Llama 3.2的1B和3B模型中结合了来自Llama 3.1 8B和70B模型的logits将这些输出作为预训练阶段的目标进行训练随后在剪枝后通过蒸馏技术恢复模型的性能。 在后期训练中采用与Llama 3.1类似的流程通过多轮对预训练模型的对齐包括监督微调、拒绝采样和直接偏好优化生成最终的对话模型。此外支持的上下文长度扩展至128K tokens同时保证了与预训练模型相同的质量水平。为了确保数据质量还使用了合成数据生成技术经过精细处理和过滤以优化模型在摘要生成、文本改写、指令执行、语言推理和工具使用等多项能力上的表现。
为进一步推动轻量模型在移动设备上的应用Llama 3.2与高通、联发科以及Arm紧密合作这三家公司在全球移动设备处理器市场占据重要地位确保模型能在99%的移动设备上高效运行。发布的模型权重基于BFloat16数值量化变体也正在积极研发中未来将进一步提升运行速度。 Llama Stack 分布方案
Meta于7月发布了关于Llama Stack API的意见征集旨在提供一个标准化的接口支持对Llama模型进行微调、生成合成数据等工具链组件的自定义化。
经过数月Llama团队将该API从概念化变为实际应用开发了API的参考实现涵盖了推理、工具调用和检索增强生成RAG等功能。最终推出了Llama Stack分布方案通过将多个API服务提供商打包为一个单一的端点简化了开发者在不同环境中使用Llama模型的体验无论是本地部署、云端还是设备端。 Llama Stack分布方案的完整发布内容包括 Llama CLI命令行工具用于构建、配置和运行Llama Stack分布方案 多种语言的客户端代码支持包括Python、Node、Kotlin和Swift 适用于Llama Stack分布服务器和代理API服务提供商的Docker容器 多种分布方案支持 单节点Llama Stack分布通过Meta内部实现和Ollama 云端分布方案支持AWS、Databricks、Fireworks和Together 设备端分布方案通过PyTorch ExecuTorch在iOS上实现 本地部署分布方案戴尔支持的On-prem 如何使用Llama 3.2 Hugging Face: Llama 3.2的各类模型包括轻量级的1B和3B文本模型以及支持图像处理的11B和90B视觉模型均可在Hugging Face上下载和使用。这是开发者进行模型微调、实验以及集成到不同应用中的一个常见平台。 Amazon Bedrock 和 SageMaker: Llama 3.2模型在Amazon Bedrock和SageMaker上支持云端部署。用户可以通过这些平台进行模型推理并支持多区域推理端点方便开发者进行程序化调用。此外Amazon SageMaker JumpStart还提供了微调和模型部署的能力使开发者能够定制Llama 3.2模型以满足特定应用需求。 Azure AI: Llama 3.2模型在Microsoft Azure AI平台上也可以使用提供了无服务器的API部署方案。Azure上不仅支持Llama模型的标准推理还集成了内容安全功能帮助开发者在构建AI应用时遵守合规要求。 精选推荐 都读到这里了点个赞鼓励一下吧小手一赞年薪百万。关注我AI之路不迷路原创技术文章第一时间推送。
