潮州seo网站推广,网站制作机构,南部县网站建设公司,开发小程序的软件有哪些前沿科技速递#x1f680; 在多语言大模型领域#xff0c;Cohere 再次迎来了突破#xff01;10月24日#xff0c;Cohere的研究实验室 Cohere For AI 正式发布了最新的多语言AI模型家族 —— Aya Expanse。该系列模型开放了8B和32B参数两个版本,为全球AI爱好者带来了崭新的多… 前沿科技速递 在多语言大模型领域Cohere 再次迎来了突破10月24日Cohere的研究实验室 Cohere For AI 正式发布了最新的多语言AI模型家族 —— Aya Expanse。该系列模型开放了8B和32B参数两个版本,为全球AI爱好者带来了崭新的多语言处理能力。 来源传神社区
01 模型简介
Aya Expanse 作为一款专注于缩小语言差距的多语言模型家族支持包括中文、英语、阿拉伯语等在内的23种语言显著提升了各类主流模型的性能。无论是8B还是32B版本都通过了严格的多语言基准测试在各类多语言任务中表现优异胜过 Gemma 2、Llama 3.1 及 Ministral 等领先的开源模型。
Cohere 一直致力于提升多语言研究的质量和普及性。在过去两年内Aya 项目已经与来自 119 个国家的超过3000位研究者共同协作建立了包含 5.13 亿个多语言样本的全球最大多语言数据集 Aya Collection全面覆盖多语言模型的安全性和性能测试。 02 核心创新
Aya Expanse 的成功离不开几项核心技术创新Cohere 的研究团队在数据生成、人类反馈和模型合并方面做出了重要改进。以下是 Aya Expanse 核心技术亮点 数据套利Data Arbitrage 针对资源稀缺的语言Aya Expanse 采用了一种独特的数据采样策略“数据套利”通过教师模型生成高质量的合成数据来弥补低资源语言的不足。该方法受到人类学习方式的启发根据数据分布采用不同的“教师”模型生成适合的多语言数据。这有效避免了模型因合成数据生成而产生“乱码”的现象使多语言数据的质量得到了有效保障。 多语言偏好训练Multilingual Preference Training 偏好训练是指导模型输出高质量结果的“最后一闪”。Aya Expanse 不仅结合了广泛的多语言人类反馈还融入了多元文化视角使其在多语言环境下输出更加精准、安全。通过多轮次的偏好优化Aya Expanse 的性能和安全性在不同文化和语言背景下均有显著提升为多语言模型的安全性设立了新的标准。 模型合并Model MergingAya Expanse 采用了模型合并技术将多种微调模型的权重进行合并显著提高了模型的多任务处理能力和语言多样性。这种方法不仅保留了每个模型的高性能还通过权重加权平均法最大化模型的多样性确保模型在不同语言家族的表现达到最佳。
03 卓越性能
通过图中可以看出Aya Expanse 8B 在多个对比模型中表现突出。在 m-ArenaHard 基准测试中Aya Expanse 8B 对比 Gemma-2 9B、Llama-3.1 8B 和 Ministral 8B 均取得了较高的得分。
在具体语言对比上Aya Expanse 8B 在英语、阿拉伯语、中文等多种语言中的表现均超过对比模型 Gemma-2 9B特别是阿拉伯语和法语的胜率分别高达 69.0% 和 58.0%。这一结果展示了 Aya Expanse 在多语言理解和生成方面的强大适应能力。 在规模较大的测试中Aya Expanse 32B 表现出色超越了包括 Gemma 2 27B、Mistral 8x22B 以及 Llama 3.1 70B 等多款主流大模型为多语言性能树立了新的标杆。而更小的 Aya Expanse 8B 模型在 60.4% 至 70.6% 的胜率范围内超越了 Gemma 2 9B、Llama 3.1 8B 和 Ministral 8B在同类参数模型中性能领先。 04 模型下载
传神社区
https://opencsg.com/models/CohereForAI/aya-expanse-8b
huggingface
https://huggingface.co/CohereForAI/aya-expanse-8b 欢迎加入传神社区 •贡献代码与我们一同共建更好的OpenCSG •Github主页
欢迎https://github.com/OpenCSGs •Huggingface主页
欢迎下载:https://huggingface.co/opencsg •加入我们的用户交流群分享经验 扫描上方二维码添加传神小助手 “ 关于OpenCSG
开放传神OpenCSG成立于2023年是一家致力于大模型生态社区建设汇集人工智能行业上下游企业链共同为大模型在垂直行业的应用提供解决方案和工具平台的公司。 关注OpenCSG 加入传神社区
