丰台高端网站建设,网站开发属于哪个类目,在线开发,汕头网站设计电话01
背景 近年来#xff0c;生成式语言模型#xff08;GLM#xff09;的飞速发展正在重塑人工智能领域#xff0c;尤其是在自然语言处理、内容创作和智能客服等领域展现出巨大潜力。然而#xff0c;大多数领先的语言模型主要依赖于英文数据集进行训练#xff0c;中文数据…01
背景 近年来生成式语言模型GLM的飞速发展正在重塑人工智能领域尤其是在自然语言处理、内容创作和智能客服等领域展现出巨大潜力。然而大多数领先的语言模型主要依赖于英文数据集进行训练中文数据资源在规模和多样性方面相对不足限制了中文生成式模型的实际应用表现。为应对这一挑战OpenCSG算法团队启动了 Chinese Cosmopedia 项目对标Huggingface Cosmopedia旨在构建一个专为中文语言模型设计的大规模合成数据集推动中文大模型的性能提升和广泛应用。
Chinese Cosmopedia 项目通过整合中文互联网中的多种数据来源和内容类型构建了涵盖约1500万条数据和600亿个token的庞大数据集。该数据集包括了多种文体和风格如大学教科书、中学教科书、幼儿故事、技术教程和普通故事等内容广泛涉及学术、教育、技术等多个领域。这些多样化的数据能够满足不同应用场景的需求帮助训练更加智能和精准的中文生成式语言模型。
OpenCSG团队在数据生成过程中通过种子数据和prompt设计来控制数据的主题和风格确保数据的多样性和高质量。例如种子数据来源于各类中文百科、知识问答和技术博客等而prompt则用于生成具有不同受众和风格的内容从学术教科书到儿童故事内容广泛且具有针对性。团队还利用先进的生成技术确保生成数据具备连贯性和深度。
通过推出 Chinese CosmopediaOpenCSG团队致力于提升中文语言模型在多种任务中的表现使得中文模型在准确性、生成能力和实际应用中的表现更加优越。该项目不仅将帮助研究人员和开发者加速中文大模型的训练和应用也将为企业和行业提供丰富的工具和数据支持。Chinese Cosmopedia 的成功实施将成为中文AI技术发展中的一个重要里程碑推动人工智能技术的普及和民主化让更多人和企业能够享受到AI带来的创新和效益。 02
Cosmopedia数据集介绍
Cosmopedia 是 Hugging Face 社区开发的一个庞大的开放合成数据集旨在支持大语言模型LLM的预训练。该数据集包含超过 3000 万个文件总共约 250 亿个 tokens是迄今为止最大规模的公开合成数据集之一。Cosmopedia 的主要目的是生成用于模型训练的多样化、高质量数据以复现类似于微软的 Phi-1.5 模型的训练数据。 内容覆盖面广泛
Cosmopedia 涵盖多种文本类型包括合成教科书、博客文章、故事以及类似 WikiHow 的教程文章。这些内容从不同的来源获取和加工既包括精选的教育资源如 斯坦福课程、可汗学院、OpenStax 和 WikiHow。这些资源涵盖了许多有价值的主题可供 LLM 学习。
Cosmopedia 中 80% 以上的提示数据来自网络经过复杂的聚类算法确保生成数据的多样性和质量。这些数据广泛覆盖多个主题从教育、科学到日常生活几乎涵盖了人类知识的方方面面。
生成方法与挑战
Cosmopedia 的生成过程中使用了 Mixtral-8x7B-Instruct-v0.1 模型。提示生成是该项目的核心部分为了确保生成的内容在不同主题和受众间保持多样性开发团队设计了数百万条不同的 prompts调整了生成文本的风格和目标受众。这些提示不仅包括学术教科书式的生成任务还包括为少年儿童、研究人员等不同受众定制的内容。 数据集链接https://huggingface.co/datasets/HuggingFaceTB/cosmopedia 03
Chinese Cosmopedia 数据集
数据集简介
Chinese Cosmopedia数据集共包含1500万条数据约60B个token构建合成数据集的两个核心要素是种子数据和prompt。种子数据决定了生成内容的主题prompt则决定了数据的风格如教科书、故事、教程或幼儿读物。数据来源丰富多样涵盖了中文维基百科、百度百科、知乎问答和技术博客等平台确保内容的广泛性和权威性。生成的数据形式多样涵盖大学教科书、中学教科书、幼儿故事、普通故事和WikiHow风格教程等多种不同风格。通过对每条种子数据生成多种不同风格的内容数据集不仅适用于学术研究还广泛应用于教育、娱乐和技术领域。 下载地址
huggingface社区https://huggingface.co/datasets/opencsg/chinese-cosmopedia
数据来源与种类
Chinese Cosmopedia的数据来源丰富涵盖了多种中文内容平台和知识库包括 中文维基百科提供了大量精确、权威的知识性文章。 百度百科作为国内最具影响力的百科平台之一百度百科为数据集提供了广泛的中文知识资源。 知乎问答从互动式问答平台中提取的内容涵盖了多个领域的讨论与见解。 技术博客来自技术社区的文章涵盖了从编程到人工智能等多个技术方向的深入讨论。
这些种子数据构成了Chinese Cosmopedia数据集的核心内容来源确保了不同领域知识的覆盖。
数据形式与风格
Chinese Cosmopedia数据集特别注重生成内容的风格与形式涵盖了从学术到日常应用的多种文本类型主要包括以下几类 大学教科书内容结构严谨深入探讨各类大学学科的核心概念。 中学教科书适合中学生的教学内容简洁易懂注重基本知识的传达。 幼儿故事面向5岁儿童语言简洁易懂帮助幼儿理解世界和人际关系。 普通故事通过引人入胜的情节和人物对话展开对某一概念的生动描述。 WikiHow风格教程详细的步骤指导帮助用户完成特定任务。
每种文体都根据不同的应用场景和目标读者群体进行了精细化的风格调整。通过这种设计Cosmopedia不仅适用于学术研究还能广泛应用于教育、娱乐、技术等领域。
统计
种子数据来源{blog: 2111009, baike: 10939121, wiki: 173671, knowledge QA: 2291547} 数据形式{preschool story: 1637760, normal story: 3332288, middle school textbook: 4677397, college textbook: 3127902, wikihow: 2740001} 数据生成与模型
Chinese Cosmopedia的数据生成基于OpenCSG团队自主开发的OpenCSG-Wukong-Enterprise-Long模型。该模型通过强大的长文本生成能力确保了生成数据的连贯性和内容深度。在数据生成过程中OpenCSG团队为每种文体和内容类型设计了专门的prompt提示词以确保数据生成的风格与内容准确匹配。例如对于教科书类型的内容prompt会引导模型生成严谨且具有深度的学术文本而对于故事类内容则引导模型创造生动、引人入胜的情节。
我们用于生成各种格式的数据的prompt如下
大学教科书 这是一段来自网页的摘录“{}”。请编写一个针对大学生的足够详细的教科书课程单元该单元与给定的摘录中的某个概念或多个概念相关。不需要包含摘录中的所有内容只需要发掘其中适合作为教科书内容的部分。你可以自由补充其他相关知识。不能仅仅列出概念而是要深入发展和详细探讨每个概念因为我们优先考虑深入理解主题内容而不是广度。要求1. 严谨性确保对概念/章节的深入覆盖。2. 吸引性用学术、专业且引人入胜的语气撰写以吸引兴趣。3. 应用融入具体的实践例子例如微积分中要给出公式、严格证明历史中要给出关键日期和人物计算机操作中要给出代码。4.不需要给出参考文献。内容中不应包含广告或涉及隐私的信息。请记住要针对大学生制作内容他们可能拥有一些基础知识但不是该领域的专家。内容应该详细且发人深省。请立即开始撰写教科书不要使用图片不要输出除了教科书以外的内容。
中学教科书 网页摘录“{}”。创建一个与上述网页摘录中的某个概念相关的具有教育意义的内容针对中学生尽量长而详细。你可以自由补充其他相关知识。不能仅仅列出概念而是要深入发展和详细探讨每个概念因为我们优先考虑深入理解主题内容而不是广度不需要包含摘录中的所有内容。不应该使用像微积分这样的复杂大学级主题因为这些通常不是中学的内容。如果主题是关于这些的寻找一个更简单的科学替代内容来解释并使用日常例子。例如如果主题是“线性代数”你可能会讨论如何通过将物体排列成行和列来解决谜题。避免使用技术术语和LaTeX只讨论中学级别的主题。内容中不应包含广告或涉及隐私的信息。请直接开始撰写教育内容不要输出除了教育内容以外的内容。
普通故事 写一个与以下文本片段相关的引人入胜的故事“{}”。故事不需要提及片段中的所有内容只需使用它来获得灵感并发挥创意可以加入其它知识。故事应包括1.小众概念或兴趣深入研究特定的概念、爱好、兴趣或幽默情况 2.意想不到的情节转折或引人入胜的冲突引入具有挑战性的情况或困境。3.对话故事必须至少包含一个有意义的对话以揭示人物深度、推进情节或揭开谜团的关键部分4.反思和洞察以具有教育意义的新理解、启示的结论结束。5.故事中的人物应使用中国式的名字。请勿包含广告或涉及隐私的信息。请马上开始讲故事不要输出除了故事以外的内容。
幼儿故事 网页摘录“{}”创建一个与上述网页摘录中的某个概念相关的具有教育意义的儿童故事重点针对对世界和人际交往零知识的5岁儿童。故事不需要提及片段中的所有内容只需使用它来获得灵感并发挥创意。故事应该使用简单的术语。你可以补充额外的知识来帮助理解。使用易于理解的示例并将 5 岁儿童可能提出的问题及其答案纳入故事中。故事应涵盖日常行为和常见物品的使用。不应该使用像微积分这样的复杂大学级主题因为这些通常不是幼儿能理解的内容。如果主题是关于这些的寻找一个更简单的科学替代内容来解释并使用日常例子。例如如果主题是“线性代数”你可能会讨论如何通过将物体排列成行和列来解决谜题。请直接开始撰写故事不要输出除了故事以外的内容。
wikihow教程 网页摘录“{}”。以 WikiHow 的风格写一篇长而非常详细的教程教程与此网页摘录有相关性。教程中需要包括对每个步骤的深入解释以及它如何帮助实现预期结果。你可以自由补充其他相关知识。确保清晰性和实用性让读者能够轻松遵循教程完成任务。内容中不应包含广告或涉及隐私的信息。不要使用图像。请直接开始撰写教程。 我们诚邀对这一领域感兴趣的开发者和研究者关注和联系社区共同推动技术的进步。敬请期待数据集的开源发布 作者及单位
原文作者俞一炅、戴紫赟、Tom Pei
单位OpenCSG LLM Research Team 欢迎加入OpenCSG开源社区
OpenCSG作为一家大模型开源社区基于线上线下一体的CSGHub平台上开源了丰富的训练数据资产、模型资产可以供广大的爱好者免费获取。其中OpenCSG的 Open是开源开放C 代表 Converged resources整合和充分利用的混合异构资源优势算力降本增效S 代表 Software Refinement重新定义软件的交付方式通过大模型驱动软件开发人力降本增效G 代表 Generative LM大众化、普惠化和民主化的可商用的开源生成式大模型。OpenCSG的愿景是让每个行业、每个公司、每个人都拥有自己的模型。我们坚持开源开放的原则将OpenCSG的大模型软件栈开源到社区。欢迎使用、反馈和参与共建欢迎关注和Star⭐️ •贡献代码与我们一同共建更好的OpenCSG •Github主页
欢迎https:// github.com/OpenCSGs •Huggingface主页
欢迎下载:https://huggingface.co/opencsg •加入我们的用户交流群分享经验 扫描上方二维码添加传神小助手 “ 关于OpenCSG
开放传神OpenCSG成立于2023年是一家致力于大模型生态社区建设汇集人工智能行业上下游企业链共同为大模型在垂直行业的应用提供解决方案和工具平台的公司。 关注OpenCSG 加入传神社区
