广州住房和城乡建设厅网站首页,哪个网站做h5号,wordpress关于本站,网站建设可视化2024年视觉与学习青年学者研讨会#xff08;VALSE 2024#xff09;于5月5日到7日在重庆悦来国际会议中心举行。本公众号将全方位地对会议的热点进行报道#xff0c;方便广大读者跟踪和了解人工智能的前沿理论和技术。欢迎广大读者对文章进行关注、阅读和转发。文章是对报告人…2024年视觉与学习青年学者研讨会VALSE 2024于5月5日到7日在重庆悦来国际会议中心举行。本公众号将全方位地对会议的热点进行报道方便广大读者跟踪和了解人工智能的前沿理论和技术。欢迎广大读者对文章进行关注、阅读和转发。文章是对报告人演讲内容的理解或转述可能与报告人的原意有所不同敬请读者理解如报告人认为文章与自己报告的内容差别较大可以联系公众号删除。
本文主要对于来自浙江大学的张博研究员所做的报告《面向实际场景体验的多模态大模型DeepSeek VL》进行总结和分享。
1.报告人简介
张博浙江大学计算机学院CADCG国家重点实验室“百人计划”研究员博士生导师。研究领域包括计算机视觉、深度内容生成、多模态模型、具身智能等。
2.报告概览
报告首先总结了张博研究员及其团队近期的主要工作随后详细介绍了以用户实际体验为核心围绕数据构建、模型架构和训练策略进行的系统设计的DeepSeek-VL项目。DeepSeek-VL系列的多模态模型在现实世界应用中展现出卓越的用户体验在相同规模的各种视觉语言基准测试中展示了具有竞争力的性能同时在语言中心的基准测试中也保持了优异的表现。
3.内容整理 图1 “DeepSeek-VL”的可视化结果
图 1展示了“DeepSeek-VL”的可视化结果。DeepSeek-VL能够捕获微小的物体并给出有组织的解释。以下内容是根据刘禹良教授的汇报及其关于“DeepSeek-VL”模型的研究论文整理得出。相关论文和DeepSeek-VL demo链接已附在文章末尾。
(1)主要工作
主要工作1高质量图像生成
1)2021年张博研究员及其团队基于生成对抗网络技术推出了领先的图像生成技术StyleSwin。
2)张博研究员及其团队业界首次提出基于扩散模型的文生图模型VQ-Diffusion。
3)生成质量上超越了行业标杆英伟达的StyleGAN并显著超过OpenAI的DALLE v1速度提升达到15倍。
4)张博研究员及其团队的通用图像翻译工作题为Pretraining is all you need for image-to-image translation发表于ICCV 2023比最佳论文得主ControlNet早七个月提出该工作首次提出于2022年5月ControlNet提出于2023年2月。
主要工作2三维生成扩散模型
张博研究员及其团队开发了首个基于扩散模型的虚拟人生成模型该工作被选为CVPR 2023的Highlight名为Rodin模型。
主要工作3多模态基础模型
张博研究员及其团队推出了先进的70亿参数的开源多模态大模型DeepSeek-VL该模型在各种视觉语言基准测试中展示出竞争力的性能同时在以语言为中心的基准测试中也保持出色的表现。
(2)DeepSeek-VL详细介绍
1)数据构建
张博研究员及其团队努力确保数据多样化、可扩展并广泛覆盖真实世界场景包括网页截图、PDF文档、OCR、图表以及基于知识的内容专家知识、教科书目标是全面呈现实际情境。此外张博研究员及其团队根据真实用户场景创建用例分类并据此构建指令调整数据集。使用这个数据集的微调显著提高了模型在实际应用中的用户体验。
2)模型架构
考虑到效率和大多数现实世界场景的需求DeepSeek-VL整合了一个混合视觉编码器该编码器能够在固定的令牌预算内高效处理高分辨率图像1024 x 1024同时保持相对较低的计算开销。这种设计选择确保了模型在各种视觉任务中捕获关键语义和详细信息的能力。
3)训练策略
张博研究员及其团队认为一个熟练的视觉-语言模型首先应具备强大的语言能力。为了确保在预训练期间保留LLM的能力张博研究员及其团队通过从一开始就整合LLM训练并仔细管理视觉和语言模态之间观察到的竞争动态来探索有效的VL预训练策略。从关注文本开始逐渐调整比例以促进两种模态的平衡整合。
DeepSeek-VL系列包括1.3B和7B模型在现实世界应用中作为视觉-语言聊天机器人展示了卓越的用户体验在相同模型大小下在广泛的视觉-语言基准测试中实现了最先进或具有竞争力的性能同时保持了在以语言为中心的基准测试上的稳健性能。张博研究员及其团队已经使1.3B和7B两个模型公开可访问以促进基于此基础模型的创新。
DeepSeek-VL demo链接https://huggingface.co/spaces/deepseek-ai/DeepSeek-VL-7B。
DeepSeek-VL论文下载链接https://arxiv.org/abs/2403.05525。
