网站页面设计欣赏,网站备案部门,我想学做互联网怎么入手,seo 网站描述长度CogVLM2和CogVLM2-Video是新一代的开源模型#xff0c;支持图像和视频理解#xff0c;具有显著的性能提升。最近发布的更新包括CogVLM2论文的发表、在线演示和对视频理解的支持#xff0c;能够处理最多1分钟的视频。新模型支持中英文#xff0c;文本长度可达8K#xff0c;… CogVLM2和CogVLM2-Video是新一代的开源模型支持图像和视频理解具有显著的性能提升。最近发布的更新包括CogVLM2论文的发表、在线演示和对视频理解的支持能够处理最多1分钟的视频。新模型支持中英文文本长度可达8K图像分辨率高达1344x1344且在多个基准测试中表现优异。开发者可以通过提供的API和演示快速入门。
来源https://github.com/THUDM/CogVLM2 论文https://arxiv.org/pdf/2408.16500 以下内容来源github翻译
CogVLM2 CogVLM2-Video
近期更新 News: 2024/8/30: CogVLM2论文已经发布到arXiv。 News: 2024/7/12: 我们开放了 CogVLM2-Video 在线体验网址 欢迎前往体验。 News: 2024/7/8: 我们发布了 CogVLM2 模型的视频理解版本 CogVLM2-Video 模型通过抽取关键帧的方式实现对连续画面的解读该模型可以支持最高1分钟的视频。阅读我们 博客 查看更多信息。 News2024/6/8我们发布 CogVLM2 TGI 模型权重 这是一个可以在 TGI 环境加速推理的模型。您可以使用这里的代码在TGI上运行 CogVLM2 模型。 News2024/6/5我们发布 GLM-4V-9B它使用与 CogVLM2 相同的数据和训练配方但以 GLM-4-9B 作为语言主干。我们删除了视觉专家以将模型大小减小到 13B。更多详细信息请参阅 GLM-4 repo。 News2024/5/24我们发布了 Int4 版本模型仅需要 16GB 显存即可进行推理。欢迎前来体验 News2024/5/20我们发布了 CogVLM2 模型它基于 llama3-8b在大多数情况下与 GPT-4V 相当或更好欢迎下载
模型介绍
我们推出了新一代的 CogVLM2 系列模型并开源了两款基于 Meta-Llama-3-8B-Instruct 开源模型。与上一代的 CogVLM 开源模型相比CogVLM2 系列开源模型具有以下改进
在许多关键指标上有了显著提升例如 TextVQA, DocVQA。支持 8K 文本长度。支持高达 1344 * 1344 的图像分辨率。提供支持中英文双语的开源模型版本。
您可以在下表中看到 CogVLM2 系列开源模型的详细信息
模型名称cogvlm2-llama3-chat-19Bcogvlm2-llama3-chinese-chat-19Bcogvlm2-video-llama3-chatcogvlm2-video-llama3-base基座模型Meta-Llama-3-8B-InstructMeta-Llama-3-8B-InstructMeta-Llama-3-8B-InstructMeta-Llama-3-8B-Instruct语言英文中文、英文英文英文任务图像理解多轮对话模型图像理解多轮对话模型视频理解单轮对话模型视频理解基座模型不可对话模型链接 Huggingface ModelScope Wise Model Huggingface ModelScope Wise Model Huggingface ModelScope Huggingface ModelScope体验链接 Official Page Official Page ModelScope Huggingface ModelScope Huggingface ModelScopeExperience Link Official Page Official Page ModelScope Official Page ModelScope/Int4 模型 Huggingface ModelScope Wise Model Huggingface ModelScope Wise Model//文本长度8K8K2K2K图片分辨率1344 * 13441344 * 1344224 * 224 (视频,取前24帧)224 * 224 (视频,取平均24帧)
Benchmark
图像理解能力
我们的开源模型相较于上一代 CogVLM 开源模型在多项榜单中取得较好的成绩。其优异的表现能与部分的非开源模型进行同台竞技如下表所示
ModelOpen SourceLLM SizeTextVQADocVQAChartQAOCRbenchMMMUMMVetMMBenchCogVLM1.1✅7B69.7-68.359037.352.065.8LLaVA-1.5✅13B61.3--33737.035.467.7Mini-Gemini✅34B74.1---48.059.380.6LLaVA-NeXT-LLaMA3✅8B-78.269.5-41.7-72.1LLaVA-NeXT-110B✅110B-85.779.7-49.1-80.5InternVL-1.5✅20B80.690.983.872046.855.482.3QwenVL-Plus❌-78.991.478.172651.455.767.0Claude3-Opus❌--89.380.869459.451.763.3Gemini Pro 1.5❌-73.586.581.3-58.5--GPT-4V❌-78.088.478.565656.867.775.0CogVLM2-LLaMA3 (Ours)✅8B84.292.381.075644.360.480.5CogVLM2-LLaMA3-Chinese (Ours)✅8B85.088.474.778042.860.578.9
所有评测都是在不使用任何外部OCR工具(“only pixel”)的情况下获得的。
视频理解能力
下图显示了 CogVLM2-Video 在 MVBench、VideoChatGPT-Bench 和 Zero-shot VideoQA 数据集 (MSVD-QA、MSRVTT-QA、ActivityNet-QA) 上的性能。 其中 VCG 指的是 VideoChatGPTBenchZS 指的是零样本 VideoQA 数据集MV-* 指的是 MVBench 中的主要类别。具体榜单测试数据如下
ModelsVCG-AVGVCG-CIVCG-DOVCG-CUVCG-TUVCG-COZS-AVGIG-VLM GPT4V3.173.402.803.612.893.1365.70ST-LLM3.153.233.053.742.932.8162.90ShareGPT4VideoN/AN/AN/AN/AN/AN/A46.50VideoGPT3.283.273.183.742.833.3961.20VideoChat2_HD_mistral3.103.402.913.722.652.8457.70PLLaVA-34B3.323.603.203.902.673.2568.10CogVLM2-Video3.413.493.463.872.983.2366.60
CogVLM2-Video 在 MVBench 数据集上的表现
ModelsAVGAAACALAPASCOCIENERFAFPMAMCMDOEOIOSSTSCUAIG-VLM GPT4V43.772.039.040.563.555.552.011.031.059.046.547.522.512.012.018.559.029.583.545.073.5ST-LLM54.984.036.531.053.566.046.558.534.541.544.044.578.556.542.580.573.538.586.543.058.5ShareGPT4Video51.279.535.541.539.549.546.551.528.539.040.025.575.062.550.582.554.532.584.551.054.5VideoGPT58.783.039.534.060.069.050.060.029.544.048.553.090.571.044.085.575.536.089.545.066.5VideoChat2_HD_mistral62.379.560.087.550.068.593.571.536.545.049.587.040.076.092.053.062.045.536.044.069.5PLLaVA-34B58.182.040.549.553.067.566.559.039.563.547.050.070.043.037.568.567.536.591.051.579.0CogVLM2-Video62.385.541.531.565.579.558.577.028.542.554.057.091.573.048.091.078.036.091.547.068.5
项目结构
本开源仓库将带领开发者快速上手 CogVLM2 开源模型的基础调用方式、微调示例、OpenAI API格式调用示例等。具体项目结构如下您可以点击进入对应的教程链接
basic_demo 文件夹包括
CLI 演示推理 CogVLM2 模型。CLI 演示使用多个GPU推理 CogVLM2 模型。Web 演示由 chainlit 提供。API 服务器采用 OpenAI 格式。Int4 可以通过 --quant 4 轻松启用内存使用为16GB。
finetune_demo 文件夹包括
peft 框架的高效微调示例。
video_demo 文件夹包括
CLI 演示推理 CogVLM2-Video 模型。Int4 可以通过 --quant 4 轻松启用内存使用为16GB。Restful API 服务。Gradio 演示。
模型协议
该模型根据 CogVLM2 LICENSE 许可证发布。对于使用了Meta Llama 3基座模型构建的模型需要同时遵守 LLAMA3_LICENSE 许可证。
引用
如果您发现我们的工作有所帮助请考虑引用以下论文:
article{hong2024cogvlm2,title{CogVLM2: Visual Language Models for Image and Video Understanding},author{Hong, Wenyi and Wang, Weihan and Ding, Ming and Yu, Wenmeng and Lv, Qingsong and Wang, Yan and Cheng, Yean and Huang, Shiyu and Ji, Junhui and Xue, Zhao and others},journal{arXiv preprint arXiv:2408.16500},year{2024}
}misc{wang2023cogvlm,title{CogVLM: Visual Expert for Pretrained Language Models}, author{Weihan Wang and Qingsong Lv and Wenmeng Yu and Wenyi Hong and Ji Qi and Yan Wang and Junhui Ji and Zhuoyi Yang and Lei Zhao and Xixuan Song and Jiazheng Xu and Bin Xu and Juanzi Li and Yuxiao Dong and Ming Ding and Jie Tang},year{2023},eprint{2311.03079},archivePrefix{arXiv},primaryClass{cs.CV}
}参考资料
http://cogvlm2-online.cogviewai.cn:7868/ 复现https://blog.csdn.net/hejiahao_/article/details/139449516 https://blog.csdn.net/qq_43501322/article/details/143725056?utm_mediumdistribute.pc_relevant.none-task-blog-2defaultbaidujs_baidulandingword~default-0-143725056-blog-139449516.235v43pc_blog_bottom_relevance_base6spm1001.2101.3001.4242.1utm_relevant_index3 https://blog.csdn.net/LateLinux/article/details/140521281 https://huggingface.co/collections/THUDM/cogvlm2-6645f36a29948b67dc4eef75
