百度网站如何做,wordpress 菜单 下拉菜单,企业网站建设软件需求分析,广告代运营笔者尝试AI视频生成的几个特点#xff1a;
玄学prompt#xff0c;每个视频的prompt可能也需要微调很多次#xff0c;需要找到使用模型的最佳prompt词组合#xff0c;不恰当的比喻#xff0c;骑自行车#xff0c;座位高度等都是人与车彼此熟悉玄学生成#xff0c;因为需…笔者尝试AI视频生成的几个特点
玄学prompt每个视频的prompt可能也需要微调很多次需要找到使用模型的最佳prompt词组合不恰当的比喻骑自行车座位高度等都是人与车彼此熟悉玄学生成因为需要连贯你可能需要生成无数个视频99%可能都是一坨屎各种垮脸的关键帧需要失败很多次才有那么个能看的所以按照这个原理买在线平台比较不划算因为每次生成都是计费的
如果要生成比较合理的长视频
合理的拆解分镜每个分镜要有适配模型的prompt包括背景描述玄学生成视频力大出奇迹
这里笔者有点推荐使用【星火绘镜】来试着打造分镜首图也可以保存 后面生成视频的功能就别用了瘆人。
几个可以同时支持图文共同输入的模型
即梦lumalabs.AIRunway Gen-3 Alpha 1 产品调研
AIGC产品列表可见[AI视频生成]
1.1 快手可灵
https://kling.kuaishou.com/
没有申请到测试账户生成短视频一般5s左右示例视频的动作还蛮丰富 号称可以支持长视频
1.2 lumalabs.AI
https://lumalabs.ai/dream-machine/creations
120 秒生成 120 帧视频模型 Dream Machine Dream Machine 可在 120 秒生成 120 帧目前单个视频最长为 5 秒生成的视频具有逼真的流畅运动、电影摄影和戏剧效果还可以匹配摄像机运动创造出“惊艳”的画面。 Luma AI 也提到了目前模型存在的问题比如切换视角时汽车会变形狗的运动没有用到爪子显示文字会有问题将 Luma 显示成 Lumma北极熊在转身时出现了两个头Janus 是罗马人的门神具有前后两个面孔官方表示他们仍将继续优化模型。
1.3 即梦 - 剪映旗下
https://jimeng.jianying.com/ai-tool/home
有一些比较视觉的功能比如运镜控制还有首帧尾帧的图片的上传可以固定首尾情况 但是整体5S中可以连贯的剧情可能比较简单 笔者体验下来可能仅仅实现的是图像动起来
生成的内容也会有变形所以需要生成很多次才可以。 1.4 科大讯飞-星火绘镜
https://typemovie.art/#/dashboard
笔者猜测底层可能是【Stable Video Diffusion】使用的某个Lora都是高清现代人物比较亮眼的长视频的分镜处理 第一步给入主题大纲生成分幕剧情
第二步根据每一个分镜描述生成分镜首图然后后续会根据这些首页图再次生成 咋说呢首图看着确实很亮眼但是后续生成的视频简直不能看胆小慎入… 反正不能人样…
1.5 魔搭MotionAgent
https://modelscope.cn/studios/iic/MotionAgent/summary
MotionAgent是一个能将用户创造的剧本生成视频的深度学习模型工具。用户通过我们提供的工具组合进行剧本创作、剧照生成、图片/视频生成、背景音乐谱写等工作。
是一个比较完整的项目了包括剧本音乐生成就是缺了一个分镜就更好了 比较适合自己搭服务器玩 1.6 CogVideo
https://segmentfault.com/a/1190000044809082 https://models.aminer.cn/cogvideo/ 只有4s可以免费试用的相对固定 1.7 runwayml
https://runwayml.com/?refmagicspace.agency 1.8 Stable Video
Stable Video是由著名的Stability AI推出的在线AI视频生成工具目前拥有最强大的AI绘画模型之一Stable Diffusion。它提供文本生成视频和图像生成视频两种模式每天还可获得积分免费生成多达十几个视频。 网址 https://www.stablevideo.com/
测试下来本质就是让图动起来差了点意思剧情感不强 1.9 Lumen5
Lumen5能够将长篇文章、博客等文本内容转化为视频并提供丰富的视频模板供选择。用户可以对制作过程进行微调添加素材等享有高度自由度。 网址https://lumen5.com/ 1.10 腾讯智影 - 数字人创作
腾讯智影是一款集成了AI数字人物、AI文字转语音TTS、文章转视频等功能的智能创作工具。用户可以选择多种AI数字人物并进行细节控制如动作、服装等。 网址 https://zenvideo.qq.com/
1.11 即创 - 电商商品生成
即创是字节跳动专为抖音生态而推出的AI创作平台能够通过AI快速生成文案、带货视频、直播以及商品宣传图等内容。同时也提供AI数字人功能。 用户可以通过抖音精选联盟的商品ID在即创中一键生成爆款内容非常适合从事抖音带货的用户。 官网 https://aic.oceanengine.com
1.12 一帧秒创
https://aigc.yizhentv.com/product/aiVideo
拆分剧本但是视频都是哪个影视剧的小片段裁剪的不是合成的 1.13 domoAI - 视频转动漫
官方 Discord 链接 https://discord.gg/domoai
DomoAI 的服务目前托管 Discord 上的可以将真人视频转化为动漫、3D、像素、彩色插画、中国水墨画等多种风格。下面是官方展示的真人视频转动漫视频的效果非常稳定丝滑。
1.14 Runway Gen-3 Alpha
2024/6/18更新 https://app.runwayml.com/video-tools/
整体有120s的免费时间 每次一般生成4s一段的视频
关联报道Runway发布Gen-3 Alpha用100万美元拍500部电影的时代来了甲子光年
Gen-3 Alpha的五大功能特色 每一个功能都能让你的创意想法变为现实发现Gen-3 Alpha能提供的优越体验。
文本到视频将文本描述转换为视频。图像到视频将静态图像转换为动态视频。文本到图像将文本描述转换为静态图像。高级相机控制精细控制视频拍摄角度和运动。导演模式对视频的叙事和场景进行详细指导。
本次发布的Gen-3 Alpha模型使用视频和图像联合训练其特色包括
90秒内快速生成10秒视频并行生成多个视频模型驱动新的文本到视频T2V、图像到视频I2V和文本到图像T2I动作笔刷、高级摄像机控制、导演模式即将推出用于精细控制结构、风格、动作的工具 整个制作页面也蛮好 当然笔者在测试的时候一直想让人物有一个躺下的动作
Jane sat on the bed, swiping her phone, then lay back on the bed, holding the phone as she lay down, keeping her eyes on the screen without shifting但是一直“躺不下”可能这个动作时间不够。。 不过runway是可以直接使用extend功能 当然延长4s依旧不能躺下。。
