做网站一年费用,做网页的网站,wordpress 4.5多用户,手机怎么提升网站流量从零开始之AI视频制作篇 文章目录 从零开始之AI视频制作篇前言一、工具列表二、成片展示三、制作流程1、获取图片素材2、图片生成视频2.1 Runway操作流程 3、文本生成语音3.1 Fish Audio操作流程 4、视频剪辑4.1 音频素材4.2 字幕生成 四、Runway提示词参考#xff1a;参考 前…从零开始之AI视频制作篇 文章目录 从零开始之AI视频制作篇前言一、工具列表二、成片展示三、制作流程1、获取图片素材2、图片生成视频2.1 Runway操作流程 3、文本生成语音3.1 Fish Audio操作流程 4、视频剪辑4.1 音频素材4.2 字幕生成 四、Runway提示词参考参考 前言
现在是2024年8月。虽然AI现在发展得很快但离完全替代人类还是有部分的距离。AI作为提高效率的工具确实是不争的事实。本文将详细描述在这个时间节点上可达到的基于图片的AI视频制作的整个流程适合小白食用。 一、工具列表
基于图片的AI视频制作需要准备的工具列表有 图片素材 本文采用的图片素材来源已获许可汐木桃ART的木桃日记 图片生成视频的平台 Runway Gen3传送门本文采用 Luma Dream Machine传送门 可灵AI传送门 即梦AI传送门 清影AI传送门 TTS工具 TTS工具用于根据文本内容生成语音。 Fish Audio传送门 (本文采用) Cosy Voice传送门 ChatTTS的autodl云平台部署版传送门 视频剪辑工具 adobe premiere pro 本文采用 剪映
二、成片展示 木桃日记 三、制作流程
1、获取图片素材
可通过国内各个文生图的平台生成或者通过自己搭建webui/comfyui云平台服务进行创作生成。webui的autodl云一键部署传送门、comfyui的autodl云一键部署传送门本文采用的图片素材来源已获许可汐木桃ART的木桃日记。如果需要去水印可用WPS等工具或者用comfyui搭建一个去水印的工作流操作。comfyui去文字和水印的工作流可供参考去水印和文字工作流传送门
2、图片生成视频
本文采用的是Runway平台因此针对如何在Runway平台操作图片生成视频进行详解。
2.1 Runway操作流程
通过 Runway官网传送门 进入Runway后便可看到如下界面。 点击右上角的【Get Started】按钮后便可进入登陆界面此时需要一个账号才可使用如果用 Gen2 可以自己注册个账号有 免费试用额度。如果是用Gen3就需要在某宝或某鱼上租用账号。 进入Runway官网后便可看到如下的控制台其中的【Assets】表示的是存放的你正在生成和已经生成的视频。【Tools】表示的是可以试用的工具。 我们需要使用的是【Tools】下的【Text/Image to Video】工具点击进入即可。可以看到如下的工作台。 因为我们采用的是Gen3模型所以我们的【模型】选择的是【Gen-3-Alpha】。因为我们是用的是租用的账号所以经常会有同时几个人在线的情况这时就要看【Generate】按钮是否可按只要可按不要犹豫 立即按下 即可。
因为图片生成视频时需要对生成的视频进行描述从而让生成的视频符合我们的构想。所以需要填写提示词来让大模型进行参考。
最好将如下图片中的【guide】链接打开里面有【运镜】、【特效】等的专业术语提示词可以让大模型更好的理解。Gen-3提示词官方指南 提示词指南中需要注意提示词的基本构造结构如下图所示。 图中的案例部分
Low angle static shot: The camera is angled up at a woman wearing all orange as she stands in a tropical rainforest with colorful flora. The dramatic sky is overcast and gray.其中【camera movement】 部分可参考【官方提示词指南】的【Camera Styles】部分。 部分提示词参考可见文章末尾。
写好提示词后点击【Generate】平台右面部分会有个视频生成的进度展示生成后也会展示在右面。 视频生成后便按下图所示点击下载按钮进行下载。 如果生成视频不理想同一个提示词可多生成几次如果还是不理想就得调整提示词再试试。在此祝各位好运连连。
3、文本生成语音
本文采用的是Fish Audio传送门 这个每天有50次的免费生成次数短视频基本够用。
3.1 Fish Audio操作流程 登录进入后便可看到各个声音角色的列表选择想使用的声音角色点击【使用声音】即可。 进入对应的角色页面后便可参考下图步骤将文本填入对应文本框中点击【创建】即可生成。 生成后按下图所示步骤即可将生成的声音文件进行下载。
4、视频剪辑
视频素材和旁白的音频素材准备好了就可以进行视频剪辑了。如果是视频剪辑小白可参考b站up主【京译达雅】的【【pr教程】新版本全套56集学不会你找我】教程可选择性学习。pr教程b站传送门。
4.1 音频素材
如果剪视频的时候需要相关的音频素材比如本文的剪辑视频中需要的夏夜的蝉鸣声、森林的蝉鸣声的素材可通过如下几个音频素材网站进行搜索下载使用淘声网传送门、耳聆网传送门、爱给网传送门。
4.2 字幕生成
如果剪辑的时候需要生成对应的字幕可参考b站up主【Leo叔叔爱摄影】的字幕生成教程可选择性学习。职业博主快速制作视频字幕的最佳方案PR2023字幕最详细攻略语音自动识别批量制作字幕效果【PR零基础新手指南65集】另外PR 2023已经支持一键语音转字幕功能了。
四、Runway提示词参考
图片描述A person in a crowd
提示词Cinematic view of [a human subject with detailed descriptions of their appearance] walking through a blurry crowd. [Describe their action]. 30x speed, hyperspeed, fast motion. In the style of [describe style; ex. Moody colors, cinematic feel, dynamic motion, depth of field].图片描述Cinematic drone
提示词First person view shot of a [subject]. hyper-speed fly, dynamic motion, dynamic blur, timelapse, 30x speed. In the style of [describe style; ex. cinematic, muted color palette].图片描述Close up
提示词Telephoto close up: [subject].图片描述Close-up portrait
提示词A crash zoom into a close-up portrait, shallow depth of field, bokeh. In the style of [describe style; ex. muted color palette, neutrals, magic hour, dull, dramatic, moody, film, 35mm].图片描述Dynamic motion
提示词Dynamic motion, dynamic blur, 30x speed, unsharp edges.图片描述Establishing wide
提示词Extreme wide angle establishing shot: [subject] in vast [scene].图片描述Fast motion
提示词High speed, motion blur, chaotic, kinetic, hyperkinetic.图片描述Fast zoom
提示词Hyperspeed shot: [scene]. Camera movement: fast zoom.图片描述First person view
提示词First person view shot flying through [objects ex. canyons] of a [place ex. planet] toward a [object ex. moon].图片描述Handheld
提示词Handheld tracking shot, following a [subject] in a [place].图片描述High angle
提示词Aerial tracking shot: glide over [place]. Camera Movement: Start high, descend closer to [place].图片描述Low angle
提示词Low angle shot: A [subject ex. car] drives down the center of a [place ex. city]. Tall [objects ex. buildings] loom on either side, their [objects ex. windows] blurred in the background.图片描述Macro cinematography
提示词Macro cinematography: A large [object ex. water droplet] rests among [objects ex. succulent plants]. The [object] refracts and distorts the view of the surrounding environment. Camera Movement: Start with a close-up of the [object], then slowly pull back to reveal more of the surreal [plant life].图片描述Nightlight portrait
提示词Close-up shot of [a human subject with detailed descriptions of their appearance], the neon lights of Tokyos bustling streets reflecting in the eyes. The face has a pensive expression, hinting at an untold story. The vibrant colors of the city paint the facial features in a mesmerizing interplay of light and shadow.图片描述Orbiting scenery
提示词We orbit around [a subject in a scenic environment; ex. a monument on a hill overlooking a forest], hyper dynamic movement in orbiting motion, shallow depth of field, subject in focus. In the style of [describe style; ex. dark muted natural color palette, cinematic]图片描述Over the shoulder
提示词Over the shoulder shot: [subject doing X]. The camera trails behind them.图片描述Portal transition
提示词Flying through [a place] into [another place]. Fast motion, motion blur. In the style of [describe style; ex. hyperlapse cinematography].图片描述Realistic documentary
提示词An award winning documentary about [a subject; ex. a bunny, a tree, or coral reefs], wide angle shot showcasing the [subject], dynamic movement, this video is incredibly detailed and high resolution, the sharp focus and cinematic light is impressive, a masterpiece.图片描述Slow motion
提示词Slow motion shot: [a subject in motion].图片描述Surreal levitation
提示词An extreme wide angle establishing shot from low angle level looking up at into the sky at sunset hours. [A subject; ex. a plastic bag, a shiny orb, or a goat] is floating slowly in the sky above, defying gravity. Extreme perspective, 3x speed. In the style of [describe style; ex. cinematic, muted naturals coloring, documentary film]图片描述Titles
提示词The scene starts in [location; ex. soup] and then suddenly [object; ex. noodles] appears and begins to [action; ex. transforms] to form the word [single object, ex. SOUP], centered, superb cinematic lighting.参考
汐木桃ART的木桃日记
