吴江区城乡建设管理局网站,wordpress 首页调用栏目文章列表,wordpress html模式,做初中题赚钱的网站FLUX.1 是 Black Forest Labs 今年夏天发布的文本转图像模型系列。FLUX.1 模型为开源图像生成模型树立了新标准#xff1a;它们可以生成逼真的手、清晰的文本#xff0c;甚至可以生成搞笑表情包这样异常困难的任务。
现在#xff0c;你可以使用 Ostris 的 Replicate 上的 A…FLUX.1 是 Black Forest Labs 今年夏天发布的文本转图像模型系列。FLUX.1 模型为开源图像生成模型树立了新标准它们可以生成逼真的手、清晰的文本甚至可以生成搞笑表情包这样异常困难的任务。
现在你可以使用 Ostris 的 Replicate 上的 AI Toolkit 对 FLUX.1 [dev] 进行微调。
如果你知道这一切意味着什么并且已经准备好使用你的数据集进行尝试你可以跳到代码部分。否则以下是它的含义以及你应该关注的原因 左图使用基本 FLUX.1 模型生成。右图与模型 fofr/flux-bad-70s-food 相同的提示和种子 NSDT工具推荐 Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 可编程3D场景编辑器 - REVIT导出3D模型插件 - 3D模型语义搜索引擎 - AI模型在线查看 - Three.js虚拟轴心开发包 - 3D模型在线减面 - STL模型在线切割 1、什么是微调
这些大型图像生成模型如 FLUX.1 和 Stable Diffusion在一堆添加了噪声的图像上进行训练并学习“添加噪声”的反向功能。令人惊讶的是这竟然是“创建图像”。
他们怎么知道要创建哪幅图像他们以 CLIP 和 T5 等转换器模型为基础这些模型本身经过大量图像-标题对的训练。这些是语言到图像的编码器它们学习将图像及其标题映射到高维空间中的相同形状。当您向他们发送文本提示时例如“公园里读报纸的松鼠”他们可以将其映射到网格中的像素模式。对于编码器来说图片和标题是同一回事。
图像生成过程如下所示获取一些输入像素将它们稍微远离噪声并移向文本输入创建的模式然后重复直到达到正确的步数。
反过来微调过程会从数据集中获取每个图像/标题对并稍微更新内部映射。你可以通过这种方式教模型任何东西只要它可以通过图像-标题对来表示角色、设置、媒介、风格、流派。在训练过程中模型将学会将你的概念与特定的文本字符串关联起来。将此字符串包含在提示中以激活该关联。
例如假设你想针对漫画超级英雄微调模型。你将收集一些角色图像作为数据集。一个全面的批次不同的设置、服装、灯光甚至不同的艺术风格。这样模型就会明白它正在学习的是这个人而不是任何其他偶然的细节。
选择一个简短、不常见的单词或短语作为触发器一些不会与其他概念或微调冲突的独特的东西。你可以选择“70 年代的糟糕食物”或“JELLOMOLD”之类的东西。训练您的模型。现在当你提示“在旧金山的派对上拍摄 70 年代的糟糕食物”时你的模型将调用你的特定概念。就这么简单。
拍几张你的宠物或你最喜欢的室内植物的照片让我们开始吧。 左图使用基本 FLUX.1 模型生成。右图使用模型 fofr/flux-bad-70s-food 的相同提示和种子
2、如何微调 FLUX.1
n你只需在网络上或通过 API 上传一些图像即可在 Replicate 上微调 FLUX.1。
如果你不熟悉 Replicate我们可以轻松地将 AI 作为 API 运行。你不必寻找强大的 GPU不必处理环境和容器也不必担心扩展。可以使用普通 API 编写普通代码只需为你使用的内容付费。
2.1 准备训练数据
要开始微调你需要一组代表想要教给模型的概念的图像。这些图像应该足够多样化以涵盖概念的不同方面。例如如果你正在对特定角色进行微调请包括各种设置、姿势和灯光下的图像。
以下是一些指导原则
使用 12-20 张图像以获得最佳效果尽可能使用大图像使用 JPEG 或 PNG 格式或者为每个具有相同名称的图像创建一个相应的 .txt 文件其中包含标题
获得图像和可选标题后将它们压缩成一个文件。
2.2 在网络上创建训练
要开始在网络上进行训练过程请在 Replicate 上导航到 Ostris 的 FLUX.1 [dev] 训练器。
首先选择一个模型作为目标或者通过在模型选择器字段中键入名称来创建一个新模型。
接下来将包含训练数据的 zip 文件作为 input_images 上传然后设置训练参数。
trigger_word 指的是你正在训练的对象、风格或概念。选择一个不是真实单词的字符串例如 TOK 或与正在训练的内容相关的内容例如 CYBRPNK。你指定的触发词将在训练期间与所有图像相关联。然后当你运行经过微调的模型时可以在提示中包含触发词以激活你的概念。
对于步骤一个好的起点是 1000。
将 learning_rate、 batch_size 和 resolution 保留为默认值。除非你想提供自己的字幕否则请保持自动字幕启用。
如果你想在 Hugging Face 上保存自己的模型请输入你的 Hugging Face 令牌并设置存储库 ID。
填写完表格后单击“创建训练”以开始微调过程。
2.3 通过 API 创建训练
或者你可以使用 API 从自己的代码创建训练。
确保已在环境中设置了 REPLICATE_API_TOKEN。在你的帐户设置中找到它。
export REPLICATE_API_TOKENr8_***************************
创建一个新模型作为微调权重的目标。一旦流程完成你的训练模型将驻留在此位置。
import replicatemodel replicate.models.create(owneryourusername,nameflux-your-model-name,visibilitypublic, # or private if you preferhardwaregpu-t4, # Replicate will override this for fine-tuned modelsdescriptionA fine-tuned FLUX.1 model
)print(fModel created: {model.name})
print(fModel URL: https://replicate.com/{model.owner}/{model.name})
现在你有了模型请通过创建新的训练运行来开始训练过程。你需要提供输入图像、步数以及任何其他所需参数。
# Now use this model as the destination for your training
training replicate.trainings.create(versionostris/flux-dev-lora-trainer:4ffd32160efd92e956d39c5338a9b8fbafca58e03f791f6d8011f3e20e8ea6fa,input{input_images: open(/path/to/your/local/training-images.zip, rb),steps: 1000,hf_token: YOUR_HUGGING_FACE_TOKEN, # optionalhf_repo_id: YOUR_HUGGING_FACE_REPO_ID, # optional},destinationf{model.owner}/{model.name}
)print(fTraining started: {training.status})
print(fTraining URL: https://replicate.com/p/{training.id})
请注意此时为模型选择哪种硬件并不重要因为我们将所有 FLUX.1 微调路由到 H100。训练这么多步骤通常需要 20-30 分钟费用不到 2 美元。
2.4 使用训练好的模型
训练完成后可以像使用任何其他模型一样直接在 Replicate 上使用训练好的模型。
你可以在 Web 上运行它
转到 Replicate 上的模型页面例如 https://replicate.com/yourusername/flux-your-model-name。对于提示输入请包含触发词例如“70 年代的糟糕食物”以激活你的微调概念。根据需要调整任何其他输入。单击“运行”以生成你的图像。
或者使用 API。例如使用 Python 客户端
import replicateoutput replicate.run(yourusername/flux-your-model-name:version_id,input{prompt: A portrait photo of a space station, bad 70s food,num_inference_steps: 28,guidance_scale: 7.5,model: dev,****}
)print(fGenerated image URL: {output})
将 yourusername/flux-your-model-name:version_id 替换为你的实际模型详细信息。
你可以在模型页面的“API”选项卡上找到有关使用 API 运行它的更多信息。
3、使用 FLUX.1 [schnell] 实现更快的生成
你可以将 FLUX.1 [dev] LoRA 与较小的 FLUX.1 [schnell] 模型一起使用以更快、更便宜地生成图像。只需在生成时将模型参数从 dev 更改为 schnell并将 num_inference_steps 降低到 4 等小值即可。
请注意输出仍将受 FLUX.1 [dev] 的非商业许可。
3.1 示例和用例
查看我们的示例库以获取灵感。你可以看到其他人如何微调 FLUX.1 来创建不同的风格、角色、永无止境的可爱动物游行等等。
基本 FLUX.1 模型输出 左图使用基本 FLUX.1 模型生成。右图使用 fofr/flux-bad-70s-food 模型的相同提示和种子 3.2 许可和商业使用
如果你使用 FLUX.1 模型及其微调在 Replicate 上生成图像则可以将这些图像用于商业用途。
如果你从 Replicate 下载权重并在自己的计算机上生成图像则不能将这些图像用于商业用途。 原文链接FLUX.1微调指南 - BimAnt
