遵义网站建设优化公司,品牌设计全案,修改wordpress rss,软文写作模板pipeline
它可以让您方便地使用预训练的模型进行各种任务。当您用pipeline函数创建一个图像分割的pipeline时#xff0c;它会自动加载和初始化一个SegformerForSemanticSegmentation的实例#xff0c;并且封装了一些预处理和后处理的逻辑#xff0c;例如将图像转换为张量它会自动加载和初始化一个SegformerForSemanticSegmentation的实例并且封装了一些预处理和后处理的逻辑例如将图像转换为张量将输出转换为分割图等²。您可以直接用pipeline函数对图像或图像列表进行分割而不需要关心模型的细节。
SegformerForSemanticSegmentation
SegformerForSemanticSegmentation是一个具体的模型类它由一个分层的Transformer编码器和一个轻量级的全MLP解码器组成可以实现高效的图像分割³。当您用SegformerForSemanticSegmentation.from_pretrained方法加载一个预训练的模型时它会返回一个SegformerForSemanticSegmentation的实例但是您需要自己处理输入和输出的数据格式例如使用AutoFeatureExtractor来提取图像特征使用torch.argmax来获取分割结果等。
AutoModel
AutoModel.from_pretrained是一个通用的方法它可以根据给定的模型名称或路径自动识别模型的类型并返回一个相应的模型类的实例³。例如如果给定的模型名称是bert-base-chinese那么这个方法会返回一个BertModel的实例它是一个用于文本表示的模型。这个方法可以处理多种不同类型的模型但是它不能处理特定任务的模型例如图像分割或序列标注。
本人实验代码
import cv2
import PIL.Image as Image
import numpy as np
from transformers import pipelinemodel_dir /speed/speed/code/DECA/face_parsing_model/face-parsing
image_path /speed/speed/code/DECA/TestSamples/examples/6.pngpipe pipeline(image-segmentation, modeljonathandinu/face-parsing)
img Image.open(image_path)
# 加载图片
# img cv2.imread(image_path)
# 预处理图片
# img cv2.resize(img, (256, 256))
# img img.astype(np.float32) / 255.0# 使用模型分割图片
result pipe(img)# Load model directly
from transformers import AutoFeatureExtractor, SegformerForSemanticSegmentation
from transformers import AutoFeatureExtractor, AutoModel
model_dir /speed/speed/code/DECA/face_parsing_model/face-parsing
image_path /speed/speed/code/DECA/TestSamples/examples/6.png# extractor AutoFeatureExtractor.from_pretrained(jonathandinu/face-parsing)
# model SegformerForSemanticSegmentation.from_pretrained(jonathandinu/face-parsing)
extractor AutoFeatureExtractor.from_pretrained(model_dir)
model SegformerForSemanticSegmentation.from_pretrained(model_dir)img Image.open(image_path)
# 加载图片
img cv2.imread(image_path)
img cv2.resize(img, (1024, 1024))inputs extractor(img, return_tensorspt)
outputs model(**inputs).logits
print()
