做企业网站用什么框架,wordpress 视频分集,学校培训网站开发,汽车金融网站怎么做HugggingFace 推理 API、推理端点和推理空间相关模型部署和使用以及介绍。
Hugging Face是一家开源模型库公司。
2023年5月10日#xff0c;Hugging Face宣布C轮1亿美元融资#xff0c;由Lux Capital领投#xff0c;红杉资本、Coatue、Betaworks、NBA球星Kevin Durant等跟投…HugggingFace 推理 API、推理端点和推理空间相关模型部署和使用以及介绍。
Hugging Face是一家开源模型库公司。
2023年5月10日Hugging Face宣布C轮1亿美元融资由Lux Capital领投红杉资本、Coatue、Betaworks、NBA球星Kevin Durant等跟投其估值增长到了20亿美元。 2023年5月16日Hugging Face首次登上了福布斯北美人工智能50强榜单。 2023年7月2号参数总量达1760亿的BLOOM大模型经过为期117天的训练宣告完成其参数总量恰好比OpenAI已经发布了近三年的GPT-3多10亿。
接触 AI 的同学肯定对HuggingFace[1]有所耳闻它凭借一个开源的 Transformers 库迅速在机器学习社区大火为研究者和开发者提供了大量的预训练模型成为机器学习界的 GitHub。在 HuggingFace 上我们不仅可以托管模型还可以方便地使用各种模型的 API 进行测试和验证部署属于自己的模型 API 服务创建自己的模型空间分享自己的模型。本文将介绍 HuggingFace 的推理 API、推理端点和推理空间的使用方法。 HuggingFace 推理 API 在 HuggingFace 托管的模型中有些模型托管之后会提供推理 API如果我们想快速验证模型是否可以满足我们的需求可以使用这些 API 进行测试下面以这个模型为例Salesforce/blip-image-captioning-base进行介绍该模型可以通过图片生成英文描述。
1.HuggingFace是什么 可以理解为对于AI开发者的GitHub提供了模型、数据集文本|图像|音频|视频、类库比如transformers|peft|accelerate、教程等。 2.为什么需要HuggingFace 主要是HuggingFace把AI项目的研发流程标准化即准备数据集、定义模型、训练和测试。
HuggingFace是一个高速发展的社区包括Meta、Google、Microsoft、Amazon在内的超过5000家组织机构在为HuggingFace开源社区贡献代码、数据集和模型。目前包括模型236,291个数据集44,810个。刚开始大多数的模型和数据集是NLP方向的但图像和语音的功能模型正在快速更新中。
HuggingFace GitHub可以看到包括常用的transformers、datasets、diffusers、accelerate、pef和optimum类库。
Hugging Face最初是一家总部位于纽约的初创企业专注于聊天机器人服务。然而他们在创业过程中开源了一个名为Transformers的库并在GitHub上发布。虽然聊天机器人业务并没有取得成功但这个库却在机器学习社区迅速走红。目前Hugging Face已经分享了超过100,000个预训练模型和10,000个数据集成为机器学习界的重要开源资源。
hugging face官网: https://huggingface.co/
更多好用又免费ai工具推荐 0. 免费cha/t/g/p/t中文版(免f墙版) : https://ymiai.top/ 1.免费ai绘画网站: : https://tusiart.com/ 2.免费ai写作网站: : https://chat.moyanaigc.com 3.免费ai绘画网站 : https://www.acgnai.com/
Hugging Face之所以取得巨大的成功原因有二。首先它使得非专业人士尤其是初学者能够快速使用科研专家们训练出的强大模型。这为我们提供了便利使我们能够在短时间内应用高质量的模型。其次Hugging Face的开放文化、合作态度以及利他利己的精神吸引了大量人才。许多业界知名人士在Hugging Face上使用和提交新的模型这让我们能够站在他们的肩膀上不必从零开始。尽管我们没有像他们那样丰富的计算资源和数据集但Hugging Face为我们提供了平台和工具使我们能够与专家们共同合作。
在国内Hugging Face也广泛应用于各个领域。许多开源框架本质上都是利用Hugging Face的Transformers库进行模型微调当然也有许多专家默默地贡献模型和数据集。许多自然语言处理工程师的招聘要求明确要求熟悉Hugging Face的Transformers库的使用。在我们简要介绍了Hugging Face的强大功能之后让我们看看如何开始使用Hugging Face。因为它不仅提供了丰富的数据集还提供了各种模型供我们自由下载和调用所以入门非常简单。即使对于GPT和BERT等模型的细节了解不多也可以使用它们的模型当然还是有必要了解一下我为你写的关于BERT的简介。
2016年一家名为Hugging Face的公司应运而生。
在成立初期的2016年就像许多类似的初创公司一样Hugging Face专注于聊天机器人领域。他们开发了一个基于LSTM的聊天机器人应用程序主要面向青少年的情感和娱乐服务。然而由于技术尚未成熟以及商业模式难以变现尽管Hugging Face拥有一定的核心用户群体但公司的发展速度相对缓慢。
直到2018年面对发展瓶颈创始人决定开放聊天机器人的AI模型让用户自行开发服务初衷是通过用户共创来获得灵感。这一出人意料的举动却成为Hugging Face进入高速发展的快车道开启了取得成功的新篇章。
由于开源的AI模型数量有限Hugging Face迅速成为人工智能开发者的聚集地。创始团队随后根据用户需求转变自身的聊天平台为开发者社区并逐渐形成了全球最大的自然语言处理开源模型数据库。
同年Hugging Face发布了Transformers框架该框架基于注意力机制在机器翻译、语音识别、文本生成等自然语言处理任务中得到广泛应用。Transformers框架以其高性能和开源属性成为机器学习工具库中最为重要的资源之一使Hugging Face迅速提升了知名度和影响力。
如今Hugging Face已经成为机器学习模型研究的中心成为GitHub上增长最快的人工智能项目之一。
hugging face
打造机器学习领域的“GitHub” Hugging Face致力于构建机器学习领域的”GitHub”专注于自然语言处理NLP技术并通过技术创新不断丰富产品与服务成为广大研究人员和技术开发者的合作伙伴。
在Hugging Face的技术DNA中核心项目是于2018年开源的Transformers一种面向自然语言处理的预训练语言模型。Transformers基于注意力机制在翻译、语音识别、图像分类、文本生成等NLP任务中得到广泛应用。Hugging Face开发的模型和数据集可以直接使用实现推理和迁移学习使Transformers框架在性能和易用性上处于业界领先地位。
BERT模型利用两个Transformers网络进行预训练使模型能够同时学习当前和历史位置的信息。而GPT-3模型也利用Transformers进行训练在语言生成方面展示了大型语言模型的巨大潜力。
Transformers彻底改变了深度学习在NLP领域的发展范式降低了相关研究和应用的门槛。因此Hugging Face迅速崛起成为行业翘楚成为人工智能社区中最有影响力的技术供应商。通过提供高性能且易用的技术解决方案Hugging Face为研究人员和开发者们带来了巨大的价值。
页面小组件 推理 API 有两种使用方式一种是在模型页面的右侧找到推理 API 的小组件页面初始界面如下图所示 可以在这个页面中上传图片然后就可以看到模型进行推理运行等一会后推理结果就出来了如下图所示 推理结果为“a dog wearing a santa hat and a red scarf”(一只狗戴着圣诞老人的帽子和红色的围巾)
页面小组件的方式是 HuggingFace 自动帮助模型创建的具体的信息可以参考这里[2]。
代码调用 另外一种方式是通过代码对推理 API 进行调用在右侧的Deploy菜单中选择Inference API如下图所示 打开菜单后可以看到几种代码调用方式分别有 Python, JavaScript 和 Curl 这里我们选择 Curl 方式来进行调用我们可以直接复制界面上的 Curl 命令注意其中包含了我们的 API token所以不要随意分享出去然后在终端上执行命令就可以看到预测结果了
$ curl https://api-inference.huggingface.co/models/Salesforce/blip-image-captioning-base \-X POST \--data-binary dogs.jpg \-H Authorization: Bearer hf_xxxxxxxxxxxxxxxxxxxxxx# 输出结果
[{generated_text:a dog wearing a santa hat and a red scarf}]%HuggingFace 推理端点(Endpoint) 推理 API 虽然方便但推理 API 一般用于测试和验证由于速率限制官方不推荐在生产环境中使用而且也不是所有模型都有提供推理 API。如果想要在生产环境部署一个专属的推理 API 服务我们可以使用 HuggingFace 的推理端点Endpoint。
推理端点的部署也比较简单首先在Deploy菜单中选择Inference Endpoints如下图所示 打开菜单后可以看到新建推理端点的界面如下图所示
首先是服务器的选择先选择云服务厂商目前只有 AWS 和 Azure 两种再选择机器区域节点。
然后是服务器的配置HuggingFace 默认会给出模型的最低推理配置如果我们想要更高的配置可以点击2中的下拉框进行选择。
接着是推理端点的安全等级有 3 种选择分别是Protected、Public和Privaate
Pubulic推理端点运行在公共的 HuggingFace 子网中互联网上的任何人都可以访问无需任何认证。
Protected推理端点运行在公共的 HuggingFace 子网互联网上任何拥有合适 HuggingFace Token 的人都可以访问它。
Privacy推理端点运行在私有的 HuggingFace 子网不能通过互联网访问只能通过你的 AWS 或 Azure 账户中的一个私有连接来使用可以满足最严格的合规要求。
最后显示的是服务器的价格按小时算根据配置的不同价格也会有所不同。HuggingFace API 是免费的但 HuggingFace 的推理端点是要收费的毕竟是自己专属的 API 服务。因为推理端点部署是收费的所以在部署之前需要在 HuggginFace 中添加付款方法一般使用国内的 Visa 或 Master 卡就可以了。
信息确认无误后点击Create Endpoint按钮创建推理端点创建成功后可以进入推理端点的详情页面看到如下信息 其中Endpoint URL就是部署好的推理端点地址我们可以跟调用推理 API 一样的方式来使用它示例代码如下
$ curl https://your-endpoint-url \-X POST \--data-binary dogs.jpg \-H Authorization: Bearer hf_xxxxxxxxxxxxxxxxxxxxxxHuggingFace 模型空间(Space) HuggingFace 推理端点是部署 API 服务但是如果我们想要分享自己的模型让别人可以直接在浏览器中使用模型的功能这时候就需要使用 HuggingFace 的模型空间Space了。
要部署一个模型空间首先在模型的Deploy菜单中选择Spaces如下图所示 选择菜单后可以看到空间创建的引导界面如下图所示 界面中显示了启动模型的 Python 脚本然后我们点击Create new Space按钮进入空间的创建页面如下图所示 在模型创建页面中我们需要设置以下信息
首先要指定空间的名称一般以模型的名称命名。
然后选择空间的 SDK目前有Streamlit、Gradio、Docker和Static 四种。
StreamlitStreamlit 是一个可以帮助我们快速创建数据应用的 Python 库可以在浏览器中直接使用模型它相比Gradio可以支持更加丰富的页面组件界面也更加美观。
GradioGradio 也是一个编写 GUI 界面的 Python 库相对Streamlit来说它的 GUI 功能虽然比较少但它的优势在于简单易用一般演示的 Demo 用它就足够了。
Docker推理空间也可以使用 Docker 容器进行部署它内部支持了 10 种模版。
Static静态页面我理解是包括 Html、Js、Css 等前端资源来作为页面展示。
然后选择空间硬件HuggingFace 为每个空间提供了一个免费的配置
2 核 CPU 16G 内存用这个配置部署推理空间是免费的如果你想要更高的配置也可以选择付费的配置。 最后是安全等级有Public和Private两种Public 是公开的任何人都可以访问但只有你的组织成员可以修改Private 是私有的只有你的组织成员可以访问。
设置完后点击Create Space按钮就开始创建推理空间了创建完成后会自动跳转到空间的页面如下图所示 如果推理空间的安全等级设置为 Public你就可以将空间的 URL 分享给其他人使用了。想查看 HuggingFace 推理空间更多的信息可以参考这里[3]。
总结 本文介绍了 HuggingFace 的推理 API、推理端点和推理空间的使用方法推理 API 是免费的使用 HuggingFace 自建的 API 服务推理端点是部署自己专属的 API 服务但需要收取一定的费用。推理空间是部署模型的 Web 页面可以直接在浏览器中使用模型的功能可以用于演示和分享模型有一定的免费额度。
参考: [1] HuggingFace: https://huggingface.co/ [2] https://huggingface.co/docs/hub/models-widgets [3] https://huggingface.co/docs/hub/spaces
