网站动态设计效果,精美图片做网站上哪儿去找图,可以做结构图的网站,做英文网站多钱文章目录 1. 代码展示2. 整体流程介绍3. 代码解读4. 报错解决4.1 解决思路4.2 解决方法 5. Bert介绍5.1 什么是BertBERT简介#xff1a;BERT的核心思想#xff1a;BERT的预训练策略#xff1a;BERT的应用#xff1a;为什么BERT如此受欢迎#xff1f;总结#xff1a; 1. 代… 文章目录 1. 代码展示2. 整体流程介绍3. 代码解读4. 报错解决4.1 解决思路4.2 解决方法 5. Bert介绍5.1 什么是BertBERT简介BERT的核心思想BERT的预训练策略BERT的应用为什么BERT如此受欢迎总结 1. 代码展示
from tqdm import tqdm # 可以在循环中添加进度条x [1, 2, 3] # list
print(x[:10] [0] * -7)from transformers import AutoTokenizertokenizer AutoTokenizer.from_pretrained(bert-base-chinese)labels []
train_list []
with open(../data/ChnSentiCorp.txt, moder, encodingutf-8) as file:for line in tqdm(file.readlines()):line line.strip().split(,)labels.append(int(line[0]))text tokenizer.encode(line[1])token text[:80] [0] * (80 - len(text))train_list.append(token)import numpy as nplabels np.array(labels)
train_list np.array(train_list)# 已经把数据转化成了词向量 (Bert不需要词嵌入) RNN -- LSTM
from transformers import TFBertForSequenceClassificationmodel TFBertForSequenceClassification.from_pretrained(bert-base-chinese, num_labels2)model.compile(losssparse_categorical_crossentropy, metrics[accuracy])
model.summary()
result model.fit(xtrain_list, ylabels, batch_size128, epochs10)
print(result.history)2. 整体流程介绍
首先概述一下代码的主要目的和流程。
主要目的 此代码的主要目的是使用BERT模型进行序列分类。具体来说它似乎是在处理某种情感分析任务因为代码中读取了标签和文本并试图用BERT模型来进行分类假设为正面或负面情感因为num_labels2。
整体流程 导入所需库 tqdm用于显示循环的进度条。transformers提供预训练的模型和相关的工具。 数据预处理 定义了两个空列表labels和train_list用于存储从文件中读取的标签和文本数据。打开一个名为ChnSentiCorp.txt的文件并从中读取数据。假设每行的格式是“标签,文本”。使用BERT的tokenizer将每行文本转化为token。然后确保每行文本的token长度为80如果长度不足80则用0填充。 转换数据格式 将labels和train_list列表转换为numpy数组。 加载和初始化BERT模型 使用TFBertForSequenceClassification.from_pretrained方法加载bert-base-chinese预训练模型并指定类别数量为2。编译模型设置损失函数和评估指标并显示模型摘要。 模型训练 使用处理后的train_list作为输入和labels作为目标进行模型训练。显示训练历史。
综上代码的整体流程是导入库→数据预处理→数据格式转换→加载和初始化BERT模型→模型训练。
3. 代码解读
像debug一样逐步解释您提供的代码。
from tqdm import tqdm # 可以在循环中添加进度条这一行导入了tqdm库它是一个在循环中显示进度条的库。 x [1, 2, 3] # list
print(x[:10] [0] * -7)这里首先定义了一个列表x。接下来x[:10]表示获取列表x的前10个元素但因为x只有3个元素所以它其实会返回整个x。[0] * -7将产生一个空列表因为乘以一个负数的结果是空。所以print语句的输出将是[1, 2, 3]。 from transformers import AutoTokenizer这里从transformers库中导入了AutoTokenizer。transformers库提供了很多预训练模型及其相关的工具AutoTokenizer是其中的一个。 tokenizer AutoTokenizer.from_pretrained(bert-base-chinese)使用bert-base-chinese这个预训练模型的tokenizer。这个tokenizer是针对中文BERT模型的。 labels []
train_list []
with open(../data/ChnSentiCorp.txt, moder, encodingutf-8) as file:for line in tqdm(file.readlines()):line line.strip().split(,)labels.append(int(line[0]))text tokenizer.encode(line[1])token text[:80] [0] * (80 - len(text))train_list.append(token)这段代码读取文件ChnSentiCorp.txt并从中获取标签和文本数据。每一行都是由一个标签和文本组成的两者之间用逗号分隔。文本数据被tokenized并被截断或填充至长度80。 import numpy as nplabels np.array(labels)
train_list np.array(train_list)这里首先导入了numpy库并将labels和train_list转换为numpy数组。 from transformers import TFBertForSequenceClassification从transformers库中导入了用于序列分类的TFBert模型。 model TFBertForSequenceClassification.from_pretrained(bert-base-chinese, num_labels2)初始化一个预训练的BERT模型用于序列分类。这里指定了类别数量为2。 model.compile(losssparse_categorical_crossentropy, metrics[accuracy])
model.summary()模型被编译使用了sparse_categorical_crossentropy作为损失函数并设置了accuracy作为评估指标。model.summary()会显示模型的结构和参数信息。
model.summary()会输出如下内容。
Model: tf_bert_for_sequence_classification
_________________________________________________________________Layer (type) Output Shape Param #
bert (TFBertMainLayer) multiple 102267648 dropout_37 (Dropout) multiple 0 classifier (Dense) multiple 1538
Total params: 102,269,186
Trainable params: 102,269,186
Non-trainable params: 0
_________________________________________________________________result model.fit(xtrain_list, ylabels, batch_size128, epochs10)Epoch 1/10
61/61 [] - 2293s 36s/step - loss: 0.9221 - accuracy: 0.3204
Epoch 2/10
61/61 [] - 2139s 35s/step - loss: 0.6931 - accuracy: 0.3147
Epoch 3/10
61/61 [] - 2078s 34s/step - loss: 0.6931 - accuracy: 0.3147
Epoch 4/10
61/61 [] - 1897s 31s/step - loss: 0.6931 - accuracy: 0.3147
Epoch 5/10
61/61 [] - 1898s 31s/step - loss: 0.6931 - accuracy: 0.3147
Epoch 6/10
61/61 [] - 1904s 31s/step - loss: 0.6931 - accuracy: 0.3147
Epoch 7/10
61/61 [] - 1895s 31s/step - loss: 0.6931 - accuracy: 0.3147
Epoch 8/10
61/61 [] - 1887s 31s/step - loss: 0.6931 - accuracy: 0.3147
Epoch 9/10
61/61 [] - 1878s 31s/step - loss: 0.6931 - accuracy: 0.3147
Epoch 10/10
61/61 [] - 1875s 31s/step - loss: 0.6931 - accuracy: 0.3147print(result.history){loss: [0.9221097230911255, 0.6931471228599548, 0.6931471228599548, 0.6931471228599548, 0.6931471228599548, 0.6931471228599548, 0.6931471228599548, 0.6931471228599548, 0.6931471228599548, 0.6931471228599548],
accuracy: [0.3204120993614197, 0.3147456645965576, 0.3147456645965576, 0.3147456645965576, 0.3147456645965576, 0.3147456645965576, 0.3147456645965576, 0.3147456645965576, 0.3147456645965576, 0.3147456645965576]
}模型训练过程。使用train_list作为输入数据labels作为标签。批大小设置为128总共训练10轮。训练完毕后会打印训练历史数据。
4. 报错解决
执行下面的代码的时候报错
from transformers import TFBertForSequenceClassification
model TFBertForSequenceClassification.from_pretrained(bert-base-chinese, num_labels2)报错信息如下
requests.exceptions.ConnectTimeout: HTTPSConnectionPool(hosthuggingface.co, port443): Max retries exceeded with url: /bert-base-chinese/resolve/main/pytorch_model.bin (Caused by ConnectTimeoutError(urllib3.connection.VerifiedHTTPSConnection object at 0x000001AAEB8F3700, Connection to huggingface.co timed out. (connect timeout10)))4.1 解决思路
您的报错信息提示了连接超时问题。当您尝试从huggingface的服务器加载预训练的模型时出现了这个问题。
以下是可能的原因及其解决方案 网络问题您的机器可能无法访问huggingface的服务器。这可能是由于网络速度慢、防火墙设置、网络断开或其他网络相关问题。 解决方案 请确保您的网络连接正常。试试是否可以手动访问huggingface.co网站。检查您的防火墙或代理设置确保它们没有阻止您访问huggingface的服务器。 Huggingface服务器问题有时由于服务器的高负载或其他问题huggingface的服务器可能会暂时不可用。 解决方案 稍后再试。 使用代理如果您处于一个需要代理访问外部网站的网络环境中如在某些公司或国家那么可能需要配置代理。 解决方案 设置Python的代理或使用VPN。 下载模型并本地加载如果以上方法都不起作用您可以手动下载模型然后从本地加载。 解决方案 手动从huggingface的模型库中下载bert-base-chinese模型。将下载的模型存放在本地目录中然后使用from_pretrained方法加载该目录。
例如
model TFBertForSequenceClassification.from_pretrained(/path_to_directory/bert-base-chinese, num_labels2)其中/path_to_directory/bert-base-chinese是您存放模型文件的本地目录。
4.2 解决方法
科学上网
5. Bert介绍
5.1 什么是Bert
当然可以
BERT简介
BERTBidirectional Encoder Representations from Transformers是由Google在2018年提出的一个预训练的深度学习模型用于自然语言处理NLP任务。BERT的突出特点是其双向性即它可以同时考虑文本中的前后上下文从而捕捉更丰富的语义信息。
BERT的核心思想
双向性传统的语言模型如LSTM和GRU是单向的只能考虑前面的上下文或后面的上下文。BERT通过同时考虑前后上下文来捕捉更复杂的语义信息。预训练和微调BERT首先在大量无标签文本上进行预训练然后可以用少量的标注数据进行微调以适应特定的NLP任务。Transformer架构BERT基于Transformer架构它是一个高效的自注意力机制可以捕捉文本中长距离的依赖关系。
BERT的预训练策略
Masked Language Model (MLM)随机遮蔽句子中的一些单词并让模型预测这些遮蔽单词。这样模型必须学习理解文本的上下文信息以预测遮蔽的部分。Next Sentence Prediction (NSP)模型接收两个句子作为输入并预测第二个句子是否是第一个句子的下一个句子。
BERT的应用
经过预训练后的BERT模型可以被微调并应用于各种NLP任务如文本分类、命名实体识别、问答系统等。由于BERT能够捕捉丰富的上下文信息它在许多NLP任务中都取得了当时的最先进性能。
为什么BERT如此受欢迎
强大的性能BERT在多种NLP任务上都达到了当时的最先进的性能。通用性同一个预训练的BERT模型可以被微调并应用于多种NLP任务无需从头开始训练。可用性由于Google和其他组织发布了预训练的BERT模型和相关工具开发者可以轻松地使用BERT进行自己的NLP项目。
总结
BERT是当前NLP领域的一个里程碑它改变了我们如何处理和理解文本的方式。对于初学者理解BERT及其工作原理是深入研究现代NLP的关键。希望这个简介能帮助您对BERT有一个初步的了解
