做自媒体常用的图片网站,彩虹二级域名分发,平台期是什么意思,网站开发w亿玛酷1流量订制1 训练数据
在本任务的训练数据中#xff0c;我选择了金庸的15本小说#xff0c;全部都是txt文件 数据打开后的样子
2 数据预处理
数据预处理需要做的事情就是使用huggingface的transformers包的tokenizer模块#xff0c;将文本转化为token 最后生成的文件就是train_n…1 训练数据
在本任务的训练数据中我选择了金庸的15本小说全部都是txt文件 数据打开后的样子
2 数据预处理
数据预处理需要做的事情就是使用huggingface的transformers包的tokenizer模块将文本转化为token 最后生成的文件就是train_novel.pkl文件就不用在训练的时候读txt文件了
