初中学校网站如何做,设计师网络用语,电子商务网站建设的流程图,微信手机网站开发# 导入用于对象保存与加载的joblib # from sklearn.externals import joblib import joblib # 导入keras中的词汇映射器Tokenizer from keras.preprocessing.text import Tokenizer
def one_hot_01(): # 1 准备语料 vocabs # vocabs {“周杰伦”, “陈奕迅”, “王力宏”, “…# 导入用于对象保存与加载的joblib # from sklearn.externals import joblib import joblib # 导入keras中的词汇映射器Tokenizer from keras.preprocessing.text import Tokenizer
def one_hot_01(): # 1 准备语料 vocabs # vocabs {“周杰伦”, “陈奕迅”, “王力宏”, “李宗盛”, “吴亦凡”, “鹿晗”} vocabs [“周杰伦”, “陈奕迅”, “王力宏”, “李宗盛”, “吴亦凡”, “鹿晗”]
# 实例一个词汇映射器对象
t Tokenizer(num_wordsNone, char_levelFalse)
# 使用映射器拟合现有文本数据
t.fit_on_texts(vocabs)for token in vocabs:zero_list [0]*len(vocabs)# 使用映射器转化现有文本数据, 每个词汇对应从1开始的自然数# 返回样式如: [[2]], 取出其中的数字需要使用[0][0]token_index t.texts_to_sequences([token])[0][0] - 1zero_list[token_index] 1print(token, 的one-hot编码为:, zero_list)# 使用joblib工具保存映射器, 以便之后使用
tokenizer_path ./Tokenizer
joblib.dump(t, tokenizer_path)
passif name ‘main’: one_hot_01()
