中文个人网站欣赏,报价单模板免费下载,合肥做网站的网络公司,网站绝对布局一、目的
假设我们现在需要对猫、 狗、 人这三个类别进行分类。
若以 0 代表猫#xff0c; 以 1 代表狗#xff0c; 以 2 代表人#xff0c;会发现那么猫和狗之间距离为 1#xff0c; 狗和人之间距离为 1#xff0c; 而猫和人之间距离为 2。 假设真实标签是猫#xff0…一、目的
假设我们现在需要对猫、 狗、 人这三个类别进行分类。
若以 0 代表猫 以 1 代表狗 以 2 代表人会发现那么猫和狗之间距离为 1 狗和人之间距离为 1 而猫和人之间距离为 2。 假设真实标签是猫0预测标签是人2loss值会比真实标签是狗1、预测标签是人2时的loss值大这在参与损失计算的时候是完全不能接受的 互相独立的标签之间 在预测错误时竟然出现了 loss 不对等的情况。
因此 需要有一种表示方法 将互相独立的标签表示为互相独立的数字 并且数字之间的距离也相等。此时就出现one-hot方法
二、用法
one-hot 独热编码是一种向量表示用来表示真实标签分布情况。向量中只有一个元素的值是 1 其他所有元素都是 0。 也可以用相反的表示方式 即向量中只有一个元素是 0 其他所有元素都是 1。 下面是 one-hot 对类别进行编码的例子 神经网络输出的值是样本属于某一分类的概率 比如当前的例子 某一个样本经过神经网络推理得到的输出值为有 70%的概率是猫 20%的概率是狗 10%的概率是人 写成向量形式为[0.7 0.2 0.1] 假设该样本的真实标签就是猫 猫的 one-hot 向量为[1 0 0]接下来就可以计算预测值与真实标签的损失。 假设使用均方误差作为损失函数那么损失值为
优化目标是让 loss 的值最小。 猫的得分是 0.7 而真实得分是 1 因此猫的得分概率还需要增大 狗和人的得分概率需要减小 计算完 loss 值后 反向传播调整权重 使猫的得分继续增大 而狗和人的得分继续减小。
