常见的简单的网站制作,wordpress页面中添加小工具栏,数码印花图案设计网站,松江网站开发培训学校文章目录 一、Linear model二、How to represent this function三、Function with unknown parameter四、ReLU总结、A fancy name 一、Linear model
线性模型过于简单#xff0c;有很大限制#xff0c;我们需要更多复杂模式
蓝色是线性模型#xff0c;线性模型无法去表示… 文章目录 一、Linear model二、How to represent this function三、Function with unknown parameter四、ReLU总结、A fancy name 一、Linear model
线性模型过于简单有很大限制我们需要更多复杂模式
蓝色是线性模型线性模型无法去表示红色的那个线 所以线性模型有严重的局限性这被成为 Model Bias(模型偏差)
我们需要一个复杂的有位置参数的function
所有分段线性曲线常数多个分段线性函数的叠加 二、How to represent this function
用这个Sigmoid function来逼近这条蓝色的Hard Sigmoid function
例 分别改变wbc 假设要写出红色的这条线
从简单模型到复杂模型 初始线性回归模型
引入非线性sigmoid 函数将模型扩展为使用 sigmoid 激活函数引入更多权重和偏移
多特征线性模型在此基础上模型扩展为多输入特征
多特征与非线性结合非线性函数 sigmoid 被应用在多个输入特征的线性组合上
通过多个输入特征和权重计算激活函数 简化成矩阵 将线性加权求和的结果通过非线性激活函数进行转换。 最后输出计算 最后用线性代数得到式子 三、Function with unknown parameter
将神经网络中的所有权重和偏置统一为一个参数向量 便于进行优化 ML框架 定Loss 新模型优化 通过梯度下降法优化模型参数 来最小化损失函数L。 找到最优的使L值最小 四、ReLU 也可以用ReLU将Sigmoid的地方换成ReLU 例 总结、A fancy name
我们给这些起了一个好听的名字 Neuron Neuron Network Deep Learning
发展变化
