沈阳个人网站建设选择榆林seo
目录
1.多元线性回归
a.特征缩放
可行的缩放方式：
1.除以最大值：
2.mean normalization：
3.Z-score normalization
b.learning curve:
c.learning rate:
2.多项式回归
3.classification
logistics regression
1.多元线性回归
其意义很清晰了，多维更准确。很有意思也是我之前没关注的点是，一般下标表示分量、上标表示不同的inputs、又为了区分次数加了括号。
点乘是np.dot
用向量化的函数而不是分量循环，可以提高效率。
讲真矢量化和parallel真的好酷呀……作为数学专业我理解是从notation的角度，很清晰很明确，但是从算法编程的角度也有其优势、而这样的优势是由底层代码包的编写者、底层（非judge义）工程师实现的。这也算是某种意义下的殊途同归吧。
a.特征缩放
以房价为例，相关因素考虑大小和卧室数量，可以看到大小数值非常大，那么调整w的时候可能会很困难，因为w可能只是变了一点点，wx就变了非常大，因此考虑调整范围差不多
可行的缩放方式：
1.除以最大值：
2.mean normalization：
3.Z-score normalization
霍，还需要多次缩放呢。。。。
b.learning curve:
标注了随着迭代次数的增加目标函数的变化，（比设置\epsilon更直观）
c.learning rate:
通常来说，在learning curve里可能出现随着迭代次数的增加，loss function震荡甚至上升，这可能由于 1.BUG 2.学习率过大，因此可调试中尝试设置很小的学习率，如果正常会下降的。但是，实际学习的过程中学习率不能太小，这样效率太低。
大佬常用方法：先设置很小的学习率跑几个epoch，，然后3倍3倍增加，保证找到过小（下降很慢）和过大（震荡或者上升），然后在合适范围内找尽量大的。
2.多项式回归
简单来说，就是线性不合适啦，我们想自己选选用高次、乘积、开根等不同方法~不赘述
3.classification
正如以下例子可以看到，拟合有时候很差：本来考虑左侧的四个negative class和positive class，设置阈值threshold为0.5，效果就很好了，但是当我们加入最右的例子，本来是一个一看就是positive sample的例子，但是却导致预测结果出现偏差。因此我们考虑classification。
logistics regression
可以看出，非常满足的例子在逻辑斯蒂回归里尽量不重视，而在中间的样本更加强调。怎么强调呢，也就是说，当我们多发现中部模糊地带的样本，对threshold的影响很剧烈、也就是拟合函数中斜率很大。
重述一下，我们在线性之外拟合一个逻辑斯蒂回归来做分类，就是为了防止【本来很明确分类的样本加进去反而会影响算法的输出结果】，让算法更关注于模糊地带的样本。f输出的可以理解为【样本特征为x的情况下，分类为1的概率】。
可视化理解，略过 
logistics regression-Cost function:
在线性回归中 平方误差很好用（凸的，可以直接到达全局最优），但是逻辑斯蒂回归模型平方误差就是非凸了，因此我们考虑换一个cost。
因此，转而用以下的函数：
值得注意的是，此处的函数是分类函数。那么目标函数转化为：
利用梯度下降法：
GD实现，逻辑斯蒂回归模型与线性回归函数不同但是trick类似