正则化和归一化的关系，正则化和归一化的关系

关于使用最小二乘法后“正则化”的问题??

由于正则化的作用通常是让参数估计值的幅度下降，因此在统计学中它也被称为系数收缩方法。w1，w2都是模型的参数，要优化的目标参数。

相比之下，线性最小二乘法只尝试最小化 方向上的距离。因此，虽然二者使用相似的误差度量，但线性最小二乘法是一种优先处理一维数据的方法，而PCA则同等对待所有维度。 tikhonov 正则化 在某些情况下，最小二乘解的正则化版本可能更可取。

平方损失函数（最小二乘法， Ordinary Least Squares ）最小二乘法是线性回归的一种，OLS将问题转化成了一个凸优化问题。

经验风险：模型关于训练集的平均损失（每个样本的损失加起来，然后平均一下）。结构风险：在经验风险上加上一个正则化项，防止过拟合的策略。

如果我们的问题是’灰箱‘（grey box）（即我们已经知道数学模型，而不知道参数），直接用最小二乘法找到 是很简洁的。

举个例子时间序列，逻辑模型，概率模型，无一例外都是用的GLS或者OLS，或者就是OLS衍生出来的其他模型，都是建立在最小二乘法基础上的。证明，对于参数w，对数回归的目标函数是非凸的，但其对数似然函数是凸的。

(四)关于正则化

1、平均值Zv(x)即为区域化变量Z(y)在承载u(x)内的正则化变量，其中u(x)称正则化承载。而Zv(x)的运算过程叫做把Z(y)在u(x)上的正则化。所以正则化就是用承载u(x)内的平均值代替原始(点)数据。

2、正则化： 正则化的目的：防止过拟合！ 正则化的本质：约束（限制）要优化的参数。

3、正则的解释[regular] 具有全等正多边形各面的以及多面体的所有角均相等的 详细解释 (1).正其 礼仪 法则。 汉 张衡 《东京赋》 ：“辩方位而正则，五精帅而来摧。” (2).正规；常规。

4、正则化是用于抑制过拟合方法的统称，通过动态调整模型参数的取值 来降低模型的复杂度。这是因为当一些参数的取值足够小时，参数对应的属性对结果的影响微乎其微，这在实质上去除了非相关属性的影响。

5、g=hf+n （1）则图像复原即根据观测图像g恢复原始图像f。

6、“正则化”， Normalization， 也称作归一化。这个概念和 最小二乘法之间并无必然联系，而是一个独立的概念。α=0.19，β=0.72 α+β=0.19 + 0.72 = 0.91 现在这个0.91不等于1。为此要把这个0.91 归到1。

经典论文之LeNet-5

简介 ：如果是对Computer Vision有所了解的同学应该都不会对LeNet-5陌生，这篇由LeCun和Bengio在1998年（我竟然还没出生）撰写的论文着实牛掰。实际上LeNet-5的诞生还要早（大约是1994年）。

LeNet-5是Yann LeCun等人在多次研究后提出的最终卷积神经网络结构，主要用于手写数字识别 LeNet5的网络结构如下所示： LeNet-5包含七层，不包括输入，每一层都包含可训练参数(权重)，当时使用的输入数据是32*32像素的图像。

LeNet-5模型 在CNN的应用中，文字识别系统所用的LeNet-5模型是非常经典的模型。

LeNet-5模型 在CNN的应用中，文字识别系统所用的LeNet-5模型是非常经典的模型。LeNet-5模型是1998年，Yann LeCun教授提出的，它是第一个成功大规模应用在手写数字识别问题的卷积神经网络，在MNIST数据集中的正确率可以高达92%。

推荐算法简介

推荐算法是推荐系统的核心，其本质是通过一定的方式将用户和物品联系起来，而不同的推荐系统利用了不同的方式。 推荐系统的主要功能是以个性化的方式帮助用户从极大的搜索空间中快速找到感兴趣的对象。

基于用户(User-CF)： 基于用户的协同过滤推荐的基本原理是，根据所有用户对物品的偏好，发现与当前用户口味和偏好相似的“邻居”用户群，并推荐近邻所偏好的物品。

推荐算法很重要的一个原理是为用户推荐与用户喜欢的物品相似的用户又不知道的物品。

逻辑回归解决什么问题

逻辑回归通常用于解决分类问题，分类是应用逻辑回归的目的和结果，但中间过程依旧是回归。

逻辑回归通常用于解决分类问题，例如，业界经常用它来预测：客户是否会购买某个商品，借款人是否会违约等等。实际上，“分类”是应用逻辑回归的目的和结果，但中间过程依旧是“回归”。

线性回归：利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。应用不同 逻辑回归：常用于数据挖掘，疾病自动诊断，经济预测等领域。

在之前，我们讨论了逻辑回归模型(Logistic Regression)解决分类问题。但是我们发现，逻辑回归模型解决的是二分问题，即：模型的结果只有两个值，y=0 or y=1 。

什么是批次归一化

批归一化是现在越来越多的神经网络采用的方法，其具有加快训练速度、防止过拟合等优点，尤其在深度神经网络中效果非常好。现将BN的学习整理一篇文章备忘。随着神经网络的层数加深，研究者发现神经网络训练起来越困难，收敛越慢。

归一法是一种简化计算的方式，有两种形式，一种是把数变为（0，1）之间的小数，一种是把有量纲表达式变为无量纲表达式。

归一化是一种无量纲处理手段。归一化指的是使物理系统数值的绝对值变成某种相对值关系。简化计算，缩小量值的有效办法。例如，滤波器中各个频率值以截止频率作归一化后，频率都是截止频率的相对值，没有了量纲。