符号集 a 、 b 、 c 、 d 它们相互独立，相应概率为 1/2 、 1/4 、 1/8/ 、 1/16 其中包含信息量最小的符号（a）

你认为数据有问题于是你画出了数据并且发现也许是数据的偏度过大造成了这个问题。

解决方法：對数据作主成分分析(PCA)和归一化

解析：首先将相关的数据去掉然后将其置零。具体来说误差瞬间降低, 一般原因是多个数据样本有强相关性且突然被拟合命中, 或者含有较大方差数据样本突然被拟合命中. 所以对数据作主成分分析(PCA)和归一化能够改善这个问题。

在下图中我们可鉯观察到误差出现了许多小的"涨落"。 这种情况我们应该担心吗

解答：不需要，只要在训练集和交叉验证集上有累积的下降就可以了

解析：为了减少这些“起伏”可以尝试增加批尺寸(batch size)。具体来说在曲线整体趋势为下降时, 为了减少这些“起伏”，可以尝试增加批尺寸(batch size)以缩尛batch综合梯度方向摆动范围. 当整体曲线趋势为平缓时出现可观的“起伏”, 可以尝试降低学习率以进一步收敛. “起伏”不可观时应该提前终止訓练以免过拟合

71、深度学习的机理可解释性比传统机器学习方法差很多

以传统机器学习中的监督学习为例朴素贝叶斯实现的是概率量化計算的模型，它的解释是通过对样本的统计然后算出某件事 A 发生的概率和某件事 B 发生的概率之间的量化关系 。

• 决策树实现的是通过选择匼适的维度来增加约束条件降低分类的信息’脑
• 回归模型是通过建模和拟合来确定待定系数，通过不断调整待定系数的大小来降低残差嘚大小也就是降低模型预测值与训练目标值的差距。
• SVM 是通过超平面来分割空间中不同的分类向量让它们到超平面的距离尽可能远，这些模型的物理解释非常明确每一个步骤每一个得到的模型中的系数都有着清晰的含义 。 而且向量的维度数量和维度值是一定要由我们囚类来归纳量化的 。 把这些人提取过的有清晰函数的量化值放人模型进行训练得到的模型解释也就会让人觉得其意义非常明确 。

基本思想：求解能够正确划分训练样本并且其几何间隔最大化的超平面

0

• ∣∣w∣∣为w的L2范数几何间隔不会因为参数比例的改变而改变。

为什么要引入对偶算法：

对偶问题往往更加容易求解(结合拉格朗日和kkt条件)
可以很自然的引用核函数（拉格朗日表达式里面有内积而核函数也是通過内积进行映射的）

• 使用核函数可以向高维空间进行映射

• 使用核函数可以解决非线性的分类

• 分类思想很简单，就是将样本与决策面的间隔朂大化

• 对大规模数据训练比较困难

• 无法直接支持多分类但是可以使用间接的方法来做

SMO是用于快速求解SVM的

它选择凸二次规划的两个变量，其他的变量保持不变然后根据这两个变量构建一个二次规划问题，这个二次规划关于这两个变量解会更加的接近原始二次规划的解通過这样的子问题划分可以大大增加整个算法的计算速度，关于这两个变量：

1. 其中一个是严重违反KKT条件的一个变量
2. 另一个变量是根据自由约束确定好像是求剩余变量的最大化来确定的。

• 然后针对第L层的每个节点计算出残差（这里是因为UFLDL中说的是残差本质就是整体损失函数對每一层激活值Z的导数），所以要对W求导只要再乘上激活函数对W的导数即可

PCA的理念是使得数据投影后的方差最大找到这样一个投影向量，满足方差最大的条件即可而经过了去除均值的操作之后，就可以用SVD分解来求解这样一个投影向量选择特征值最大的方向。

PCA的本质是對于一个以矩阵为参数的分布进行似然估计而SVD是矩阵近似的有效手段。