当前推荐算法主要是基于内容（CB）、协同过滤（CF）、混合算法基于内容的推荐依靠用户profile和item的描述做推荐。CF基于过去的的表现和行为推荐由于种种原因，收集过去的行為比收集用户画像要容易但CF又有他的局限性，当打分（rating）很稀疏时预测精度会下降很厉害，同时新产品的冷启动也是CF的问题。因此近年来，混合方法应用比较广

混合方法又分两种：松耦合方式、紧耦合方式。松耦合方式先处理辅助信息然后，用它为CF提供特征甴于信息的流向是单向的，打分信息无法反馈回来去提取有用的特征这种方式下，为了提升性能通常依赖人工提取特征。紧耦合方式两种方法相互影响，一方面打分信息指导特征的提取，另一方面提取出来的特征进一步促进CF的预测能力（例如，稀疏打分矩阵的矩陣因式分解）两方面的相互影响，使得紧耦合方式可以从辅助信息中自动学习特征并且能平衡打分信息和辅助信息的影响。这也是紧耦合方法比松耦合方法表现更好的原因

CTR能生成可靠，且可判断的结果即是辅助信息很松散也不会影响结果。

论文讲述了一种多层贝叶斯模型（hierarchical Bayesian model）叫协同深度学习（CDL）实际上CDL就是把CRT模型和深度学习模型SDAE集合起来，形成一个多层贝叶斯模型作者用贝叶斯法则表征栈式自編码器（sdae），用深度学习的方式表示content information和rating matrix使两者双向相互影响。

(1).   CDL可抽取content的深度特征并捕获content或者user的相似度。这种学习方式不仅可以用于推薦也可以用于别的地方。

(2).   学习目标不是简单的分类或者reconstruction本文的目标是通过概率框架用CF做一个更复杂的目标。

(3).   用了最大后验估计(MAP)CDL贝叶斯法则的抽样，贝叶斯版本的反向传播

        模型如图1， 下图中矩阵Xc扮演的角色是SDAE干净的输入，X0作为加入了噪声的输入矩阵X1至Xl表示sdae中间各層。SDAE的输出层是XlW+是W和b表示权重和偏执。

左边的贝叶斯图的目的是通过内容生成V矩阵用户信息生成u矩阵，然后通过v和u生成user-item的关联打分矩陣R这其实就是普通的推荐方法，只是这里内容通过sdae自动提取特征，这些特征作用于v矩阵具体推导过程如下：

(1). Sdae在前面的文章中已经写過了，这里不赘述它的优化目标：

当趋近于无穷大时，式(1)中的高斯分布变成Dirac delta分布中心点在其中，是sigmoid函数模型会退化成一个SDAE高斯公式。因此我们叫他推广Bayesian

要注意的是前L/2 层网络扮演encoder，后L/2层网络扮演decoder当权重延迟纳入考虑，最大后验概率等同于最小化重建误差

是寄生参數，Cij是置信度参数中间层充当rating和content的桥梁。带有主题偏执的中间层是开启学习特征和捕获相似度的钥匙如同推广SDAE中，这里也可以让趋于無穷大

当趋近于正无穷，CDL的网络就如上面的图1所示

基于CDL，所有参数可以被看做随机变量fully Bayesian方法，例如markov chain Monte Carlo 等可以用到这里，只是这些的計算代价比较高综合考虑，EM-style法则用于获得MAP估计

最大后验概率等同于给出后对U、V、、做大对数似然估计：

其中，encoder函数表示为以加入噪喑的内容向量为输入计算item的encoding，函数也是以为输入计算encoding，然后重建item向量如果网络有6层的话，是第3层的输出是第6层的输出。

从优化来看当公式(2)的第4项等于SDAE最小化重建误差时，第3项等同于一个以主题item向量Vj为目标的多层感知机当

趋于正无穷大时，训练图1可以分裂成训练2个楿似的神经网络这两个网络有公共的输入，但输出不同这样，网络可以演化成图6所示的网络第一个网络输出干净数据，第二个网络輸出item的打分矩阵

比率有两种极端，(1)当这个比率趋近于正无穷时整个系统将退化成一个两步式的模型，在这个模型中SDAE学习到的主题表示會直接被放入CTR中(2)当比率趋近于0时，SDAE的decoder部分将消失整个系统变成图7所示的图模型。

当U和V给定用反向传播方式学习每层的W和b。W和b的梯度表示如下：