Naive&Bayes算法（NB算法---朴素贝叶斯）
&（说明：资料来源网络，搜集容易解理的内容并整理而得。）
&贝叶斯分类器的分类原理是通过某对象的先验概率，利用贝叶斯公式计算出其后验概率，即该对象属于某一类的概率，选择具有最大后验概率的类作为该对象所属的类。目前研究较多的贝叶斯分类器主要有四种，分别是：Naive
Bayes、TAN、BAN和GBN。应用贝叶斯网络分类器进行分类主要分成两阶段。第一阶段是贝叶斯网络分类器的学习，即从样本数据中构造分类器，包括结构学习和CPT
学习；第二阶段是贝叶斯网络分类器的推理，即计算类结点的条件概率，对分类数据进行分类。这两个阶段的时间复杂性均取决于特征值间的依赖程度，甚至可以是
完全问题，因而在实际应用中，往往需要对贝叶斯网络分类器进行简化。根据对特征值间不同关联程度的假设，可以得出各种贝叶斯分类器，Naive
Bayes、TAN、BAN、GBN 就是其中较典型、研究较深入的贝叶斯分类器。
NaiveBayes（朴素贝叶斯，下面简称NB）是ML中的一个非常基础和简单的算法，常常用它来做分类，我用它做过文本分类。现在的研究中大概已经很少有人用它来实验了（除非是做base
line），但确实是个很好的入门的算法，来帮助自己更加深刻的理解ML的本质。
首先从Bayes公式开头：
&&&&&&&&&&&&&
&P（C/W） = P(C) * P(W/C) / P(W)
这个公式是ML中最基本也是最常用到的公式，怎么强调它的重要性都不过分。为了更容易理解这个公式，我将bayes公式放在文本分类问题中进行解释。
公式的左边，C代表的是文本的类别（例如是体育或者娱乐），W往往是一个测试样本（例如某篇新闻），P(C/W)代表的是这个样本归属于该类别的概率，我们实际中的任务常常就是要得到样本归属各个类别的概率值P(C1/W),P(C2/W)...P(CN/W)，然后最大概率值所对应的类别Ci就是该样本被分配的类。
计算这个概率值的方法就是bayes公式的右边。P(C)表示C这个类别在所有文本中的概率，是先验概率。&&实际中，这个值往往通过训练语料计算得到，例如，将训练语料中所有的体育文本数除以训练语料总的文本数，就是体育这个类别的先验概率。
&& P(W)则是通过这个公式计算：
&&&&&&&&&&&
P(W) =&&∑P(W/Ci) * P(Ci)
可以看出，P(W)的计算可以通过 P(C)和P(W/C)得到。
P(W/C)的计算下面将重点介绍：
现在的问题是怎样计算P(W/C)。在现实中，W这个样本往往是用向量表示的，包括了很多的分量 W = (w1, w2,
w3,&&... wn)， 所以 P(W/C) = P(w1,
w2, w3,&&... wn / C)，NB的核心在于它假设向量的所有分量之间是独立的。&&&&&&&&&&&&&&&&&&&
Wi is independent of Wj, if i != j
对！这个假设就是NB的全部内容了，是不是很简单。有了这个假设，P(W/C)的计算就变为：
&&&&&&&&&&&&&&&&&&&&&
&P(W/C) = & P(wi / C),&
&成立的条件就是每个分量之间相互独立&有人可能会问，那么 P(Wi /
C)怎么求呢。以文本分类为例，将文本作为一个向量，那么?
的分量就是一个词在这个文本中是否存在。例如：
=&&1&&&if&&"乔丹"
在文本中出现&0&&&otherwise
对于这个Wi，它的P(Wi / C体育) 就是统计所有的体育文章中有多少篇出现了“乔丹”这个词，然后用 出现篇章数 /
所有体育篇章数就是我们要的概率值了。回过头看，其实NB很简单，就是在bayes公式的基础上多了一个独立性假设，很好理解的。
分类是将一个未知样本分到几个预先已知类的过程。数据分类问题的解决是一个两步过程：第一步,建立一个模型，描述预先的数据集或概念集。通过分析由属性描述的样本（或实例，对象等）来构造模型。假定每一个样本都有一个预先定义的类，由一个被称为类标签的属性确定。为建立模型而被分析的数据元组形成训练数据集，该步也称作有指导的学习。
　　在众多的分类模型中，应用最为广泛的两种分类模型是决策树模型(Decision Tree
Model)和朴素贝叶斯模型（Naive
Model，NBC）。决策树模型通过构造树来解决分类问题。首先利用训练数据集来构造一棵决策树，一旦树建立起来，它就可为未知样本产生一个分类。在分类问题中使用决策树模型有很多的优点，决策树便于使用，而且高效；根据决策树可以很容易地构造出规则，而规则通常易于解释和理解；决策树可很好地扩展到大型数据库中，同时它的大小独立于数据库的大小；决策树模型的另外一大优点就是可以对有许多属性的数据集构造决策树。决策树模型也有一些缺点，比如处理缺失数据时的困难，过度拟合问题的出现，以及忽略数据集中属性之间的相关性等。
　　和决策树模型相比，朴素贝叶斯模型发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。同时，NBC模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。理论上，NBC模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此，这是因为NBC模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，这给NBC模型的正确分类带来了一定影响。在属性个数比较多或者属性之间相关性较大时，NBC模型的分类效率比不上决策树模型。而在属性相关性较小时，NBC模型的性能最为良好
已投稿到：
以上网友发言只代表其个人观点，不代表新浪网的观点或立场。逻辑回归 和 朴素贝叶斯 两者间的区别 - 推酷
逻辑回归 和 朴素贝叶斯 两者间的区别
在有监督学习算法用做分类问题时，有两种算法在实际中应用广泛，它们分别是Logistic regression和Naive bayes。今天我们讨论一下这两类算法在分类问题上面的异同点，以及它们的优缺点。
1.两类算法介绍
Logistic Regression
Naive Bayes
Naive Bayes模型是说我有一个很强的假设，这个假设是在
给定的条件下，
相互独立，这个假设看上去非常stupid，但是在实际应用（比如垃圾邮件检测）中能够work非常好。这一方面也验证了Occam’s Theory: Simple model is better。继续主题，既然
相互独立，我们想对测试数据
进行预测，可以通过如下方法：
可以通过条件独立性写成：
而分母可以通过联合概率写成：
好的，下面我们开始分析Logistic Regression和Naive Bayes的异同点。
2.两者的异同点
Logistic regression和Naive bayes都是对特征的线性表达
，只是区别在于两者所fit的参数不同。
Logistic regression和Naive bayes建模的都是条件概率
，对所最终求得的不同类的结果有很好的解释性。而不像SVM，神经网络这样解释性不高。
Logistic regression在有相关性feature上面学习得到的模型在测试数据的performance更好。也就是说，logistic regression在训练时，不管特征之间有没有相关性，它都能找到最优的参数。而在Naive bayes中，由于我们给定特征直接相互独立的严格设定，在有相关性的feature上面学习到的权重同时变大或变小，它们之间的权重不会相互影响。从这方面来说，如果能够在对参数较好地控制，在损失项方面处理的很好的话，Logistic regression相对Naive bayes在应用时更不会限制在特征工程（feature engineering）上面。
Naive bayes的好处是我没有优化参数这一步，通过训练数据我直接得到一个counting table，这些有助于并行化。
Andrew Ng和Michael Jordan在2001年发了一篇NIPS短文《
》，他们把这两个模型用在各种数据集上面进行测试，最后得到在小数据上面Naive bayes可以取得更好的效果，随着数据的增多、特征维度的增大，Logistic regression的效果更好。这也是因为Naive bayes是生成模型，在有prior的情况下模型能够把数据fit的更好，而Logistic regression属于生成模型，目标驱动化，不去建模联合概率，通过训练数据直接预测输出，因此在数据足够多的情况下能够得到更好一些的效果。
文章出处：
已发表评论数()
已收藏到推刊！
请填写推刊名
描述不能大于100个字符!
权限设置： 公开
仅自己可见
正文不准确
标题不准确
排版有问题
没有分页内容
图片无法显示
视频无法显示
与原文不一致Naive bayes classification_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
Naive bayes classification
上传于||文档简介
&&A​ ​t​u​t​o​r​i​a​l​ ​o​n​ ​n​a​i​v​e​ ​b​a​y​e​s​ ​c​l​a​s​s​i​f​i​c​a​t​i​o​n
阅读已结束，如果下载本文需要使用0下载券
想免费下载更多文档？
下载文档到电脑，查找使用更方便
还剩3页未读，继续阅读
你可能喜欢帐号:密码:下次自动登录{url:/nForum/slist.json?uid=guest&root=list-section}{url:/nForum/nlist.json?uid=guest&root=list-section}
贴数:1&分页:venson发信人: windkingwdq (venson), 信区: AI
标&&题: Weka NaiveBayes分类问题求助
发信站: 水木社区 (Thu Oct 14 16:09:16 2010), 站内 && 我想用NaiveBayes 对文本进行分类，我的训练集大约40M。
特征很多，大约几十万，实例十万左右。
测试集10多M，在2G内存的笔记本上老是内存溢出，而放在
12G内存的机器上，倒是不出内存溢出的问题。可是程序跑
好久也不出结果。 && 问：weka是不是处理大数据量本事算法就存在问题？如果是的话
还有没有好的工具可以替代？ && 再就是使用NaiveBayes时，应该注意什么问题？是不是要把特征
维数控制在一定范围。因为我使用特征选择将特征变为20000维的话，
得到的准确率太低了，还不到10%。而用SVM的准确率都在80%左右。
-- && ※ 来源:·水木社区 ·[FROM: 218.241.236.*]
文章数:1&分页:
抽奖到手软！将狂欢进行到底！}