07 朴素叶贝斯算法

概率基础

1. 概率： 一件事情发生的可能性
2. 联合概率： 包含多个条件，且所有条件同时成立的概率。P(A,B)
   P(A, B) = P(A)P(B)
3. 条件概率：事件A在另外一个事件B已经发生条件下发生的概率。 P(A|B)
   P(A1,A2 | B) = P(A1 | B) * P(A2 | B)
   注意： 此条件概率的成立，是由于A1, A2相互独立的结果

朴素贝叶斯

1. 朴素： 特征独立，常用文档分类
   • 在给定词比例的基础上，求各类型文档的比例
2. 贝叶斯公式： （多个条件下一个结果）
   

• 公式分为3个部分：
  • P(C): 每个文档类别的概率 （某类文档数/总文档数）
  • P(W | C)：给定类别下特征（被预测文档中出现的词）的概率：计算方法：P(F1|C） = Ni/N
    • Ni : F1词在C类别文档所有文档出现的次数
    • N: 所属C类别下的文档所有词出现的次数和
  • P(F1,F2,F3) : 预测文档中每个词的概率

1. 文档分类： 给定一个文档的条件下，求文档所属于科技、娱乐等类别的概率。哪个类别的概率大，则归为某个类别。

• 文档：词1， 词2 ， 词3 （词出现的数量的情况下，判断类别）
  • P(科技|词1，词2，词3） = P(f1,f2,f3 | 科技）*P(科技）/P(W)
  • P(娱乐|词1，词2，词3） = P(f1,f2,f3 | 娱乐）*P(娱乐）/P(W)
• 由于是概率大小，则P(W)可以同时约去

文档分类实例

特征	科技（30篇）	娱乐（60篇）	汇总（90篇）
商场	9	51	60
影院	8	56	64
支付宝	20	15	35
云计算	63	0	63
汇总（求和）	100	121	221

现有一篇预测文档，出现了影院，支付宝，云计算，计算属于科技、娱乐的概率。

• 科技： P(科技 |影院，支付宝，云计算）= P(影院，支付宝，云计算| 科技）* P(科技）= P(影院|科技）P(支付宝|科技） P(云计算|科技）P(科技）= （8/100）* （20/100）* （63/100）*（30/90） = 0.00456109
• 娱乐：P(娱乐 |影院，支付宝，云计算）= （56/121）（15/121）（0/121）（60/90）= 0

拉普拉斯平滑

1. 目的：避免单个特征词出现次数为0 ，导致最终的计算结果为0 。
2. 原因：其他的词在这个类型文档中出现过，则还是有可能属于这个文档。
3. P(F1|C) = (Ni +a) /(N+am)
   • a为指定的系数，一般取1
   • m为训练文档中统计出的特征词的个数 （上述例子中为4）

sklearn朴素贝叶斯API

sklearn.naive_bayes.MultinomialNB (alpha = 1.0)

朴素贝叶斯算法案例 （sklearn 20类新闻分类）

案例流程

1. 加载数据，进行分割
2. 生成文章特征词
3. 朴素贝叶斯estimator进行预估

算法总结

1. 训练集误差大，结果肯定不好
2. 不需要调参
3. 优点：
   • 发源于古典数学理论，有稳定的分类效率
   • 对缺失数据不太敏感，算法也比较简单，常用于文本分类
   • 分类准确率高，速度快
4. 缺点：
   • 由于使用样本独立性假设，对样本属性有关联时效果不好

分类模型评估

常见评估方法

1. estimator.score() - 准确率，预测结果正确的百分比
2. 精确率（precision) - 预测结果为正例样本中真实为正例的比例（查的准）

3. 召回率（recall) - 真实为正例的样本中预测结果为正例的比例（查的全）
   

4. F1-score - 反映了模型的稳定性

混淆矩阵

1. 定义：在分类任务中，预测结果（Predicted condition) 与正确标记 （True condition)之间存在四种不同的组合，构成混淆矩阵。
   

分类评估API

sklearn.metrics.classification_report(y_true, y_pred, target_names=None)

• y_true: 真实目标值
• y_pred: 估计器预测目标值
• target_names: 目标类别名称
• return: 每个类别精确率和召回率

案例代码

from sklearn.datasets import fetch_20newsgroups
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import MultinomialNB
from sklearn.metrics import classification_report


def naivebayes():
    """
    朴素贝叶斯进行文本分类
    :return: None
    """
    news = fetch_20newsgroups(subset='all')
    # 进行数据分割
    x_train, x_test, y_train, y_test = train_test_split(news.data, news.target_names, test_size=0.25 )

    # 对数据集进行特征抽取
    tf = TfidfVectorizer()

    # 以训练集当中的词的列表进行每篇文章重要性统计
    x_train = tf.fit_transform(x_train)
    print(tf.get_feature_names())
    x_test = tf.transform(x_test)

    # 进行朴素贝叶斯算法的计算
    mlt = MultinomialNB(alpha=1.0)
    mlt.fit(x_train, y_train)
    print(x_train)
    y_predict = mlt.predict(x_test)

    print("预测的文章类别为：", y_predict)
    score = mlt.score(x_test, y_test)
    print("分类准确率为：", score)

    print("每个类别的精确率和召回率：", classification_report
    (y_test,y_predict,target_names=news.target_names))
    return None


if __name__ == '__main__':
    naivebayes()