监督学习之朴素贝叶斯

假设#

朴素贝叶斯模型假设每个数据点的特征都是独立的:

P(xy)=P(x1,x2,...y)=P(x1y)P(x2y)...=i=1nP(xiy)P(x|y)=P(x_1,x_2,...|y)=P(x_1|y)P(x_2|y)...=\prod\limits_{i=1}^nP(x_i|y)

解决方案#

最大化对数似然给出以下解,k{0,1}l[1,L]k\in\lbrace0,1\rbrace,l\in[1,L]

P(y=k)=1m×#{jy(j)=k}P(y=k)=\frac{1}{m}\times\# \lbrace j|y^{(j)}=k \rbrace

P(xi=ly=k)={#jy(j)=k&xi(j)=l}#{jy(j)=k}P(x_i=l|y=k)=\frac{\lbrace\#j|y{(j)}=k \& x_i^{(j)}=l\rbrace}{\#\lbrace j|y^{(j)}=k \rbrace}

备注:朴素贝叶斯广泛用于文本分类和垃圾邮件检测。

本作品采用《CC 协议》,转载必须注明作者和本文链接
不要试图用百米冲刺的方法完成马拉松比赛。
本帖由 Galois 于 4年前 加精