如何比较两篇文章的相似度
如何比较两篇文章的相似度
其实这个题目已经有很多人写过了，数学之美里就有，最近阮一峰的博客里也写了，本文基本上遵循的就是他的思路，只是让其看起来再小白一点点。其实说白了就是用自己的话，再把同样一件事描述一下，顺便扩扩句，把其中跳跃比较大的部分再补充补充。
当然虽然题目是比较两篇文章的相似性，但我们也不会傻到真拿两篇篇文章来说明，为了简单起见，我们从句子着手。
句子A：周杰伦是一个歌手,也是一个叉叉
句子B：周杰伦不是一个叉叉，但是是一个歌手
如何比较相似性呢 ？
第一步 分词
句子A : 周杰伦/是/一个/歌手, 也/是/一个/叉叉 （注:假设分词也是个牛叉叉，可以识别叉叉这个词） 句子B: 周杰伦/不/是/一个/叉叉 ,但是/是/一个/歌手第二步 去重复，列出识别的所有单词
周杰伦、是 、不、一个、叉叉 、歌手、但是、也第三步 计算词频 ( 这里表示某个词在一个句子里出现的次数 )
句子A: 周杰伦1、是2 、不 0 、一个2、叉叉1、歌手1、但是0、也1 句子B: 周杰伦1、是2 、不 1 、一个2、叉叉1、歌手1、但是1、也0第四步 构造词频向量
句子A [ 1 , 2 , 0 , 2 , 1 , 1 , 0 , 1 ] 句子B [ 1 , 2 , 1 , 2 , 1 , 1 , 0 , 1 ]上面构造的是两个多维的向量，其中每个维度的值就是词频。
OKAY, 构造出了上面的二个多维向量后，比较两句话的相似度就 变成了比较这两个向量的相似度了。 任何问题只要一变成数学问题，基本上就好解决了 :) ... ...
那么如何比较两个向量的相似度呢 。先来点高中数学知识 。
上图是一个二维向量的几何表示。其中有 2 个二维向量 a 和 b 。 θ 就是这 2 个二维向量的夹角； 如果夹角为 0 度，意味着方向相同、线段重合；如果夹角为 90 度，意味着形成直角，方向完全不相似；如果夹角为 180 度，意味着方向正好相反。因此， 我们可以通过夹角的大小，来判断向量的相似程度。夹角越小，就代表越相似 。
再复习一个初中的知识：余弦定理 ( 应该是初中吧）
假定 a 向量是 [x1,y1] 。 b 向量是 [x2,y2]
那么可以将余弦定理改成下面的形式。
在原文中直接给了这个结果，这着实有点跳跃，给人以突兀感，主要是因为其中的推导过程给省略了，虽然推导过程确实有点小白，但我们的题目，就是将小白进行到底，所以还是在下面补出来这个过程。因为我不会画图所以直接使用计算机的表示法了。可能不太直观
Cosθ = (a^2+b^2-c^2 )/2abc a^ 2 = (x1^2+y1^2 ) b^ 2 = (x2^2+y2^2 ) c^ 2 = (x2-x1)^2 + (y2-y1)^2 (这个不难理解吧) = > Cosθ = ((x1^2+y1^2) + (x2^2+y2^2) + ((x2-x1)^2 + (y2-y1)^2))/(2sqrt(x1^2+y1^2)*sqrt(x2^2+y2^2 )) = > Cosθ = （x1^2+y1^2+x2^2+y2^2-x2^2-x1^2+2x1x2-y2^2-y1^2+2y1y2/(2sqrt(x1^2+y1^2)*sqrt(x2^2+y2^2 )) = > Cosθ = (2x1x2+y1y2 )/(2sqrt(x1^2+y1^2)*sqrt(x2^2+y2^2 )) = > Cosθ = (x1x2+y1y2 )/(sqrt(x1^2+y1^2)*sqrt(x2^2+y2^2))这样结果就推出来了。
我们现在再来总结一下二维向量情况下余弦定理的规律
2 个二维向量 [x1,y1] 、 [x2,y2] 那么有
Cosθ = (x1x2+y1y2 )/(sqrt(x1^2+y1^2)*sqrt(x2^2+y2^2) )我们把 [x1,y1] 、 [x2,y2] 换成 [a1,a2] 、 [b1,b2] 那么
有 2 个二维向量 [a1,a2] 、 [b1,b2] 有
Cosθ = (a1b1+a2b2 )/(sqrt(a1^2+a2^2)*sqrt(b1^2+b2^2))数学已经证明，余弦的这种计算扩展到多维向量也是成立的。
那么 现在我们多一个维度，假设有 2 个 3 维向量，例如 [a1,a2,a3] 、 [b1,b2,b3] 会是什么样呢
Cosθ = (a1b1+a2b2 +a3b3)/(sqrt(a1^2+a2^2+a3^2)*sqrt(b1^2+b2^2+b3^2))那么 n 维是什么情况呢
Cosθ = (a1b1+a2b2 +a3b3 + .. anbn)/(sqrt(a1^2+a2^2+a3^2 + ... + an^2)*sqrt(b1^2+b2^2+b3^2 + .. + bn^2))下图的表示可能更直观和简洁一些
有了这个公式就好办了。我们的两个句子
句子A [ 1 , 2 , 0 , 2 , 1 , 1 , 0 , 1 ] 句子B [ 1 , 2 , 1 , 2 , 1 , 1 , 0 , 1 ]那么他们夹角的余弦是多少呢
Cosθ = (1*1 + 2*2 + 0*1 + 2*2 + 1*1 + 1*1 + 0*0 + 1*1 )/(sqrt(1^2+2^2+0^2+2^2+1^2+1^2+0^2+1^2)*sqrt(1^2+2^2+1^2+2^2+1^2+1^2+1^2+0^2+1^2 )) = > Cosθ ≈ 0.961这个还算是比较高的
作者： Leo_wl
出处： http://www.cnblogs.com/Leo_wl/
本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。
版权信息声明：本文来自网络，不代表【好得很程序员自学网】立场，转载请注明出处：http://haodehen.cn/did46398