SEO核心算法：依據(jù)余弦相似性找主題相關(guān)文章

SEO的核心其實(shí)是由一個個算法組成的，無論是最開始的pagerank，還是后來的hits算法、hilltop算法、trustrank算法等都是搜索引擎最底層的算法。而算法問題又是一個個的數(shù)學(xué)問題，想要深層次的理解SEO算法就要去理解各種數(shù)學(xué)問題。不過還好，我們都不是SEO研究者，沒必要非要弄懂，我們只要知道這個算法是如何來的如何運(yùn)用就可以了！今天我們講的是相關(guān)性算法的一個底層邏輯：余弦相似性！
有些時候，除了找到關(guān)鍵詞，我們還希望找到與原文章相似的其他文章。比如，在文章“linux軟件安裝方法”的正文下方，有很多文章也是與正文相關(guān)的文章。

為了找出相似的文章，需要用到"余弦相似性"（cosine similiarity）。下面，我舉一個例子來說明，什么是"余弦相似性"。
為了簡單起見，我們先從句子著手。
　　句子A：我喜歡看電視，不喜歡看電影。
　　句子B：我不喜歡看電視，也不喜歡看電影。
請問怎樣才能計(jì)算上面兩句話的相似程度？
基本思路是：如果這兩句話的用詞越相似，它們的內(nèi)容就應(yīng)該越相似。因此，可以從詞頻入手，計(jì)算它們的相似程度。
第一步，分詞。
　　句子A：我/喜歡/看/電視，不/喜歡/看/電影。
　　句子B：我/不/喜歡/看/電視，也/不/喜歡/看/電影。
第二步，列出所有的詞。
　　我，喜歡，看，電視，電影，不，也。
第三步，計(jì)算詞頻。
　　句子A：我 1，喜歡 2，看 2，電視 1，電影 1，不 1，也 0。
　　句子B：我 1，喜歡 2，看 2，電視 1，電影 1，不 2，也 1。
第四步，寫出詞頻向量。
　　句子A：[1, 2, 2, 1, 1, 1, 0]
　　句子B：[1, 2, 2, 1, 1, 2, 1]
到這里，問題就變成了如何計(jì)算這兩個向量的相似程度。
我們可以把它們想象成空間中的兩條線段，都是從原點(diǎn)（[0, 0, ...]）出發(fā)，指向不同的方向。兩條線段之間形成一個夾角，如果夾角為0度，意味著方向相同、線段重合；如果夾角為90度，意味著形成直角，方向完全不相似；如果夾角為180度，意味著方向正好相反。因此，我們可以通過夾角的大小，來判斷向量的相似程度。夾角越小，就代表越相似。

以二維空間為例，上圖的a和b是兩個向量，我們要計(jì)算它們的夾角θ。余弦定理告訴我們，可以用下面的公式求得：

假定a向量是[x1, y1]，b向量是[x2, y2]，那么可以將余弦定理改寫成下面的形式：

數(shù)學(xué)家已經(jīng)證明，余弦的這種計(jì)算方法對n維向量也成立。假定A和B是兩個n維向量，A是 [A1, A2, ..., An] ，B是 [B1, B2, ..., Bn] ，則A與B的夾角θ的余弦等于：

使用這個公式，我們就可以得到，句子A與句子B的夾角的余弦。

余弦值越接近1，就表明夾角越接近0度，也就是兩個向量越相似，這就叫"余弦相似性"。所以，上面的句子A和句子B是很相似的，事實(shí)上它們的夾角大約為20.3度。
由此，我們就得到了"找出相似文章"的一種算法：
　　（1）使用TF-IDF算法，找出兩篇文章的關(guān)鍵詞；
　　（2）每篇文章各取出若干個關(guān)鍵詞（比如20個），合并成一個集合，計(jì)算每篇文章對于這個集合中的詞的詞頻（為了避免文章長度的差異，可以使用相對詞頻）；
　　（3）生成兩篇文章各自的詞頻向量；
　　（4）計(jì)算兩個向量的余弦相似度，值越大就表示越相似。
"余弦相似度"是一種非常有用的算法，只要是計(jì)算兩個向量的相似程度，都可以采用它。
"余弦相似性"在谷歌搜索引擎中應(yīng)用的特別多，谷歌的搜索引擎優(yōu)化白皮書中也明確說明了應(yīng)用余弦相似性原理。雖然百度搜索引擎沒有公布，但百度也肯定應(yīng)用了這個或者類似的算法。我們理解了余弦相似性原理，就可以更好的找出文章的相關(guān)內(nèi)容，提高搜索相關(guān)性，從而提高內(nèi)頁排名！