Python文本數(shù)據(jù)分析：文本相似度

　　今天的Python培訓(xùn)，我們講解一下什么是文本相似度。在自然語(yǔ)言處理中，經(jīng)常會(huì)涉及度量?jī)蓚€(gè)文本的相似性問(wèn)題，在諸如信息檢索、數(shù)據(jù)挖掘、機(jī)器翻譯、文檔復(fù)制檢測(cè)等領(lǐng)域中，如何度量句子或短語(yǔ)之間的相似度顯得尤為重要。

　　文本相似度的衡量計(jì)算主要包括如下三種方法：

　　(1)基于關(guān)鍵字匹配的傳統(tǒng)方法，比如N-gram相似度。

　　(2)將文本映射到向量空間，再利用余弦相似度等方法進(jìn)行計(jì)算。

　　(3)基于深度學(xué)習(xí)的方法，比如卷積神經(jīng)網(wǎng)絡(luò)的ConvNet、用戶點(diǎn)擊數(shù)據(jù)的深度學(xué)習(xí)語(yǔ)義匹配模型DSSM等。

　　隨著深度學(xué)習(xí)的發(fā)展，文本相似度的方法已經(jīng)逐漸不再是基于關(guān)鍵詞匹配的傳統(tǒng)方法，而是轉(zhuǎn)向了深度學(xué)習(xí)，目前結(jié)合向量的深度學(xué)習(xí)使用較多，因此，這里我們采用第二種方式來(lái)計(jì)算文本的相似度，一般的實(shí)現(xiàn)步驟如下。

　　(1)通過(guò)特征提取的模型或手動(dòng)實(shí)現(xiàn)，找出這兩篇文章的關(guān)鍵詞。

　　(2)從每篇文章中取出若干個(gè)關(guān)鍵詞(比如10個(gè))，把這些關(guān)鍵詞合并成一個(gè)集合，然后計(jì)算每篇文章中各個(gè)詞對(duì)于這個(gè)集合中的關(guān)鍵詞詞頻。為了避免文章長(zhǎng)度的差異，可以使用相對(duì)詞頻。

　　(3)生成兩篇文章中各自的詞頻向量。

　　(4)計(jì)算兩個(gè)向量的余弦相似度，值越大則表示越相似。

　　我們都知道，文本是一種高維的語(yǔ)義空間，要想計(jì)算兩個(gè)文本的相似度，可以先將它們轉(zhuǎn)化為向量，站在數(shù)學(xué)角度上去量化其相似性，這樣就比較簡(jiǎn)單了。那么，如何把文本轉(zhuǎn)化成向量呢?一般，我們會(huì)使用詞頻(某一給定詞語(yǔ)在文檔中出現(xiàn)的次數(shù))來(lái)表示文本特征，若某個(gè)詞在這些文本中出現(xiàn)的次數(shù)最多，則表示這個(gè)單詞比較具有代表性。