解析: 人類很難手動(dòng)匯總大型文本文檔。文本摘要是NLP為源文檔創(chuàng)建簡(jiǎn)短、準(zhǔn)確和流暢的摘要問(wèn)題。 隨著推送通知和文章摘要獲得越來(lái)越多的注意力,為長(zhǎng)文本生成智能且準(zhǔn)確摘要的任務(wù)每天都在增長(zhǎng)。
然后根據(jù)它包含的高頻詞數(shù)對(duì)每個(gè)句子進(jìn)行評(píng)分,更高頻率的詞,價(jià)值更大。
[object Object] 文本摘要有兩種基本方法:提取和抽象。 前者從原始文本中提取單詞和單詞短語(yǔ)以創(chuàng)建摘要。 后者是學(xué)習(xí)內(nèi)部語(yǔ)言表示以生成更像人類的摘要,解釋原始文本的意圖。 提取摘要的方法是通過(guò)選擇子集來(lái)工作。 這是通過(guò)從實(shí)際文章中提取短語(yǔ)或句子以形成摘要來(lái)完成的,LexRank和TextRank是眾所周知的摘要總結(jié),它們都使用了Google PageRank算法的變體。 · LexRank是一種無(wú)監(jiān)督的基于圖形的算法,它使用IDF修改的余弦作為兩個(gè)句子之間的相似性度量。 該相似度用作兩個(gè)句子之間的圖形邊緣的權(quán)重。 LexRank還采用了智能后處理步驟,確保為摘要選擇的頂級(jí)句子彼此不太相似。 · TextRank是一種類似于LexRank的算法,具有一些增強(qiáng)功能,例如使用詞形化而不是詞干,結(jié)合詞性標(biāo)注和命名實(shí)體分辨率,從文章中提取關(guān)鍵短語(yǔ),以及根據(jù)這些短語(yǔ)提取摘要句子。 除了文章摘要外,TextRank還從文章中提取了有意義的關(guān)鍵短語(yǔ)。 抽象概括的模型屬于深度學(xué)習(xí)。 使用深度學(xué)習(xí)的文本摘要已經(jīng)取得了一定的突破。 以下是一些NLP領(lǐng)域最大公司最顯著的公布結(jié)果: · Facebook的神經(jīng)注意是一種神經(jīng)網(wǎng)絡(luò)架構(gòu),它利用基于本地注意力的模型,能夠根據(jù)輸入句子生成摘要中的每個(gè)單詞。 · Google Brain的Sequence-to-Sequence模型遵循編碼器-解碼器架構(gòu)。 編碼器負(fù)責(zé)讀取源文檔并將其編碼為內(nèi)部表示,解碼器是一種語(yǔ)言模型,負(fù)責(zé)使用源文檔的編碼表示在輸出摘要中生成每個(gè)單詞。 · IBM Watson使用類似的序列到序列模型,但具有注意力和雙向遞歸神經(jīng)網(wǎng)絡(luò)功能。 |
|