日韩久久久精品,亚洲精品久久久久久久久久久,亚洲欧美一区二区三区国产精品 ,一区二区福利

vsm

系統(tǒng) 1746 0

向量空間模型將文檔映射為一個特征向量V(d)=(t 1 1 (d);…;t n , ω n (d)),其中t i (i=1,2, …,n)為一列互不雷同的詞條項,ω i (d)為t i 在d中的權(quán)值, 一般被定義為t i 在d中出現(xiàn)頻率tf i (d)的函數(shù),即

在信息檢索中常用的詞條權(quán)值計算方法為 TF-IDF 函數(shù) ,其中N為所有文檔的數(shù)目,n i 為含有詞條t i 的文檔數(shù)目。TF-IDF公式有很多變種,下面是一個常用的TF-IDF公式:

根據(jù)TF-IDF公式,文檔集中包含某一詞條的文檔越多,說明它區(qū)分文檔類別屬性的能力越低,其權(quán)值越小;另一方面,某一文檔中某一詞條出現(xiàn)的頻率越高,說明它區(qū)分文檔內(nèi)容屬性的能力越強,其權(quán)值越大。

兩文檔之間的相似度可以用其對應(yīng)的向量之間的夾角余弦來表示,即文檔d i ,d j 的相似度可以表示為

進行查詢的過程中,先將查詢條件Q進行向量化,主要依據(jù)布爾模型:

當t i 在查詢條件Q中時,將對應(yīng)的第i坐標置為1,否則置為0,即

從而文檔d與查詢Q的相似度為

根據(jù)文檔之間的相似度,結(jié)合機器學習的一些算法如神經(jīng)網(wǎng)絡(luò)算法,K-近鄰算法和貝葉斯分類算法等,可以將文檔集分類劃分為一些小的文檔子集。

在查詢過程中,可以計算出每個文檔與查詢的相似度,進而可以根據(jù)相似度的大小,將查詢的結(jié)果進行排序。

向量空間模型可以實現(xiàn)文檔的自動分類和對查詢結(jié)果的相似度排序,能夠有效提高檢索效率;它的缺點是相似度的計算量大,當有新文檔加入時,則必須重新計算詞的權(quán)值。

vsm


更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號聯(lián)系: 360901061

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對您有幫助就好】

您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長會非常 感謝您的哦!!!

發(fā)表我的評論
最新評論 總共0條評論
主站蜘蛛池模板: 泰和县| 湟中县| 连云港市| 陆川县| 香河县| 荣昌县| 潜江市| 宜城市| 连江县| 盐城市| 拉萨市| 大邑县| 巴南区| 南澳县| 邹城市| 定安县| 淮北市| 青河县| 庆阳市| 枣阳市| 阿合奇县| 乃东县| 富阳市| 清镇市| 榆树市| 祁阳县| 中超| 新丰县| 织金县| 浑源县| 揭东县| 揭阳市| 大田县| 沁阳市| 临武县| 桓台县| 宣汉县| 古田县| 稷山县| 黔东| 石景山区|