<< 隐性语义索引搜索引擎的分类 >>

Lucene基本相关度算法与网上流传的针对web的改进算法

理解这些算法,对于你做优化排名是有好处的.分享一下.
1公式为:
score_d = sum_t(tf_q * idf_t / norm_q * tf_d * idf_t / norm_dt_t)
score_d: Document(d) 的得分
sum_t: Term(t) 的总和
tf_q: 查询中 t 的频度的平方根
tf_q: d 中 t 的频度的平方根
idf_t: log(numDocs/docFreq_t + 1) + 1.0
numDocs: 索引中Document的数量
docFreq_t: 包含t的Document的数量
norm_q: sqrt(sum_t((tf_q*idf_t)^2))
norm_d_t: 在与 t 相同域的 d 中 tokens 数量的平方根
基础排序算法的不足
要点:
&nbsp; &nbsp; 查询词在一个 Document 中的位置并不重要。
    如果一个 Document 中含有该查询词的次数越多,该得分越高。
    一个命中document中,如果除了该查询词之外,其他的词越多,该得分越少。

不足:
    查询精确度不好。
    没有体现网页的重要性
    Lucene的得分算法, 不适合网页搜索。
    google的pagerank算法主要是根据link
改进的算法:
    Score_d = k1 * OldScore + k2 * PrScore + k3 * ReScore + k4 * homePageScore
    Score_d: 记录d的得分。
    OldScore: 由基础排序算法计算出的记录d的得分。
    PrScore: 记录d的PageRank的得分。
    ReScore: 记录d的二次检索的加分, ReScore = rescore + (hitNum - 1) * increment
    homePageScore: 主页的加分
    K1, K2, K3, K4为权重系数
    PR(A) = (1 - d) + d(PR(1) / C(1) + ... + PR(n)/C(n))
    PageRank, 二次检索, 以及主页加分的调整确实优化了查询精确度。
 

在结果中检索又称为二次检索。 是在当前检索结果内进行的检索,主要作用是进一步精选文献。当检索结果太多,想从中精选出一部分时,可使用二次检索。

hitNum是网页点击数

increment是该单词每多出现一次所增加的“分数”

 

 

另外,对于网页,term属于某些标签内应该也加以权重,如加黑的,图片上方或者下方的,title内的,标题元素等,对于普通文档,term包含在标题,摘要内的,或文档开头的也应有加分。
可以通过setBoost完成

添加书签: [QQ书签] [百度搜藏] [新浪ViVi] [365Key网摘] [天极网摘] [我摘] [POCO网摘] [和讯网摘]
  • 相关文章:

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

日历

网站分类

最新评论及回复

Search

最近发表

Powered By 网站优化  博德科技  google排名网  烟雨遥
 RSS sitemap sitemap_wap