近似重复网页举例
搜索引擎近似重复检测流程:
搜索引擎近似重复检测流程
通用网页去重算法框架:
通用网页去重框架
SimHash文档指纹计算方法
SimHash文档指纹计算方法
说明:
1)从文档中提取具有权值的 特征集合来表示文档。如:假设特征都是由词组成的,词的权值由词频TF 来确定。
2)对每一个词,通过哈希算法生成N位(通常情况是64位或更多)的二进制数值,如上图,以生成8位的二进制值为例。每个词都对应各自不同的二进制值。
3)在N维(上图为8维)的向量V中,分别对每维向量进行计算。如果词相应的比特位的二进制数值为1,则对其特征权值进行加法运算;如果比特位数值为0,则进行减法运算,通过这种方式对向量进行更新。
4)当所有的词都按照上述处理完毕后,如果向量V中第i维是正数,则将N位的指纹中第i位设置为1,否则为0。
Jacccard相似性计算方法:
Jacccard相似性计算方法
如上图,A和B代表2个集合,集合C代表集合A和B相同的部分。 A集合包含5个元素,B集合包含4个元素,而两者相同的元素有2个,即集合C的大小是2. Jaccard计算两个集合相同的元素占总元素的比例。
如图中,集合A和集合B共有7个不同的元素,相同元素个数2个,所以集合A和集合B的相似性为:2/7
在实际应用中,集合A 和 集合B 的特征都会经过哈希计算,转化成N位(64位甚至更多)的二进制数值,从而将集合A和B的相似性比较转化为二进制数值的比较,称为“海明距离”的比较。两个位数相同(如均为64位)相同位置上不同的二进制数值的个数称为“海明距离”。
对给定的文档A,假设经过特征抽取–哈希指纹运算后的二进制数值是:1 0 0 0 0 0 1 0
对给定的文档B, 假设经过特征抽取—哈希指纹运算后的二进制数值是:0 0 1 0 0 0 0 1
经过比较,文档A 和 B的 第1位、第3位、第7位、第8位四个位置的数值不同,即海明距离为4. 两个文档的二进制位数不同的个数越多,海明距离越大。海明距离越大,说明两个文档不相似性越大,反之,则越小。
不同搜索引擎可能会以不同的海明距离值 来判断两个网页内容是否近似重复。相关分析认为,一般情况下,对一个64位的二进制数值来说,将海明距离<=3作为判断是否近似重复的标准比较合理.
作者:
相关阅读:
搜索引擎是怎么删除重复网页的
搜索引擎催生网页垃圾内容
谷歌论文:大规模的超文本网页搜索引擎的分析
百度2013年中国网站发展趋势报告
搜索引擎如何抓取你的网页
顶: 1 踩: 0
1楼
我和小伙伴们都惊呆了
评论来自电脑端 时间:2014-02-03 15:27:13
2楼
谁知道重复文档的处理方式第2条将文档分组是什么意思?
是将转载的文章放入一个相同的小栏目或者大栏目吗?
评论来自电脑端 时间:2013-02-25 09:38:41
3楼
讲的太形象了。
评论来自电脑端 时间:2013-02-25 08:29:41
4楼
数据指纹,第一次看到这么形象的例子了
评论来自电脑端 时间:2013-02-24 12:02:27
5楼
这也太复杂了。说白了,就是百度采用一些方法识别没有价值的重复的信息呗。
评论来自电脑端 时间:2013-02-24 10:58:21
6楼
这么复杂。。。
评论来自电脑端 时间:2013-02-23 21:50:43
7楼
讲的不错,大概了解了去重复算法的原理
评论来自电脑端 时间:2013-02-23 20:39:18