现在互联网上的垃圾太多了。大多数网站文章都是采集来的，给互联网造成了大量的垃圾，那么我们该如何判断网站内容重复呢?这里给你一个简单的分析，希望对你有帮助，如果遇到相同的情况很快就判断出来文章属于相同的了。
1、如何判断两个内容能否相反呢?
假设让人来判别，可以就要逐字逐句地把文章读完才气判别得出来，当然可以通过计算机去判别这一点。此外，当天天需要处理的内容达到十多万篇次的时分。这么做即便关于盘算机来也太费事了。
2、有更复杂的方法吗?
是的，通过零散的计算，一篇文章、主题、图片的文本可以转换成一系列数字代码，就像我们的每张个人身份证一样，假设两组的身份证完全相同，然后你可以肯定这是两个一样的人了，仔细看看他们的外表。文本消息的“ID卡”也可以被类似地污染。有关图像、视频的信息类似。事理也是相似的。
3、什么是信息指纹
这里介绍的只是盘算事理，并非实际发作的盘算进程。
信息的「身份证」，更为罕见的名称是“信息指纹”，它常用于确定计算机应用程序规模判别信息反复性的办法。有很多方法可以计算“信息指纹”，但这种情况类似：
你可以知道，无论中文、外文照样数字，在盘算机零碎里，实际上多是以0或1的代码办法存储的。例如，大写字母A的ASCII码是01000001，小写字母z的ASCII码是01111010(实际上有很多编码规范，ASCII是一种罕见的英文编码规范，采用8位二进制数字编码)。这实际上相当于为每个角色提供唯一的信息指纹。
在复杂的情况下，盘算会对文本中呈现的不合字符的信息指纹，结合它们在内容中呈现的次数，重复的中断算术运算，最终失落丢失一篇内容的信息指纹。理论上说，假定运算足够多的次数，就会发生发火足够无独有偶的数字后果。
