最近看搜索引擎，搜索引擎分析网页的时候也需要这样处理，称之为网页净化。

        不过不知道加了这种插件之后，那网站还能不能接到广告哈。。。

搜索引擎一般分为三个模块: 网页搜集、预处理和查询服务。

网页搜集是事先搜集的，在查询的时候再去搜集明显不可能了。而事先搜集又分为定期搜集和增量搜集。定期搜集是个全量的搜集过程，往往更新一次需要很长的时间，基本也不时新了，但是实现无疑要简单点；增量搜集除第一次是全量的外，后续做的就是更新了（包括新增网页，删除过期的，以及更新），实现上要复杂的多。现实上这两种也是相辅相成的，如新闻的搜索要及时更新，但某些学术网站就很少更新了。

网页搜集要解决的问题：
（1）各种类型的网页（html、asp、javascript），各种语种(ascii, utf-8)

（2）网络资源的多样化（文件，图片，文档，音频，视频 etc.）
（3）搜索策略（深度优先，广度优先）
（4）并发搜集（避免对同一站点同一时刻的大量访问，不然就变成Dos攻击了）

（5）避免重复搜集
          记录未访问、已访问URL和网页内容摘要信息

          域名与IP的对应问题 
（6）判断网页的重要程度

         1) 网页的入度大，表明被其他网页引用的次数多；
         2) 某网页的父网页入度大；
         3) 网页的镜像度高，说明网页内容比较热门，从而显得重要；
         4) 网页的目录深度小，易于用户浏览到。