在《搜索引擎期刊》上,我们最近注意到带宽出现了一些怪异的增长,也许的这一新公告与此有关。似乎一直活跃在各种新闻站点和博客中的文件的搜寻中。显然,根据和。
正在测试一个博客和搜索机器人,该机器人已经“有点活跃”。的阴暗面是,一旦站点通过聚合器,站点和新闻经历了基于的高水平指示,站点带宽就成为主要问题问题。提要传播得越多,使用的带宽就越多。如果站点不知道或不准备进行如此高的使用率和带宽的高传输,则该站点可能超出其托管限制或加载缓慢。
因其过于焦虑的和博客机器人而受到批评,并将其放慢了速度。来自博客:“我们正在抓取和其他我们希望确保其内容始终在索引中新鲜的内容。在这一点上,我们只是在做实验,足以说在简短的实验中我们学到了很多东西。我们对爬网的热情比我们想要的要热心一点,我们将解决这个问题。”。
丹尼·沙利文指出,确实具有降低速度的说明:当爬网您的站点时,通常不会尝试每隔几秒钟访问一次您的站点。如果确定您的站点连接速度很慢,它将自动调整频率。要指定最小频率(以秒为单位),请使用文件中的抓取延迟参数。
用户代理:抓取延迟:120。
还没有评论,来说两句吧...