MSN搜索因热情的RSS新闻Bot变慢

在《搜索引擎期刊》上，我们最近注意到带宽出现了一些怪异的增长，也许的这一新公告与此有关。似乎一直活跃在各种新闻站点和博客中的文件的搜寻中。显然，根据和。

正在测试一个博客和搜索机器人，该机器人已经“有点活跃”。的阴暗面是，一旦站点通过聚合器，站点和新闻经历了基于的高水平指示，站点带宽就成为主要问题问题。提要传播得越多，使用的带宽就越多。如果站点不知道或不准备进行如此高的使用率和带宽的高传输，则该站点可能超出其托管限制或加载缓慢。

因其过于焦虑的和博客机器人而受到批评，并将其放慢了速度。来自博客：“我们正在抓取和其他我们希望确保其内容始终在索引中新鲜的内容。在这一点上，我们只是在做实验，足以说在简短的实验中我们学到了很多东西。我们对爬网的热情比我们想要的要热心一点，我们将解决这个问题。”。

丹尼·沙利文指出，确实具有降低速度的说明：当爬网您的站点时，通常不会尝试每隔几秒钟访问一次您的站点。如果确定您的站点连接速度很慢，它将自动调整频率。要指定最小频率（以秒为单位），请使用文件中的抓取延迟参数。

用户代理：抓取延迟：120。