Google可以在爬网之前检测到重复的内容

谷歌的约翰·穆勒本周在网站站长中心上透露，能够在爬网之前识别重复的内容。网站所有者提出了一个问题，想知道谷歌是否以及何时将法语版的页面视为重复的内容。英文版。

可以确定多个页面何时具有不同语言的相同内容吗？如果是这样，在搜索结果中如何处理呢？在穆勒的回答中，他透露，在某些情况下，谷歌可以检测页面何时共享相同的内容，而不必抓取页面。这是一个值得注意的事情，尤其是在页面的结构方面。

有时会发生的事情是，即使在抓取之前，我们也会主动识别出某些东西可能是重复的。因此，当我们发现差异（例如，在内某个地方，通常我们注意到的这一部分中显示的内容与页面上显示的内容不太相关）时，就会发生这种情况。

因此可能就像您有一个可以设置为任何种类的术语的语言参数一样，并且我们可能经历了诸如“=”“=”“=”……如果我们发现所有这些页面都显示英语内容，除了可能是“西班牙语”选择了西班牙语版本，那么我们可能会认为该语言参数实际上与该页面无关，然后我们可能会错过该页面实际上具有唯一内容的页面。”。

让我们对其进行解压缩，并从更广泛的角度进行研究。忘记语言一秒钟。这个特定的示例涉及语言，但是穆勒不得不说的也可以应用于相同语言的内容。穆勒在这里所说的是，如果网页与其他网页共享相似的网址参数，那么可能会确定该网页包含重复的内容彼此。

显然，这不是一个理想的情况，因为在某些情况下可能存在具有唯一内容的页面，这些页面的参数与完全相同的页面具有相似的参数。站点所有者可以避免由于关注而将唯一内容作为重复项删除的问题网站如何生成参数。

承认，当页面被视为重复项时，不一定是网站管理员的错有时也将其视为自己的“错误”。原始问题以及的回应可以在下面的视频中找到，开始于27：38马克。