robots.txt文件应如何制作?

  首先,我们要清楚什么是robots.txt文件?

  搜索引擎使用蜘蛛程序自动访问互联网上的网页并获取网络信息。当蜘蛛访问一个网站时,它首先检查是否有机器人。在网站的根部txt的纯文本文件。您可以在您的网站中创建一个纯文本文件robots.txt文件中声明不需要机器人访问部分网站或搜索引擎只包括一个特定部分的指定。

  这里提醒一下,请注意:当你网站不希望搜索引擎全部收录时才用到robots.TXT文件(如你的背景页面)如果你想搜索引擎包括所有的网站,创建一个空机器人。txt文件

  1。首先告诉大家robots.应该将txt文件放在站点的根目录中。当你修改了你的robots.txt一般会在48小时内生效(对于搜索引擎来说)。

  2。如果你想禁止搜索引擎在搜索你的网站展示了一个快照,并且只索引你的网站,做什么?百度支持搜索引擎通过设置元页面来显示网站的快照。这些方法如下:

  要防止所有搜索引擎显示站点的快照,请将此元标记放置在页面的部分:

  允许其他搜索引擎显示一个快照,但只是为了防止百度,根据使用以下标记:

  注意:此标签仅禁止百度显示页面的快照。百度将继续索引页面并在搜索结果中显示页面的摘要。

  

seo优化

 

  3。我们来看一下如何写robots.txt,他的格式是什么样的。

  文本以用户代理开始:作为文本记录。价值是多少?它是用来描述搜索引擎机器人的名字。

  假设你想专门百度搜索引擎,你可以写信给用户代理:baiduspider

  同样的Google是User-Agent:Google蜘蛛。例如,如果你想描述一个SOSOSO图像蜘蛛,你可以写User-Agent:Soso图像蜘蛛等等。如果你想搜索所有的搜索引擎,用户代理:

  就是所有搜索引擎全部概括了。

  本文由seo优化整理,此文观点不代表本站观点。

您可能还会对下面的文章感兴趣: