WordPress程序SEO优化技巧：如何编写robots.txt

搜索引擎利用爬虫自动访问互联网上的网站并获取网站信息。蜘蛛俗称蜘蛛。当它访问一个网站时，它首先检查该网站的根域下是否存在robots.txt的纯文本文件。该文件用于指定蜘蛛在您网站上的爬行范围。您可以在 robots.txt 中声明您不希望搜索引擎包含的网站部分或指定搜索引擎仅包含特定部分。

但是很多朋友只知道别人怎么写机器人，但并没有真正理解里面的内容是什么意思。这并不难说。 Robots.txt 通常包含三个规则：

1。 User-Agent：指定搜索引擎范围。如果后面带*，则表示所有搜索引擎。如果单独写：Baiduspider，则表示百度蜘蛛。

2。禁止：输入禁止包含的地址。如果后面跟/，则表示全部

3。允许：输入允许的地址

理解了这三个规则，你就知道robots.txt中每一行的含义了。我们还可能以更有针对性的方式部署我们的机器人文件。需要注意的是，冒号后面一定要有一个空格。

例如，禁止所有搜索引擎：

用户代理：*
禁止：/

允许所有搜索引擎：

用户代理：*

/

请与我们分享如何编写Wordpress程序的机器人文件：

User-Agent：*

Disallow：/comments/feed/

Disallow：/*/trackback

Disallow：/ wp-管理 /

禁止：/wp-includes/

禁止：/wp-content/plugins/

禁止：/wp-content/themes/

禁止禁止？ 禁止：/*/comment -page-*

禁止：/?r=*

禁止：/?p=*

禁止：/page/

允许：/wp-content/uploads /

上面的 user-agent:* 表示定义任意范围，disallow 表示拒绝包含。我想每个人都明白这一点。