当前位置:首页 > 网站优化 > 正文

robots seo文件怎么写?老站长教你正确写法!

今天心血来潮,想搞搞网站的SEO,就从robots文件下手。这玩意儿我之前听说过,但一直没实操,今天就来体验一把!

第一步: 摸清robots文件是啥

我先去网上搜搜,原来robots文件是给搜索引擎“爬虫”看的一个说明书。告诉爬虫,网站里哪些东西可以看,哪些不能看。 这样搜索引擎就不会把一些乱七八糟的东西收录进去,影响网站排名。这玩意儿挺重要!

第二步: 找到放哪

我知道这文件得放在网站的根目录,就是最外面的那一层文件夹里。我用FTP软件连上服务器,瞅瞅,还真没有!

第三步:动手写起来

新建一个文本文件,名字必须叫“*”,注意,这名字必须是小写字母!然后我开始写内容。

我先写这个:

  • User-agent:
  • Disallow: /

意思就是“所有爬虫(用表示)都别访问我网站的任何内容(用/表示)”。

写完我心里有点虚,这不等于把整个网站都屏蔽吗?赶紧改!

我想想,我网站里有些文件夹是放后台管理的东西,不想被搜索引擎收录,比如“admin”、“private”这俩文件夹。于是我改成这样:

  • User-agent:
  • Disallow: /admin/
  • Disallow: /private/

这下爬虫就不会访问这两个文件夹里面的内容。搞定!

第四步:保存上传

保存好文件,我用FTP软件把它上传到网站根目录。这下就大功告成!

第五步:检查一下

虽然上传,但我还是不放心,得检查一下是不生效。我直接在浏览器里输入我的网址,后面加上“/*”,回车! 浏览器里显示出我刚才写的内容,说明robots文件已经起作用!

今天这波操作,感觉自己又掌握一项新技能。虽然过程有点磕磕绊绊,但最终还是搞定!以后再也不用担心搜索引擎乱收录我的网站。舒服!