robots seo文件怎么写?老站长教你正确写法!
- 网站优化
- 2025-04-08
- 30
今天心血来潮,想搞搞网站的SEO,就从robots文件下手。这玩意儿我之前听说过,但一直没实操,今天就来体验一把!
第一步: 摸清robots文件是啥
我先去网上搜搜,原来robots文件是给搜索引擎“爬虫”看的一个说明书。告诉爬虫,网站里哪些东西可以看,哪些不能看。 这样搜索引擎就不会把一些乱七八糟的东西收录进去,影响网站排名。这玩意儿挺重要!
第二步: 找到放哪
我知道这文件得放在网站的根目录,就是最外面的那一层文件夹里。我用FTP软件连上服务器,瞅瞅,还真没有!
第三步:动手写起来
新建一个文本文件,名字必须叫“*”,注意,这名字必须是小写字母!然后我开始写内容。
我先写这个:
- User-agent:
- Disallow: /
意思就是“所有爬虫(用表示)都别访问我网站的任何内容(用/表示)”。
写完我心里有点虚,这不等于把整个网站都屏蔽吗?赶紧改!
我想想,我网站里有些文件夹是放后台管理的东西,不想被搜索引擎收录,比如“admin”、“private”这俩文件夹。于是我改成这样:
- User-agent:
- Disallow: /admin/
- Disallow: /private/
这下爬虫就不会访问这两个文件夹里面的内容。搞定!
第四步:保存上传
保存好文件,我用FTP软件把它上传到网站根目录。这下就大功告成!
第五步:检查一下
虽然上传,但我还是不放心,得检查一下是不生效。我直接在浏览器里输入我的网址,后面加上“/*”,回车! 浏览器里显示出我刚才写的内容,说明robots文件已经起作用!
今天这波操作,感觉自己又掌握一项新技能。虽然过程有点磕磕绊绊,但最终还是搞定!以后再也不用担心搜索引擎乱收录我的网站。舒服!
本文由投稿人小点于2025-04-08发表在成都创业号,如有疑问,请联系我们。
本文链接:https://www.liuninggang.cn/article/103023.html