设置好robots文件对SEO优化的重要性
来源:才华咖 本文已影响6.02K人
来源:才华咖 本文已影响6.02K人
robots文件是网站非常重要的一个优化部分,这个方面往往制约着网站的成败,这当然是网站优化非常细节的一个方面,不过往往细节决定成败,很多人却没有意识到这一点,希望通过下面的介绍,大家都会明白这方面的重要性。
一、robots文件是用来干什么的?
其实这个文件是一种协议,所有的搜索引擎蜘蛛进入网站的时候第一个访问的就是这个文件,具体的作用就是用来我们站长自由设置哪些文件可以抓取,哪些不能抓取。
二、robots文件设置的格式:
User-agent: 定义搜索引擎的类型;
Crawl-delay: 定义抓取延迟
Disallow:定义禁止搜索引擎收录的地址
Allow: 定义允许搜索引擎收录的地址
三、为什么说robots文件对SEO非常重要?
1.网站优化切忌的.就是重复或者相似的页面,而搜索引擎浏览一个网站不是像人那样的,靠的还是蜘蛛的抓取。但是不少人没有重视的是,现在的主流网站程序都很容易自动产生一些没用的页面,比如缓存页面,搜索页面,feed页面等等,这些页面内容往往和主体内容相重复,而且没有什么用,如果不小心被蜘蛛抓到,那么对网站排名会有非常严重的负面影响,很多网站之所以没有排名,就是因为搜索引擎发现了网站存在大量的重复或者相似的页面。
2.搜索引擎喜欢原创内容,这是众所周知的事情,而这一方面并不是单单是指网站文章的原创度,另一方面网站模板的原创度也是非常重要的评分点,所以如果自己网站的模板不是原创,最好要屏蔽css目录和模板目录。
3.利用robots文件可以用来屏蔽一些没有用的页面,比如隐私页面,后台登陆页面,图片目录等内容,或者屏蔽其他的一些网站关键词无关的页面。
4.可以大大的增强蜘蛛网站的爬取效率,与网站的内链有异曲同工之用,帮助搜索引擎理解哪些才是网站最重要的内容,不再浪费到其它的那些无用的页面上。
How to Be True to Yourself-英语作文
Books are my best friends英语作文
Do not let life be set by others英语作文
Introduce two famous sport star英语作文
MySQL安装时出现current root password的解决方法
Book5-Unit1Greatssientists的重点单词、词组整理
The power of books小学英语作文
Hoopsters Believe In Hot-or-Not Hand美文欣赏
详解Spring Boot Redis集成配置
Why Public Speaking Is So Important 公共演说的重要性大学英语
OFFICE2007每次打开word时都显示配置microsoft office professio
Time To Stop Worrying About Invasive Species美文欣赏
Why rooster sings go go优秀英文写作
She goes to school by bike教案
The Spirit of Two Broke Girls英语作文
Some words for this special occasion英文美文欣赏
小学英语六年级Lesson11Seeadoctor教学设计
英语作文Never judge a book by its cover
Middle school students for the reasons 英语作文
Scientists Build Robots to Live With Humans英语美文
企业文化的重要性
后期处理软件Photoshop和Lightroom两者的优缺对比
有关使用 Aspose.Words for .NET来动态的生成word文档中的数据表
文化对礼仪的重要性
Spring Boot使用slf4j+logback记录日志配置详解
高三英语写作范文:Foster Your Interests
BootStrap select2 如何实现动态改变值
the best wishes for you英语作文
Fireworks教程-Lost RGB
设置好robots文件对SEO优化的重要性
大学生面临许多压力The Pressures on Collese Students英语作文
初中My opinion about the stars优秀英语作文
规章制度对企业的重要性
小学六年级英语教学设计:The sports meeting Lesson
北大二下Lesson2《Are these tomatos》教学教案范文
Books Are Good Friends英语作文
Adobe Illustrator CS6考试的主要内容
怎样做一个好学生 How to Be a Good Student?英语作文
How to Be a Greener Person英语作文
OSPF的network设置