一个在奔跑线上
不断努力奋斗的PHP开发程序猿

标签:robots

建站笔记

SEO之Robots文件

只缘余生阅读(209)评论(0)赞(8)

什么是Robots文件 Robots文件其实就是网站和搜索引擎之间的一个协议,或者说是沟通桥梁。Robots文件是txt格式的文件,它使用txt文本的格式来告诉爬虫我当前网站哪些地方你可以访问,那些网站不允许被访问。如果网站之间并不存在Ro...