我的梦想就是流浪天涯
导航

主页 > SEO优化 >

凤凰网科技:百度蜘蛛是什么?

 知青    2020-06-22    SEO优化  

百度蜘蛛

百度蜘蛛是什么

蜘蛛,英文 名是“”是搜索引擎的一个自动程序。它的作用是访问互 联网上的网页 、图片、视频等内容,建立 索引数据库,使用户能在搜索引擎中搜索到您网站的网页、图片、视频等内容。

怎样查看百度蜘蛛来过我网站?

1、每个网站 在WEB服务器上运行都产 生LOG 日志文件;

2、通过查看LOG日志即可看到蜘蛛什么时候 去过网站,看了哪些页面,读取过什么文件,包括CSS、网页、图片、JS等文件格式;

3、LOG文件获取方式,如果有服务器可以直接登录查看,打开IIS-网站-属性-日志文件存放的路径-日志文件名(xxxxx.log);

4、虚拟主机获取LOG日志文件,通过FTP连接后一般会有LOG文件夹,打开后便能获取;

5、找到LOG文件后,30兆以下的以记事本方式打开即可查看每行代码。大于30兆的文件以其他辅助软件进行打开,比如editplus等。

6、看到日志记录中有[ - - [11/Nov/2015:04:28:29 +0800] "GET / HTTP/1.1" 200 61083 "-" "+(+ http://www..com/search/spider.htm)]这种记录的,这就说明蜘蛛来过网站被LOG文件记录下来了


原文标题:凤凰网科技:百度蜘蛛是什么?

原文地址:https://www.qqzla.com/qt/992.html

TAG标签:百度蜘蛛

  •  完美娱乐网:网站如何快速识别
  •  678辅助网:百度蜘蛛抓取规律,