用宝塔NGINX建立的网站，怎么查看百度蜘蛛爬虫是否来过，...

admin

因为国内一家独大，百度是否收录对于每一个站长来说真是至关重要，但现在百度收录越来越慢越来越难，大批的站长网站建立了好几个月只是被收录了一个首页，具体怎么提高被百度收录的速度是一个世纪难题，你看你搜到各种SEO广告都吹的满天响，实际根本没有一个绝佳的办法能真正提高被百度收录的速度。但还是有一些办法管一点用，大家如果感兴趣，请发贴留言。这里跟大家分享一个很关键的指标 ，就是百度蜘蛛爬虫有没有来过你的网站，如果连来都没来过，或者来的频率非常的低，那被收录的可能性也就非常的小。那如果查看百度蜘蛛爬虫是否来过呢？这里针对用宝塔建立网站的方法分享如下。

一、查找NGINX日志文件

宝塔建立的网站日志文件位置与默认目录 不同，默认的一般是的    NGINX\LOGS目录  文件名为 access_log

而宝塔建立的网站日志文件在  /www/wwwlogs  如果你有多个网站，这个目录下就会有多个以域名命名的文件，比如www.1rmb.net.log.

尊重知识产权，转载请注明并复制本段，一元复始技术论坛原创http://www.1rmb.net.

二、提取日志文件中百度爬虫的访问记录

登录VPS,CD到日志目录下执行命令   ingFang SC", sans-serif;">cat www.1rmb.net.log | grep Baiduspider > bs.log  //域名换成你的

ingFang SC", sans-serif;">执行后，在目录下会生成bs.log文件，下载到本地用EXCEL打开，否则排序很乱无法查看分析。文件示例见下图

218.92.226.11 - - [10/Mar/2020:09:43:19 +0800] "GET /install/tpl/images/loading.gif HTTP/1.1" 404 6412 "-" "Baiduspider"

218.92.226.11 - - [10/Mar/2020:09:43:19 +0800] "GET /libs/xheditor/xheditor_plugins/editor.gif HTTP/1.1" 404 6453 "-" "Baiduspider"

218.92.226.11 - - [10/Mar/2020:09:43:19 +0800] "GET /install/tpl/images/loading.gif HTTP/1.1" 404 6412 "-" "Baiduspider"

218.92.226.11 - - [10/Mar/2020:09:43:19 +0800] "GET /images/email.png HTTP/1.1" 404 6299 "-" "Baiduspider"

218.92.226.11 - - [10/Mar/2020:09:43:19 +0800] "GET /libs/xheditor/xheditor_plugins/editor.gif HTTP/1.1" 404 6453 "-" "Baiduspider"

218.92.226.11 - - [10/Mar/2020:09:43:19 +0800] "GET /images/swfupload.png HTTP/1.1" 404 6315 "-" "Baiduspider"

218.92.226.11 - - [10/Mar/2020:09:43:20 +0800] "GET /images/email.png HTTP/1.1" 404 6299 "-" "Baiduspider"

218.92.226.11 - - [10/Mar/2020:09:43:20 +0800] "GET /images/blank.gif HTTP/1.1" 404 6299 "-" "Baiduspider"

218.92.226.11 - - [10/Mar/2020:09:43:20 +0800] "GET /images/swfupload.png HTTP/1.1" 404 6315 "-" "Baiduspider"

218.92.226.11 - - [10/Mar/2020:09:43:20 +0800] "GET /images/top.jpg HTTP/1.1" 404 6291 "-" "Baiduspider"

218.92.226.11 - - [10/Mar/2020:09:43:20 +0800] "GET /images/blank.gif HTTP/1.1" 404 6299 "-" "Baiduspider"

218.92.226.11 - - [10/Mar/2020:09:43:20 +0800] "GET /images/top.jpg HTTP/1.1" 404 6291 "-" "Baiduspider"

112.34.110.6 - - [15/Mar/2020:21:27:28 +0800] "GET /baidu_verify_oC4iQv4kT3.html HTTP/1.1" 200 10 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"

14.152.92.121 - - [19/Mar/2020:15:38:20 +0800] "GET / HTTP/1.1" 200 12428 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"

220.181.108.142 - - [02/Apr/2020:12:20:24 +0800] "GET / HTTP/1.1" 301 162 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"

220.181.108.120 - - [02/Apr/2020:12:20:25 +0800] "GET / HTTP/1.1" 200 31371 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"

220.181.108.122 - - [02/Apr/2020:13:27:04 +0800] "GET / HTTP/1.1" 200 31376 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"

尊重知识产权，转载请注明并复制本段，一元复始技术论坛原创http://www.1rmb.net.ingFang SC", sans-serif;">

以上显示了百度蜘蛛访问的日期和IP等信息。可以查看来的频率如何，如果很少就要想想办法了。

想提高百度蜘蛛爬虫访问的频率还是有一些技巧的，如果你感兴趣，请发贴留言。