昨天在做一个定制插件的时候,由于插件的需求需要屏蔽掉未登录的用户访问,但是又不能让搜索引擎的蜘蛛也挂掉。虽然插件最后很顺利的出炉了,但是在测试蜘蛛访问这方面,有点难度了。那么这篇文章就说一说,如何让浏览器模拟搜索引擎的蜘蛛访问,来测试网站是否能正常打开。

所使用的工具

Google Chrome 网络浏览器

Chrome 扩展插件:User-Agent Switcher for Chrome

安装 User-Agent Switcher for Chrome 插件

1、打开 chrome 浏览器

如果你没有安装这个浏览器,就得先去安装了。怎么去安装 chrome 这里不再介绍了。

2、访问谷歌的网上应用商店,地址如下:

https://chrome.google.com/webstore/category/extensions?hl=zh-CN

浏览器模拟搜索引擎蜘蛛访问

点击放大图片

3、搜索插件并下载

搜索 User-Agent Switcher for Chrome ,并出现如下图所示的搜索结果,我们点击“添加至Chrome”即可

浏览器模拟搜索引擎蜘蛛访问

点击放大图片

4、安装过程中,会提示 “是否添加扩展程序”一类的,点击“添加扩展程序即可”

浏览器模拟搜索引擎蜘蛛访问

点击放大图片

5、安装完成后,会有如下的提示

浏览器模拟搜索引擎蜘蛛访问

点击放大图片

使用 User-Agent Switcher for Chrome 插件

1、浏览器地址,输入如下代码

chrome://extensions/

2、找到刚才安装的插件,并点击“选项”

浏览器模拟搜索引擎蜘蛛访问

点击放大图片

3、新建立一条 User-Agent 信息,如下图

浏览器模拟搜索引擎蜘蛛访问

点击放大图片

4、访问你的网站,并选择相应的访问方式。

这里你可以选择不同的访问 User-Agent ,比如 IOS ,Safari,IE,Android 等

点击放大图片

点击放大图片

5、查看控制台的 Request Headers 信息中的 user-agent 

启用控制台,这里不再多说,按 F12 或者 鼠标右键 审核元素

浏览器模拟搜索引擎蜘蛛访问

点击放大图片

补充:

以下为部份搜索引擎的蜘蛛 user-agent ,大家可以选择自己要测试的

百度:Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html)
谷歌:Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html)
搜狗:Sogou+web+spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
Bing:Mozilla/5.0+(compatible;+bingbot/2.0;++http://www.bing.com/bingbot.htm)