浏览器模拟搜索引擎蜘蛛访问的方法

昨天在做一个定制插件的时候，由于插件的需求需要屏蔽掉未登录的用户访问，但是又不能让搜索引擎的蜘蛛也挂掉。虽然插件最后很顺利的出炉了，但是在测试蜘蛛访问这方面，有点难度了。那么这篇文章就说一说，如何让浏览器模拟搜索引擎的蜘蛛访问，来测试网站是否能正常打开。

所使用的工具

Google Chrome 网络浏览器

Chrome 扩展插件：User-Agent Switcher for Chrome

安装 User-Agent Switcher for Chrome 插件

1、打开 chrome 浏览器

如果你没有安装这个浏览器，就得先去安装了。怎么去安装 chrome 这里不再介绍了。

2、访问谷歌的网上应用商店，地址如下：

https://chrome.google.com/webstore/category/extensions?hl=zh-CN

点击放大图片

3、搜索插件并下载

搜索 User-Agent Switcher for Chrome ，并出现如下图所示的搜索结果，我们点击“添加至Chrome”即可

点击放大图片

4、安装过程中，会提示 “是否添加扩展程序”一类的，点击“添加扩展程序即可”

点击放大图片

5、安装完成后，会有如下的提示

点击放大图片

使用 User-Agent Switcher for Chrome 插件

1、浏览器地址，输入如下代码

chrome://extensions/

2、找到刚才安装的插件，并点击“选项”

点击放大图片

3、新建立一条 User-Agent 信息，如下图

点击放大图片

4、访问你的网站，并选择相应的访问方式。

这里你可以选择不同的访问 User-Agent ，比如 IOS ，Safari，IE，Android 等

点击放大图片

点击放大图片

5、查看控制台的 Request Headers 信息中的 user-agent 

启用控制台，这里不再多说，按 F12 或者 鼠标右键 审核元素

点击放大图片

补充：

以下为部份搜索引擎的蜘蛛 user-agent ，大家可以选择自己要测试的

百度：Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html)
谷歌：Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html)
搜狗：Sogou+web+spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
Bing：Mozilla/5.0+(compatible;+bingbot/2.0;++http://www.bing.com/bingbot.htm)