浏览器模拟搜索引擎蜘蛛访问的方法
墨初 前端设计 7302阅读
昨天在做一个定制插件的时候,由于插件的需求需要屏蔽掉未登录的用户访问,但是又不能让搜索引擎的蜘蛛也挂掉。虽然插件最后很顺利的出炉了,但是在测试蜘蛛访问这方面,有点难度了。那么这篇文章就说一说,如何让浏览器模拟搜索引擎的蜘蛛访问,来测试网站是否能正常打开。
所使用的工具
Google Chrome 网络浏览器
Chrome 扩展插件:User-Agent Switcher for Chrome
安装 User-Agent Switcher for Chrome 插件
1、打开 chrome 浏览器
如果你没有安装这个浏览器,就得先去安装了。怎么去安装 chrome 这里不再介绍了。
2、访问谷歌的网上应用商店,地址如下:
https://chrome.google.com/webstore/category/extensions?hl=zh-CN
点击放大图片
3、搜索插件并下载
搜索 User-Agent Switcher for Chrome ,并出现如下图所示的搜索结果,我们点击“添加至Chrome”即可
点击放大图片
4、安装过程中,会提示 “是否添加扩展程序”一类的,点击“添加扩展程序即可”
点击放大图片
5、安装完成后,会有如下的提示
点击放大图片
使用 User-Agent Switcher for Chrome 插件
1、浏览器地址,输入如下代码
chrome://extensions/
2、找到刚才安装的插件,并点击“选项”
点击放大图片
3、新建立一条 User-Agent 信息,如下图
点击放大图片
4、访问你的网站,并选择相应的访问方式。
这里你可以选择不同的访问 User-Agent ,比如 IOS ,Safari,IE,Android 等
点击放大图片
点击放大图片
5、查看控制台的 Request Headers 信息中的 user-agent
启用控制台,这里不再多说,按 F12 或者 鼠标右键 审核元素
点击放大图片
补充:
以下为部份搜索引擎的蜘蛛 user-agent ,大家可以选择自己要测试的
百度:Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html) 谷歌:Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html) 搜狗:Sogou+web+spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07) Bing:Mozilla/5.0+(compatible;+bingbot/2.0;++http://www.bing.com/bingbot.htm)