构建User-Agnet代理池

在编写爬虫程序时，一般都会构建一个 User-Agent （用户代理）池，就是把多个浏览器的 UA 信息放进列表中，然后再从中随机选择。构建用户代理池，能够避免总是使用一个 UA 来访问网站，因为短时间内总使用一个 UA 高频率访问的网站，可能会引起网站的警觉，从而封杀掉 IP。

自定义UA代理池

构建代理池的方法也非常简单，在您的 Pycharm 工作目录中定义一个 ua_info.py 文件，并将以下 UA 信息以列表的形式粘贴到该文件中，如下所示：

ua_list = [
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0',
'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11',
'User-Agent:Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11',
'Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1',
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)',
'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50',
'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0',
' Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1',
'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1',
' Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1',
]

模块随机获取UA

您也可以使用专门第三方的模块来随机获取浏览器 UA 信息，不过该模块需要单独安装，安装方式如下：

pip install fake-useragent

下载安装成功后，演示如下代码：

from fake_useragent import UserAgent
#实例化一个对象
ua=UserAgent()
#随机获取一个ie浏览器ua
print(ua.ie)
print(ua.ie)
#随机获取一个火狐浏览器ua
print(ua.firefox)
print(ua.firefox)

输出结果：

#随机获取ie的ua信息
Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.0; Trident/4.0; GTB7.4; InfoPath.3; SV1; 网站站点" rel="nofollow"  /> 
随机文章
风儿(风儿轻轻的吹)
饿了么红包怎么用(饿了么红包怎么用微信支付)
儿童教育文章(儿童教育)
光遇花手先祖位置(安卓光遇手花先祖)
广州4a广告公司(广州4a广告公司创意总监年薪)
xboxones(xboxone手柄怎么配对主机)
兵马俑(兵马俑介绍和历史背景)
帆船比赛(帆船比赛视频)
海猫鸣泣之时游戏(海猫鸣泣之时游戏在哪玩)
儋州市第二中学(儋州市第二中学录取分数线)
鬼泣5攻略(鬼泣5攻略第三关怎么跳)
地球日主题(2020年世界地球日主题)
和柳亚子(和柳亚子先生于田)
冰客(冰客果汁)
yy魔兽(yy魔兽世界)
充值卡代理(充值卡代理加盟)
拆奶罩
郭妮小说(恶魔的法则郭妮小说)
东天目山(东天目山景区)
杭同(杭同培训中心怎么样)
蝙蝠给人类的一封信(蝙蝠给人类的一封信)
服饰加盟(服饰加盟店招商)
疯狂填字(疯狂填字5)
点对点短信息(点对点短信息费是什么意思)
河北省大运会(河北省大运会时间)
哈利波特官网(哈利波特官网在哪里)
骇客神条(骇客神条怎么辨别真假)
杜星霖(杜星霖图片)
广州晓港公园(广州晓港公园正门图片)
常州天宁寺(常州天宁寺求什么灵验)