构建User-Agnet代理池
在编写爬虫程序时，一般都会构建一个 User-Agent （用户代理）池，就是把多个浏览器的 UA 信息放进列表中，然后再从中随机选择。构建用户代理池，能够避免总是使用一个 UA 来访问网站，因为短时间内总使用一个 UA 高频率访问的网站，可能会引起网站的警觉，从而封杀掉 IP。
自定义UA代理池
构建代理池的方法也非常简单，在您的 Pycharm 工作目录中定义一个 ua_info.py 文件，并将以下 UA 信息以列表的形式粘贴到该文件中，如下所示：
经过上述操作，用户代理池就构建成功。ua_list = [
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0',
'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11',
'User-Agent:Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11',
'Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1',
'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)',
'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50',
'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0',
' Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1',
'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1',
' Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1',
]
模块随机获取UA
您也可以使用专门第三方的模块来随机获取浏览器 UA 信息，不过该模块需要单独安装，安装方式如下：
pip install fake-useragent
下载安装成功后，演示如下代码：
from fake_useragent import UserAgent
#实例化一个对象
ua=UserAgent()
#随机获取一个ie浏览器ua
print(ua.ie)
print(ua.ie)
#随机获取一个火狐浏览器ua
print(ua.firefox)
print(ua.firefox)
输出结果：
#随机获取ie的ua信息
Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.0; Trident/4.0; GTB7.4; InfoPath.3; SV1; 网站站点" rel="nofollow" />
- 随机文章
- 上海 直达 马尔代夫 航班(上海到马尔代夫直达航班启航)
- 马尔代夫灵性(Maldives A Spiritual Haven)
- 三星康亮马尔代夫(三星在马尔代夫推出最新康亮系列产品)
- 穷游 马尔代夫(穷游海岛 完美马尔代夫自助攻略)
- 孕妇马尔代夫裤子(孕妇旅行必备：舒适透气的马尔代夫裤)
- 天堂之行马尔代夫(探索绝美之地：马尔代夫旅游经验分享)
- 国足抽签马尔代夫(国足开启世预赛之路，赛程抽签揭晓！)
- 厦门翔安马尔代夫(厦门翔安丨马尔代夫，浪漫之旅等待您)
- 广元水库马尔代夫(广元水库打造仿马尔代夫风情水上乐园)
- 播放马尔代夫战警(后：探秘马尔代夫特警队精锐队员风采)
- 广东马尔代夫游泳(广东清远池尾河打造马尔代夫游泳胜地)
- 揭阳南溪马尔代夫(揭阳南溪·马尔代夫：度假胜地新发现)
- 抚州马尔代夫签证(抚州游客可线上申请马尔代夫入境许可)
- 国内马尔代夫文案(国内版马尔代夫，玩转新亚洲度假胜地)
- 旅游 马尔代夫 级别(探秘马尔代夫热带天堂：浪漫假期之旅)
- 武汉马尔代夫包机(武汉包机飞往马尔代夫，接回滞留旅客)
- 星空夜话马尔代夫(马尔代夫的夜晚，星空之下的美妙谈话)
- 兰州西北马尔代夫(重返自然！兰州西北马尔代夫等你来玩)
- 带你畅游马尔代夫(探索蓝色珊瑚海！马尔代夫度假之旅。)
- 小毕 马尔代夫(重新探索马尔代夫，跟随小毕的脚步 46)
- 突然想去马尔代夫(突发奇想，马尔代夫游，该怎么计划？)
- 皖南马尔代夫风景(走进中国马尔代夫，探索皖南美丽风景)
- 常村 马尔代夫(常村拍摄的马尔代夫美景引爆社交媒体)
- 玉林 马尔代夫(马代游客涌入玉林，旅游经济迎来新契机)
- 惠州小众马尔代夫(惠州版“马尔代夫”——深圳揭瓢湖岛)
- 菲律宾打马尔代夫(菲律宾出台新规，暂停赴马尔代夫旅游)
- 隐形马尔代夫模型(隐形旅游胜地：探秘马尔代夫奇妙之旅)
- 马尔代夫上岛流程(马尔代夫上岛攻略：顺畅上岛流程指南)
- 莱芜版的马尔代夫(重返天堂！莱芜推出马尔代夫度假套餐)
- 马尔代夫什么好玩(探索马尔代夫：游玩必去的景点推荐！)