文章插图
文章插图
一、建立IP代理池的思路:
做爬虫时 , 遇到访问太频繁IP被封是难以避免的 , 而本地单个IP是不足以进行大规模爬取 , 并且自己并不想购买付费代理 , 那么 , 构建一个IP代理池是非常有必要的 。思路如下:
图1
二、建立IP 代理池的步骤:
爬取代理IP:搜索选择代理IP网站 , 选取免费代理;代码如下:
# _*_ coding:UTF-8 _*_# 开发作者:Jason Zhang# 创建时间:2020/12/29 17:58# 文件名称:爬取代理IP.PY# 开发工具:PyCharmimport requestsimport lxml.htmlimport osheaders = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'}url_list = ['http://www.xicidaili.com/nn/%r' % i for i in range(1,10)]ip_list = []for url in url_list:r = requests.get(url,headers=headers)etree = lxml.html.fromstring(r.text)ips = etree.xpath('//tr[@class="odd"]')for ip in ips:IP = ip.xpath('//td/text()')ip = IP[0] +':'+ IP[1]ip_list.append(ip)f = open('ip.txt','wb')f.write(','.join(ip_list).encode('utf-8'))f.close(
验证代理IP:通过网络访问来验证代理IP的可用性和访问速度 , 将之前爬取到的代理IP地址从ip.txt文件中提取出来 , 分别试用代理IP去访问某个网站首页 , 仅保留响应时间在2秒内的IP , 并保存在QIP.txt中 , 代码如下:
# _*_ coding:UTF-8 _*_# 开发作者:关中老玉米# 创建时间:2020/12/29 18:27# 文件名称:验证代理IP.PY# 开发工具:PyCharmimport requestsip_list = open('ip.txt').read().split(',')headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36'}qurl = 'https://www.baidu.com' #用百度来测试IP是否能正常连网for i in ip_list: #设置超时时间timeout为2 s , 超时则为不可用IPr = requests.get(url, proxies={'http': 'http://' + ip[i]}, headers=headers,timeout=2)if r.text:qip.append(qip[i])else:continuef = open('quality_ip.txt','wb')f.write(','.join(quality_ip).encode('utf-8'))f.close()
使用代理IP:建立IP代理池之后 , 有以下两种使用代理IP的方式 。
【架设ip代理服务器 服务器做代理ip】
# _*_ coding:UTF-8 _*_# 开发作者:Jason Zhang# 创建时间:2020/12/31 18:03# 文件名称:使用代理IP.PY# 开发工具:PyCharm# (1)使用随机 IP , 代码如下:import randomimport requestsip_list = open('quality_ip.txt').read().split(',')headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'}url = 'http://*********'r = requests.get(url, proxies={'http': 'http://'+random.choice(ip_list)},headers=headers)# (2)因为免费的代理时效很短 , 在后续的爬取任务中很容易失效 , 所以当出现访问错误(响应码不等于 200)时 , 更换 IP , 代码如下:ip_list = open('qip.txt').read().split(',')headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'}for ip in ip_list:for i in range(len(url_list)):r = requests.get(url_list[i], proxies={'http': 'http://'+ip},headers=headers)if r.status_code != 200:break
- dns的服务器地址和IP地址 DNS服务器地址在哪
- 服务器加防御需要多少钱 服务器防御价格
- 阿里云服务器个人版多少钱 阿里云云服务器价格
- google地球无法连接验证服务器以激活您的会话 谷歌地球无法连接验证服务器
- 阿里云盘在哪儿 阿里云服务器地址在哪里
- 阿里云服务器使用教程centos 阿里云服务器如何使用教程
- 各家云服务器价格对比 云服务器哪里最便宜
- 服务器有密码忘记了怎么办 服务器系统忘记密码怎么办
- 阿里云服务器如何使用教程 阿里云服务器如何使用websocket
- 流媒体服务器的功能 流媒体服务器软件有哪些