最新公告
  • 欢迎您光临起源地模板网,本站秉承服务宗旨 履行“站长”责任,销售只是起点 服务永无止境!立即加入钻石VIP
  • Python之ProxyHandler处理器

    正文概述    2020-10-20   3533

    在之前的文章中我们带入了 opener 方法,接下来我们看一下 opener 应用中的 ProxyHandler 处理器(代理设置)。

    使用代理IP,这是爬虫/反爬虫的第二大招,通常也是最好用的。

    很多网站会检测某一段时间某个IP的访问次数(通过流量统计,系统日志等),如果访问次数多的不像正常人,它会禁止这个IP的访问。

    所以我们可以设置一些代理服务器,每隔一段时间换一个代理,就算IP被禁止,依然可以换个IP继续爬取。

    Python之ProxyHandler处理器

    urllib.request 中通过ProxyHandler来设置使用代理服务器,下面代码说明如何使用自定义 opener 来使用代理:

    import urllib.request
    
    # 构建了两个代理Handler,一个有代理IP,一个没有代理IP
    httpproxy_handler = urllib.request.ProxyHandler({"https": "27.191.234.69:9999"})
    nullproxy_handler = urllib.request.ProxyHandler({})
    
    # 定义一个代理开关
    proxySwitch = True
    
    # 通过 urllib.request.build_opener()方法使用这些代理Handler对象,创建自定义opener对象
    # 根据代理开关是否打开,使用不同的代理模式
    if proxySwitch:
        opener = urllib.request.build_opener(httpproxy_handler)
    else:
        opener = urllib.request.build_opener(nullproxy_handler)
    
    request = urllib.request.Request("http://www.baidu.com/")
    
    # 1. 如果这么写,只有使用opener.open()方法发送请求才使用自定义的代理,而urlopen()则不使用自定义代理。
    response = opener.open(request)
    
    # 2. 如果这么写,就是将opener应用到全局,之后所有的,不管是opener.open()还是urlopen() 发送请求,都将使用自定义代理。
    # urllib.request.install_opener(opener)
    # response = urllib.request.urlopen(request)
    
    # 获取服务器响应内容
    html = response.read().decode("utf-8")
     
    # 打印字符串
    print(html)

    最终结果如下:

    Python之ProxyHandler处理器

    相关推荐:《Python视频教程》

    在上面的代码第 4 行,我们使用了一个免费的代理 IP,国内有很多免费的代理 IP 地址,如下:

    西刺免费代理IP

    快代理免费代理

    Proxy360代理

    全网代理IP

    但是上面的免费代理只支持短期的,就是说在我们在短期爬取信息或者自己做测试可以去上面找可以使用的,但是如果要是长期的话我们需要自己购买代理 IP 比较稳妥。

    为了避免我们的代理 IP 被封后爬取失败,我们可以使用多个代理 Ip,然后不定时切换就可以了,如下:

    import urllib.request
    import random 
    # 代理列表
    proxy_list = [
        {"http": "27.191.234.69:9999"},
        {"http": "27.191.234.69:9999"},
        {"http": "27.191.234.69:9999"},
        {"http": "27.191.234.69:9999"},
    ]
    # 随机选择一个代理
    proxy = random.choice(proxy_list)
    # 使用选择的代理构建代理处理器对象
    httpproxy_handler = urllib.request.ProxyHandler(proxy)
    
    # 通过 urllib.request.build_opener()方法使用这些代理Handler对象,创建自定义opener对象
    opener = urllib.request.build_opener(httpproxy_handler)
     
    request = urllib.request.Request("http://www.baidu.com/")
    response = opener.open(request)
    html = response.read().decode("utf-8")
    print(html)

    接下来我们看一下自己购买的私密 IP 该如何使用代理。

    import urllib.request
     
    # 私密代理授权的账户
    user = "user"
    # 私密代理授权的密码
    passwd = "passwd"
    # 私密代理 IP
    proxyserver = "62.151.164.138:12816"
     
    # 1. 构建一个密码管理对象,用来保存需要处理的用户名和密码
    passwdmgr = urllib.request.HTTPPasswordMgrWithDefaultRealm()
    
    # 2. 添加账户信息,第一个参数realm是与远程服务器相关的域信息,一般没人管它都是写None,后面三个参数分别是 代理服务器、用户名、密码
    passwdmgr.add_password(None, proxyserver, user, passwd)
     
    # 3. 构建一个代理基础用户名/密码验证的 ProxyBasicAuthHandler 处理器对象,参数是创建的密码管理对象
    #   注意,这里不再使用普通 ProxyHandler 类了
    proxyauth_handler = urllib.request.ProxyBasicAuthHandler(passwdmgr)
    
    # 4. 通过 build_opener()方法使用这些代理 Handler 对象,创建自定义 opener 对象,参数包括构建的 proxy_handler 和 proxyauth_handler
    opener = urllib.request.build_opener(proxyauth_handler)
    
    # 5. 构造Request 请求
    request = urllib.request.Request("http://www.baidu.com/")
    
    # 6. 使用自定义opener发送请求
    response = opener.open(request)
     
    # 7. 打印响应内容
    html = response.read().decode("utf-8")
    print(html)

    免费开放代理一般会有很多人都在使用,而且代理有寿命短,速度慢,匿名度不高,HTTP/HTTPS支持不稳定等缺点(免费没好货)。

    专业爬虫工程师或爬虫公司会使用高品质的私密代理,这些代理通常需要找专门的代理供应商购买,再通过用户名/密码授权使用(舍不得孩子套不到狼)。

    相关推荐:

    Python中的opener()方法是什么


    起源地 » Python之ProxyHandler处理器

    常见问题FAQ

    免费下载或者VIP会员专享资源能否直接商用?
    本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
    提示下载完但解压或打开不了?
    最常见的情况是下载不完整: 可对比下载完压缩包的与网盘上的容量,若小于网盘提示的容量则是这个原因。这是浏览器下载的bug,建议用百度网盘软件或迅雷下载。若排除这种情况,可在对应资源底部留言,或 联络我们.。
    找不到素材资源介绍文章里的示例图片?
    对于PPT,KEY,Mockups,APP,网页模版等类型的素材,文章内用于介绍的图片通常并不包含在对应可供下载素材包内。这些相关商业图片需另外购买,且本站不负责(也没有办法)找到出处。 同样地一些字体文件也是这种情况,但部分素材会在素材包内有一份字体下载链接清单。
    模板不会安装或需要功能定制以及二次开发?
    请QQ联系我们

    发表评论

    还没有评论,快来抢沙发吧!

    如需帝国cms功能定制以及二次开发请联系我们

    联系作者

    请选择支付方式

    ×
    迅虎支付宝
    迅虎微信
    支付宝当面付
    余额支付
    ×
    微信扫码支付 0 元