最新公告
  • 欢迎您光临起源地模板网,本站秉承服务宗旨 履行“站长”责任,销售只是起点 服务永无止境!立即加入钻石VIP
  • python爬虫怎么伪装?

    正文概述    2020-03-02   217

    大家都只知道爬取内容,但是内容也不是没有防御的,随随便便让我们去爬取的,往往有1必有2,因此绝大多数内容,他们都有反侦察,避免信息被一些人给获取了,因此,如果非要去爬取这些信息,在python语言里是怎么做的呢?对于基础的,一些信息,我们给大家提供以下工具,供大家使用。

    fake_useragent是一个模拟真实浏览器ua的工具,可以随机产生ua。以下简单介绍其常见用法。

    fake_useragent的安装

    cmd窗口中输入:

    pip install fake-useragent

    常见用法举例

    1、使用前先引入UserAgent:

    from fake_useragent import UserAgent
    ua = UserAgent()

    2、想随机产生一个ua,则

    ua.random

    运行结果:

    'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.17 Safari/537.36'

    3、利用for循环运行5次,产生5个ua:

    for i in range(5):
     print(ua.random)
    运行后,产生5个随机的ua:
    Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/40.0.2214.93 Safari/537.36
    Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1667.0 Safari/537.36
    Opera/9.80 (Windows NT 6.1; U; cs) Presto/2.7.62 Version/11.01
    Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.93 Safari/537.36
    Mozilla/5.0 (Windows NT 6.2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1467.0 Safari/537.36

    4、可以产生特定浏览器的ua:

    IE浏览器:

    ua.ie

    运行结果:

    'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; Zune 4.0; InfoPath.3; MS-RTC LM 8; .NET4.0C; .NET4.0E)'

    以上都是干货内容,实际操作起来都是非常好用的,大家如果在遇到这种问题情况,可以来看下这个内容,就可以继续操作编程代码了哈~


    起源地下载网 » python爬虫怎么伪装?

    常见问题FAQ

    免费下载或者VIP会员专享资源能否直接商用?
    本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
    提示下载完但解压或打开不了?
    最常见的情况是下载不完整: 可对比下载完压缩包的与网盘上的容量,若小于网盘提示的容量则是这个原因。这是浏览器下载的bug,建议用百度网盘软件或迅雷下载。若排除这种情况,可在对应资源底部留言,或 联络我们.。
    找不到素材资源介绍文章里的示例图片?
    对于PPT,KEY,Mockups,APP,网页模版等类型的素材,文章内用于介绍的图片通常并不包含在对应可供下载素材包内。这些相关商业图片需另外购买,且本站不负责(也没有办法)找到出处。 同样地一些字体文件也是这种情况,但部分素材会在素材包内有一份字体下载链接清单。
    模板不会安装或需要功能定制以及二次开发?
    请QQ联系我们

    发表评论

    还没有评论,快来抢沙发吧!

    如需帝国cms功能定制以及二次开发请联系我们

    联系作者

    请选择支付方式

    ×
    迅虎支付宝
    迅虎微信
    支付宝当面付
    余额支付
    ×
    微信扫码支付 0 元