最新公告
  • 欢迎您光临起源地模板网,本站秉承服务宗旨 履行“站长”责任,销售只是起点 服务永无止境!立即加入钻石VIP
  • Python爬虫入门:爬取51job(Xpath)

    正文概述    2020-06-01   260

    Python爬虫入门:爬取51job(Xpath)

    xpath简介

    前面介绍了这么多种解析网页的方式,今天再来介绍一种xpath,

    XPath即为XML路径语言(XML Path Language),它是一种用来确定XML文档中某部分位置的语言。

    它可以确定元素在XML中的位置,同样我们也可以用它来获取dom节点在html中的位置,就可以便利我们爬取数据

    这是今天大概内容的简介

    Python爬虫入门:爬取51job(Xpath)

    我在这里也就不详细介绍XPath的语法了,介绍一些我们够用的就行,想了解自己去看API了:https://www.w3school.com.cn/xpath/index.asp

    Python爬虫入门:爬取51job(Xpath)

    至于语法当然可以不需要我们自己手动写,我们可以利用浏览器的工具,就哪CSND来举例子,我要获取左侧导航‘程序人生’这个标签的xpath路径。

    首先要利用浏览器的元素选择器,找到它的html位置

    Python爬虫入门:爬取51job(Xpath)

    然后我们选择我们要的元素右击copy XPath

    Python爬虫入门:爬取51job(Xpath)

    然后我们粘贴下来://*[@id=“nav”]/div/div/ul/li[3]

    这就是程序人生的XPath路径,然后我们就能根据这个来爬取它的这一整块的信息了,后面我的案例就是这样做的。

    爬取51job招聘信息

    案例就直接上代码了,思路都大同小异,分析信息的页面、页码、元素等等,然后写代码。

    """
    爬取  51job 相关职位信息,并保存成cvs文件格式
    """
    import requests
    from lxml import etree
    import csv
    # csv后缀的格式就是excel文件打开的格式,我们等于是直接存入了excel中
    import time
    headers = {
        "User-Agent": "Opera/9.80 (Windows NT 6.0) Presto/2.12.388 Version/12.14"
    }
    f = open("java职位.cvs","w",newline="")
    writer = csv.writer(f)
    writer.writerow(['编号', '职位名称', '公司名称', '薪资', '地址', '发布时间'])
    i = 1;
    for page in range(1,159):
        requests_get = requests.get(
            f"https://search.51job.com/list/020000,000000,0000,00,9,99,java,2,{page}.html?lang=c&stype=&postchannel
            =0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&providesalary=99&lonlat=0%2C0&radius
            =-1&ord_field=0&confirmdate=9&fromType=&dibiaoid=0&address=&line=&specialarea=00&from=&welfare=",
            headers=headers)
        requests_get.encoding="gbk"
        if requests_get.status_code == 200:
            html = etree.HTML(requests_get.text)
            els = html.xpath("//div[@class='el']")[4:]
            for el in els:
                jobname = str(el.xpath("p[contains(@class,'t1')]/span/a/@title")).strip("[']")
                jobcom = str(el.xpath("span[@class='t2']/a/@titlr")).strip("[']")
                jobaddress = str(el.xpath("span[@class='t3']/text()")).strip("[']")
                jobsalary = str(el.xpath("span[@class='t4']/text()")).strip("[']")
                jobdate = str(el.xpath("span[@class='t5']/text()")).strip("[']")
                writer.writerow([i, jobname, jobcom, jobaddress, jobsalary, jobdate])
                i += 1
            print(f"第{page}页获取完毕")

    最后存入excel中的样子。

    Python爬虫入门:爬取51job(Xpath)

    众多python培训视频,尽在python学习网,欢迎在线学习!

    本文转自:https://blog.csdn.net/qq_43517653/article/details/102990851


    起源地下载网 » Python爬虫入门:爬取51job(Xpath)

    常见问题FAQ

    免费下载或者VIP会员专享资源能否直接商用?
    本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
    提示下载完但解压或打开不了?
    最常见的情况是下载不完整: 可对比下载完压缩包的与网盘上的容量,若小于网盘提示的容量则是这个原因。这是浏览器下载的bug,建议用百度网盘软件或迅雷下载。若排除这种情况,可在对应资源底部留言,或 联络我们.。
    找不到素材资源介绍文章里的示例图片?
    对于PPT,KEY,Mockups,APP,网页模版等类型的素材,文章内用于介绍的图片通常并不包含在对应可供下载素材包内。这些相关商业图片需另外购买,且本站不负责(也没有办法)找到出处。 同样地一些字体文件也是这种情况,但部分素材会在素材包内有一份字体下载链接清单。
    模板不会安装或需要功能定制以及二次开发?
    请QQ联系我们

    发表评论

    还没有评论,快来抢沙发吧!

    如需帝国cms功能定制以及二次开发请联系我们

    联系作者

    请选择支付方式

    ×
    迅虎支付宝
    迅虎微信
    支付宝当面付
    余额支付
    ×
    微信扫码支付 0 元