生活或许是平淡的,但我们可以自己找一点乐子。有的小伙伴就很喜欢看一些搞笑的段子,生活在开心中度过。小编也喜欢这种有意思的内容,毕竟忙碌一天之后,看看能够放松一下。今天小编就为大家带来获取搞笑好玩段子的方法,一次性保存起来慢慢看,希望大家都能有一个愉快的心情。
糗事百科在前一段时间进行了改版,导致之前的代码没法用了,会导致无法输出和 CPU 占用过高的情况,是因为正则表达式没有匹配到的缘故。 现在,博主已经对程序进行了重新修改,代码亲测可用。
首先我们确定好页面的URL。初步构建如下的代码来打印页面代码内容试试看,先构造最基本的页面抓取方式,看看会不会成功。
# -*- coding:utf-8 -*- import urllib import urllib2 page = 1 url = 'https://img.qiyuandi.com/images/10/rhypy try: request = urllib2.Request(url) response = urllib2.urlopen(request) print response.read() except urllib2.URLError, e: if hasattr(e,"code"): print e.code if hasattr(e,"reason"): print e.reason
运行程序,哦不,它竟然报错了,真是时运不济,命途多舛啊
line 373, in _read_status raise BadStatusLine(line) httplib.BadStatusLine: ''
好吧,应该是 headers 验证的问题,我们加上一个 headers 验证试试看吧,将代码修改如下
# -*- coding:utf-8 -*- import urllib import urllib2 page = 1 url = 'https://img.qiyuandi.com/images/10/rhypy user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' headers = { 'User-Agent' : user_agent } try: request = urllib2.Request(url,headers = headers) response = urllib2.urlopen(request) print response.read() except urllib2.URLError, e: if hasattr(e,"code"): print e.code if hasattr(e,"reason"): print e.reason
嘿嘿,这次运行终于正常了,打印出了第一页的 HTML 代码,大家可以运行下代码试试看。在这里运行结果太长就不贴了。
以上就是Python爬虫中获取段子的方法。愿小伙伴们每天都能一笑,心态好爱笑的人也会收获更多的朋友和快乐。段子也可以分享给好朋友一起看,把快乐传递给更多的人。
常见问题FAQ
- 免费下载或者VIP会员专享资源能否直接商用?
- 本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
- 提示下载完但解压或打开不了?
- 找不到素材资源介绍文章里的示例图片?
- 模板不会安装或需要功能定制以及二次开发?
发表评论
还没有评论,快来抢沙发吧!