小伙伴们很喜欢给小编出各种难题,比如今天关于框架,有小伙伴在浏览时,看到别人咨询异步还有多线程,因为自己也不是很理解,于是把问题转发给小编看,小编仔细看了下,虽然跟我们现在课程学习并没有什么相互关联的内容,但是既然这么感兴趣,以及为了解决小伙伴疑惑,决定为大家讲解下。
什么是异步:
工作涉及一次执行多个IO操作。
什么是多线程:
多线程:允许单个任务分成不同的部分运行
相互之间是有一定的相似之处的,那我们接下来解说下 scrapy框架,然后大家自己来抉择下哈~
Scrapy框架是通过命令行来创建项目的,代码的编写还是需要IDE。项目创建之后,项目文件结构如下所示:
scrapy.cfg project/ __init__.py items.py pipelines.py settings.py middlewares.py spiders/ __init__.py spider1.py spider2.py ...复制代码
Scrapy数据流是由执行的核心引擎控制,流程是这样的:
1、爬虫引擎获得初始请求开始抓取。
2、爬虫引擎开始请求调度程序SCHEDULER,并准备对下一次的请求进行抓取。
3、爬虫调度器返回下一个请求给爬虫引擎。
4、引擎请求发送到下载器DOWNLOADER,通过下载中间件下载网络数据。
5、一旦下载器完成页面下载,将下载结果返回给爬虫引擎。
因此大家可以抉择出来了嘛?关于这个框架到底是异步还是多线程呢?其实我们也不必针对于到底分清哪个是哪个,我们只需要知道,我们使用的框架还有这些功能可以怎么使用即可哦~
常见问题FAQ
- 免费下载或者VIP会员专享资源能否直接商用?
- 本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
- 提示下载完但解压或打开不了?
- 找不到素材资源介绍文章里的示例图片?
- 模板不会安装或需要功能定制以及二次开发?
发表评论
还没有评论,快来抢沙发吧!