项目八单元测试
- 下列不属于Scrapy框架的基本组成部分的是（ ）
- 下列对于Scrapy数据流向描述错误的是（ ）
- 下列对于Scrapy常用命令及其作用描述正确的是（ ）
- 下列对于 Scrapy虫项目目录说法错误的是（ ）。
- 下列对于 Scrapy的设置说法错误的是（ ）
- Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量的代码，就能够快速的抓取。（ ）
- Scrapy 架构中Engine引擎，用来处理整个系统的数据流处理，触发事务，是整个框架的核心。（ ）
- Scrapy 架构中Item项目，它定义了爬取结果的数据结构，爬取的数据会被赋值成该对象。（ ）
- Scrapy 架构中Scheduler调度器，用来接受引擎发过来的请求并加入队列中，并在引擎再次请求的时候提供给引擎。（ ）
- Scrapy 架构中Downloader下载器，用于下载网页内容，并将网页内容返回给蜘蛛。（ ）
A:解析中间件
B:Item Pipelines
C:引擎与调度器
D:下载器与Spiders
答案:引擎与调度器
A:调度器返回下一个要爬取的URL给引擎，引擎将URL通过下载器中间件（请求方向）转发给下载器Download
B:引擎仅负责打开一个网站，并找到该网站的 Spiders，并向该 Spiders请求第一个要爬取的URL
C:一旦网页下载完毕,下载器会生成一个该网页的响应,并将其通过下载器中间件（返回响应方向）发送给引擎
D:Spiders处理响应并返同爬取到的Items及(跟进的)新的请求给引擎解析中间件
A:startproject是一个全局命令，主要用于运行一个独立的爬虫
B:genspider是一个项目命令，主要用于创建爬虫模板
C:crawl是一个项目命令，主要用于启动限虫
D:List是一个全局命令，主要用于列出项目中所有可用的爬虫
A:items脚本定义了一个Item类，能够存储爬取的数据
B:Spiders目录用于存放用户编写的爬虫脚本
C:pipelines脚本定义了一个 Pipeline类,可以根据需求将数据保存至数据库、文件等
D:settings脚本用于设置参数
A:DOWNLOAD_DELAY设置能够限制爬取的速度
B:Scrapy设置允许自定义所有 Scrapy组件的行为，包括核心、扩展、管道和爬虫本身
C:DOWNLOADER_MIDDLEWARES设置能够激活用户定制的下载器中间件
D:HTTPCACHE_ENABLED设置能够启用HTTP缓存，并设置路径
A:对 B:错
A:错 B:对
A:对 B:错
A:对 B:错
A:对 B:错
温馨提示支付 ￥3.00 元后可查看付费内容,请先翻页预览!
