网络爬虫开发答案2023秋

项目八测试

1.下列不属于Scrapy框架的基本组成部分的是（ ）
A:Item Pipelines
B:引擎与调度器
C:下载器与Spiders
D:解析中间件

答案:B
2.下列对于Scrapy数据流向描述错误的是（ ）
A:调度器返回下一个要爬取的URL给引擎，引擎将URL通过下载器中间件（请求方向）转发给下载器Download
B:一旦网页下载完毕,下载器会生成一个该网页的响应,并将其通过下载器中间件（返回响应方向）发送给引擎
C:引擎仅负责打开一个网站，并找到该网站的 Spiders，并向该 Spiders请求第一个要爬取的URL
D:Spiders处理响应并返同爬取到的Items及(跟进的)新的请求给引擎解析中间件
3.下列对于Scrapy常用命令及其作用描述正确的是（ ）
A:startproject是一个全局命令，主要用于运行一个独立的爬虫
B:crawl是一个项目命令，主要用于启动限虫
C:genspider是一个项目命令，主要用于创建爬虫模板
D:List是一个全局命令，主要用于列出项目中所有可用的爬虫
4.下列对于 Scrapy虫项目目录说法错误的是（ ）。
A:items脚本定义了一个Item类，能够存储爬取的数据
B:settings脚本用于设置参数
C:Spiders目录用于存放用户编写的爬虫脚本
D:pipelines脚本定义了一个 Pipeline类,可以根据需求将数据保存至数据库、文件等
5.下列对于 Scrapy的设置说法错误的是（ ）
A:HTTPCACHE_ENABLED设置能够启用HTTP缓存，并设置路径
B:DOWNLOAD_DELAY设置能够限制爬取的速度
C:DOWNLOADER_MIDDLEWARES设置能够激活用户定制的下载器中间件
D:Scrapy设置允许自定义所有 Scrapy组件的行为，包括核心、扩展、管道和爬虫本身
6.Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量的代码，就能够快速的抓取。（ ）
A:对 B:错 7.Scrapy 架构中Engine引擎，用来处理整个系统的数据流处理，触发事务，是整个框架的核心。（ ）
A:对 B:错 8.Scrapy 架构中Item项目，它定义了爬取结果的数据结构，爬取的数据会被赋值成该对象。（ ）
A:对 B:错 9.Scrapy 架构中Scheduler调度器，用来接受引擎发过来的请求并加入队列中，并在引擎再次请求的时候提供给引擎。（ ）
A:错 B:对 10.Scrapy 架构中Downloader下载器，用于下载网页内容，并将网页内容返回给蜘蛛。（ ）
A:对 B:错