scrapy怎么用，python scrapy教程

在Python生态的爬虫开发领域中，Scrapy是当之无愧的重量级框架，它将爬虫开发中常见的请求发送、响应解析、数据存储、反爬应对、并发控制等功能都封装成了可扩展的模块，开发者无需从零搭建基础架构，只需聚焦于核心的业务逻辑实现，就能快速开发出稳定高效的爬虫项目。无论是爬取静态网页的文本数据，还是处理带分页、登录验证、动态加载的复杂站点，Scrapy都能提供成熟的解决方案，这也是它能成为Python爬虫开发者必备技能的核心原因。

要使用Scrapy，首先需要完成环境搭建，由于Scrapy依赖lxml、Twisted等第三方库，推荐在虚拟环境中安装以避免依赖冲突。你可以通过pip install scrapy命令完成安装，安装完成后在终端输入scrapy version，若能输出版本号则说明安装成功。接下来就可以创建第一个Scrapy项目了，在终端进入想要存放项目的目录，执行scrapy startproject myspider命令，Scrapy会自动生成一套标准化的项目结构。

生成的项目目录中，各个文件和文件夹都有明确的分工：外层的myspider文件夹是项目的Python包，内部的spiders文件夹用来存放我们自定义的爬虫文件，所有的爬取逻辑都写在这里；items.py是数据模型定义文件，用来规范爬取到的数据字段，避免字段混乱；middlewares.py是中间件文件，可以自定义请求和响应的处理逻辑，比如添加随机User-Agent、代理IP等；pipelines.py是管道文件，负责处理爬取到的数据，比如数据清洗、存入数据库、写入文件等；settings.py是项目的配置文件，用来调整并发数、延迟时间、是否遵守robots协议等全局配置。

定义好数据模型后，就可以编写核心的爬虫文件了，在spiders目录下新建一个Python文件，比如命名为book_spider.py，在文件中定义一个继承自scrapy.Spider的类，这个类必须包含name属性，作为爬虫的唯一标识，还需要定义start_urls列表，存放爬虫启动时最先请求的URL。除此之外，必须实现parse方法，这个方法是Scrapy请求发送成功后默认的回调函数，负责解析响应内容、提取数据、生成新的请求。

Scrapy提供了多种解析响应的方式，最常用的是CSS选择器和XPath选择器，这两种选择器都能快速定位到网页中的目标元素。比如要提取页面中所有书籍的标题，就可以用response.css('h3 a::text').getall()获取所有标题文本，或者用response.xpath('//h3/a/text()').extract()实现同样的效果。如果要获取属性值，只需要把::text换成::attr(href)这样的格式即可。提取到数据后，要把数据封装成我们之前定义的Item对象，通过yield关键字返回，Scrapy会自动把这些Item传递给管道进行后续处理。

很多时候我们需要爬取多页数据，这时候就需要在parse方法中生成新的请求。比如找到页面中的“下一页”按钮对应的链接，通过response.urljoin()方法把相对URL拼接成完整的绝对URL，然后使用scrapy.Request()构造新的请求，指定callback参数为解析函数，最后通过yield返回这个请求，Scrapy就会自动把这个请求加入调度队列，等待被调度执行。如果爬取的是详情页数据，还可以在回调函数中继续提取数据，或者生成更下层的请求，形成多层级的爬取逻辑。

当爬虫运行起来后，数据会被传递到管道中进行处理，管道的使用需要先在pipelines.py中定义管道类，类中实现process_item方法，这个方法接收item和spider两个参数，在方法内部完成数据的清洗、校验、存储等操作后，必须返回item或者抛出DropItem异常来丢弃无效数据。定义好管道类后，还需要在settings.py中启用管道，通过设置ITEM_PIPELINES配置项，指定管道类的路径和优先级，数字越小优先级越高，Scrapy会按照优先级从高到低依次调用各个管道处理数据。

在实际的爬虫开发中，我们经常会遇到各种反爬机制，这时候就可以借助中间件来应对。比如要给每个请求添加随机的User-Agent，就可以自定义一个下载中间件，在process_request方法中，从提前准备好的User-Agent列表中随机选一个，赋值给request.headers['User-Agent']，然后返回None即可。同理，代理IP的设置也可以通过中间件实现，只需要给request.meta['proxy']设置代理地址即可。中间件同样需要在settings.py的DOWNLOADER_MIDDLEWARES配置项中启用，才能生效。

除了基础的功能，Scrapy还提供了很多高级特性来应对复杂的爬取场景，比如CrawlSpider类可以通过定义规则自动提取页面中的链接并跟进，非常适合爬取有固定结构的整站数据；Item Loaders可以提供更灵活的数据加载和清洗方式，支持输入输出处理器；Link Extractors可以更方便地提取页面中的链接；还有内置的日志系统、信号系统、Telnet控制台等工具，可以帮助我们更好地监控和调试爬虫。

在运行爬虫的时候，只需要在项目的根目录下，执行scrapy crawl 爬虫名命令就可以启动爬虫，如果想要把爬取到的数据直接保存为文件，可以在命令后面加上-o 文件名，比如scrapy crawl book -o books.csv，Scrapy会自动根据文件后缀选择对应的导出格式，支持JSON、CSV、XML等多种格式。在开发过程中，还可以使用scrapy shell命令来调试选择器，在shell中可以直接对指定的URL发送请求，然后测试自己写的CSS或者XPath表达式是否正确，能大大提高开发效率。

Scrapy的学习曲线虽然比requests加BeautifulSoup的组合要陡一些，但一旦掌握了它的核心组件和运行机制，就能极大地提升爬虫