code前端网Scrapy爬虫翻页爬取诗歌胖排行榜案例
Scrapy框架实现自动翻页和数据爬取，爬取胖诗歌排行榜中的标题（
https://www.shicimingju.com/paiming）。
1。创建一个新文件夹
scrapy 文件名starproject（壁纸）
2。创建一个新的爬虫文件
scrapy genspider 文件名（宽度）www.xxx.com
3.提交请求并分析
数据已经在前两课中详细讲解过，本节不再赘述。
4。创建翻页链接
我们上面放置的链接就是第一页的地址。根据翻页的页面地址，我们发现“p”对应的值是可变的，所以我们拼接URL：
5。发送翻页链接请求
基本格式为：yield scrapy.Request(url地址,callback=self.parse)。当找到第二个页面时，就会根据上面的连接地址进行填充，并解析数据
6。总结
要实现自动提交翻页请求，首先要创建并解析第一个翻页请求，然后写入翻页URL，然后调用yield关键字来实现自动提交翻页。问
版权声明
本文仅代表作者观点，不代表Code前端网立场。
本文系作者Code前端网发表，如需转载，请注明页面地址。
相关文章
发表评论:
◎欢迎参与讨论，请在这里发表您的看法、交流您的观点。