Python爬虫学习笔记：第一个Scrapy爬虫系统

1。安装scrapy库文件

pip install scrapy

2。创建项目

1。在 Pycharm 终端

scrapy startproject 项目名称

2 中运行它。进入创建的文件夹，运行以下代码

cd kjpc
scrapy genspider 爬虫名字 任意一个网址（后面可以修改）
scrapy genspider pachong www.aiyou.com

3。文件和文件夹会自动创建

4。参数说明

name：就是爬虫的唯一标识，运行爬虫就是运行这个文件名字
allowed_domains：爬虫允许爬取的域名范围
start_urls：可以被scrapy发起get请求，可以填写多个地址
response：响应对象

5.编辑相关的settings.py配置以避免一些限制

1、robots协议修改
ROBOTSTXT_OBEY = False
2、只查看日志的错误信息
LOG_LEVEL = 'ERROR'
3、添加头信息
USER_AGENT = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36"

6。在pycharm终端运行项目

scrapy crawl pachong  打印日志信息
scrapy crawl pachong --nolog  不打印日志信息

7，源代码

import scrapy
class PachongSpider(scrapy.Spider):
    name = "pachong"
    #allowed_domains = ["www.aiyou.com"]
    start_urls = ["https://www.baidu.com/","https://www.sina.com"]
    def parse(self, response):
        print("响应内容：",response)