Scrapy框架教程：POST请求实现案例

terry 2年前 (2023-09-24) 阅读数 66 #后端开发

1.创建一个Scrapy项目fanyi，然后输入create project，文件fanyipc爬虫

scrapy startproject fanyi
cd fanyi
scrapy genspider example example.com

2.更改配置文件设置，关闭君子协议，只看到错误信息，配置UA Head

ROBOTSTXT_OBEY = False
LOG_LEVEL = 'ERROR'
USER_AGENT = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36"

3。分析目标 URL 并使用 POST 请求

4。重写父类方法来实现POST请求

start_urls = ["https://fanyi.baidu.com/sug"]


    def start_requests(self):
        POST数据={'kw':'cat'}
        for url in self.start_urls:
            yield scrapy.FormRequest(url=url,callback=self.parse,formdata=POST数据)


    def parse(self, response):
        结果=response.json()
        #print(结果)

5。运行结果

{'errno': 0, 'data': [{'k': 'cat', 'v': 'n. 猫; 猫科动物; 狠毒的女人; 爵士乐爱好者 vt. 把（锚）吊放在锚架上; 〈俚〉寻欢，宿娼'}, {'k': 'CAT', 'v': 'abbr. Carburetor Air 
Temperature 汽化器空气温度'}, {'k': 'Cat', 'v': '[人名] 卡特'}, {'k': 'CaT', 'v': 'abbr. calcium tartrate tetrahydrate 酒石酸钙四水合物'}, {'k': 'cata', 'v': '[机] 渺位;
 依照'}]}

6。如果首页地址是request请求，用它来解析内容POST请求，就可以在psrse中执行post操作