Code前端首页关于Code前端联系我们

mysql中存储的包含python3爬取数据的条目

terry 2年前 (2023-09-30) 阅读数 42 #Mysql
文章标签 Mysql

本文内容列表:

  • 1.如何将python爬取的数据导入MySQL
  • 2、python3蜘蛛搜索中国大学排名数据写入mysql数据库并添加省份和
  • 3.如何在MySQL中存储Python爬取的数据并且数据库表有ID
  • 4、如何将python3爬取的数据导入mysql

如何将python爬取的数据导入MySQL

下载库mysql.connector

然后将spider爬取的数据通过insert语句检查到mysql中。当然,你也可以创建一个表。我一般不使用python建表,所以先建好然后写入数据

import mysql.connector

conn = mysql.connector.connect(

user='root',

密码='root',

主机='127.0.0.1',

端口='3306',

 数据库='test_demo'

)

cursor = conn.cursor( )

cursor .execute("INSERT INTO test_user(`uuid`,`user_name`,`user_level`) VALUES (%s,%s,%s)",[id, user_name, user_level])

cursor .执行(“插入tieba_user_detail(`user_name`,`user_exp`,`user_sex`,`tieba_age`,`tieba_note`,`user_favorites`,`user_fans`)值(%s,%s,%s,%s,% s,%s ,%s)",[用户名,用户经验,用户性别,tieba_age,tieba_note,user_favorites,user_fans])

print('**************** %s %s 数据保存成功 **************'%(user_rank,user_name))

conn .commit()

cursor.close()

像这样插入并输入

python3蜘蛛搜索中国大学排名数据并写入mysql数据库并添加省份并添加

网络蜘蛛(也称为网络蜘蛛、网络机器人,在 FOAF 社区中更广为人知的是网络追逐者)是一种按照一定规则自动捕获万维网上信息的程序或脚本。其他不太常用的名称包括蚂蚁、自索引器、模拟器或蠕虫。

如何使用数据库表ID将Python爬取的数据保存到MySQL中

如何将python输入的json数据保存到MySQL数据库

json.loads加载的json数据到达时会变成一个json对象。需要提取python对象中的字段值,放入sql语句中

如何将python3爬取的数据导入mysql

import pymysql #导入pymsql模块#数据库连接。请注意,端口的类型为 int,而不是 str,因此不要使用引号 conn = pymysql.connect( user='root', password='root', host='127.0.0.1 ', port=3306, database=' test_demo' , use_unicode=True, charset="utf8" )#获取游标cursor = conn.cursor()#插入数据,注意格式cursor.execute("INSERT INTO when Exist Variables tieba_user(`uuid`,` user_name) ` ,`user_rank`,`user_level`,`level_status`,`tieba_name`) VALUES (%s,%s,%s,%s,%s,%s)", (user_id, user_name, user_rank, user_level , level_statu , tieba_name))#发送conn.commit()#关闭连接cursor.close()

版权声明

本文仅代表作者观点,不代表Code前端网立场。
本文系作者Code前端网发表,如需转载,请注明页面地址。

热门