Code前端首页关于Code前端联系我们

数据爬取+Django+PyEcharts实现大视觉展示(附源码)

terry 2年前 (2023-09-24) 阅读数 69 #后端开发

朋友问我基于Django的大视觉展示,小F就搜了一下。

于是我根据去哪儿长沙观光数据在GitHub上找到了一个不错的实用项目。

作者这几天刚更新了,富达~

项目地址:

https://github.com/ChenZixinn/scenery_spider_web

使用SCR介绍

/wlrapy♷/ 01. data ,MySQL用于数据存储,Django用于编写后端服务,PyEcharts用于创建可视化图表。效果如下。 Scrapy数据爬取+Django+PyEcharts实现可视化大屏(附源码)Scrapy数据爬取+Django+PyEcharts实现可视化大屏(附源码)Scrapy数据爬取+Django+PyEcharts实现可视化大屏(附源码)

我发现每个模块都有一个详细信息页面,可以通过单击主页上的每个模块标签来访问该页面。

基于数据可视化的游客行为分析系统包括以下几类图表。 ? 景点评分分布图

  • 各市区县景点数量分布图
  • 还有一个登录界面,您可以在其中注册帐户。指令包括用户管理。 Scrapy数据爬取+Django+PyEcharts实现可视化大屏(附源码)

    接下来小F就教大家如何root,以win10为例。

    / 02 / 项目部署-Python

    首先需要安装Anaconda(版本4.11.0),方便创建Python环境。

    关于Anaconda的安装方法,大家可以自己百度一下,比较简单。

    安装完成后,根据项目附带的文件【requirements.txt】创建虚拟环境并安装必要的依赖项。

    # 创建虚拟环境
    conda create --name test python=3.8.13
    
    # 激活环境
    conda activate test
    
    # 安装依赖
    pip install -r requirements.txt

    / 03 / 项目部署-MySQL

    然后安装MySQL数据库(版本8.0.33)。建议使用msi文件进行安装,并非没有错误。

    一定要记住root账号密码,后面会用到。

    安装完成后,创建数据库并使用该数据库。

    # 创建数据库
    create database hunan_web;
    
    # 使用数据库
    use hunan_web;

    接下来,创建数据表并输入数据。

    更多信息可以在项目中的文件【new_hunan_web.sql】中找到。 Scrapy数据爬取+Django+PyEcharts实现可视化大屏(附源码)

    作者还提供了原始数据。 Scrapy数据爬取+Django+PyEcharts实现可视化大屏(附源码)

    这意味着您不需要运行爬虫代码,您拥有数据并可以立即启动项目。

    最后在程序中设置数据库密码。

    要进行设置,请打开文件夹hunan_web中的文件setting.pyScrapy数据爬取+Django+PyEcharts实现可视化大屏(附源码)

    设置完成后,您可以通过运行服务来连接到数据库。 ? http://127.0.0.1:8000/Scrapy数据爬取+Django+PyEcharts实现可视化大屏(附源码)

    为登录页面,点击进行注册。 Scrapy数据爬取+Django+PyEcharts实现可视化大屏(附源码)

    输入账号和密码即可注册成功,然后前往登录。

    成功登录后,您将看到分析页面。 Scrapy数据爬取+Django+PyEcharts实现可视化大屏(附源码)

    / 05 / 项目部署-数据更新

    如果要更新数据库,可以运行爬虫代码。

    # 更新数据
    scrapy crawl qunaer

    操作过程中可能会出现问题,可以通过以下两种方法解决。

    # ImportError: cannot import name 'SSLv3_METHOD' from 'OpenSSL.SSL'
    pip3 install pyopenssl==22.0.0
    
    # AttributeError: module 'lib' has no attribute 'OpenSSL_add_all_algorithms'
    pip3 install cryptography==38.0.4

    如果以上方法未能解决问题,请将scrapy库更新到最新版本。

    # 升级
    pip install --upgrade scrapy

    / 06 / 总结

    通过以上操作即可实现大屏视觉项目的使用。

    当然,我们也可以编写不同省份的游客行为分析系统或者交换其他数据源

    或者使用流程图其他类型的图表,任何人都可以自学。

    版权声明

    本文仅代表作者观点,不代表Code前端网立场。
    本文系作者Code前端网发表,如需转载,请注明页面地址。

    发表评论:

    ◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

    热门