山东农业科学网站

山东农业科学2018年第1期  文章正文

基于Scrapy的农业网络数据爬取

字体:


  摘要:准确、及时、高效地获取农业数据是全产业链农业信息分析预警工作的前提和基础,是提升农业信息分析预警专业化和规范化水平的关键。本研究针对互联网中存在的大量农业信息数据,以玉米价格数据为例,设计数据抓取和规范化存储策略,首先基于scrapy框架建立对网页的请求响应,分析网页布局后对关键信息进行循环抓取,并利用正则表达式将抓取的信息提取为格式化数据,然后将数据本地化存储为microsoft excel表格或存储至数据库中,最后利用echarts将数据以可视化的方式在web端展示,从而实现对农业网络数据的挖掘和利用。

  关键词:scrapy;爬虫;网络数据;数据挖掘;玉 ……阅读全文

主办: 山东农业科学杂志社 Copyright◎1997-2018
技术支持,电子版全球营销龙源
互联网出版许可证:新出网证(京)字066号
京公海网安备110108001919
电信与信息服务业务经营许可证: 京ICP证060024