前言

文章介绍并整理了一直在维护的一个小项目：京东价格监控，并详细整理了该项目前前后后几次重构的技术选型，作为一篇总结。

网站介绍

在京东购物时，你是否遇到如下情况：

  • 心仪的商品降价了，你却一无所知，等发现后早已断货。
  • 你设置了京东自带的降价提醒，结果在降价后很久才收到邮件提醒或者干脆没有提醒，错失抢购良机。
  • 网上各种折扣信息，各种折扣网站，却总是不能选择关注指定商品
  • 想买手机/电脑/耳机等类别商品，想知道整个京东上手机/电脑/耳机类目实时折扣力度最大的商品。

现在，一个基于python爬虫的实时价格监控网站上线了，你要做的仅仅是打开浏览器，输入：

http://price.monitor4all.cn/

网站功能

一：自定义商品监控

设置商品ID（京东商品编号）和您的预期价格，当商品价格【低于】设定的预期价格后自动发送邮件提醒用户。

二：品类商品订阅

用户订阅某品类后（例如数码大类），该类所有商品中降价幅度大于7折的【自营商品】会被选出并发送邮件提醒用户。

网站架构演变

小白期：Flask+HTML模板+Python脚本

2017年，我当时入门Python语言，学着一步步写网页爬虫，后来接触到了Python后台开发，之后便萌生了做一个与爬虫结合的前后端项目作为练手，最后想到的就是电商商品的爬取。

但是，就算在几年前，信息整合的网站就已经非常多了。国内的商品优惠信息整合网站大多是以什么值得买、惠惠购物助手等信息流推荐+商品历史价格查看这种方式运营。想要做到有自己的特色，就必须做点不一样的。

于是我决定将爬虫作为监控手段，监控商品的实时价格。

实际上，拿京东举例，京东在当时就已经有了自己的降价提醒，但实际效果并不好，主要问题出在时效性上。用自营商品设置价格提醒后，在京东秒杀时不提醒，在正常显示价格调整后往往在3.4个小时后才能收到提醒邮件。

于是，我从单个商品的监控下手，开始了这个小项目（与其说是项目，不如说仅仅是一个小脚本）。

网站需求很简单，整个一代目架构总结如下：

爬虫组件：就是个简单的Python脚本，加上了定时循环。

数据库：采用了最轻量的Sqlite，不需要客户端和服务，单文件保存。

Web端：后台我采用了网上推荐的Flask，前端只套用了HTML模板。
Flask中，涉及到使用Flask-Admin，Flask-Login，Flask-SQLAlchemy，Flask-WTF等组件，搭建了用户注册登录系统。

爬虫开源：https://github.com/qqxx6661/Price-monitor

Flask+HTML开源：https://github.com/qqxx6661/flask_yzd

从现在的眼光来看，相比于Python中的Django，我认为Flask对于新上手后台的小白来说，并不能称得上是很好的入门框架。至于我为什么这么认为，这就涉及到Flask和Django的区别了，我摘抄一段答案在这里：

Flask

  • Flask与关系型数据库的配合使用不弱于Django，而其与NoSQL数据库的配合远远优于Django
  • 自由、灵活，可扩展性强，开发时可以结合自己最喜欢用的第三方库
  • 适用于小型网站
  • 适用于开发web服务的API
  • 开发大型网站无压力，但代码架构需要自己设计
  • 各方面性能均等于或优于Django
  • Flask比Django更加Pythonic，与Python的philosophy更加吻合

Django

  • 太重了，灵活和自由度不够高
  • Django能开发小应用，但总会有“杀鸡焉用牛刀”的感觉
  • Django自带的Admin好评如潮
  • Django的自带ORM非常优秀
  • Django自带的模板引擎
  • Django自带ORM也使Django与关系型数据库耦合度过高，如果想使用MongoDB等NoSQL数据，需要选取合适的第三方库
  • Django非常适合企业级网站的开发：快速、靠谱、稳定
  • Django上手也比较容易，开发文档详细、完善，相关资料丰富
  • Django目前支持Jinja等非官方模板引擎

我认为对于小白来说，可以先熟悉Django，我觉得：

  • Flask其实和Spring（或者说Springboot）有异曲同工之妙，两者依靠官方的第一方库和网络上的第三方库，来构建一个完整的系统。对于新手来说，跟着教程上手，很容易在各种库的组装中迷失了自己，各种兼容冲突，各种版本匹配，都会让新手摸不到头脑。我也深受其害，两个月之后我再拾起代码，对于之前是如何将各个库进行整合的，忘得一干二净。
  • Django虽然重，但胜在能让小白对各个系统（管理后台，用户系统，登录注册，邮箱验证，数据库ORM等）都有直观且实际的概念，知道各个系统在一个web项目中应该发挥的作用。

如果让我推荐纯小白开始学Python后台开发，我会建议他从Django开始，在深入去了解Flask。

说回我的网站，网站初步上线后，我在自己的博客上还有Github上做了些宣传。陆续每天都有几个人来访问我的网站，也有在Github上提Issue提建议的。不得不说，正是这些小事让我看到了项目的活力，让我也拥有了更大的编码热情。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HsqpDtis-1613402141597)(https://github.com/qqxx6661/flask_yzd/raw/master/Demo.png)]

但由于学校的科研任务紧，这个项目在搭建好后，就进入了漫长的维护阶段，在这个阶段中，除了几次爬虫规则的重新设计外，并没有其他业务上的改进。

过渡期：Django+Bootstrap+Scrapy爬虫框架+代理池

大概半年后，我重新拾了起来，此时已经有一百多个注册用户了，虽然每天的使用率并不高，但是也足够让我满足了。本着学习技术的想法，我开始重构网站。

当时流行的比价插件（购物党/惠惠比价）已经开始做商品的价格监控了，并且他们做的是浏览器插件，完美嵌入浏览器，更方便用户使用，我的价格监控还需要独立的网站进行商品登记，显然已经out了。在这期间，我也萌生了品类监控的想法。

这一时期的主要改动有：

  • 从Flask转为Django，前端使用Bootstrap代替原生HTML模板
  • 采用Scrapy分布式爬虫框架爬取整个品类的商品
  • 采用代理池提高整体采集效率

整个二代目架构总结如下：

爬虫组件：从单一的Python脚本改为Scrapy框架爬取。

数据库：使用Mysql作为商品和用户数据库

Web端：Django，Django大而全，使用到了Django自带的后台管理，数据库ORM，登录验证，Session，邮件等子模块

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3XN7hfqE-1613402141598)(https://github.com/qqxx6661/Price-monitor/raw/73d9169b024cde176b1be8c98884a6fbc2767c07/docs/Pagedemo.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MdSCMPm0-1613402141598)(https://github.com/qqxx6661/Price-monitor/raw/73d9169b024cde176b1be8c98884a6fbc2767c07/docs/Pagedemo3.png)]

稳定期：Springboot+React+Scrapy爬虫框架+代理池+任务队列

18年的秋招，对我来说试一次一场难忘的经历，详情可以看我的秋招文章。秋招我主要是寻找Java后台开发的工作，所以钻研了一段时间的Spring，加之之前的实习经历，开发过实际的SSM项目，对于后台开发，尤其是web后台开发有了更加深刻和广阔的认识，。于是，我打算对电商监控网站进行第三次重构，当然，这次的重点主要是用Spring全家桶替代Django。

此外，为了应用前后台分离思想，我找了一个帅哥同学帮我写React前端，整个项目一下子就有模有样起来。

这一时期的主要改动有：

  • 使用Springboot代替Django作为后台，向前端提供API
  • 使用React作为前端，接受JSON数据
  • 改用任务队列发送邮件
  • 代理池支持免费代理，收费代理
  • 免费代理使用Github明星开源项目：https://github.com/jhao104/proxy_pool

整个三代目架构总结如下：

  • web网站：Springboot提供接口+React前端页面

    • Springboot（Api）+ Mysql（用户数据）+ React（前端）
    • 表结构设计、Mybaits、Swagger2、Spring Security + JWT、Spring Cache、跨域、数据库定时备份

  • 爬虫：Scrapy分布式爬虫框架

    • Requests/Selenium（爬取）、Mysql（商品信息）、Scrapy + Redis（分布式爬虫）
    • 反爬策略、IP代理、Scrapy自定义中间件、Headless Chrome网页渲染

  • 监控：Python脚本+Celery任务队列

    • Supervisor（守护进程）、Crontab（定时监控脚本）、Celery任务队列（提醒邮件）

未来

这个项目有很多的不足，我也一边编码一边总结。

现在我的TODO List：

  • Docker化各个模块
  • 全局搜索
  • QQ微信登录
  • 价格曲线
  • 推广链接
  • 添加更多商品
  • …

时至今日，这个项目的两个功能可能都能找到更好的替代产品，毕竟一个人的精力有限，无法将所有想法都体现在程序上。但是这个项目我还会坚持下去，它已经成为了我技术的试验田，也成为了我继续学习的动力。

关注我

我的Csdn：

http://blog.csdn.net/qqxx6661

我的知乎：

https://www.zhihu.com/people/yang-zhen-dong-1/

我的简书：

https://www.jianshu.com/u/b5f225ca2376

我的个人公众号：Rude3Knife

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nNZmYWPJ-1613402141599)(http://pjmq3oecm.bkt.clouddn.com/Fl3YzEIPDR4ut485fINiSKYYuRvm)]