Docker

.NET(2) Git(5) Java基础(3) Latex(8) Linux(10) macos(1) Mysql(2) python(4) Python基础知识(7) 【Canal实战】(2) 【Java程序员面试助攻手册】(1) 【Leetcode编程题题解（Java/Python实现）】(132) 【Python爬虫实战】(17) 【SpringBoot入门教程】(8) 【剑指offer题解（Java/Python实现）】(12) 【后端开发实战经验】(14) 【国外技术文章翻译】(2) 【数据结构拾遗】(3) 【秒杀系统实战】(5) 【菜鸟SpringCloud入门教程】(10) 【设计模式自习室】(12) 个人生活日记(10) 未归档(2) 疑难杂症(7) 算法(20) 编码学习笔记(32) 蛮三刀酱的Github周刊(2)

归档

标签

去牛客网

/ 注册

全部文章 / Docker （共1篇）

[Docker]Docker部署Scrapy-redis分布式爬虫框架实践（整合Selenium+Headless Chrome网页渲染）

前言我的京东价格监控网站需要不间断爬取京东商品页面，爬虫模块我采用了Scrapy+selenium+Headless Chrome的方式进行商品信息的采集。由于最近爬虫用的服务器到期，需要换到新服务器重新部署，所以干脆把整个模块封装入Docker，以便后续能够方便快速的进行爬虫的部署。同时，...

2021-10-08

0 739