# -*- coding: utf-8 -*-
import scrapy
from mySpider.items import MyspiderItem

class PengpaiSpider(scrapy.Spider):
    name = 'pengpai'#应用的名称
    #允许爬取的域名（如果遇到非该域名的url则怕取不到数据）
    allowed_domains = ['www.thepaper.cn/channel_25951']
    #起始爬取的url
    start_urls = ['http://www.thepaper.cn/channel_25951/']
    #访问起始url并获取结果后的回调函数，response就是请求后响应对象
    #该函数返回值必须是可迭代对象或者NULL
    def parse(self, response):
        #xpath是response的方法，直接调用xpath，
        page_list = response.xpath('//*[@class="news_li"]')
        text_list = []
        for page in page_list:
            #返回的是一个selector标签列表，需要的数据在data中，因此取值需要用extract（）
            title = page.xpath('./h2/a/text()')[0].extract()
            content = page.xpath('./p/text()')[0].extract()
          #将解析到的数据封装到items对象中
            item = MyspiderItem()
            item['title'] = title
            item['content'] = content
            #将数据提交到管道文件（pipelines.py）
            yield  item

import scrapy


class MyspiderItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    #储存的内容有多少，就实例化多少个field属性
    title = scrapy.Field()#储存标题
    content = scrapy.Field()#储存内容

#1、基于终端储存数据
class MyspiderPipeline(object):
    def __init__(self):
        self.fp = None#定义文件描述属性
    #重写父类方法，开始爬虫先执行
    def open_spider(self,spider):
        print("爬虫开始了。。。。")
        self.fp = open('./data.txt',"w",encoding="utf8")
    def process_item(self, item, spider):
        """
        因为数据yield的item数据会提交多次，然而文件打开关闭操作执行一次
        因此，将文件的打开关闭操作拿出去。
        将爬虫程序提交eitem进行持久化存储
        :param item: 爬虫程序提交的数据
        :param spider:
        :return:
        """
        self.fp.write(item["title"]+":"+item["content"]+"\n")
        return item#返回数据，下面可能进行多次其他储存方式操作

    # 重写父类方法，爬虫结束，执行
    def close_spider(self,spider):
        self.fp.close()
        print("爬虫结束！！！")

# Configure item pipelines
# See https://docs.scrapy.org/en/latest/topics/item-pipeline.html
#******开启管道
ITEM_PIPELINES = {
   'mySpider.pipelines.MyspiderPipeline': 300,#300表示优先级，数值越小优先级越大
}

#*****基于数据库mysql储存数据***************
import pymysql
class PengpaiPipelinesMysql(object):
    def __init__(self):
        self.conn = None#mysql连接对象声明
        self.cursor = None#mysql游标对象声明
    def open_spider(self,spider):
        """
        开启数据库连接
        :param spider:
        :return:
        """
        print("开始爬虫！！！")
        #链接数据库
        self.conn = pymysql.Connect(host="127.0.0.1",port=3306,user='root',password='',db='test')
    def process_item(self,item,spider):
        #执行sql语句
        sql = 'insert into pengpai values("%s","%s")'%(item["title"],item["content"])
        self.cursor = self.conn.cursor()
        try:
            self.cursor.execute(sql)
            self.conn.commit()
        except Exception as e:
            print(e)
            #与commit相反，不提交事务
            self.conn.rollback()
        return item
    def close_spider(self,spider):
        """
        关闭游标和连接
        :param spider:
        :return:
        """
        self.cursor.close()
        self.conn.close()
        print("爬虫mysql结束！@！！")

import redis

class pengpaiPipelineRedis(object):
    def __init__(self):
        self.conn = None
    def open_spider(self,spider):
        print('开始爬虫redis')
        #创建链接对象
        self.conn = redis.Redis(host='127.0.0.1',port=6379)
    def process_item(self, item, spider):
        dict = {
            'title':item['title'],
            'content':item['content']
        }
        #写入redis中
        self.conn.lpush('data', dict)
        return item

# Configure item pipelines
# See https://docs.scrapy.org/en/latest/topics/item-pipeline.html
#******开启管道
ITEM_PIPELINES = {
   'mySpider.pipelines.MyspiderPipeline': 300,#300表示优先级，数值越小优先级越大
   'mySpider.pipelines.PengpaiPipelinesMysql': 200,#200表示优先级，数值越小优先级越大
   'mySpider.pipelines.pengpaiPipelineRedis': 100,#100表示优先级，数值越小优先级越大
}