1 Scrapy 爬虫完整案例-提升篇

1.1 Scrapy 爬虫进阶案例一

Scrapy 爬虫案例：东莞阳光热线问政平台。

网站地址：
http://wz.sun0769.com/index.php/question/questionType?type=4

项目的目标：爬取投诉帖子的编号、帖子的url、帖子的标题，和帖子里的内容。

案例步骤：

第一步：创建项目。

在 dos下切换到目录

D:\scrapy_project

新建一个新的爬虫项目：scrapy startproject dg_sun

第二步：明确需要爬取的内容字段，分析网站的结构（ URL、需要爬取的字段的结构）。

【分析分页URL地址】

从图片中看到投诉信息列表有3192页。

第一页的链接地址：

http://wz.sun0769.com/index.php/question/questionType?type=4&page=0

第二页的链接地址：

http://wz.sun0769.com/index.php/question/questionType?type=4&page=30

最后一页的链接地址:

http://wz.sun0769.com/index.php/question/questionType?type=4&page=95730

通过分析我们得知，每一页的的链接地址page的值递增30，就是下一页的地址。

【分析每一条投诉信息】

在列表里点某条投诉信息，进入到某条投诉详情页。

投诉信息的编号、标题、内容如下：

查看这些字段在页面里的位置。

通过对页面的分析，得出需要保存的数据字段在页面上的位置。

#标题

title=response.xpath('//div[contains(@class, "pagecenterp3")]//strong/text()').extract()[0]

# 编号是标题里的一部分，通过字符串切片，得到编号的内容。

id =title.split(' ')[-1].split(":")[-1]

# 内容

content =response.xpath('//div[@class="c1 text14_2"]/text()').extract()[0]

#链接就是请求返回的URL

url=response.url

第三步：编写 items.py 文件，设置好需要保存的数据字段。

import scrapy

class SunItem(scrapy.Item):

# define the fields for your item here like:

# 标题

title = scrapy.Field()

# 编号

id = scrapy.Field()

# 内容

content = scrapy.Field()

# 链接

url = scrapy.Field()

第四步:创建爬虫。

在 dos下切换到目录

D:\scrapy_project\dg_sun\dg_sun\spiders

用命令 scrapy genspider -t crawl sun " wz.sun0769.com " 创建爬虫。

第五步:编写爬虫文件。

import scrapy,sys,os

# 导入CrawlSpider类和Rule

from scrapy.spiders import CrawlSpider, Rule

# 导入链接规则匹配类，用来提取符合规则的连接

from scrapy.linkextractors import LinkExtractor

path = os.path.dirname(os.path.dirname(os.path.dirname(os.path.abspath(__file__))))

sys.path.append(path)

from dg_sun.items import SunItem

class SunSpider(CrawlSpider):

name = 'sun'

allowed_domains = ['wz.sun0769.com']

start_urls = ['http://wz.sun0769.com/index.php/question/questionType?type=4&page=0']

#多条 Rule

rules = (

Rule(LinkExtractor(allow=r'type=4&page=\d+')),

Rule(LinkExtractor(allow=r'/html/question/\d+/\d+.shtml'), callback = 'parse_item',follow = True),

)

def parse_item(self, response):

item = SunItem()

#标题

item['title'] = response.xpath('//div[contains(@class, "pagecenter p3")]//strong/text()').extract()[0]

# 编号

item['id'] = item['title'].split(' ')[-1].split(":")[-1]

# 内容

item['content'] = response.xpath('//div[@class="c1 text14_2"]/text()').extract()[0]

# 链接

item['url'] = response.url

yield item

第六步:编写管道文件：SunPipeline。

import json

class SunPipeline(object):

# __init__方法是可选的，做为类的初始化方法

def __init__(self):

# 创建了一个 sun.json 文件,用来保存数据

self.filename = open("sun.json", "wb")

# process_item方法是必须写的，用来处理item数据

def process_item(self, item, spider):

text = json.dumps(dict(item), ensure_ascii = False) + ",\n"

# 把数据写入到sun.json 文件中，编码为：utf-8

self.filename.write(text.encode("utf-8"))

return item

# close_spider方法是可选的，结束时调用这个方法

def close_spider(self, spider):

self.filename.close()

第七步:修改 settings 文件。

在settings.py文件配置里指定刚才编写的管道文件名：SunPipeline。

设置爬虫请求的默认头信息。

第八步:运行爬虫。

在 dos下切换到目录

D:\scrapy_project\dg_sun\dg_sun 下

通过命令运行爬虫 ：scrapy crawl sun

第九步:查看爬取的结果。

查看新建的sun.json 数据文件。

1.2 Scrapy 爬虫进阶案例二

Scrapy 爬虫案例二：完善东莞阳光热线问政平台案例。

上面我们讲解了Scrapy 爬虫案例：东莞阳光热线问政平台。查看爬取后的数据，发现3个问题。

（问题一）提取的投诉内容前面有空格。

（问题二）个别投诉帖子，提取的内容不全，例如下面帖子有2段话，只是提取了第一段话：

{"id": "195592 ", "title": " 提问：南城宏远外国语学校门口交通秩序混乱 编号:195592 ", "content": " 开学季到来，金丰路宏远外国语学校路段每天早上又恢复塞车，此路段有宏外及阳光二小两所学校，每天早上学生家长送孩子上学车辆十分密集，加上周边小区居民上班高峰，极易造成塞车，更要命的是宏外路口卖花，卖水果三轮车偏偏停在路口，宏外学生家长路边随意停车，没有做到即停即走，其实家长只要停车把孩子交给学校义工或保安就可以开车离开了，而很多家长都是停车然后送孩子进学校再出来开车，而这时候后面车龙已经排的很长了，有些司机加塞抢道更是加重了道路的拥堵。", "url": "
http://wz.sun0769.com/html/question/201809/384482.shtml"},

分析页面的结构：

1、内容如果有几段话，每一段话有个<br>

2、每段话前有一串字符： &nbsp（文本里的空字符）;

通过 XPath helper 去定位内容，查看结果是 OK 的。

item['content'] = response.xpath('//div[@class="c1 text14_2"]/text()').extract()返回的是文本列表，在我们在代码里取得是 extract()[0]，所以取得内容是第一段话。

修改爬虫文件代码，只取 content 内容，看爬取得到的结果是什么。

运行的结果:

其中一条数据：{"content": [" 1.城轨D出口长期封闭导致红珊瑚附近居民跨越马路，造成相关大的安全隐患！", " 2.广铁的工作人员说领导说不准开，成本太高。但是附近那么多居民横跨马路如果一旦造成人员伤亡是否广铁公司或者松山湖管委会负责人？", " 3.若觉得成本太高，可以开放楼梯让乘客走下去和上来，", " 这么多投诉之后管委会，请问下这就是为人民服务的政府吗？", " 今天下班看到一大群人在路中间跑来跑去，出人命的时候想问下管委会是怎么给人民交代！", " "]},

问题一和问题二处理的方案：

#获取每个投诉的 content 内容列表

content = response.xpath('//div[@class="c1 text14_2"]/text()').extract()

#把列表转化成字符串，并去掉前面的空格

item['content'] = "".join(content).strip()

重新运行看结果：

（问题三）很多投诉内容为空。

经过分析页面，发现个别投诉信息上传了图片。

页面元素分析：

如果投诉有图片，内容的路径是如下：

content = response.xpath('//div[@class="contentext"]/text()').extract()

问题三的处理方案：修改爬虫代码

# 内容，先使用有图片情况下的匹配规则，如果有内容，返回所有内容的列表集合

content = response.xpath('//div[@class="contentext"]/text()').extract()

# 如果没有内容，则返回空列表，则使用无图片情况下的匹配规则

if len(content) == 0:

content = response.xpath('//div[@class="c1 text14_2"]/text()').extract()

item['content'] = "".join(content).strip()

else:

item['content'] = "".join(content).strip()

分析完问题，有了处理方案之后，重新完整的实现爬虫案例。

案例步骤：

第一步：创建项目。

在 dos下切换到目录

D:\scrapy_project

新建一个新的爬虫项目：scrapy startproject dg_sun2

第二步：明确需要爬取的内容字段，分析网站的结构（ URL、需要爬取的字段的结构）。

【分析分页URL地址】

从图片中看到投诉信息列表有3192页。

第一页的链接地址：

http://wz.sun0769.com/index.php/question/questionType?type=4&page=0

第二页的链接地址：

http://wz.sun0769.com/index.php/question/questionType?type=4&page=30

最后一页的链接地址:

http://wz.sun0769.com/index.php/question/questionType?type=4&page=95730

通过分析我们得知，每一页的的链接地址page的值递增30，就是下一页的地址。

【分析每一条投诉信息】

在列表里点某条投诉信息，进入到某条投诉详情页。

投诉信息的编号、标题、内容如下：

查看这些字段在页面里的位置。

通过对页面的分析，得出需要保存的数据字段在页面上的位置。

#标题

title=response.xpath('//div[contains(@class, "pagecenterp3")]//strong/text()').extract()[0]

# 编号是标题里的一部分，通过字符串切片，得到编号的内容。

id =title.split(' ')[-1].split(":")[-1]

# 内容，先使用有图片情况下的匹配规则，如果有内容，返回所有内容的列表集合

content = response.xpath('//div[@class="contentext"]/text()').extract()

# 如果没有内容，则返回空列表，则使用无图片情况下的匹配规则

if len(content) == 0:

content = response.xpath('//div[@class="c1 text14_2"]/text()').extract()

item['content'] = "".join(content).strip()

else:

item['content'] = "".join(content).strip()

#链接就是请求返回的URL

url=response.url

第三步：编写 items.py 文件，设置好需要保存的数据字段。

import scrapy

class SunItem(scrapy.Item):

# define the fields for your item here like:

# 标题

title = scrapy.Field()

# 编号

id = scrapy.Field()

# 内容

content = scrapy.Field()

# 链接

url = scrapy.Field()

第四步:创建爬虫。

在 dos下切换到目录

D:\scrapy_project\dg_sun\dg_sun\spiders

用命令 scrapy genspider -t crawl sun " wz.sun0769.com " 创建爬虫。

第五步:编写爬虫文件。

import scrapy,sys,os

# 导入CrawlSpider类和Rule

from scrapy.spiders import CrawlSpider, Rule

# 导入链接规则匹配类，用来提取符合规则的连接

from scrapy.linkextractors import LinkExtractor

path = os.path.dirname(os.path.dirname(os.path.dirname(os.path.abspath(__file__))))

sys.path.append(path)

from dg_sun.items import SunItem

class SunSpider(CrawlSpider):

name = 'sun'

allowed_domains = ['wz.sun0769.com']

start_urls = ['http://wz.sun0769.com/index.php/question/questionType?type=4&page=0']

# 投诉分页链接的提取规则，返回的符合匹配规则的链接匹配对象的列表(这里提取的是分页的链接)

pagelink = LinkExtractor(allow=r'type=4&page=\d+')

# 投诉详情页内容链接的提取规则，返回的符合匹配规则的链接匹配对象的列表

Details = LinkExtractor(allow=r'/html/question/\d+/\d+.shtml')

# 多条 Rule

rules = (

# 提取匹配,并跟进链接(没有 callback 意味着 follow 默认为 True )

Rule(pagelink),

Rule(Details, callback='parse_item', follow=True),

)

# 指定的回调函数

def parse_item(self, response):

item = SunItem()

# 标题

item['title'] = response.xpath('//div[contains(@class, "pagecenter p3")]//strong/text()').extract()[0]

# 编号

item['id'] = item['title'].split(' ')[-1].split(":")[-1]

# 内容，先使用有图片情况下的匹配规则，如果有内容，返回所有内容的列表集合

content = response.xpath('//div[@class="contentext"]/text()').extract()

# 如果没有内容，则返回空列表，则使用无图片情况下的匹配规则

if len(content) == 0:

content = response.xpath('//div[@class="c1 text14_2"]/text()').extract()

item['content'] = "".join(content).strip()

else:

item['content'] = "".join(content).strip()

# 链接

item['url'] = response.url

yield item

第六步:编写管道文件：SunPipeline。

import json

class SunPipeline(object):

# __init__方法是可选的，做为类的初始化方法

def __init__(self):

# 创建了一个 sun.json 文件,用来保存数据

self.filename = open("sun.json", "wb")

# process_item方法是必须写的，用来处理item数据

def process_item(self, item, spider):

text = json.dumps(dict(item), ensure_ascii = False) + ",\n"

# 把数据写入到sun.json 文件中，编码为：utf-8

self.filename.write(text.encode("utf-8"))

return item

# close_spider方法是可选的，结束时调用这个方法

def close_spider(self, spider):

self.filename.close()

第七步:修改 settings 文件。

在settings.py文件配置里指定刚才编写的管道文件名：SunPipeline。

设置爬虫请求的默认头信息。

第八步:运行爬虫。

在 dos下切换到目录

D:\scrapy_project\dg_sun2\dg_sun 下

通过命令运行爬虫 ：scrapy crawl sun

第九步:查看爬取的结果。

查看新建的sun.json 数据文件。

1.3 Scrapy 爬虫进阶案例三

Scrapy 爬虫案例三：用 Spider 类改写“东莞阳光热线问政平台”案例。

案例步骤：

第一步：创建项目。

在 dos下切换到目录

D:\scrapy_project

新建一个新的爬虫项目：scrapy startproject dg_sun3

第二步：明确需要爬取的内容字段，分析网站的结构（ URL、需要爬取的字段的结构）。

【分析分页URL地址】

从图片中看到投诉信息列表有3192页。

第一页的链接地址：

http://wz.sun0769.com/index.php/question/questionType?type=4&page=0

第二页的链接地址：

http://wz.sun0769.com/index.php/question/questionType?type=4&page=30

最后一页的链接地址:

http://wz.sun0769.com/index.php/question/questionType?type=4&page=95730

通过分析我们得知，每一页的的链接地址page的值递增30，就是下一页的地址。

【每一页帖子的链接集合】

# 每一页帖子的链接集合

links = response.xpath('//div[@class="greyframe"]/table/a[@class="news14"]/@href').extract()

【分析每一条投诉字段信息】

在列表里点某条投诉信息，进入到某条投诉详情页。

投诉信息的编号、标题、内容如下：

查看这些字段在页面里的位置。

通过对页面的分析，得出需要保存的数据字段在页面上的位置。

# 标题

title=response.xpath('//div[contains(@class, "pagecenterp3")]//strong/text()').extract()[0]

# 编号是标题里的一部分，通过字符串切片，得到编号的内容。

id =title.split(' ')[-1].split(":")[-1]

# 内容，先使用有图片情况下的匹配规则，如果有内容，返回所有内容的列表集合

content = response.xpath('//div[@class="contentext"]/text()').extract()

# 如果没有内容，则返回空列表，则使用无图片情况下的匹配规则

if len(content) == 0:

content = response.xpath('//div[@class="c1 text14_2"]/text()').extract()

item['content'] = "".join(content).strip()

else:

item['content'] = "".join(content).strip()

第三步：编写 items.py 文件，设置好需要保存的数据字段。

import scrapy

class SunItem(scrapy.Item):

# define the fields for your item here like:

# 标题

title = scrapy.Field()

# 编号

id = scrapy.Field()

# 内容

content = scrapy.Field()

# 链接

url = scrapy.Field()

第四步:创建爬虫。

在 dos下切换到目录

D:\scrapy_project\dg_sun3\dg_sun\spiders

用命令 scrapy genspider sun " wz.sun0769.com " 创建爬虫。

第五步:编写爬虫文件。

import scrapy,sys,os

path = os.path.dirname(os.path.dirname(os.path.dirname(os.path.abspath(__file__))))

sys.path.append(path)

from dg_sun.items import SunItem

class SunSpider(scrapy.Spider):

name = 'sun'

allowed_domains = ['wz.sun0769.com']

url = 'http://wz.sun0769.com/index.php/question/questionType?type=4&page='

offset = 0

start_urls = [url + str(offset)]

# 第一个方法 ：parse(self, response)，处理（提取）每一页链接。

def parse(self, response):

# 每一页帖子的链接集合

links = response.xpath('//div[@class="greyframe"]/table//td/a[@class="news14"]/@href').extract()

# 迭代取出集合里的链接。

for link in links:

# 提取列表里的每个链接，发送请求，放到请求队列里，并调用回调函数 parse_item(self, response)来处理。

yield scrapy.Request(link,callback=self.parse_item)

#offset 不断自增，直到最后一页，在停止自增前，不断发送新的页面请求，并调用自己（parse()方法）来处理。

if self.offset <= 95730:

self.offset += 30

# 发送请求，放到请求队列里，调用 self.parse()方法。

yield scrapy.Request(self.url+str(self.offset), callback=self.parse)

# 第二个方法 ：parse_item(self, response)，处理每一页的每一个帖子。

def parse_item(self, response):

item = SunItem()

# 标题

item['title'] = response.xpath('//div[contains(@class, "pagecenter p3")]//strong/text()').extract()[0]

# 编号

item['id'] = item['title'].split(' ')[-1].split(":")[-1]

# 内容，先使用有图片情况下的匹配规则，如果有内容，返回所有内容的列表集合

content = response.xpath('//div[@class="contentext"]/text()').extract()

# 如果没有内容，则返回空列表，则使用无图片情况下的匹配规则

if len(content) == 0:

content = response.xpath('//div[@class="c1 text14_2"]/text()').extract()

item['content'] = "".join(content).strip()

else:

item['content'] = "".join(content).strip()

# 链接

item['url'] = response.url

# item 交给管道

yield item

第六步:编写管道文件：SunPipeline。

import json

class SunPipeline(object):

# __init__方法是可选的，做为类的初始化方法

def __init__(self):

# 创建了一个 sun3.json 文件,用来保存数据

self.filename = open("sun3.json", "wb")

# process_item方法是必须写的，用来处理item数据

def process_item(self, item, spider):

text = json.dumps(dict(item), ensure_ascii = False) + ",\n"

# 把数据写入到sun3.json 文件中，编码为：utf-8

self.filename.write(text.encode("utf-8"))

return item

# close_spider方法是可选的，结束时调用这个方法

def close_spider(self, spider):

self.filename.close()

第七步:修改 settings 文件。

在settings.py文件配置里指定刚才编写的管道文件名：SunPipeline。

设置爬虫请求的默认头信息。

第八步:运行爬虫。

在 dos下切换到目录

D:\scrapy_project\dg_sun3\dg_sun 下

通过命令运行爬虫 ：scrapy crawl sun

首先提取列表里的每个链接，发送请求，放到请求队列里,然后再爬取每个投诉的相关信息。

第九步:查看爬取的结果。

查看新建的 sun3.json 数据文件。