1. 事前准备:

阅读scrapy官方文档至少一次
了解scrapy的基本命令及弄懂scrapy文档中例子的项目结构等基本信息
下文将假设大家已经有了以上准备，对一些细节不会详细阐述，如有不懂可以先翻翻文档或留言询问
下载本例子源码(文章末尾)

2. 豆瓣页面分析

我们准备'下手'的是豆瓣推理小说的数据，截图如下

小说数据

目前(2015-4-16)豆瓣共有629页的推理小说，每页有15本书，一共9000多本书
我们来用chrome审查元素功能看看

审查元素

scrapy爬取的是html网页源代码，审查元素看的是经过js处理后的页面，有些html页是由js输出的，有些会与html网页源代码不一样，这里豆瓣的书籍信息不是经过js输出的，所以可以放心这样干

稍加分析，并可以知道这些书都放在一个class='mod book-list'的div内，在这个div内分别用dl, dt这样的标签装载书籍的信息，在写爬虫的时候我们可以直接用xpath,或css取出这些信息的标签.

3.开始写爬虫

首先执行两个命令
scrapy startproject db_spider
在创建的目录下,即xxx/db_pisder/下执行
scrapy genspider -t crawl douban douban.com
现在的项目目录结构如下图所示

项目目录

关于scrapy的这几个文件是什么意思我就不详细介绍了，相信看过文档的人应该也有所了解。
接下来我们在items.py里定义我们的数据对象

items项

要抓取的东西如图所示，按照从上到下，从左到右分别在items.py里定义为如下字段

items.png

接下来，我们要在spiders/douban.py写关于爬虫的东西

DoubanSpider

这些配置的意思是，从http://www.douban.com/tag/推理/book?start=0 这个页面开始，遇到域名为douban.com且符合'start=\d+$'的链接则调用parse_item解析页面并跟进这个链接查找是否有符合规则的链接。
接下来我们要写parse_item函数,在分析页面的时候，我们已经确定要爬取哪些信息。现在在parse_item里写的就是从页面里获取这些信息，并存在items中。
我们可以先在db_spider目录下执行scrapy shell http://www.douban.com/tag/推理/book?start=0
会得到一个用于调试的命令行，如下所示:

scrapy shell url

我们可以用view(response)在浏览器中打开这个链接，这个链接看到的页面就是爬虫看到的页面了，之前说过了，用js输出的页面跟爬虫看到的页面有时会不一样，在爬取时可能看不到我们要的信息，在爬复杂的网站时要注意。
然后我们可以在这个命令行内，对response进行xpath,css操作得到标签，比如说我们要得到小说数据图中的白夜叉这个书名,我们可以根据chrome的审查元素右键的copy xpath或copy css path功能得到标签的路径

copy xpath.png

我们得到的路径可能是这样的:

XPath

构造了一个之后，其它就简单了，这里直接给出所有项的代码，如果觉得xpath和css有困难的话，建议再看一下scrapy文档里的例子及xpath和css的文档。

def parse_item(self, response):
    items = []
    book_list = response.css('div.mod.book-list dl')
    for book in book_list:
        item = DbSpiderItem()
        try:
            item['book_name'] = book.xpath('dd/a/text()').extract()[0]
            item['book_star'] = book.xpath('dd/div[1]/span[1]/@class').extract()[0][7:]
            item['book_rating'] = book.xpath('dd/div[1]/span[2]/text()').extract()[0]
            item['book_eval'] = book.xpath('dd/div[1]/span[3]/text()').extract()[0]
            desc = book.xpath('dd/div[2]/text()').extract()[0].strip().split('/')
            item['book_price'] = desc.pop()
            item['book_publish_date'] = desc.pop()
            item['book_publish'] = desc.pop()
            item['book_author'] = '/'.join(desc)
        except:
            pass
        items.append(item)
    return items

这里注意一下代码里的try,except块, 这是为了豆瓣的书数据的特殊处理，因为豆瓣书的数据格式并不是全部都一致，有那么几本没有出版社或者没有出版日期，甚至没有评分。如下图，我们忽略这些个例就行了。

个例

到此,我们的爬虫就写完了，我们还需要设置一下settings里的DOWNLOAD_DELAY＝2,这很重要，因为如果无间隔的去爬，很快会被豆瓣ban掉的。
一切准备完毕，我们可以试一下scrapy crawl douban -o book_data.json来爬取数据并转化成json格式。
爬虫孜孜不倦地开始爬数据了, 但我们要爬取的只有629页， 630页之后的书都没有了，爬虫却停不下来。怎么办？除了用ctrl+c(两次)强制停止外，我们可以在Rule里面把正则式改成这样

rule

最多匹配到999页了，如果还是觉得不爽，可以查查scrapy的CloseSpider异常，抛出该异常可以暂停/停止爬虫。

最终我们爬取的部分数据如下，

book_data.json

把json改成{'Record': [{book_data1,book_data2}]}的形式，可以用导入工具(Navicat Premium)导入数据库中，当然，你也可以自己写个插入语句放入数据库。

4.总结

本篇文章到此结束，其实也就相当于scrapy官方文档的例子的扩展，只是比那个例子更结合实际一点，没有讲什么特别的东西，我们可以发现，用scrapy定制这个简易爬虫，其实不过100行的代码，还是十分的简单易用的。

例子源码请戳:git源码