1.准备工作

• 书写爬虫之前的步骤：
  1.从哪爬 where
  2.爬什么 what
  3.怎么爬 how
  4.爬了之后信息如何保存 save
  我称之为WWHS，这就是最基本的步骤了。

1.1 从哪爬where和爬什么what

• 其实where和what是交融的一体，当你找到what的时候，自然就找到了where。当你确定了where时，what自然而然就知道了。
  这次我们爬取诗词名句网 "http://www.shicimingju.com/" 的名著，如爬取“三国演义”、“隋唐演义”等。

• 爬取内容如下：

  1. 主页面 ：[小说名字,每章的名字,每章的链接]
  2. 若干次页面：[每章的内容]

1.2 怎么爬How

1.在主页面利用正则爬取小说名字存入book_name，然后再爬取每章的名字存入chapter，爬取每章的链接存入bookurl。
2.使用for循环一一使用bookurl[?]来爬取子页面代码。
3.利用正则将子页面代码中的每章的内容爬出来。

A picture is worth a thousand words

1.3 爬了之后信息如何保存

1.小说类型适合使用文件保存，不适合数据库存储。
2.将book_name作为文件名创建，利用for循环读取每章的名字chapter[?]和每章的内容chapterText存入文件，形成一个完整的小说文件。

A picture is worth a thousand words

2.编写代码

• 读取网页代码

  import urllib.request
  import re
  indexUrl="http://www.shicimingju.com/book/sanguoyanyi.html"
  html =urllib.request.urlopen(indexUrl).read()
  html=html.decode('utf8')

• 爬取书名book_name,爬取每章的名字chapter,爬取书的链接bookurl
  （具体问题具体分析，我这里在爬取每章的链接的时候发现竟然是相对路径，无法直接使用，于是只能针对书的链接进行字符串修改，从而来跳转到每章的页面。）

  book_name=re.findall('<h1>(.*)</h1>',html,re.S)
  chapter=re.findall('href="/book/.{0,30}\d\.html">(.*?)</a>',html,re.S)
  bookurl=re.findall('href="(/book/.{0,30}\d\.html)">',html,re.S)
  chapterUrlBegin=re.sub('.html','',indexUrl)#将书的链接替换成每章的链接开头

• 爬取每章的内容chapterText，并且输出成文件。
  其中要注意看具体的输出，替换其中的一些字符和标签。

  for i in range(0,len(bookurl)):
    #提取每章的number
    number=re.findall('/(.{1,4})\.html',bookurl[i])
    #合并字符串形成每章的链接
    chapterUrl=re.sub('$',"/"+number[0]+".html",chapterUrlBegin)
    #打开链接网页
    chapterHtml=urllib.request.urlopen(chapterUrl).read()
    chapterHtml=chapterHtml.decode('utf-8','ignore')
    #找到每章内容
    chapterText=re.findall('<div id="con2".*?>(.*?)</div>',chapterHtml,re.S)
    #替换其中的标签<p></p>和&nbsp
    chapterText=re.sub('<p>','',''.join(chapterText))
    chapterText = re.sub('</p>', '', ''.join(chapterText))
    chapterText = re.sub('', ' ', ''.join(chapterText))
    #输出文件
    f=open('D://book/'+"".join(book_name)+'.txt','a',encoding='utf-8')
    f.write(chapter[i]+"\n")
    f.write(chapterText+"\n")
    f.close()

3.总结

• 总的过程就一句话：

  书写正则抓取网页信息，存入数据库或文件。