零基础制作一个Python 爬虫

637 查看

一、前言

1、相关介绍：

采用Python 来进行爬虫的主要原因是： Python语言简洁，使用方便，拥有许多方便进行爬虫的库，如Urllib。
Python除了爬虫获取数据外，还可以图像处理，数据处理，导出Execl表格等。更多可以看：Python可以用来干嘛？

2、安装Python

苹果系统上一般默认都装有Python编译器，为Python2.x版本。本文出现的代码都是以Python2.7版本为准。
如果需要Python3.x或者在windows上运行，就需要自己去安装Python,具体见：安装Python

二、爬虫

本文中以实现一个爬取网页中的图片的爬虫为例子。

预备知识

Python基础知识
Python中urllib库的用法
Python正则表达式
Python中re库的用法

1、Python基础知识

1、Python脚本文件后缀名为.py
2、#为注释符号
3、Python中没有花括号{}，用:代替

#eg:
for url in urls :
      print url

4、函数的调用写法与JS相似

#eg
func(参数)

5、运行Python

在终端输入：

python **.py

如果是Python3.x版本输入：

python3 **.py

2、Python中urllib库的用法

urlopen 和read

urlopen：通过一个URL打开一个网页。
read：读取这个网页。

#eg
import urllib

url = 'http://www.thejoyrun.com'
page = urllib.urlopen(url)
html = page.read()
print html

获取网页的源码:

源码截图.png

本文爬虫的核心为：通过正则表达式在源码中获取图片链接。

urlretrieve

urlretrieve：根据一个URL,下载相关文件

#eg
import urllib

urllib.urlretrieve('http://img.mm522.net/flashAll/20120502/1335945502hrbQTb.jpg','%s %s.jpg' % (datetime.datetime.now(),x)) #(URL,文件保存名字)

3、Python正则表达式

用\d匹配数字
用.匹配任意字符
用\s匹配一个空格
用*表示任意个数字符
用+表示至少一个字符
具体可以看：Python正则表达式

4、Python中re库的用法

split

用正则表达式进行字符串切分，获得一个list(可变数组)

#import re
testStr = 'http://www.thejoyrun.com'
print re.split(r'\.',testStr)

match

用正则表达式进行匹配，如果匹配成功，返回一个Match
对象，否则返回None

#import re

testStr = 'http://www.thejoyrun.com'
if re.match(r'http.*com', test): 
    print 'ok'
else:
    print 'failed'

完整代码

#coding=utf-8
import urllib
import re
import datetime

def getHtml(url):
    page = urllib.urlopen(url)
    html = page.read()
    return html

def getImg(html):

#    splitReg = r'[\s\"\,\，\']+'
    splitReg = r'[\s\"]+'  #不区分,
    tempList = re.split(splitReg,html) #分割后获得一个list （数组）

    imgUrls = [] #一个空list

    x = 0
    for str in tempList :
        matchReg = r'http:.*.jpg'
        if re.match(matchReg,str) :
            print '%s--' %x +str
            imgUrls.append(str)
            x = x + 1
            urllib.urlretrieve(str,'%s %s.jpg' % (datetime.datetime.now(),x))
        matchReg1 = r'http:.*.png'
        if re.match(matchReg1,str) :
            print '%s--' %x +str
            imgUrls.append(str)
            x = x + 1
            urllib.urlretrieve(str,'%s %s.jpg' % (datetime.datetime.now().date(),x))
    return imgUrls

html = getHtml("网址")
print(html)
getImg(html)

我们用一下网址测试：
http://cn.bing.com/images/search?q=%E6%85%B5%E6%87%92%E5%B0%91%E5%A5%B3%E5%86%99%E7%9C%9F&FORM=ISTRTH&id=A87C17F9A484F4078C72BEB0FE1EC509BA1F59C8&cat=%E7%BE%8E%E5%A5%B3&lpversion=

下面是这个网址打开的网页的截图：

网页截图.png

下面是下载到本地的图片截图：

下载到本地的图片截图.png

爬虫框架Scrapy ：

我们可以通过urllib库结合正则制作一些入门级别的爬虫，如果需要更强大、更多功能的爬虫则需要借助爬虫框架

Scrapy Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据，可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

有兴趣的同学可以到Scrapy看看

NOTE:自己实践的时候可以尝试改一下代码，例如把.jpg改成.avi。