代码缘起

在日常的网页挖掘中，有些站点的数据需要经常性的进行爬取，但是有时候会出现部分web站点因为种种原因而下线，这时爬取将严重影响数据爬取效率，通过编写一个web站点状态的验证，在网站爬取前，首先明确站点状态，并记录状态，从而对于每个站点的出错概率和当前状态有所了解，避免盲目爬取

代码思路

1. 用一个文本文件记录需要验证的站点，其中数据格式如下
   站点名称|站点地址|错误次数
   一共三个字段，每个字段用"|"进行分割，其中错误次数是指该站点累计出错的次数（目前主要通过http状态的非200确定。
2. 通过队列开多线程，加速验证过程。

   • 所有输入数据读入一个queue中，所有输出数据到一个queue中。
   • 建立线程函数，在线程函数中通过queue.get(False)获得相关数据，设置False表示不等待，这样才不会出错。
   • 在主程序中启动线程
   • 在主程序中监控线程运行情况，并回收数据，写入文件

代码自己会说话

#coding=utf-8
#验证站点的活动性，标注死站点
#使用多线程模式
import time
import os
import re
import sys
import requests
import threading
import Queue

def myinit():
    reload(sys)
    sys.setdefaultencoding('utf8')

##检查站点活动函数
def chect_active(url,chaoshi=10):
    code=0
    try:
        r=requests.get(url,timeout=chaoshi)
        code=r.status_code
    except Exception , e:
        code=-1
    if code!=200:
        code=-1
    return code

#检查线程函数
def thread_check_active(jobslink_queue,jieguo_queue):
    while True:
        try:
            dic_webinfo=jobslink_queue.get(False)  #False =Don't wait
        except Queue.Empty:
            return
        if chect_active(dic_webinfo['weburl'])==-1:
            dic_webinfo['count']=int(dic_webinfo['count'])+1
        jieguo_queue.put(dic_webinfo)

myinit()

jobslink=Queue.Queue(0)
jieguo=Queue.Queue(0)

xiaoshuo_zhandian="xiao_shuo_zhan_dian.txt"

inputfile = open(xiaoshuo_zhandian, 'r')
list_of_all_the_lines = inputfile.readlines( )
inputfile.close()
for line in list_of_all_the_lines:
    (t2,xiaoshuourl,count)=line.decode('utf8').rstrip().split("|")
    jobslink.put({'webname':t2,'weburl':xiaoshuourl,'count':count})

THREAD_NUM=5
for x in range(THREAD_NUM):
        t=threading.Thread(target=thread_check_active,args=(jobslink,jieguo))
        t.start()

f=open(xiaoshuo_zhandian,'w')
mycount=0

#结果数据写入文件
while (threading.activeCount()>1) or (not jobslink.empty()):
        while jieguo.qsize()>0 :
            if(jieguo.qsize()>0):
                jieguotxt=jieguo.get()
                f.write("%s|%s|%d\n"%(jieguotxt['webname'],jieguotxt['weburl'],int(jieguotxt['count'])))
        mycount=mycount+1
        if(mycount%100)==0:
            print u"%d:  活动线程：%d,剩余连接数：%d,结果剩余条数：%d"%(mycount,threading.activeCount(),jobslink.qsize(),jieguo.qsize())
        time.sleep(0.01)
f.close()
print u"站点验证完成"