上篇分析了模拟登陆的流程,以及HTTP请求和回应,下面我们开始编码实现。
安装requests, pip install requests
使用requests请求比使用urllib方便了很多,下面简单封装了一个http请求函数fetch:
'''
默认为GET,如果赋值data后则为POST方式
'''
def fetch(self, url, data=None, **kw):
if data is None:
func = self.session.get
else:
kw['data'] = data
func = self.session.post
return func(url, **kw)
点击‘QQ登录’按钮后会以GET方式请求http://passport.jikexueyuan.com/connect/qq, 请求代码如下:
self.jkqqurl='http://passport.jikexueyuan.com/connect/qq'
response = self.fetch(self.jkqqurl)
self.state = re.findall('&state=(.*?)\&', response.url)[0] #(.*?), 括号为返回匹配值,即=后面的
self.client_id = re.findall('&client_id=(.*?)\&', response.url)[0]
因为下面向腾讯请求认证需要学院返回的这两个参数:STATE, CLIENTID, 这里记录下来。
通过上步请求后,虽然学院发起了向腾讯认证服务器的请求,但是因为没有登录会被重新定向至登录授权页面,
这里我们手动请求一次封装在IFrame中的登录页面:
self.xloginurl='http://xui.ptlogin2.qq.com/cgi-bin/xlogin'
g = self.fetch(self.xloginurl, params = {
'appid': self.appid,
'style': 23,
'login_text': '授权并登录',
'hide_title_bar': 1,
'target': 'self',
's_url': self.loginjumpurl,
'pt_3rd_aid': 101119675,
'pt_feedback_link': self.feedbackurl,
}).text
这步操作理论上会产生一些登录请求的会话信息,还是尽量模拟浏览器操作,后面再作精简。
分析来看,腾讯根据登录请求类型来产生校验码图片或文字型校验码(如果不需要校验码图片),看代码:
self.checkurl2='http://check.ptlogin2.qq.com/check'
g = self.fetch(self.checkurl2, params = {
'regmaster': '',
'pt_tea': 1,
'pt_vcode': 1,
'uin': self.user,
'appid': self.appid,
'js_ver': 10120,
'js_type': 0,
'login_sig': self.session.cookies['pt_login_sig'],
'u1': self.loginjumpurl,
}).text
v = re.findall('\'(.*?)\'', g)
vcode = v[1]
uin = v[2]
这里pt_login_sig是从session中取得,requests从session中获取参数还是很方便的。
返回值格式:
ptui_checkVC(
'0', #参数为是否需要校验码
'!JCD', #系统生成的校验码
'\x00\x00\x00\x00\x3x\x2x\x3x\x3x', #用户ID进行转化后的值
'47e6754aafb6138d4cdcdfdd1602bc8df9d29893cc705484d148adb079105ebba462f8cd7c18025441c5309c1b50378059fb5a0fcd18b206', #ptvfsession,后面登录使用
'0');
登录时判断是否需要校验码,如果需要则下载校验码图片。
开篇说过,腾讯第三方登录认证是不需要校验码的,从上面结果也能看出v[0]一直为0
self.loginurl2='http://ptlogin2.qq.com/login'
if v[0] == '1': # 需要校验码
vcode = self.getVerifyCode(vcode) #获得校验码
g = self.fetch(self.loginurl2, params = {
'u': self.user,
'verifycode': vcode,
'pt_vcode_v1': 0,
'pt_verifysession_v1': self.session.cookies['ptvfsession'],
'p': self.pwdencode(vcode, uin, self.pwd),
'pt_randsalt': 0,
'u1': self.loginjumpurl,
'ptredirect': 0,
'h': 1,
't': 1,
'g': 1,
'from_ui': 1,
'ptlang': 2052,
'action': self.action,
'js_ver': 10138,
'js_type': 0,
'login_sig': self.session.cookies['pt_login_sig'],
'pt_uistyle': 33,
'aid': self.appid,
'pt_3rd_aid': 101119675,
}).text
登录处理这块处理的东西较多,分开看:
密码加密
为了防止密码被截取,肯定做足了混淆加密,具体算法可以参考c_login_2.js中的实现,这里参考了qqlib的代码http://www.jianshu.com/p/4217d8f3574b
:
def fromhex(self, s):
# Python 3: bytes.fromhex
return bytes(bytearray.fromhex(s))
#pip install rsa
pubKey=rsa.PublicKey(int(
'F20CE00BAE5361F8FA3AE9CEFA495362'
'FF7DA1BA628F64A347F0A8C012BF0B25'
'4A30CD92ABFFE7A6EE0DC424CB6166F8'
'819EFA5BCCB20EDFB4AD02E412CCF579'
'B1CA711D55B8B0B3AEB60153D5E0693A'
'2A86F3167D7847A0CB8B00004716A909'
'5D9BADC977CBB804DBDCBA6029A97108'
'69A453F27DFDDF83C016D928B3CBF4C7',
16
), 3)
def pwdencode(self, vcode, uin, pwd):
# uin is the bytes of QQ number stored in unsigned long (8 bytes)
salt = uin.replace(r'\x', '')
h1 = hashlib.md5(pwd.encode()).digest()
s2 = hashlib.md5(h1 + self.fromhex(salt)).hexdigest().upper()
rsaH1 = binascii.b2a_hex(rsa.encrypt(h1, self.pubKey)).decode()
rsaH1Len = hex(len(rsaH1) // 2)[2:]
hexVcode = binascii.b2a_hex(vcode.upper().encode()).decode()
vcodeLen = hex(len(hexVcode) // 2)[2:]
l = len(vcodeLen)
if l < 4:
vcodeLen = '0' * (4 - l) + vcodeLen
l = len(rsaH1Len)
if l < 4:
rsaH1Len = '0' * (4 - l) + rsaH1Len
pwd1 = rsaH1Len + rsaH1 + salt + vcodeLen + hexVcode
saltPwd = base64.b64encode(
tea.encrypt(self.fromhex(pwd1), self.fromhex(s2))
).decode().replace('/', '-').replace('+', '*').replace('=', '_')
return saltPwd
#这里只是给出给参考,从WebQQ登录查询校验码过程获得
self.imgurl='http://captcha.qq.com/getimage'
def getVerifyCode(self, vcode):
r = self.fetch(self.imgurl, params = {
'r':0,
'appid':self.appid,
'uin':self.user,
'vc_type':vcode,
})
tmp = tempfile.mkstemp(suffix = '.jpg')
os.write(tmp[0], r.content)
os.close(tmp[0])
os.startfile(tmp[1])
vcode = input('Verify code: ')
os.remove(tmp[1])
return vcode
如果登录成功则返回值如下:ptuiCB('0','0','http://openapi.qzone.qq.com/oauth/login_jump','0','登录成功!', 'XXXX');
代码很简单:
self.loginjumpurl='http://openapi.qzone.qq.com/oauth/login_jump'
g = self.fetch(self.loginjumpurl).text
这一步会返回这样一个页面:
<!DOCTYPE html>
<html lang="zh-cn">
<head>
<meta charset="UTF-8">
<script>
document.domain = 'qq.com';
if(parent.agree){
parent.agree()
}else{
parent.isAgreed = true;
}
</script>
</head>
<body>
</body>
</html>
这一步,对于模拟情况作用不大,对于浏览器的话会执行上报报告,表格提交等操作,后面会模拟。
重点是JS块中的parent.agree详细操作流程,可以从qlogin_v2.js中分析到。
这两个报告没有特别的:
self.appsupporturl='http://appsupport.qq.com/cgi-bin/appstage/mstats_report'
self.reporturl='http://cgi.connect.qq.com/report/report_vm'
g = self.fetch(self.appsupporturl, params = {
'report_type': '4',
'platform': 8,
'app_id': '101119675',
'result': 0,
'act_type': 2,
'uin': self.user,
'login_status': 2,
'via': 1,
't': int(time.time()),
}).text
#正确的话返回{"ret":0,"msg":"成功"}
g = self.fetch(self.reporturl, params = {
'tag': 0,
'log': '101119675_10613_0',
't': int(time.time()),
}).text
#正确的话返回{"ec":0}
self.authurl='https://graph.qq.com/oauth2.0/authorize'
#更新请求头,防止被屏蔽
self.session.headers.update({'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.135 Safari/537.36 Edge/12.10240'})
token = self.gettoken()
data = {
'response_type': 'code',
'client_id': 101119675,
'redirect_uri': 'http://passport.jikexueyuan.com/connect/success?t=qq',
'scope': 'get_user_info',
'state': self.state,
'src': '1',
'update_auth': '1',
'openapi': '80901010',
'g_tk': token,
'auth_time': int(time.time()),
'ui': '556F791F-682E-47B7-BC66-CE179327DB04',#UID,可以随机生成,这里简单使用了抓包结果
}
response = self.fetch(self.authurl, data = data)
gettoken定义如下:
def gettoken(self):
str = self.session.cookies['skey']
hash = 5381
for i in str:
t = (hash << 5) + ord(i)
hash = hash + t
return hash & 0x7fffffff
如果成功的话,则会跳转至学院主页。
如果失败,需要分析是哪一步错了,主要有:密码,STATE, pt_login_sig. ptvfsession。
self.session.headers.update({'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.135 Safari/537.36 Edge/12.10240'})
g = self.fetch('http://www.jikexueyuan.com/course/2185_1.html?ss=1').text
print g
查看打印信息,看是否已经登录即可。
编码流程基本是针对登录过程抓包的实现,比较原始,并且刚开始写python程序,后面再整理出一个干净的版本。
到现在为止所做的足够对学院进行爬虫分析了,后续更新。
需要注明的是,代码主要参考了qqlib, 作者@JetLu http://www.jianshu.com/users/4d556dbb651e/latest_articles
2024 - 快车库 - 我的知识库 重庆启连科技有限公司 渝ICP备16002641号-10
企客连连 表单助手 企服开发 榜单123