搜索到
450
篇与
的结果
-
-
python爬虫request如何提交request payload形式发送post请求 今天想用python自动获取表单的信息，但是提交请求是request payload的形式和以往的data似乎有点不一样，用以往的方式提交发现错误了。最终解决方式如下：用json的dumps加载dataheaders = { 'content-type': 'application/json; charset=UTF-8', 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.122 Safari/537.36', } html = requests.post(url=url, headers=headers, data=json.dumps(data)).text--------------------------------------------------------------2020/5/19这两天又找到一个类似的也是payload的形式传递。然后发现直接当成字符串传递过去就好了
-
论坛自动签到教程 为了方便且于是自己搭建了一个论坛，bbs.lanol.cn其他论坛也都是一个原理方法很简单大致流程：1，抓取签到的那个包，这一步直接使用浏览器操作即可。2，用python模拟发包，达到签到的效果第一步，抓取签到的包打开目标网站进入签到页面右键，点击检查或者按F12右侧选择Network抓取之前清空一下，方便等下识别哪个包是签到的在签到这里随便选择，填写一下然后点击开始签到就会发现右侧多了一个一个plugin。。。的东西这应该就是那个发送签到的请求了，点开看一下往下翻，可以看到我们刚刚签到时填写的内容。至此，抓包已经完成了第二步，用python帮我签到。一开始直接导入resquestsimport requestsurl就是下图中的request urlrequest method在图中也可以看到是post请求headers 我们就只要把cookie和ua取下来就行了，cookie当作密码，ua用来伪装爬虫data就是最下面的最终的代码是这样的import requests url = 'https://bbs.lanol.cn/plugin.php?id=dsu_paulsign:sign&operation=qiandao&infloat=1&inajax=1' headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36', 'cookie': 'UM_distinctid=1714a0bf24892-0609c53ff921e-5313f6f-144000-1714a0bf24924c; y97u_2132_saltkey=lKA5yQLQ; ' 'y97u_2132_lastvisit=1586420041; ' 'y97u_2132_ulastactivity=1c93SeUmVdFPkdPiyF%2BNzzXzMIGaLIyIpVgy8vrn3MYENm%2FYy6uH; ' 'y97u_2132_nofavfid=1; y97u_2132_sid=fMB8NH; y97u_2132_onlineusernum=1; y97u_2132_sendmail=1; ' 'y97u_2132_seccode=21.68cbf3245b60f72363; ' 'y97u_2132_auth=9f7aUZbzGYauXDKXfFuNw4qQQanEpDQJD6gDDeaH884krZJs3z%2FYvkC%2FinizPg4pFjXAgFsr6NrLuT7' '%2FKqI2; y97u_2132_lastcheckfeed=6%7C1586424079; y97u_2132_checkfollow=1; y97u_2132_checkpm=1; ' 'y97u_2132_lastact=1586424083%09plugin.php%09', } data = { 'formhash': 'f0f241b5', 'qdxq': 'nu', 'qdmode': '2', 'todaysay': '', 'fastreply': '0', } html = requests.post(url=url, headers=headers, data=data).text print(html)测试结果：能看到这里说明你已经很不错了，这是隐藏的第三步，每天自动签到腾讯云函数可以帮你每天定时运行python代码，而且还有一定的免费额度，平时签到啥的够用了腾讯云函数地址：https://console.cloud.tencent.com/scf/index?rid=1教程开始：然后把代码全部粘贴到这里就行了点击完成新建触发方式这里就可以根据自己需求填写了有时候虽然会提示调用失败，但是其实已经签到成功了
-
-
-
JS解密之有道词典 进入网站，F12，随便输入要翻译的内容，不难发现那里有一个translate的东西。点开查看，发现是一个POST请求，提交了一下内容i：翻译内容from：来源语言to：翻译到哪种语言smartresult：不知道cliend：翻译桌面网页，嗯字面是这个意思salt：看着像一个时间戳sign：不知道是什么东西加密的ts：又一个时间戳bv：不知道什么加密+1doctype：大概是返回什么格式吧version：版本keyfrom：网页翻译action：点击按钮这个动作吧全局搜索sign，发现一个js文件点击进入，格式化，在搜索一次sign有15个，慢慢查找最后发现这里返回了几个值，可以看到就是之前post的内容在这里下一个断点，然后再点击一次翻译按钮e：这里的e就是之前输入的翻译内容t：n.md5他加密了什么东西等下再看r：取时间戳i：时间戳+整数随机数*10ts：就是rbv：就是tsalt：就是isign：e和i和那两串字符的MD5加密因为不知道t那里加密了什么，所以把鼠标放过去看一下。是不是有点眼熟，这个似乎就是请求头里面的ua所以t就是把ua进行MD5加密综上所述，最终的python代码如下：import hashlib import time import random import requests e = 'vast' tm = time.time()*1000 ts = int(tm) i = str(int(tm))+str(int(random.random()*10)) ua = "5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36" bv = hashlib.md5(ua.encode(encoding='UTF-8')).hexdigest() sign = hashlib.md5(("fanyideskweb" + e + str(i) +"Nw(nmmbP%A-r6U3EUn]Aj").encode('utf-8')).hexdigest() url = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36', 'Referer': 'http://fanyi.youdao.com/', 'Cookie': 'OUTFOX_SEARCH_USER_ID_NCOO=642873656.3243192; OUTFOX_SEARCH_USER_ID="-1816126791@10.108.160.19"; _ga=GA1.2.434622419.1578909502; _ntes_nnid=f4c96d313794593a0bb9a311af471452,1583376095745; P_INFO=1585242495|1|youdaonote|00&99|null&null&null#hun&430100#10#0|&0||13099990000; JSESSIONID=aaaaKnXq0ihOQ7pkiBFgx; ___rl__test__cookies=1587517629157', } data = { 'i': e, 'from': 'AUTO', 'to': 'AUTO', 'smartresult': 'dict', 'client': 'fanyideskweb', 'salt': i, 'sign': sign, 'ts': ts, 'bv': bv, 'doctype': 'json', 'version': '2.1', 'keyfrom': 'fanyi.web', 'action': 'FY_BY_REALTlME', } html = requests.post(url=url, headers=headers, data=data).text print(html)
-
用python获取易班文章评论信息 import requests url = 'https://www.yiban.cn/forum/reply/listAjax' headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36', } data = { 'channel_id': '289081', 'puid': '13088902', 'article_id': '121116137', 'page': '1', 'size': '200', 'order': '1', } html = requests.post(headers=headers, data=data, url=url).json() data = html['data']['list'] content = [] floor = [] createTime = [] name = [] nameid = [] nick = [] counts = len(data) for i in range(counts - 1): commen = data[str(i)] con = commen['content'] content.append(str(con).replace(' ', '')) floor.append(commen['floor']) createTime.append(commen['createTime']) name.append(commen['user']['name']) nameid.append(commen['user']['id']) nick.append(commen['user']['nick']) with open('result.csv', 'a+',encoding='utf-') as f: f.write('姓名}用户id}昵称}楼层}评论时间}评论内容') for i in range(len(name)): f.write( name[i] + "}" + nameid[i] + "}" + nick[i] + "}" + floor[i] + "}" + createTime[i] + "}" + content[i] + " ")
