搜索到
142
篇与
的结果
-
最新版的pycharm对于Django框架里面的models相关的提示都消失了 这个问题是好几天前出现的了，今天才有时（xin）间（qing）出来总结一下，一开始我百度说是pycharm没有识别出这事一个Django项目，但是好像不是这样的，即使我设置之后，与models相关的代码提示依旧没有出现。我开始怀疑是环境问题，因为自上次用pycharm写Django之后，安装了一些与数据处理相关的环境，然后我将此删除之后，并重新新建虚拟环境去新建Django项目，发现问题尚未解决，于是我考虑到可能是pycharm的版本问题，中间更新了好几次，但因为比赛原因也没有去写Django，于是我在官网上下载了2020.1版本，这也是我上一次使用的正常的版本，然后问题解决了。于是我去jetbrans官网提交了问题，在12月31日晚十一点的时候得到了回复果然我不是一个人，已经有相同问题的人。https://youtrack.jetbrains.com/issue/PY-45879好吧，好像问题还没得到解决，那就先用旧版本的吧，不得不说，pycharm要是没了这个功能，写代码效率真的降低了好多，12月30日几乎一整天都在想办法解决这个问题 -
-
Week5 情话网小爬虫 太久没写爬虫了，手生到连xpath怎么提取出来都忘记了，requests取回的数据编码都忘记怎么转换了于是乎在百度上随便搜了一个情话网，来进行爬取。目标地址：https://www.qinghuawang.net/一如既往的习惯，打开网站后F12，看是不是ajax请求也是，看着就很老的一个网站怎么会用ajax呢，想多了。于是就用原始的Xpath咯。打开浏览器里面的xpath helper按住shift键，去选择文章标题这样就获取到了一条标题的内容，然后就是稍微修改修改xpath，从原始的/html/body[@class='listBody']/div[@class='bodyMain']/div[@class='bodyMainBody']/div[@class='infoList']/ul[@class='infoListUL mt5']/li[1]/a[@class='articleTitle fl']修改一下//li/a[@class='articleTitle fl']就可以取到所有的标题了。但是这样取出来的数据并不是纯文本，他还包含了一些html标签，于是乎在后面加上一个/text()//li/a[@class='articleTitle fl']/text()这样就可以获取到一页中的标题了用python随便写一下试试。发现取出来之后是乱码，那就肯定是编码问题了，打开F12，查看html中的head，发现是gb2312提笔忘字之，怎么转换编码来着，百度了一下。res = requests.get(url).content res = res.decode("gb2312")以前怎么写的忘记了，但应该不是这么麻烦的。然后是这样的获取了一页的标题后，然后再获取详情页的链接，因为是a标签，所以只需要在xpath后面加一句/@href就可以获取到这个属性了//li/a[@class='articleTitle fl']/@href还得进入里面去获取文章内容咯，于是随便点进去看一下，详情页地址：https://www.qinghuawang.net/a/1808.htmlxpath发现，都是包含在p标签内于是只要把/p后面的[1]去掉就可以获取到所有的段落咯，再加上一个text()就可以获取到文本了。然后放到python里面试一下。然后又报错了，大概意思是gb2312无法解析0xfd于是百度了一下，解决之后。然后就是将这些话保存至txt咯。最后加几个For循环去爬取所有的内容咯最后整理代码如下，没进行清洗了，就开了个多线程：# -*- coding: utf-8 -*- """ ------------------------------------------------- @ Author ：Lan @ Blog ：www.lanol.cn @ Date ： 2020/12/19 @ Description：I'm in charge of my Code ------------------------------------------------- """ import parsel import requests import threading def getContet(urls): for i in urls: url = 'https://www.qinghuawang.net/' + i res = requests.get(url).content res = res.decode("gb2312", errors='ignore') xpath = parsel.Selector(res) content = xpath.xpath("//p/text()").extract() with open('sentence.txt', 'a+', encoding='utf8') as f: for j in content: f.write(j + " ") print(j) def getAll(): for i in range(1, 20): url = f'https://www.qinghuawang.net/qinghua/list_1_{i}.html' res = requests.get(url).content xpath = parsel.Selector(res.decode('gb2312')) urlList = xpath.xpath("//li/a[@class='articleTitle fl']/@href").extract() threading.Thread(target=getContet, args=(urlList,)).start() if __name__ == '__main__': getAll()废了，废了
-
汤圆创作小说检索信息采集 前段时间，因为一些原因，所以需要对这个汤圆创作的小说进行检索，于是写了几行python代码解析了一下搜索出来的结果的信息。# -*- coding: utf-8 -*- """ ------------------------------------------------- @ Author ：Lan @ Blog ：www.lanol.cn @ Date ： 2020/9/30 @ Description：I'm in charge of my Code ------------------------------------------------- """ import requests import parsel for i in range(1, 10094): url = f'https://www.itangyuan.com/search/book/%E4%B8%80%20%E7%94%9F.html?page={i}' res = requests.get(url).text xpathFile = parsel.Selector(res) author = xpathFile.xpath("//p[@class='author']/a/text()").extract() name = xpathFile.xpath("//p[@class='bname']/a/text()").extract() info = xpathFile.xpath("//p[@class='rw_info']/text()").extract() for index, value in enumerate(name): if '一' in value.replace(' ', '') and '生' in value.replace(' ', ''): if int(info[index].split('阅读')[0].replace(' ', '')) < 1000: print(value, author[index], info[index].split('/')[-1]) print(f'已检测至第{i}页')大概就是搜索出所有小说名包含一和生字且阅读量小于1000的。
-
Django设置全局模板变量 最近由于需要，之前做的一个项目需要将图片文件转移至COS对象储存，因为服务器网络不行，图片加载太慢。经过一番猛如虎的操作，目的还是达到了。但是问题来了，图片上传好了，那怎么访问呢，我一开始想的是在数据里加一个表，就是用来存一些默认的字段。但是每次都得去取一次，然后还得返回，感觉实在有点浪费，于是想着有没有全局模板变量，就像我在模板中可以直接调用request.user一样。经过百度，找到了答案。先在一个view中添加你要返回的默认值然后在settings中的Templates->OPTIONS->context_processors进行注册（大概是这样叫吧，个人理解）然后就可以直接在模板中引用这个值了。
-
-
