- 博客(9)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 python 获取巨量星图数据
巨量新图数据目前只获取了前端显示的数据，up主的详细信息有个前端加密，发起的请求需要sign对应才能拿到数据，而且星图的数据拿取到200条的时候就会监测出来，目前没有解决，有人找到星图的sign可以探讨一下1.首先想最简单的就是使用selenium模拟然后解析获取数据，但是网站直接监测到seleniun，百度过一些方法，如何跳过selenium监测，目前都没有实现，代码如下所示from selenium.webdriver import Chromefrom selenium.webdriver im
2021-08-26 16:55:25
3714
9
原创 python获取飞瓜粉丝截图
随着短视频的兴起，公司需要找很多up主谈合作，有些是自己公司签约的up主。签约的up主我们需要每个月统计他的粉丝增长量去报账，以前都是获取粉丝量即可，后面公司规定需要图片来佐证。于是从飞瓜获取截图(飞瓜查询免费用户只能查询10次，如果是免费账户，多注册几个即可)。我使用的是selenium来获取的截图流程就是 用户登录->账号查询->点击详情->定位截图->截图保存1，用户登录，刚开始使用的xpath，一直定位不到登录，后来发现直接使用...
2021-08-08 15:54:55
699
原创 批量检测链接是否有效
因为公司会在很多平台发布传播消息，最后需要将各个网站传播的网址收集起来，去找其它公司报账。每个月大概会有1000多条的网址需呀检测是否有效，于是写了个测试链接是否有效。首先考虑的是用状态码，访问成功返回200，地址错误回返回404等其它错误码 response = requests.get(url, headers=headers) if str(response.status_code) == "200":结果发现，现在很多网站即使是4
2021-08-06 10:12:40
5746
原创 django增加一个检测链接是否有效的功能
最近公司做财务结算的时候需要同事提供附件或者链接证明，因为数据量比较大，同时存在链接可能失效的情况，所以需要在公司网站上加入一个检测链接是否有效的功能目前所有链接都是统计到excel中的，所有通过上传excel文件，遍历excel中的链接，然后检查链接状态，在链接后面一行写入链接的状态view中的函数def check_url(request):if request.method == “GET”:return render(request, ‘jiesuan/check_url.html’)e
2021-07-21 18:00:25
258
原创 Django 实现模版文件下载
其中file_iterator是百度有人写了一个生成器，用于应对大文件下载的情况，因为是模版下载，所以我这里写死了地址，STATIC_ROOT 是在setting.py中设置好的，所以模版目录在STATIC_URL = '/static/'STATIC_ROOT = os.path.join(BASE_DIR, 'myAPP/static') def file_iterator(file_path, chunk_size=512): """ 文件生成器,防止文.
2021-07-19 17:05:14
370
原创 django上传excel解析并保存到数据库中
因为每个人的数据库结构设计的不一样，所以只放一部分代码数据库使用的是mysql包的版本如图所示解析excel使用的是xlrd,在app下面新建一个read_excel.py文件def price_parse_excel(excel_name):cases = []workbook = xlrd.open_workbook(excel_name)sheets_list = workbook.sheet_names()for i in range(len(sheets_list)):tale
2021-07-19 16:56:08
1373
1
原创 2021-06-22golang 链接数据库报用户验证失败
golang链接数据库报错错误日志this authentication plugin is not supportedpanic: runtime error: invalid memory address or nil pointer dereference[signal 0xc0000005 code=0x0 addr=0x0 pc=0xac22f7]原因 mysql8.0以上的版本会因为验证方式不一样导致验证失败1cmd下链接数据库mysql -hlocalhost -uroot -p
2021-06-22 23:08:31
326
转载 使用PIL报错tesseract is not installed or it's not in your path解决
1.https://digi.bib.uni-mannheim.de/tesseract/下载一个tesseract2.安装tesseract一直点击下一步就好了3.点击软件报错的file 找到tesseract_cmd = ‘tesseract’，修改成tesseract_cmd = r’C:\Program Files\Tesseract-OCR\tesseract.exe’，启动软件即...
2019-07-05 17:19:38
1173
原创 使用pip install Scrapy安装报错
使用pip install Scrapy安装报错 换成一步一步安装检测那个包错误 1.pip install wheel没有报错 2.pip install pyOpenSS没有报错 3.pip install twisted 出现错误，截图忘记放了 解决办法，去https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下载对应的twisted。 我的python版本是3.6 下载的是Twisted-19.2.0-cp36-cp36m-win_amd64.wh
2019-05-13 10:45:57
359
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人