- 博客(20)
- 收藏
- 关注
RSS订阅原创 pandas 从excel读出来存储到mysql中空数据为nan的问题
1.数据库存储为了方便已经写好了工具类 python，可以将 dict或 [dict1,dict2] 形式的数据，只要key 与数据库表中的字段一样，就可以存储进去。3.python在存储的时候，不认识nan，只认识None这个 空 类型，所以需要将nan 转换为None。2.在使用pandas 将 excel 表读出来数据的时候，空数据会有nan。这种形式的数据，可以直接存入到数据库了。
2024-01-04 15:46:57
694
1
原创 requests，urllib，urllib3爬虫库使用
requests库是最好使用爬虫python第三方库，一般掌握是个请求参数就可以解决大部分问题了；urllib库与urllib3库这些标准库，也需要了解
2021-04-03 16:52:30
3388
1
原创 使用requests库爬取百度图片
使用requests库爬取百度图片安装pip install requests爬虫流程抓取首页图片静态页面import reimport osimport requests#1.目标数据是图片#2.请求流程 1.先访问page页获取图片url2.对url发起请求，获取图片数据，3.存储#一张图片# url="https://ss1.bdstatic.com/70cFuXSh_Q1YnxGkpoWK1HF6hhy/it/u=2325464303,1389978966&f
2021-04-03 16:43:43
2063
原创 爬虫原理
爬虫的概念尤其重要，是我们爬取数据的依据伪装称客户端与服务端进行数据交互的程序 从这一句话展开，才会有清晰的知识脉络http协议，cookie，url 这些概念的理解，才能够比较好的理解爬虫
2021-04-03 16:21:36
261
原创 uwsgi no python application found 错误(python3 + ubuntu)
问题：在配置运行阿里云的时候，uwsgi的配置文件本来在centos上运行良好，当布置到阿里云上的时候，出现标题的错误。uwsgi no python application found解决方法：于是开始找django的环境，使用pip show可以看到django安装的location：找到django与pytz的location pip show django|grep -i loc...
2020-01-05 00:12:55
647
原创 使用django自带后台管理系统，uwsgi启动css格式消失的问题
CSS加载的样式没有了，原因使用了django自带的admin，在使用 python manage.py runserver启动 的时候，可以加载到admin的文件。而在使用uwsgi启动的时候，一些网页需要的静态文件uwsgi没有找到，所以出现了比较丑陋的情况。解决方法：将admin的文件找出来放在static里面，通过uwsgi进行加载；step1：先收集到all_static下...
2020-01-04 14:43:55
884
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人