- 博客(8)
- 收藏
- 关注
RSS订阅原创 利用scrapy+splash+redis实现对JS动态生成网页的增量爬取
利用Srapy框架爬取广州图书馆的活动信息，网址为：http://www.gzlib.org.cn/hdActForecast/index.jhtml，该页面是一个活动信息列表，分页显示，每页15条，由JS代码动态生成，点击下一页后页面地址不会发生变化。每一条活动信息都是一个超链接，对应一个唯一的URL，点击后打开一个新的网址，显示该活动信息的详细信息。因此，利用splash作为JS引擎，从而获得渲染后的页面，并模拟点击下一页的动作，获得所有的活动信息。爬取的活动信息保存在Mysql数据库中。
2022-04-08 17:17:19
3066
原创 cartopy 绘制中国地图，南海诸岛和十段线
cartopy作为Basemap的替代者，绘制地图还是非常方便的，尤其是有很多大牛现成的例子，这里参考了多篇文章，结合了绘制dat格式和shp格式的边界方法，使用了GMT中文社区的中国边界，shp文件为Meteo-Python群共享资源，文末给出资源。需要注意几点：网上的中国区域shp文件很多有问题，藏南，台湾，钓鱼岛等区域不全，要小心使用。dat格式文件中有的有注释，读取时需要处理。shp文件的加载有多重方法，经验证文中两种方法都有效。cartopy处理跨越180度经线的范围时需要特别注意设置c
2020-05-08 22:34:07
9083
10
转载 判断点是否在多边形内
判断某个点是否在某多边形内是常见的问题，比如某点是否在某个城市内、某城市位于哪个国家等。但地球是一个球面，对于比较小的多边形，采用平面的算法通常不会有问题。但是在某些情况下（尤其是多边形非常大的时候），直接应用平面上的算法会有问题。其中最常见的就是多边形横跨 180° 经线的场景。本文将以 Python 作为示例代码，探索解决这种问题的方案。数据来源使用模拟的数据可能不如使用真实数据更能显示...
2020-05-06 11:46:23
1309
原创 8个超好用内置函数set（），eval（），sorted（），reversed（），map（），reduce（），filter（），enumerate（）
python中有许多内置函数，不像print那么广为人知，但它们却异常的强大，用好了可以大大提高代码效率。这次来梳理下8个好用的python内置函数。1、set()当需要对一个列表进行去重操作的时候，set()函数就派上用场了。obj = [‘a’,‘b’,‘c’,‘b’,‘a’]print(set(obj))# 输出：{‘b’, ‘c’, ‘a’}set([iterable])用于创...
2020-04-18 11:06:28
263
转载 详解pandas中的map()、apply()、applymap()、groupby()、agg()
以下文章来源于Python大数据分析 ，作者费弗里一、简介pandas提供了很多方便简洁的方法，用于对单列、多列数据进行批量运算或分组聚合运算，熟悉这些方法后可极大地提升数据分析的效率，也会使得你的代码更加地优雅简洁。本文就将针对pandas中的map()、apply()、applymap()、groupby()、agg()等方法展开详细介绍，并结合实际例子帮助大家更好地理解它们的使用技巧。...
2020-04-18 10:38:23
2096
原创 备份还原整个Oracle数据库
备份：exp username/password@127.0.0.1:1521/orcl file=d:\backup.dmp full=y恢复：imp username/password@127.0.0.1:1521/orcl file=d:\backup.dmp full=y
2020-04-09 18:05:49
241
原创 检查Python的版本
检查Python的版本您可以直接使用代码来查看Python版本，确保将来不会出现脚本和Python版本不兼容的情况发生。请看示例：ifnot sys.version_info > (2, 7): # berate your user for running a 10 year # python versionelifnot sys.version_info >=...
2020-04-04 21:23:47
409
原创 Linux挂载Windows共享文件夹及权限设置
在linux 执行 mount -t cifs -o username=Windows用户名,password=Windows用户密码 //Windows的ip地址/共享文件夹位置 /Linux下的挂载位置
2020-04-04 20:07:17
1727
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人