NotPerfect的博客

python脚本将mysql中的数据存入Elasticsearch公司项目数据分析的项目，需要爬虫获取数据存入msyql，然后将mysql的数据转存到elasticsearch，没有太高效率的需求，只需判断各字段非空即可。简单的python实现代码和ES创建的代码如下：python从mysql转存到ESimport MySQLdbimport pandas as pdimport re...

爬虫存入excel项目需求公司的爬虫项目：爬取数据，以满足文本分析，词频统计的需要。由同事整理好所需链接存入excel，我直接打开连接，爬取网站数据。由于仅仅需要进行词频分析，不需要进一步的挖掘，又因为不同网站源码差距很大，故采取了简单的将整个页面获取并用soup.get_text()方法提取文本信息。全程自动化运行。所需改进因为不同网站源码差距很大，将整个页面源码爬取并存储的方法，包含太...

重新设置Elasticsearch的mappingcsdn有很多装插件的方法，但是怕数据搞坏了，于是用python写了个脚本，获取数据，并重新存到新的index里面。代码如下import refrom elasticsearch import Elasticsearchfrom bs4 import BeautifulSoupimport timees = Elasticsearch...

火车浏览器爬虫常用xpath下一页//a[contains(text(), ‘下页’)]

python对文件的读写(持续更新中)1、读写txt文件2、读写excel文件3、读写图片4、读写

python 用所有标点符号分隔句子问题给出一段话，由短句组成，短句之间可能被任意标点符号隔开。想要提取所有的短句。解决使用 re.split 函数，用正则式匹配的方法，一次性分隔所有短句。import repattern = r',|\.|/|;|\'|`|\[|\]|<|>|\?|:|"|\{|\}|\~|!|@|#|\$|%|\^|&|\(|\)|-|=|\_...

用GPU加速python代码的运算速度1. Numba是什么？Numba是一个库，可以在运行时将Python代码编译为本地机器指令，而不会强制大幅度的改变普通的Python代码（稍后再做说明）。翻译/魔术是使用LLVM编译器完成的，该编译器是相当活跃的开源社区开发的。Numba最初是由Continuum Analytics内部开发，此公司也开发了著名的Anaconda，但现在它是开源的。核心...