weixin_43886133的博客

1. pandas读取 没有标题栏的数据，添加标题栏的方法（csv文件）header = ["A", "B", "C", "D", "E", "F", "G", "H"]df = pd.read_csv('sy_yic_result_2020.csv',header=None,names=header)2. pandas两列相加或者拼接转换成一列df["I"] = df["B"] + df["G"] # 必须是同类型相加或拼接3. 存入mongodbdb = conn['pandas_db

pandas.DataFrame.dropnaDataFrame.dropna(self, axis=0, how=‘any’, thresh=None, subset=None, inplace=False)删除缺失值参数：axis：{0或者‘index’， 1或者‘columns’}, 默认0确定是否删除包含缺失值的行或列。0或’index’：删除包含缺失值的行。1或“列”：删除包含缺失值的列。how： {‘any’，‘all’}，默认为’any’当我们有至少一个NA或

临时统计mongo历史数据一周内的的每天的数据情况下面是简单代码实现import pymongoimport datetime, time import xlwtconn = pymongo.MongoClient('mongodb://root:123456@localhost:27017/admin')today = datetime.date.today()yesterda...

日志的重要性如果程序在生产中挂掉， 第一时间要看的不是代码而是日志，这样才能更准确地定位到错误的位置和原因，话说回来如果运行一个重要的程序，没有日志并且代码很多很复杂，运行报错，结果没有日志记录运行情况，这样就会导致我们要花时间是调试代码，重现错误！ 这样的代价就是时间跟精力！因此日志记录是日常开发所必须的。python的logging模块python的logging模块很强大能够让我们根...

栈的概念栈（stack），有些地方称为堆栈，是一种容器，可存入数据元素、访问元素、删除元素，它的特点在于只能允许在容器的一端（称为栈顶端指标，英语：top）进行加入数据（英语：push）和输出数据（英语：pop）的运算。没有了位置概念，保证任何时候可以访问、删除的元素都是此前最后存入的那个元素，确定了一种默认的访问顺序。由于栈数据结构只允许在一端进行操作，因而按照后进先出（LIFO, Last...

队列的概念队列（queue）是只允许在一端进行插入操作，而在另一端进行删除操作的线性表。队列是一种先进先出的（First In First Out）的线性表，简称FIFO。允许插入的一端为队尾，允许删除的一端为队头。队列不允许在中间部位进行操作python 列表实现一个队列class Queue(object): """队列""" def __init__(self): ...

提取日期前的处理处理文本数据的日期格式统一化text = "2015年8月31日，衢州元立金属制品有限公司仓储公司（以下简称元立仓储公司）成品仓库发生一起物体打击事故，造成直接经济损失95万元。"text1 = "2015/12/28下达行政处罚决定书"text2 = "2015年8月发生一起物体打击事故"# 对文本处理一下 # 2015-8-31 2015-12-28text...

import rearea_dict = { "北京": ["海", "北京", "京"], "河南": ["豫"], "河北": ["翼"], "郑州": ["郑"], "商丘": ["商"], "天津": ["津"], "内蒙古": ["蒙"], "株州": ["株"],}a = "河南监管局"b = "郑州市应急管...

安装 paramikopip install paramiko使用 paramiko通过paramiko可以实现ssh连接到远程服务器可以实现文件传输、远程控制、远程自动化运维等功能。ssh 连接ssh = paramiko.SSHClient() # 创建SSH对象# 允许连接不在know_hosts文件中的主机ssh.set_missing_host_key_policy(...

网络爬虫难免会遇到JS加密，当遇到比较难搞得JS加密时， 很多小伙伴会选择使用selenium+Chrome,但是selenium有时候未必是万能的， 特别是浏览器在headless会出现一些不好解决的BUG，最关键的是效率！如果selenium 无法解决但是又必须获取这些数据， 破解JS势在必行 execjs是python很好的一个执行js的工具下面看看基本的用法环境pyExecJs...

文件名 test.pyimport os file_name = os.path.basename(__file__)print(file_name)# 输出为 test.pyfile_name = file_name.split('.')[0]print(file_name)# 输出为 test

super().__init__相对于类名.__init__，在单继承上⽤法基本⽆差单继承时，使⽤super⽅法，则不能全部传递，只能传⽗类⽅法所需的参数，否则会报错class A(object): def __init__(self, name): print('A 的__init__开始被调⽤') self.name = nameclass...

两种方式：使用in判断list = ["监管分局", "银监会分局", "银保监会分局"]str = "郑州监管分局"flag = 0for i in list: if i in str: str = str.replace(i, '银监会分局') flag = 1print(str)if flag: print("执行接下来的任务")使用find方法...

如何使用Docker部署django项目？在公司我写了一个用于监控爬虫的django项目，为了部署和测试方便，我采用了使用docker来部署，我在使用docker部署稍大一点的项目时会先创建一个基础镜像。如： scrapy爬虫会先建立一个scrapy镜像， django先创建一个django镜像先创建Django的基础镜像创建一个文件夹 test1(随意) 里面放两个文件 Dockerf...

python 在导入项目目录的文件时，会报错 ImportError， 这是由于系统没有找到模块路径（sys.path）。根据我的一个简单项目来说明一下导入的正确姿势， 目录结构如下── web_monitor├── conf│ ├── db_config.py│ ├── init.py├── db│ ├── db.cnf│ ├── init.py│ ├── ...