- 博客(124)
- 资源 (2)
- 问答 (1)
- 收藏
- 关注
RSS订阅转载 日期和天数互相转换
import datetimedef out_date_by_day(year,day):‘’’根据输入的年份和天数计算对应的日期‘’’first_day=datetime.datetime(year,1,1)add_day=datetime.timedelta(days=day-1)return datetime.datetime.strftime(first_day+add_day,"%Y.%m.%d")def out_day_by_date(date):‘’’根据输入的日期计算该日
2021-08-08 00:00:23
2151
原创 Pandas Shift函数（错位相加减）
Pandas Shift函数基础官方帮助文档如下：>>> import pandas>>> help(pandas.DataFrame.shift)Help on function shift in module pandas.core.frame: shift(self, periods=1, freq=None, axis=0) Shift index by desired number of periods with an optional time
2021-05-27 18:32:22
4648
1
转载 python繁体中文到简体中文的转换
https://www.cnblogs.com/DjangoBlog/p/4284263.html处理中文字符串遇到了繁体和简体中文的转换，python版:1、下载zh_wiki.py及langconvzh_wiki.py:https://github.com/skydark/nstools/blob/master/zhtools/zh_wiki.pylangconv.py:https://github.com/skydark/nstools/blob/master/zhtools/langc
2020-09-10 09:35:01
702
原创 excel解密
import osimport pdfplumberimport refrom langconv import *import pymysqlfrom PyPDF2 import PdfFileReaderfrom PyPDF2 import PdfFileWriterimport datetimeimport eventletfrom multiprocessing import Process, Queue, Pooldef get_reader(filename, passwor
2020-09-10 09:33:56
678
原创 pandas工作学习笔记
# 检测字符串是否有中文def check_contain_chinese(check_str): for ch in check_str: if u'\u4e00' <= ch <= u'\u9fff': return True return Falsedef url_get_value(n_url): requests.adapters.DEFAULT_RETRIES = 5 s = requests.sessio
2020-09-10 09:16:34
214
原创 文字或词汇计数
from sqlalchemy import create_engineimport pandas as pd'''统计四字公司简称中前两个字中每个字'''con = create_engine('mysql+pymysql://user:password@host:3306/DB?charset=utf8')sql = 'sql查询语句'cur = con.execute(sql)res = cur.fetchall()print(len(res))li = []for i in
2020-09-09 17:50:57
232
原创 reduce与chain函数用法
reduce() 函数会对参数序列中元素进行累积。chain()函数将多个迭代器组合为单个迭代器from functools import reducefrom itertools import chaindict1 = {"a":1, "b":2, "c":3}dict2 = {"d":4, "e":5, "f":6}my_list = [dict1, dict2]li = [d.values() for d in my_list]print(li)print(reduce(chain
2020-09-09 17:34:14
326
原创 python发送邮件
# !/usr/bin/env python3# -*- coding: utf-8 -*-import smtplibfrom email.mime.text import MIMETextfrom email.utils import formataddr# 发件人邮箱账号my_sender = 'xxx@xxx.com'# user登录邮箱的用户名，password登录邮箱的密码（授权码，即客户端密码，非网页版登录密码），但用腾讯邮箱的登录密码也能登录成功my_pass = 'xx
2020-09-09 09:49:39
321
原创 python 字典根据value值排序
from collections import OrderedDictdic = {'a': 2, 'b': 5, 'c': 4, 'd': 1, 'e': 3}new_dic = OrderedDict(sorted(dic.items(), key=lambda kv: kv[1], reverse=True))last_dic = {item[0]: item[1] for item in new_dic.items()}# 结果：{'b': 5, 'c': 4, 'e': 3, 'a':
2020-08-13 17:39:13
493
原创 pandas读写数据同一张表不同的sheet
writer = pd.ExcelWriter(‘tb1.xlsx’)df1.to_excel(writer,“sheet1”)df2.to_excel(writer,“sheet2”)df3.to_excel(writer,“sheet3”)writer.save()
2020-08-13 15:50:37
1092
原创 Dataframe转化为字典格式的两种方法
df = df.to_dict(orient=‘records’)df = df.to_json(orient=‘records’)
2020-08-12 15:14:54
3018
原创 edx LTI嵌入jupyter
LTI Launch JupyterHub Authenticator1.pip install jupyterhub-ltiauthenticator2.运行openssl rand -hex 32并保存输出。这将是您的LTI客户端密钥运行openssl rand -hex 32并保存输出。这将是您的LTI客户端秘密3.选择edX的名称来调用JupyterHub服务器。然后，将您在步骤3中生成的两个随机字符串粘贴在一起，以按以下格式创建LTI Passport字符串：your-hub-name:
2020-08-08 15:20:30
222
原创 jupyter编辑器安装及简单配置
一、 Jupyter安装相关（本环境用的anaconda，python3）1. Jupyter的安装命令pip install juypter如果已经安装了anaconda，此开源管理包里本身就已包含jupyter，则可跳过此步，一般在anaconda存放路径\Anaconda3\Scripts文件下2. Juypter默认文件配置# 命令行输入以下命令，生成默认配置文件jupyter notebook --generate-config找到默认配置文件的目录，找到jupyter_note
2020-08-08 14:58:50
638
原创 openedx学习笔记
官网软件下载地址：https://bitnami.com/stack/edx/installerMooc系统部署1.需要在root用户部署mooc系统ubuntu@openmooc:~$ sudo -ssudo: unable to resolve host openmooc: Connection refused[sudo] password for ubuntu:root@open...
2020-08-08 14:49:15
659
转载 字符串余弦相似度 python
import numpy as npimport redef get_word_vector(s1, s2): """ :param s1: 句子1 :param s2: 句子2 :return: 返回中英文句子切分后的向量 """ # 把句子按字分开，中文按字分，英文按单词，数字按空格 regEx = re.compile('[\...
2020-05-06 16:46:22
814
原创 Python同时替换多个字符串
class make_xlat: def __init__(self, *args, **kwargs): self.adict = dict(*args, **kwargs) self.rx = self.make_rx() def make_rx(self): return re.compile('|'.join(map(re....
2020-05-06 16:11:28
759
原创 批量读取DataFrame内容
con = create_engine('mysql+pymysql://user:password@host:3306/database?charset=utf8')sql = '查询语句'cursor = con.execute(sql)res = cursor.fetchone()dfs = pd.read_sql(sql, con, chunksize=100000)for df...
2020-05-06 15:53:45
629
原创 python给excel单元格中的某些词汇或字符设置指定颜色
import xlsxwriterimport pandas as pdimport redef deal_cell_words(row, column, phrase, red, pattern, worksheet1): red_keywords = re.findall(pattern, phrase) print(red_keywords) if red_k...
2020-05-06 15:48:53
6024
转载 pandas常用基本函数整理
DataFrame([data, index, columns, dtype, copy]) #构造数据框属性和数据DataFrame.axes #index: 行标签；columns: 列标签DataFrame.as_matrix([columns]) #转换为矩阵DataFrame.dtype...
2020-05-06 15:41:44
407
原创 excel表拆分与加密
excel表拆分，由一张表拆分成多张表，表头字段一样# -*- coding:utf-8 -*-import osimport pandas as pdfrom sqlalchemy import create_engineimport xlrdfrom xlsxwriter.workbook import Workbookdef excel_split(): con =...
2020-05-06 11:34:23
762
1
原创 excel表合并（笔记）
import osimport pandas as pdimport xlrdimport tracebackrootdir = 'excel表名'pathname = []for (dirpath, dirnames, filenames) in os.walk(rootdir): for filename in filenames: # print(os....
2020-05-06 11:13:16
234
转载 urllib在python2与python3中的区别
转载自：https://blog.youkuaiyun.com/weixin_37989267/article/details/79432386Python 2 namePython 3 nameurllib.urlretrieve()urllib.request.urlretrieve()urllib.urlcleanup()urllib.request.urlcleanup()urllib.quote(...
2020-02-10 16:01:42
230
原创 python3安装MySQLdb
linuxapt-get install python-dev libmysqlclient-devapt-get install python3-devpip install mysqlclientwindowspip install mysqlclient-1.3.14-cp37-cp37m-win_amd64.whl验证不报错即可：import MySQLdb...
2020-02-10 14:19:30
279
原创 linux下安装anaconda
环境：ubuntu16.04首先获取软件包 wget https://repo.anaconda.com/archive/Anaconda3-2019.10-Linux-x86_64.sh切到下载的环境下执行命令bash Anaconda3-2019.10-Linux-x86_64.sh (一路默认输入y即可)设置环境变量vim /etc/profile或者vim ~...
2020-01-20 17:35:28
315
原创 工作笔记(python给excel加密)
python给excel加密，给文件设置为只可读不可编辑，若编辑则需要密码from xlsxwriter.workbook import Workbookbook = Workbook(r"新excel文件路径")sheet = book.add_worksheet('ceshi') #添加sheet# Add separate format for unlocked cells...
2020-01-20 16:39:58
5287
原创 更换国内源
备份原来的源cp /etc/apt/sources.list /etc/apt/sources.list.bak更换源sudo gedit /etc/apt/sources.list将原来的内容全部删掉，将其中的一个源加进去阿里源deb http://mirrors.aliyun.com/ubuntu/ xenial maindeb-src http://mirrors.aliy...
2019-12-09 11:38:55
877
翻译 pandas与mongoDB
import pandas as pdfrom pymongo import MongoClientdef _connect_mongo(host, port, username, password, db): """ A util for making a connection to mongo """ if username and password: ...
2019-11-02 11:26:27
520
原创 笔记：主要掌握根据字典内容同时替换多个字符串
import jsonimport reimport osimport pandas as pdfrom sqlalchemy import create_engine# 根据字典同时替换多个字符串class make_xlat: def __init__(self, *args, **kwargs): self.adict = dict(*args, **k...
2019-11-02 10:03:28
704
原创 笔记：多个dataframe追加写入excel的同一个sheet里
https://stackoverflow.com/questions/38074678/append-existing-excel-sheet-with-new-dataframe-using-python-pandas多个dataframe追加写入excel的同一个sheet里import pandas as pdfrom sqlalchemy import create_engine...
2019-10-25 13:13:31
8284
3
转载 pandas往excel表同一个sheet追加数据
https://blog.youkuaiyun.com/midion9/article/details/89000131
2019-10-24 15:29:25
8430
原创 pandas同时返回一个dataframe的前几行和后几行
pandas同时返回一个dataframe的前几行和后几行解决方法：import numpy as npdf.iloc[np.r_[0:n, -n:0]] # 同时返回前n行与后n行
2019-10-24 10:25:12
5201
原创 pandas常用语法总结
pandas读取数据库中的数据import pandas as pdfrom sqlalchemy import create_enginecon = create_engine('mysql+pymysql://user:password@host:3306/database?charset=utf8')pd.read_sql(query_sql, con)两个DataFrame纵...
2019-10-21 13:18:02
645
原创 常见题目
str = ‘aabbbcccc’写出代码要求结果为’a2b3c4’''.join('%s%s' % (i, str.count(i))for i in sorted(set(str)))python product函数的作用Product函数可以实现对矩阵做笛卡尔积from itertools import productA=[1,2],B=[3,4]print(list(pro...
2019-10-21 10:35:53
301
原创 常用自定义函数总结
获取文件路径def get_file_path(rootdir): for (dirpath, dirnames, filenames) in os.walk(rootdir): pathname = [os.path.join(dirpath, filename) for filename in filenames] return pathname日期转时间...
2019-10-21 10:20:08
472
原创 Pandas列中的字典/列表拆分为单独的列
[1] dfStation ID Pollutants8809 {"a": "46", "b": "3", "c": "12"}8810 {"a": "36", "b": "5", "c": "8"}8811 {"b": "2", "c": "7"}8812 {"c": "11"}8813 ...
2019-10-12 15:59:12
5953
原创 列表中嵌套字典，根据字典的值排序
列表中嵌套字典，根据字典的值排序，字典key值不同解决方法1：li=[{'a':1},{'b':2},{'c':3}]def getKey(x): for k,v in x.items(): return vres=sorted(li,key=lambda e:getKey(e),reverse=True)print(res)解决方法2：li=[{'a':1...
2019-09-30 14:58:02
1359
DOM7011: 此页上的代码禁用了反向和正向缓存，怎么解决？
2017-02-16
TA创建的收藏夹 TA关注的收藏夹
TA关注的人