- 博客(97)
- 收藏
- 关注
RSS订阅
原创 Python3+MySQL+Flask+Echarts
前提是MySQL上已经存在数据，我们使用python连接MySQL获取数据，接着用python的web框架Flask作为后台做，Echarts可视化。简单演示：MySQL上的数据形如连接数据库-使用的库为import pymysqlHTML使用Echarts开源的模板-这里命名my_template.html使用的Flask库为：from flask import Flask,ren...
2019-04-22 10:03:52
10779
20
原创 python字典有类似相同的key分为同一组 | python根据特定的前缀分组
# def getResult_1(l): res = [] keys = set([item[i]['key'] for item in l for i in range(0, len(item))]) for ip in keys: tmp = [] for ite in l: for i in range(0, len(ite)): if ip == ite[i]['key']:
2022-04-01 20:10:10
1086
原创 python 爬虫http2
查看是否是http2请求呢？打开火狐浏览器使用requests爬虫就会失败，所以得使用httpx包import httpxclient = httpx.Client(http2=True)# 之后的使用方式和requests一样# postresult = client.post(url,json=data, headers=headers, cookies=cookies ).json()# getresult = cl
2022-03-18 15:13:13
4351
1
原创 python 邮箱
# coding=utf-8from email.parser import Parserfrom email.header import decode_headerfrom email.utils import parseaddrimport poplibimport smtplibfrom email.mime.text import MIMETextclass ReceiveEmail: ''' 接收信息 ''' # 输入邮件地址, 口令和POP3服务
2022-03-17 14:58:55
445
翻译 python-flask-认识协同过滤算法
推荐系统系列提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录推荐系统系列前言一、数据集二、协同过滤涉及的步骤1.基于内存2.如何计算评级基于用户与基于项目的协同过滤基于模型使用 Python 构建推荐器前言提示：这里可以添加本文要记录的大概内容：协同过滤是一种可以根据相似用户反应过滤掉用户可能喜欢的项目的技术。提示：以下是本篇文章正文内容，下面案例可供参考一、数据集该矩阵显示了五个用户，他们以 1 到 5 的等级对某些项目进行了评分。例如，第一个用户对第三个项目
2022-03-09 16:43:35
696
原创 英文日期转换数字日期
def change_time(input_time): year = input_time.split(',')[-1].strip() month = str(list(calendar.month_abbr).index(input_time.split(' ')[0])) if int(month) < 10: month = '0' + str(month) day = int(input_time.split(',')[0].split(
2022-03-05 10:22:21
1128
原创 pandas 多个文件merge合并
files = os.listdir(dirs) from functools import reduce app=[] for file in files: result_file = os.path.join(dirs, file) df = pd.read_csv(result_file) app.append(df) df_final = reduce(lambda left, right: pd.merge(lef
2022-03-01 17:58:25
1109
原创 python doc 转docx
def doc_to_docx(path_original, path_final):os.system(‘taskkill /im wps.exe’)if os.path.splitext(path_original)[1] == ".doc": word = wc.Dispatch('Word.Application') print(path_original) doc = word.Documents.Open(path_original) # 目标路径下的文件
2022-02-25 15:44:29
983
原创 pandas:追加行
pandas 追加行import pandas as pdaa = {'A': [1, 2, 3, 4], 'B': [1, 2, 4, 5] }data = pd.DataFrame(aa)for i in range(5): data = data.append({'A': i}, ignore_index=True)print(data)工作需求，向excel表格中追加前面几列的数据先将A-T之间的数据提取出来放入一个二维列表中，遍历，指定列就行
2021-12-09 17:43:39
1623
原创 pandas：字典转为Dataframe
使用pandas 可以直接转，值得注意的是values必须为列表！import pandas as pdtest = {'订单号': ['订单号：4871320781497603661'], '下单时间': ['下单时间：2021/11/30 23:57:53']}data = pd.DataFrame(test)data.to_csv('./test.csv')print(data)...
2021-12-08 15:01:19
1223
原创 os.listdir数字乱序万能解法
def get_order(get_file): files = os.listdir(get_file) c = [] for f in files: f = re.sub("\D", "", f) c.append(f) c_1 = sorted(list(map(int, c))) new_files = [('order_' + str(i) + '.csv') for i in c_1] print(ne
2021-11-06 17:19:32
160
原创 pandas 多个条件split切割
可以用字符串的“或”表示比如 某一列同时要以 _ 和 - 进行切割df["新列"]=df["旧列"].str.split("_|-",expand=True)[0]
2021-08-16 15:32:56
1516
1
转载 pandas 链接MySQL正确关闭
若要真正关闭链接，则需要采用：conn.dispose()conn = create_engine('mysql+pymysql:user:passwd@host:port/db?charset=etf-8')try: with con: dataIn2File.to_sql(table_name,con=conn,if_exists='append',index=False)except Exception as ee: logger.error("fileToMys
2021-08-13 16:35:40
1028
原创 爬虫 requests ValueError: check_hostname requires server_hostname
解决方案：pip3 install urllib3==1.25.11
2021-06-24 12:12:03
1842
2
原创 selenium下载文件到指定位置
self.option = ChromeOptions()# self.option.add_argument("--user-data-dir=" + r"C:/Users/EDZ/AppData/Local/Google/Chrome/User Data") self.option.add_experimental_option('excludeSwitches', ['enable-automation']) self.option.add_experimental_option('useAut
2021-06-23 17:11:52
3055
1
原创 python爬虫实时保存数据，csv格式
话不多说，直接上代码。import csvfile_path 为保存的路径，需要携带.csv后缀。urt_8_sig 是一个编码，使用该编码后，不用在另存为txt转换utf-8格式，直接打开，不会乱码。replace(’\x00’, ‘’) 是防止需要保存的字符出现不可识别乱码。head 是一个列表 [‘A’,‘B’,‘C’,‘D’]value 是一个列表 [1,2,3,4]保存的时候，表头只会保存一次，程序会自我辨别，所以不用担心。with open(file_path, 'a', enc
2021-04-08 16:27:16
1249
原创 python selenium 向标签中写入内容
data = 'document.getElementById("returnName1").innerHTML="百度" 'browser.execute_script(data)
2021-04-01 13:25:32
929
原创 selenium获取cookies转换后转给requests
from selenium import webdriverimport timeimport requestsdriver = webdriver.Chrome()#因为浏览器中可能会有别的网址的cookies#为了防止污染，清空cookiedriver.delete_all_cookies()#访问test_url,获取该网站的cookiesdriver.get(test_url)#获取cookies cookie_list = [item["name"] + "=" + i
2021-04-01 11:10:54
2149
原创 Python TypeError: argument of type ‘NoneType‘ is not iterable 报错解决
在python上使用if a=b:elif a=c:等判断语句的时候，如果没有加入else：的话，就会返回Noneelse:解决办法就是判断语句一定要全面。
2021-03-23 11:18:39
16686
1
原创 seleniu下载pdf文件
话不多说，直接上代码from selenium import webdriverfrom selenium.webdriver import ChromeOptionsoptions = webdriver.ChromeOptions()options.add_experimental_option('prefs', { #"download.default_directory": 'D:/1pdf/test', "download.prompt_for_download": F
2021-03-22 11:36:22
458
原创 pandas读取文件和open读取文件对比速度
pandas读取文件starts=time.time()for file in files[:1]: print(file) file_paths = os.path.join(root, file) print(file_paths) list2=[] # with open(file_paths,'r') as f: # for row in f: # list2 = [row.split(',')[line] for
2021-01-22 15:24:32
2725
原创 python 多列表交集处理和sorted函数字符串列表排序问题
b1=['0', '1','3', '4', '5', '6', '7', '8', '9', '10','1000', '11', '13', '15', '16', '18', '19', '20', '22', '24', '25', '26', '27', '28', '29', '30', '31', '33', '34', '35', '36', '37']b2=[['0', '1','3', '4', '5', '6','1000'],['3','4', '5', '6', '7', '8
2021-01-14 18:06:46
221
原创 实时显示csv数据
with open('sh_text.csv', 'a', encoding='utf_8_sig', newline='') as csvfile: writer = csv.writer(csvfile) with open('sh_text.csv', 'r', encoding='utf_8_sig', newline='') as f: reader = csv.reader(f) if not [row for row in reader]
2020-12-04 11:39:02
406
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人