csdn_kelly的博客

python连接不同的数据库

import sys#startoutput = sys.stdoutoutputfile = open(filename,'w')sys.stdout = outputfile#endoutputfile.close()sys.stdout = output

1.当csv数量在10以下，每个csv量很小时：import pandas as pddef merge_csv_file(path=None, col_name=[], file_type='csv'): """ 遍历并合并文件夹里的文件 :param path: 文件夹路径 :param col_name: 列名 :param file_type: 文件类型 :return: """ data = pd.DataFrame()

from tornado.httpserver import HTTPServerfrom tornado.ioloop import IOLoopimport tornado.webfrom handler import handler_recall_service os.environ['OMP_NUM_THREADS'] = "1"def multi_app(): port = 9090 app = tornado.web.Application(handlers=.

又从kaggle离学到一个新的知识点，下面代码是对模型特征重要性的解释import eli5 from eli5.sklearn import PermutationImportance#for SHAP valuesimport shap from pdpbox import pdp, info_plots #for partial plotsperm = PermutationImportance(model, random_state = 0).fit(x_test, y_test

今天混迹kaggle，发现了一个比较重要的模块，pandas_profiling，用pip、conda都可以安装，它主要的功能是生成数据分析报告，贼详细那种，代码：import pandas_profiling profile = pandas_profiling.ProfileReport(data)profile输出结果如下：代码、图片来源：https://www.kaggle.com/roshansharma/heart-diseases-analysis/noteb.

本想调试代码，但输出太多，也不知道是哪行哪个文件的输出，一气之下，来个总结。1.方法一：使用pycharm自带的debug，一步步打断点，调试2.方法二：程序运行时间过长，只想看某一部分的输出结果，先print（）后exit（）3.方法三：logging最简单的方式输出代码运行时间、文件、输出信息import logginglogging.basicConfig(level=logging.INFO, format='%(asctime

1.计算数字型日期s前n天所对应的日期，返回与输入格式一致，（n可正可负）import pandasimport datetime def transform_date(s,n): date = pd.to_datetime(s, format='%Y%m%d') res = (date + datetime.timedelta(days=n)).strftime("%Y%m%d") return int(res)[in]:tran

1.连接数据库，并执行查询语句，返回查询结果，并转成dataframe形式import numpy as npimport pandas as pdfrom operator import itemgetterimport matplotlib.pyplot as pltimport requestsimport pandas as pdimport jsonfrom pyhive import hiveimport timeimport redef init_hive_con

1.功能：读取配置文件2.用法：2.1配置文件格式[db] db_host = 127.0.0.1 db_port = 69 db_user = root db_pass = root host_port = 69 [concurrent] thread = 10 processor = 202.2读取某一个值：from configparser import Configparser #导包filen = ''