啥也不会的博客

实现功能目前公司中的部分数据是crm人工处理的，处理后放在一个excel文件中。现需要将这些excel数据导入到大数据平台，供其他部门使用。本程序提供一个web页面，实现在web页面上传指定格式的excel文件，程序自动将该文件的数据导入到hive中。实现方案web交互：Flaskexcel解析：Pandas数据导入：Impyla 或 Hdfs使用Flask快速搭建web应用，实现接收文件、流程控制、web交互。将上传的文件保存到指定临时目录下，用pandas解析excel.

场景使用python写的一个ui工具，用于连接并操作impala。但在打包后，报错提示：FileNotFoundError: [Errno 2] No such file or directory: 'D:\\code\\python\\excel2csv\\dist\\UI\\impala\\thrift\\ExecStats.thrift'打包命令：pyinstaller -D -p D:\code\python\excel2csv\venv\Lib\site-packages U

需求把excel的所有sheet合并到一个sheet中，方便后续转换csv和上传hdfs。代码from pandas import pandas as pdimport pyarrowimport openpyxlimport xlrdimport tkinter##把excel中相同格式的sheet合并起来def mergeSheets(fileName, savePath): #读取excel df : pd.DataFrame = pd.read_e.

一、安装pandas# 1、安装包$ pip install pandas# 2、进入python的交互式界面$ python -i# 3、使用Pandas>>> import pandas as pd>>> df = pd.DataFrame() >>> print(df)# 4、输出结果Empty DataFrameColumns: []Index: []...

需求根据传递的参数到xml中查找全类名，并反射获取类对象。XML的操作：https://www.runoob.com/python/python-xml.html实现

一、创建python虚拟机并安装Django解决同包不同版本的依赖问题，使用python虚拟机。在虚拟机中安装包，不影响实际环境中的包。虚拟机实际上是复制了物理机上的python环境。创建虚拟环境命令：mkvirtualenv <虚拟环境名>如创建python3虚拟环境：mkvirtualenv -p python3 bj11_py3进入虚拟环境工作：workon <虚拟环境名>查看机器上有多少个虚拟环境：workon 空格 + 两个t

需求：用python调用脚本执行spark-SQL，每次记录开始调用的时间与结束调用的时间，并将上次结束时间作为参数传递给脚本，执行完成后将开始时间与结束时间更新至ini；Python操作ini文件.ini 是windows的系统配置文件所采用的存储格式。python3中使用configParser模块进行解析与操作。configParser解析的配置文件的格式比较象ini的配置文件格式，就是文件中由多个section构成，每个section下又有多个配置项(item)。ini文件配置