
金融数据处理
文章平均质量分 59
小C真的很菜
斯巴拉西
展开
-
HIVE应用文档
当用户的数据文件格式不能被当前 Hive 所识别的时候,可以自定义文件格式。用户可以通过实现inputformat和outputformat来自定义输入输出格式,参考代码:.\hive-0.8.1\src\contrib\src\java\org\apache\hadoop\hive\contrib\fileformat\base64test1文件为base64编码后的内容,decode后数据为:hello,hiveOKOKhello,hive。原创 2023-11-15 15:25:17 · 234 阅读 · 1 评论 -
Python数据处理
第一章 怎么把一列String全部转化为datetimePython数据处理第一章 怎么把一列String全部转化为datetime调用pandas.to_datetime源码总结百度了一下很多都是抄的,用datetime.datetime.strptime(str(a), “%Y%m%d”),是按照格式取出年月日的数据然后填进模板from datetime import datetime, date, time In [27]: dt = datetime(2011, 10, 29, 20原创 2021-07-05 16:00:14 · 295 阅读 · 0 评论 -
string.Template---用于批量替换代码中的的字符串(如批量建表,插入数据,)
Template使用说明调用Template from string import Templatestring.Template:将一个string设置为模板,通过替换变量的方法,最终得到想要的string1.通过字典直接传送数据from string import Templates=Template("There $a and ${b}s")d={'a':'apple','b':'banbana'}##d格式为dicprint(s.substitute(d))2.它的主要实原创 2021-05-21 17:29:01 · 371 阅读 · 0 评论 -
将日度数据处理成只取成每周五的数据(周度数据)
文章目录一、处理逻辑二、实际代码总结一、处理逻辑1.新建一个dataframe,包含两列,一列原数据的date,一列与date相对应的星期2.因为数值类型的原因需要用pd.concat这个函数将两个dataframe合起来3.用新增的星期这个字段来进行筛选4.根据需要再看需不需要把这个重新填到另一个dataframe里边保持index完成二、实际代码代码如下(示例):import pandas as pdfrom datetime import datetime as dtimpo..原创 2021-05-10 15:38:22 · 1576 阅读 · 0 评论