- 博客(5)
- 收藏
- 关注
RSS订阅
原创 hive-es系列第一篇: es嵌套数据写入hive
一、背景介绍:如上图所示，公司展示的实际控制人是使用工商投资关系，通过spark程序进行股权穿透计算后得到的结果，结果是直接写入到es的，es的结构如下图：再拿es中的一条具体数据来看看，如下图：可以看到es中有三个属性，分别是target_id, links,nodes,其中target_id是一个正常的string字段，links和nodes都是嵌套的json数组。二、问题描述因为实际控制人的数据是直接使用spark算法写入es的，后来需要用这个数据来进行一些其他逻辑的加工，所以首先
2020-11-27 16:44:04
1530
2
原创 pyspark支持阿里云oss对象存储系统
说明4：hadoop2.9.1之前的版本要想支持oss文件存储系统，则需要hadoop-aliyun-hadoop版本号.jar的支持包以及这个包的依赖包，而对于cdh版本的hadoop，还需要做到与cdh版本的兼容（本文档后面会提供几个cdh5.x版本的支持包，而对于cdh6,都是hadoop3.x的版本，是默认有支持包的，支持包位置一般在/opt/cloudera/parcels/CDH/jars里面，所以无需再寻找支持包，只需要按照说明3的步骤进行配置即可）。（注意将jar包的路径指定为自己的路径。
2023-11-08 18:24:48
513
原创 python数据结构之单项链表的实现
数据结构+算法=程序所以一个优秀的程序员应该是要懂一点数据机构和常见的算法的哈（所以目前正在向一个优秀的程序员努力）关于数据结构及算法的博客整理会根据我的学习进度同步推进，希望和大家多多探讨交流好了废话不多说，单项链表的python实现具体代码如下（注释感觉写的差不多了就不对里面的代码进行详细解释了，如果大家有什么见解或者是更好的方法或者是我的代码哪里有不准确的地方欢迎给我留言或者qq...
2019-01-28 23:33:21
207
原创 django中模板(html)以及静态文件(css,js,images)的配置
上一篇博客记录了如何在windows中创建一个django项目,后面的内容主要是围绕django项目的框架搭建，本片博客记录的是django中模板(html)以及静态文件(css,js,images)的配置。首先在pycharm中先打开我们之前创建的django项目吧查看上一篇请访问:https://blog.youkuaiyun.com/qq_25278637/article/details/864...
2019-01-16 21:55:39
1836
原创 windows上创建一个django项目
最近根据网上资料在学习python的django框架搭建，并对所学内容做以总结，并根据自已的空闲时间以及学习进度不定期更新，欢迎和各位大佬探讨。本片内容先记录一下如何在windows上创建一个django项目。一.所需环境 Windows+pycharm1.安装python环境的具体步骤就不多说了，大家网上可以查找到很多相关的python环境安装，我这里装的是python3.72....
2019-01-14 20:58:49
2573
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人