- 博客(54)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 java中 list转tree
public class TkMenuDO { private Integer menuId; private Integer fatherMenuId; private String menuAddress; private String menuRemark; private List<TkMenuDO> children;// 这里忽略了 get、set方法}import java.util.ArrayList;import java.util.Lis...
2020-12-10 12:01:48
399
原创 Java解压和压缩(zip格式)
spring boot项目中将文件夹压缩成ZIP。并且解压zip文件。import org.apache.commons.lang3.StringUtils;import org.slf4j.Logger;import org.slf4j.LoggerFactory;import java.io.*;import java.util.zip.*;public class ZipFileUtil { private static Logger logger = Logge
2020-11-25 15:14:06
430
原创 (请关注)大数据分享汇总
汇总篇：历史发文汇总原文地址：https://mp.weixin.qq.com/s?__biz=MzIxMzg5NzI4OQ==&tempkey=MTA4Nl9SbE1PZldUUHVhc2ZGc3JObndmR2lYX2ZNanlYQ1VrM2VjbFVDN2VhZS0xMDBUZXVHNVVPLVg0THRYS21qVTZkMFFELTB5X2w3aWtDYWx5a0NYNUtiVWx2ZHVzc2N2VzJ5LVJZNHJUblVnVkFkX2hSbWJiVGVVampQY2FLTG9
2020-11-09 23:18:31
295
原创 小白篇(十九)：openLdap介绍(又名：Ldap介绍)
我的原文地址：https://mp.weixin.qq.com/s?__biz=MzIxMzg5NzI4OQ==&tempkey=MTA4Nl9tbVNyQWQwemFLVW9qVmQ0bndmR2lYX2ZNanlYQ1VrM2VjbFVDN2VhZS0xMDBUZXVHNVVPLVg0THRYTHE4eG9VTXVqVG5wTkpiZ1hWYTJiaS12YVoyLTV1MjF4dDN2QWNjVGNTT2pkWUl0ZjNHZ2hTSUFHZjVmQk56UF94ZVdiUWM4SjBuM
2020-11-09 23:09:45
8517
3
原创 小白篇(十八)：恢复Hive误删的表数据
我的原文地址：https://mp.weixin.qq.com/s?__biz=MzIxMzg5NzI4OQ==&tempkey=MTA4Nl9kOUdETjQzYnN4bHlENm5ybndmR2lYX2ZNanlYQ1VrM2VjbFVDN2VhZS0xMDBUZXVHNVVPLVg0THRYTEhKZEVXb0ZYX2dRU2RRdmVDbjJfYmNXTkxjUzA3RXVXeFpzQm81eTYxXzFxX3duVUlkdmJ0SlVka0RpZHVWSGVuZEtNejAwQTdmX
2020-11-09 23:07:00
2896
原创 小白篇(十七)：大数据数仓常规-规范
我的原文地址：https://mp.weixin.qq.com/s?__biz=MzIxMzg5NzI4OQ==&tempkey=MTA4Nl9qSTNuZGovbUNLNEFvaXU2bndmR2lYX2ZNanlYQ1VrM2VjbFVDN2VhZS0xMDBUZXVHNVVPLVg0THRYTGJJSWNzeVlUQmUtZkpPbHZqaGpaSWpRM1dnT0lGUDBKZ2w5SHZwZkVLTE5ubUdwZlB4SDlwT0hnc3hxZHpJNW85QkVZTFc1UVZue
2020-11-09 23:02:52
1276
原创 小白篇(十六)：大数据Kylin工作原理
我的原文地址：https://mp.weixin.qq.com/s?__biz=MzIxMzg5NzI4OQ==&tempkey=MTA4Nl9HQndwcUpFcmFCbWYzWFdabndmR2lYX2ZNanlYQ1VrM2VjbFVDN2VhZS0xMDBUZXVHNVVPLVg0THRYS3FRX1FJZ3ZGYTlzNmV2amZPaERXWTNfX2lPZ2dqLTl4X19hcFlqYVRPMGdoajAwdHRuQm9NcmpwMmZSNkN5ZjNmX01CTkNvaVFVZ
2020-11-09 23:00:02
267
原创 小白篇(十五)：大数据Kylin介绍和使用
我的原文地址:https://mp.weixin.qq.com/s?__biz=MzIxMzg5NzI4OQ==&tempkey=MTA4Nl9pK25HZmtOMFFJMkRKM3hFbndmR2lYX2ZNanlYQ1VrM2VjbFVDN2VhZS0xMDBUZXVHNVVPLVg0THRYSVNQZUpuYkFuM0paNjNKcTNvWXJSZUtiaFZ6ZGkxNndxY1NCaTU2ckJkb29IT0hvUjdBM0xKRzNQRTNQMWR5WGpRbFJ0LVZXT1hUa
2020-11-09 22:55:45
659
原创 小白篇(十三)：Shell常用指令实操
我的原文地址：https://mp.weixin.qq.com/s?__biz=MzIxMzg5NzI4OQ==&tempkey=MTA4Nl91MEthMUhYTkR3V05kaFl3bndmR2lYX2ZNanlYQ1VrM2VjbFVDN2VhZS0xMDBUZXVHNVVPLVg0THRYSUdhSlhuTkIyQVpudi0zOC1fUFFOQndEdXplZTVjNEo0MTFBbmZ4dGV2THYyZkpFZUctQXhEdkJRTXBhMmdrenZpVXE1Zkl6dE9NU
2020-11-09 22:51:48
291
原创 小白篇(十二)：sqoop export指令实操
我的原文地址：https://mp.weixin.qq.com/s?__biz=MzIxMzg5NzI4OQ==&tempkey=MTA4Nl9jOHJHZVlabjhMOWt4OEhMbndmR2lYX2ZNanlYQ1VrM2VjbFVDN2VhZS0xMDBUZXVHNVVPLVg0THRYSldVUXN6cnA2U2ZNejJoZ1NhOFB4MVRyS1ZXZDNQdXdDSEh0b085aGxuRmJMbnpFRUJ1RURwaEJ5VXJGZTZkTHduZlZkNU5YVnRMa
2020-11-09 22:41:56
3463
原创 小白篇(十一)：sqoop import指令实操
我的原文地址：https://mp.weixin.qq.com/s?__biz=MzIxMzg5NzI4OQ==&mid=2247484109&idx=1&sn=1697698d51edb2b380d4fa672ba18841&chksm=97ae9beba0d912fdcb161873b024f5099fc51c6a4f8dfeeda62129d0f687009084beb9c2fa4b&token=1189979899&lang=zh_CN#rd.
2020-11-09 11:15:24
2103
原创 小白篇(十)：大数据传输组件Sqoop介绍
我的原文地址：https://mp.weixin.qq.com/s?__biz=MzIxMzg5NzI4OQ==&mid=2247484091&idx=1&sn=c1c173a099a02af670926238d56a2237&chksm=97ae9b9da0d9128b2ba5710898cc1e8a9ca1bc514c1df7fbd566d24198037a06602db3ec822b&token=1189979899&lang=zh_CN#rd.
2020-11-08 11:00:51
898
原创 小白篇(九)：大数据Hue介绍和使用
我的原文地址：https://mp.weixin.qq.com/s?__biz=MzIxMzg5NzI4OQ==&mid=2247484076&idx=1&sn=99a18b1c04aca4b4388a6ca0e2a5b157&chksm=97ae9b8aa0d9129c555cd804138d8745782c53fe25c1fd7bb20715c7d54db95d956befee49d5&token=1189979899&lang=zh_CN#rd.
2020-11-08 10:56:13
10664
原创 小白篇(八)：大数据Hive参数优化
我的原文地址：https://mp.weixin.qq.com/s?__biz=MzIxMzg5NzI4OQ==&mid=2247484048&idx=1&sn=8e444bfebc4a3af964cb825e263bc8b0&chksm=97ae9bb6a0d912a0dacabe908bdc8c60f7049d98d40da4513756809b5d2948e74a8aaa17b95c&token=1189979899&lang=zh_CN#rd.
2020-11-08 10:53:29
440
原创 小白篇(七)：大数据HiveSql优化
原文地址：https://mp.weixin.qq.com/s?__biz=MzIxMzg5NzI4OQ==&mid=2247484028&idx=1&sn=de7f121af5b6beb8bf5fa3a9aae4a713&chksm=97ae9b5aa0d9124cd198970148b2410574776779b87b23b6a6d76ba09f7eab33612588416faf&token=1189979899&lang=zh_CN#rd.
2020-11-08 10:46:47
459
原创 小白篇(六)：大数据Hive介绍和使用
原文地址：https://mp.weixin.qq.com/s?__biz=MzIxMzg5NzI4OQ==&mid=2247484012&idx=1&sn=2cd8534c40ee4ce7bc4232dcccefd12c&chksm=97ae9b4aa0d9125c41eb22a923a50f4e016c138d68f31e20a0992ad2ca46ba00e0eb09bd2373&token=1189979899&lang=zh_CN#rd.
2020-11-08 10:41:46
414
原创 小白篇(五)：Mysql数据库进阶章-查询优化
原文地址：https://mp.weixin.qq.com/s?__biz=MzIxMzg5NzI4OQ==&mid=2247483996&idx=1&sn=d96e91cf06258b0399f03370dfa7429e&chksm=97ae9b7aa0d9126cbd433f0496b7a58c8f581befa169ac9a7eaab2a4626255e0575ce41c764a&token=1189979899&lang=zh_CN#rd...
2020-11-08 10:36:53
199
原创 小白篇(四)：Mysql数据库学习-Sql语句之DML语法
原文地址：https://mp.weixin.qq.com/s?__biz=MzIxMzg5NzI4OQ==&mid=2247483980&idx=1&sn=552feec6b28454c2e832ebe847c2e1bd&chksm=97ae9b6aa0d9127c3b2824f4dd1f7e3702103094a3fbadabc9f57e5f2d4ec841cf5b3347af64&token=1189979899&lang=zh_CN#rd...
2020-11-08 10:30:25
737
原创 小白篇(三)：Mysql数据库学习-Sql语句之DDL语法学习
原文地址：https://mp.weixin.qq.com/s?__biz=MzIxMzg5NzI4OQ==&mid=2247483942&idx=1&sn=72b55546eb27093500182ab21a04da07&chksm=97ae9b00a0d91216b32d8a821e5e659227287ff43cb735eb8f4415fb00b6f89777de74edec86&token=1189979899&lang=zh_CN#rd...
2020-11-08 10:24:57
263
原创 小白篇(二)：Mysql数据库学习-安装
原文地址：https://mp.weixin.qq.com/s?__biz=MzIxMzg5NzI4OQ==&mid=2247483926&idx=1&sn=098935378b26b6d7bf39ad2bf9ace3e7&chksm=97ae9b30a0d91226053cf283fb219effed0620c39996bd2f0e19490957e60e2e34e8ed1595d4&token=1189979899&lang=zh_CN#rd...
2020-11-08 10:19:13
204
原创 小白篇(一)：大数据从0基础学
原文可关注公众号：数据在此原文可关注公众号：数据在此原文可关注公众号：数据在此https://mp.weixin.qq.com/s?__biz=MzIxMzg5NzI4OQ==&mid=2247483903&idx=1&sn=ef91e63fd98a3dfe0016556d52e5166d&chksm=97ae98d9a0d911cffa20d00333c6791e573f268801c1f40931f6d690f5bcec6195f74779b3af&t
2020-11-08 09:59:42
374
原创 数据中台之旅(七)数据管理介绍
将于2020-09-13号编写完成后续：数据中台之旅(八)数据监控介绍(规划中)闻道有先后,术语有专攻。宁欺白须公,莫欺少年穷。
2020-09-12 11:45:37
476
原创 数据中台之旅(六)数据服务介绍
将于2020-09-13号编写完成后续：数据中台之旅(七)数据管理介绍闻道有先后,术语有专攻。宁欺白须公,莫欺少年穷。
2020-09-12 11:45:24
1349
原创 数据中台之旅(五)数据开发介绍
功能介绍数据开发 包含: 作业开发(sqoop\hive\impala\python\shell)、实时开发(flink)、调度管理(工作流\定时调度\DAG查询)、日志管理(定时调度日志\作业运行日志)建设思路作业开发: 数仓开发使用频率最高的一个功能。通过web化的开发方式大大提升开发效率,降低技术门槛。以前在平安使用的是shell、sql脚本，自己写整套的指令。我希望的是，开发人员只要关注业务逻辑sql编写就好了。不要管底层技术怎么运行的(当然爱学习的小伙伴还是关注底层的好,不然真的容易被
2020-09-12 11:45:05
1858
原创 数据中台之旅(四)项目中心介绍
功能介绍项目中心 包含: 项目用户、项目角色、项目配置、作业交接建设思路用户管理: 首先基于现有一些企业的用户管理体系,ldap是一种统一用户管理方式。那么抛开ldap，平台本身也需要登录方式。所以这里采用2种模式登录,ldap 和 普通登录。用户管理就是对系统可操作用户的一个管理和维护的地方。项目管理：在平台中所有的操作，都是在一个项目下的。项目与项目之间相互隔离。所以在系统中心需要对所有项目进行一个管理。系统配置：顾名思义，是对平台本身的一些相关配置，比如：平台本身的元数据源配.
2020-09-12 11:44:49
784
原创 数据中台之旅(二)平台整体介绍
背景一个数据平台它应该具备哪些功能呢？从以往自身数仓工作经历来看，它应该具备数据开发的能力，还有数据调度能力。这是作为一个数仓开发人员首要关注的点。那么，数据挖掘和数据分析人员。他们注重哪些点呢？拥有数据服务能力，数据管理能力对数据使用人员来说是比较友好的。对于大数据平台开发人员来说，如何更好的做一个平台和工具，如何更加灵活实现平台维护是大数据平台人员，作为一个软件开发者考虑的。所以结合上述不同工种的工作内容，大家所需的点不同。但是大家都有一个共性，就是数据。那么整合所有点形成一站式数据平台
2020-09-12 11:43:57
725
原创 数据中台之旅(一)数据大势所趋
背景 能够转型做数据行业的事情很幸运。转型分为三大阶段。 第一阶段: 类BI工作(伪BI工作) 那是2012年5月.在这之前自己从事的是Java研发工作.无意中以外包身份进入了平安.很感谢当时"网上支付组"录用我的那位leader(这里就不提名字了,脑海中还深深记得他). 加入支付组,并没做Java方面工作.从这时开始,与数据行业已经结缘.当时被安排做平安银行与深圳发展银行,支付订单与商户数据整合. 纯数据工作,是之前做Java研发没有经历过的.这里不得不说大厂分工是非常细的. 项目...
2020-09-12 11:43:39
540
原创 cdh zookeeper未授权访问(安全漏洞)处理
前言： 最近公司在做安全漏洞扫描。发现cdh zookeeper存在未授权访问的问题。ZooKeeper的节点有5种操作权限：CREATE、READ、WRITE、DELETE、ADMIN 也就是 增、删、改、查、管理权限，这5种权限简写为crwda(即：每个单词的首字符缩写)注：这5种权限中，delete是指对子节点的删除权限，其它4种权限指对自身节点的操作权限ZooKeeper的身份的认证有4种方式：world：默认方式，相当于全世界都能访问auth：代表已经认证通过的..
2020-08-26 18:21:52
2265
原创 apache doirs安装(直接编译-安装)
前言: 这些时间一直在设计和开发数据中台,很久没有研究新技术了。最近2天尝试着搭建了一下。Apache Doirs. 顺便做下记录。环境：操作系统：centos7.3Doirs版本：DORIS-0.12.19-releaseJdk：1.8maven版本：3.6.3安装环境准备：要求：jdk1.8、系统gcc 5.3.1+、cmake3.11+、maven3.5+ ， 如果对应软件版本过低，那就升级吧（后续会提到）。安装方式： 直接编译安装（非docker...
2020-08-14 09:53:13
830
原创 hive udf注册(自定义函数创建)
【UDF】上传jar（开发的自定义函数包）：hdfs dfs -mkdir /user/bigdata/udf/cdhudf/hdfs dfs -chmod 777 /user/bigdata/udf/cdhudfhdfs dfs -rm /user/bigdata/udf/cdhudf/udf.jarhdfs dfs -put /home/bigdata/bin/udf.jar /us...
2019-11-01 15:20:02
1859
原创 rm -rf 文件恢复（不要抱太大的希望）
总结下：rm -rf 文件恢复（不要抱太大的希望）。不要小看 rm 的威力。对任何操作要有敬畏心。希望不大，说明还是有希望。下面看看是否可以给大家带来帮助。事件系统 事件目录 CentOS7 rm -rf /home/bigdata/ 下所有目录 一、系统自带lsof 指令（单个文件恢复）操作用户：bigdata 或者 root1、通过指令： lso...
2019-09-06 22:19:46
1489
原创 JAVA通过POI（将excel转为txt）
pom.xml<dependency> <groupId>org.apache.poi</groupId> <artifactId>poi</artifactId> <version>3.13</version> <...
2019-08-28 17:25:00
1996
1
原创 【前端】VUE开发-初试
前言：因为项目需要，最近尝试着前端开发。同事找了一个这个框架：https://panjiachen.github.io/vue-element-admin-site/zh/guide/#功能汉化地址：git clone -b i18n git@github.com:PanJiaChen/vue-element-admin.git记录下，今后补充# 克隆...
2019-07-24 11:31:47
268
原创 java生成日期维度表
import java.io.BufferedReader;import java.io.File;import java.io.FileWriter;import java.io.IOException;import java.io.InputStream;import java.io.InputStreamReader;import java.io.PrintWriter;i...
2019-07-02 14:21:18
1605
原创 presto安装（基于cdh6.1集成hive+sentry）
官网：https://prestodb.github.io/docs/current/index.html环境和软件信息:presto 0.221linux centos7cdh6.1.1presto下载地址:https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.221/presto-server-...
2019-06-20 17:45:39
1996
3
原创 finebi pdf发送数据图形问题（xvfb安装和启动）
1、环境：FineBI 软件（5.4版）Linux 系统（centos7）2、问题：通过finebi 定时发送分析图形（以 pdf 文件形式发送)，发现无法发送出去。解决方式：在linux系统下，finebi采用了xvfb工具来画图。安装：cd /tmpwget http://vault.centos.org/7.2.1511/os/x86_64/Pack...
2019-06-12 20:11:19
430
原创 distcp集群数据迁移
近期在做HDP集群 数据迁移到CDH集群中。使用了distcp指令做数据迁移.##distcp 指令:源->目标 (指令在目标端运行)指令:hadoop distcp 源 目标##1、运行指令的用户,得有目标仓库的写权限##2、源端:必须是绝对路径(hdfs路径到表名路径)##3、目标端:只需要到库(需要到表,否则将多一层路径)##4、目标端:表需要单独创建....
2019-05-22 15:58:23
590
原创 cdh6.1.1+kylin2.6.2+kylin3.1.0问题记录
kylin安装参考(本人之前的文章)：https://blog.youkuaiyun.com/belialxing/article/details/80888417如下是CDH6.1.1中安装 kylin2.6.2遇到的问题。问题一、错误信息：Retrieving hbase dependency...错误: 找不到或无法加载主类 org.apache.hadoop.hbas...
2019-05-21 16:19:05
990
2
原创 pycharm+anaconda 连接hive(python3)
通过两大神器，强强联合，轻松掌握python。1、神器一anaconda用作包管理.(python模块管理,当然不仅限python模块包的管理)anaconda下载地址:建议使用最新版本.https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/2、神器二pycharm:IDE工具(开发工具)https://download....
2019-04-28 00:23:17
3063
1
ssh远程执行脚本
2018-09-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人