<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[那年夏天110的博客]]></title><description><![CDATA[大数据技术杂谈]]></description><link>https://blog.youkuaiyun.com/corejava110</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; corejava110]]></copyright><item><title><![CDATA[hive json数据处理]]></title><link>https://blog.youkuaiyun.com/corejava110/article/details/108319874</link><guid>https://blog.youkuaiyun.com/corejava110/article/details/108319874</guid><author>corejava110</author><pubDate>Mon, 31 Aug 2020 13:54:48 +0800</pubDate><description><![CDATA[json-serde-1.3.6-SNAPSHOT-jar-with-dependencies.jar 可在github上下载



json数据解析jar 可以上传到hdfs上：



使用是在hive中先add 如：



add jar hdfs://tmp/jsonser/json-serde-1.3.6-SNAPSHOT-jar-with-dependencies.jar;



或



add jar /bd/json-serde-1.3.6-SNAPSHOT-jar-with-d...]]></description><category></category></item><item><title><![CDATA[spark sql＋hive ETL]]></title><link>https://blog.youkuaiyun.com/corejava110/article/details/108319329</link><guid>https://blog.youkuaiyun.com/corejava110/article/details/108319329</guid><author>corejava110</author><pubDate>Mon, 31 Aug 2020 13:28:40 +0800</pubDate><description><![CDATA[spark-sql 缺点：执行语句insert overwrite table xx…在结果目录会有大量小文件，容易内存溢出执行失败

Spark sql +hive

create table if not exists db.res(sum_id string,cnt_id string,dis_id string,cnt_uid string,dis_uid string) partitioned by (dt string comment '分区日期 yyyy-MM-dd') stored as o]]></description><category></category></item><item><title><![CDATA[Superset部署与集成kylin]]></title><link>https://blog.youkuaiyun.com/corejava110/article/details/108319220</link><guid>https://blog.youkuaiyun.com/corejava110/article/details/108319220</guid><author>corejava110</author><pubDate>Mon, 31 Aug 2020 13:11:32 +0800</pubDate><description><![CDATA[Superset是什么

superset是一个Apache开源的数据探查与可视化平台，怎么说呢，我们只需要安装它，配置他的一些文件，就可以连接数据库，进行图表展示。

Superset介绍

后端：整个项目的后端是基于Python的，用到了Flask、Pandas、SqlAlchemy。

前端：用到了npm、react、webpack,这意味着你可以在手机也可以流畅使用。。

功能介绍：

1、我们可以通过连接数据库，去对数据库中的单个表进行配置，展示出柱状图，折线图，饼图，气泡图，词汇云，数字，环状.]]></description><category></category></item><item><title><![CDATA[spark集群app运行状态监控]]></title><link>https://blog.youkuaiyun.com/corejava110/article/details/108319139</link><guid>https://blog.youkuaiyun.com/corejava110/article/details/108319139</guid><author>corejava110</author><pubDate>Mon, 31 Aug 2020 13:00:27 +0800</pubDate><description><![CDATA[部署运行机器：bdp-40

*/1 * * * * /disk4/bd/spark_job_monitor/spark-job-monitor.sh

spark-job-monitor.sh 脚本代码：

#!/bin/bash
2
3 # spark job name array
4 job_name_array=(
5 'app_sparkToMg-1114'
6 'sparkToDB-1016'
7 'sparkToMg-0709'
8 'sparkToMg_0822_online'
9 )
10]]></description><category></category></item><item><title><![CDATA[CDH+apache spark集群]]></title><link>https://blog.youkuaiyun.com/corejava110/article/details/108319123</link><guid>https://blog.youkuaiyun.com/corejava110/article/details/108319123</guid><author>corejava110</author><pubDate>Mon, 31 Aug 2020 12:57:43 +0800</pubDate><description><![CDATA[spark-1.6.3-bin-hadoop2.6.tgz 官网下载，环境变量配置： 

/etc/profile  bdp-40 节点


81 # set java env
82 export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
83 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
84 export PATH=$P...]]></description><category></category></item><item><title><![CDATA[Ranger1.2.1＋LDAP bug fix]]></title><link>https://blog.youkuaiyun.com/corejava110/article/details/108317464</link><guid>https://blog.youkuaiyun.com/corejava110/article/details/108317464</guid><author>corejava110</author><pubDate>Mon, 31 Aug 2020 11:04:21 +0800</pubDate><description><![CDATA[说明：ranger1.2.1 在集成LDAP使用过程中发现用户数据同步参数不生效，排查发现是一个bug。

ranger.usersync.sleeptimeinmillisbetweensynccycle 默认是3600000 1h同步一次。实际生产不能满足。

在ambari页面修改也不能生效。排查ranger日志发现并没有生效。

具体可见 https://issues.apache.org/jira/browse/RANGER-681

ugsync/src/main/java/org/apac..]]></description><category></category></item><item><title><![CDATA[RocketMQ技术调研]]></title><link>https://blog.youkuaiyun.com/corejava110/article/details/108317438</link><guid>https://blog.youkuaiyun.com/corejava110/article/details/108317438</guid><author>corejava110</author><pubDate>Mon, 31 Aug 2020 11:02:57 +0800</pubDate><description><![CDATA[RocketMQ集群部署和架构



RocketMQ集群部署

版本： rocketmq-all-4.5.2-bin-release

Master-a:

10.3.14.11 hostname:k8s-node-11

Slave-a:

10.3.14.12 hostname:aliyun12

Master-b:

10.3.14.237 hostname:iZ2zedzr0kho17llixfejdZ

Slave-b:

10.3.14.241 hostname:iZ2zegz7uqi3j..]]></description><category></category></item><item><title><![CDATA[Kerberos＋HDP客户端部署与配置]]></title><link>https://blog.youkuaiyun.com/corejava110/article/details/108317370</link><guid>https://blog.youkuaiyun.com/corejava110/article/details/108317370</guid><author>corejava110</author><pubDate>Mon, 31 Aug 2020 11:01:14 +0800</pubDate><description><![CDATA[背景说明：

在Ambari平台上启用Kerberos之后，一些服务的Web UI 如：Namenode:50070、Yarn Web UI、spark history UI等快速链接大部分都是需要Kerberos认证才可以继续使用的。

像这种情况，就不能在Linux上进行操作.需要在Windows上安装Kerberos客户端，再进行浏览器配置才可以访问Hadoop相关服务的Web UI界面。



安装配置主要分为以下几步



在windows上安装Kerberos客户端，并修改本地krb5.in..]]></description><category></category></item><item><title><![CDATA[spark2.4.2＋hadoop3编译]]></title><link>https://blog.youkuaiyun.com/corejava110/article/details/108317332</link><guid>https://blog.youkuaiyun.com/corejava110/article/details/108317332</guid><author>corejava110</author><pubDate>Mon, 31 Aug 2020 10:58:36 +0800</pubDate><description><![CDATA[wget https://archive.apache.org/dist/spark/spark-2.4.2/spark-2.4.2.tgz





spark2.4 pom.xml 修改：



  &lt;!-- Add vendor maven repositories --&gt;

       &lt;!-- Cloudera --&gt;

       &lt;repository&gt;

           &lt;...]]></description><category></category></item><item><title><![CDATA[flink1.10.1+hdp3.1.0.0-78编译]]></title><link>https://blog.youkuaiyun.com/corejava110/article/details/108317284</link><guid>https://blog.youkuaiyun.com/corejava110/article/details/108317284</guid><author>corejava110</author><pubDate>Mon, 31 Aug 2020 10:56:18 +0800</pubDate><description><![CDATA[基础环境：

[root@hdp2 flink]# which mvn

/root/apache-maven-3.6.3/bin/mvn



yum -y install git



编译flink1.10.1 集成环境 hdp3.1.0.0-78





https://docs.cloudera.com/HDPDocuments/HDP3/HDP-3.1.0/release-notes/content/comp_versions.html



[root@hdp2 flink-sha...]]></description><category></category></item><item><title><![CDATA[kafka集群搭建与使用]]></title><link>https://blog.youkuaiyun.com/corejava110/article/details/58595139</link><guid>https://blog.youkuaiyun.com/corejava110/article/details/58595139</guid><author>corejava110</author><pubDate>Tue, 28 Feb 2017 14:23:59 +0800</pubDate><description><![CDATA[kafak集群搭建与使用1. kafka下载和依赖
官网下载地址：[KAFKA]: http://kafka.apache.org/downloads.html
下载kafka_2.11-0.8.2.2.tgz  依赖编译环境JDK7+
2.解压和配置
tar -zxvf  kafka_2.11-0.8.2.2.tgz
cd kafka_2.11-0.8.2.2
kafka目录结构和说明bin]]></description><category></category></item><item><title><![CDATA[开篇摘要总结]]></title><link>https://blog.youkuaiyun.com/corejava110/article/details/58592030</link><guid>https://blog.youkuaiyun.com/corejava110/article/details/58592030</guid><author>corejava110</author><pubDate>Tue, 28 Feb 2017 13:14:20 +0800</pubDate><description><![CDATA[转眼间搬砖的日子已经快七年了(算上大学里苦逼入行开始的话) 很久以来一直是看各路大神的各种技术贴，学习、膜拜。
    然而这些年自己也在各种不懂场景下使用、研究了各种技术，算是有些浅薄的了解和认识吧。但一直没时间和精力来已技术贴的形式，整理、总结出来。(主要还是太懒)


    但最近一年来，感觉自己改好好的梳理、总结下玩过的、正在玩的、计划玩的一些技术。其实是发现周]]></description><category></category></item></channel></rss>