小文件如何产生 动态分区插入数据，产生大量的小文件，从而导致 map 数量剧增 reduce 数量越多，小文件也越多( reduce 的个数和输出文件是对应的) 数据源本身就包含大量的小文件小文件带来的问题 小文件会开很多 map，一个 map 开一个 JVM 去执行，所以这些任务的初始化，启动，执行会浪费大量的资源，严重影响性能 小文件会给底层文件系统带来很大压力， 如在 HDFS 中，每个小文件对象约占150 byte，如果小文件过多会占用大量内存。这样 NameNode 内...

内容截取和补充

需求描述：传入一个开始时间,start_dt，一个结束时间，start_end,使其能够将开始时间到结束时间之间所有的时间 都遍历出来。实现效果：hive sql 实现：–根据开始时间和结束时间生成时间段内所有时间select regexp_replace(date_add(dt,row_number() over(order by dt) - 1),’-’,’’) as dtfrom (select explode(split(rpad(‘2019-07-20’,(datediff(

是否支持多机房组成一个global集群，目的当一个机房物理容量不可扩容时，是否可以支持多机房的存储计算？ 当IAAS层ready没问题时，产品安装时间大约多久？后续集群扩容（可以按规模给定时间，如扩容增加大约10台机器需花费时间多久？）和产品升级花费时间多久？ 支持spark3了吗？如果社区flink，spark，hbase，hadoop有大版本升级，大数据平台滞后多久跟随升级？ 使用产品时报错无法完成预期任务，如果是产品测的问题，多久能得到反馈解决？ 产品是否支持模块化销售：基本大数据底座，数据治

Unexpected ErrorInstance <Query at 0x267853b90f0> is not bound to a Session; attribute refresh operation cannot proceed (Background on this error at: http://sqlalche.me/e/13/bhk3)

如何建设数仓，如何构建主题域 缓慢变化维 几种处理方式 什么是维度建模，星型模型与雪花模型的区别 数仓的好处 分层的好处 怎么做数据质量，怎么保证及时性和准确性 什么是维度，什么是度量 如何数据治理？ 三范式 数据仓库vs数据中台vs数据湖 做过实时数仓吗，讲一下 ----------------------- 注：新浪也考过 awk输出并求和python：...

hdfs 下小文件是最致命的影响之一Hive 命令hive.merge.mapredfiles=true;hive.merge.mapfiles=truehive.merge.rcfile.block.level=truehive.merge.size.per.task=256000000hive.merge.smallfiles.avgsize=16000000tez 命令hive.merge.tezfiles=truespark 命令 ：hive.merg...

案例 (spark version 2.4.6)：create tmp.table_Y_x_h partitioned by (key string) stored as orc ;insert overwrite table tmp.table partition(key='ur_my_love') select * from tablex where 1=2 ;会在hdfs key path 下生成一个000000_00 size 大小为 0 的空文件 ;在spark-s...

create tmp.table stored as orc as select * from tmp.tablesx;insert into tmp.table select * from tmp.tablesy;会造成 hdfs 文件的后缀名称不一致 ，造成 spark 引擎下部分数据不能读取的错误 ；解决方法 ：1. 上述的sql 通过 union all 进行合并2.增加参数强制统一hdfs文件格式 ：spark.sql.hive.convertMetast...

Kubenetes 与 hadoop 的关系是怎样的

flink 下的流批一体是怎么一会儿事情

Error in query : org.apache.hadoop.hive.ql.metadata.HiveException:get partition :Value for key dt is null or empty ;Solution :

hadoop fs -du -h hdfshadoop fs -du -s -h hdfs：//dim.db

大数据架构师 \ 专家 战略合作 希望参与 交流会人工智能架构师数据能力 规划 计划 数字货币 六位 老师 实时数据 + 结果BIHbase + 多维分析 查询 决策 风控 AI 建模等 current 统计 支付监管 反洗钱 等 博士 提供驻场等实施 ： flink + kafkafusioninsdie人脸识别 ++++ 支付 案例 以及图像识别 Hbase + ES 黑科技江苏公安 跨域协同 公安部的 数据生命周期 准...

【腾讯文档】大数据基础https://docs.qq.com/slide/DQXlvZHVUTGJQR3hE

在贴源层大概有两年的数据 ，存在一个分区里面 ，在往odm 写入时候 按照交易时间进行重新分区 ，造成运行时间非常长，这个有什么解决方案呢 ？loading。。。。

hive kill command 和 Hadoop Job infomation for stage-19 number of mappers 之间的时间间隔很大超过三分钟 ，不知道什么原因

技术交底书 交底书名称 一种增量数据加工处理方法在大数据治理过程中的应用 发明人（可以多个） 第一发明人身份证号码 交底书撰写人 电话&手机 Emai...

  在大数据处理中经常遇到业务端发送json 数据到 table 里 的情况 ，这个需要数据开发工程师能够准备对json string 进行解析 ，并重新定义新表的结构 。在网络上看到很多网友提到 get_json_object ,json_tuple 的使用和案例 ，结合 替换和分组函数可以比较容易的对json 数据完成解析 。不久前我们遇到一个json 类似 格式如下 ：{...

Jetty 是一个开源的servlet容器，它为基于Java的web容器，例如JSP和servlet提供运行环境。Jetty是使用Java语言编写的，它的API以一组JAR包的形式发布。开发人员可以将Jetty容器实例化成一个对象，可以迅速为一些独立运行（stand-alone）的Java应用提供网络和web连接。

select create_time ,FROM_UNIXTIME(CREATE_TIME/1000,'%Y-%m-%d %H:%i:%s') from xxxx where create_time = 1551691014日期 Long 类型和date 类型转化

zk kafka mariadb scala flink integrationI do not want to write this paper in the beginning , put the codes onto github.com/git.jd.com, while there some errors since moved to jdd(jd finance) this mon...

先上图 运行界面运行了三个任务第一个是word count第二三个是 数据 producer and  consumer ----&gt; 更多代码 可以参考上一篇blog 里面有很详细的介绍 在数据从idea 导出jar 包 已经 运行的过程中遇到两个问题 1，导出时候 因为是单机环境 需要把 kafka 等相关的依赖 一起导出 参考这个blog  ，主要是要勾选...

整个大数据处理的体系，按我的理解可以分为两个部分，一个是分布式存储系统、另一个是分布式计算框架。分布式存储系统主流是HadoopDFS，其他还有Ceph和Swift。分布式计算框架主流是MapReduce，Storm和Spark。          首先说分布式存储系统HadoopDFS。它是一种本地文件系统之上的更高的抽象，把跨节点的组成的文件系统看成一个逻辑上的整体。它存储的思路是，把

1.列举spark 比hadoop 快的原 因 ，以及现在存在的主要问题2.描述下使用spark streaming 和 GraphX实现实时计算的可行性，以及可能会遇到的问题3.GraphX的Pregel API 只支持有向图遍历  ，如何实现无xiang 遍历，描述思路4.SPark 通过yarn 提交任务时，yarn-client & yarn-cluster 的区别

1.在Hadoop中定义的主要公用InputFormat中，默认是哪一个？（A） A、 TextInputFormatB、 KeyValueInputFormatC、 SequenceFileInputFormat 1. 下面哪个程序负责 HDFS 数据存储？（C） A.NameNodeB.JobTracker

各软件版本：Java : 1.7.0_79Hadoop ： hadoop-2.6.5-src.tar.gzmaven：3.3.9protocbuf：2.5解压缩 tar -zxvf  1 配置maven 环境变量 export MAVEN_HOME=/root/compileHadoop/maven-3.3.9export PATH=$PATH:

YARN基本架构

一、调优的目的    充分的利用机器的性能，更快的完成mr程序的计算任务。甚至是在有限的机器条件下，能够支持运行足够多的mr程序。二、调优的总体概述    从mr程序的内部运行机制，我们可以了解到一个mr程序由mapper和reducer两个阶段组成，其中mapper阶段包括数据的读取、map处理以及写出操作(排序和合并/sort&merge)，而reducer阶段包含mapper输出

大数据技术之Hadoop

在前面的文章中，我们有简单提到过 shell or python 调度hive 的 伪代码 ，今天我们在丰富下 这些伪代码 http://blog.youkuaiyun.com/haohaixingyun/article/details/51821444说明，在实际生产环境中，可能会部署一些成熟的作业流程调度引擎 Oozie  or  Azkaban 等 ，更多详细资料 请自行查阅 今天我

CDH 环境搭建配置集成

FS Shell调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认schem

How to establish a big data platform ?http://xyz.insightdataengineering.com/blog/pipeline_map/https://blog.insightdatascience.com/the-data-engineering-ecosystem-in-2017-2c2a3429350e这张图很好的呈现了，每个框

1. mysql jdbc 错误 需要驱动 2. mysql 服务器 ip 错误 即便是本地 也需要用 域名 或 是 ip 不能 用 localhost 等 3. 数据长度 问题 ，hive 乳沟 大于 mysql 错误4. hive 跟 mysql 字段名称 尽量匹配 或是 一致 5. hive 的 dt 数据 是通步不过去的 需要单独 使用一个 dt 同步时...

hive 数据有时候需要进行数据合并 #!/bin/bashhadoop jar /software/servers/bdp_tools/mergefiles-1.7.jar -u lzo -p hdfs://ns1/user/dd_edw/adm.db/table_name/dt=2018-09-012018/12/06 今儿谈话聊天更精进一部lovely #!/bi...

 The most important parameters of spark env when you using spark run data thingsIn my memory I always confused by these parameters  ,so it's a good time to understand them totally thanksThere ar...

在京东众多业务中，促销业务充满了复杂性和挑战性，因为业务的灵活性，很多数据都存储成xml和json格式数据，这就要求下游数据分析师们需要对其做解析后方可使用 。在众多操作中 ，有一种是需要对数据做行列转换操作。数据结构：create external table jd_row_to_column(jd_id string ,jd_session string );数据描述：...

select explode(Array('row1','row2','...','rown'))Result col_name row1row2...rown

Error  ：Failed with exception java.io.IOException:org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.ClassCastException: java.lang.String cannot be cast to java.lang.Integerreason :在设置IO类型时采用...