公子专栏

很多同学在Hive开发过程中，都会遇到外部表和管理表的问题，而且在联合使用insert into 和 insert overwrite 时，总是理不清。下面我们就根据实际开发中的测试来说明一下。Hive中管理表与外部表的区别：1、在导入数据到外部表，数据并没有移动到自己的数据仓库目录下，也就是说外部表中的数据并不是由它自己来管理的！而管理表则不一样； 2、在删除管理表的时候，Hive将会把属于表

hive weekofyear : Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row

org.apache.hadoop.mapreduce.task.reduce.Shuffle error in shuffle in fetcher 分析及方案

hive mapreduce reducer 调优

hadoop hive 分区表load至新表

hadoop fs 命令使用

有道笔记-shell 读取文件行 最近通过Spark Streaming消费Kafka数据，消费的数据落到hdfs，一分钟一个小文件，昨天架构那边的同事告诉我要清理历史文件，但是目录太多，手动删比较慢，于是想到可以把文件目录都拿到，写入文本 path_to_clean.txt，通过shell循环读路径，并执行删除。hdfs://nameservice1/user/hadoop/dw_realtim

最近一年大数据火爆异常，各种培训班开课广告满天飞，很多做开发的朋友也想转到大数据这一行，在投递简历的时候进场被几个岗位搞迷糊，他们是大数据分析师，大数据研发工程师，大数据建模工程师，大数据挖掘工程师。我会根据前同事所在公司的相应岗位，列出岗位职责和要求，供大家借鉴。

最近一年大数据火爆异常，各种培训班开课广告满天飞，很多做开发的朋友也想转到大数据这一行，在投递简历的时候进场被几个岗位搞迷糊，他们是大数据分析师，大数据研发工程师，大数据建模工程师，大数据挖掘工程师。我会根据前同事所在公司的相应岗位，列出岗位职责和要求，供大家借鉴。

ZooKeeper 学习之logback配置-这是一个读写zk的学习项目，用到了zookeeper、logback、slf4j、maven等工具

Linux和Windows和换行符不一样。Windows下是CRLF(\r\n或0d0a)，Linux下是LF(\n或0a)。在Linux下有时会遇到从Windows过来的文本文件，这些文件带了Windows换行符，Linux下进行脚本处理时有可能会出一些莫名其妙的错误。因此需要将这些文件转换为Linux换行符。之前都是用dos2unix命令转换，但是很多系统没装这个命令。Linux自带的sed命令

hdfs 增删查等基本操作## 查看hadoop fs -ls /user/hadoop/dw_realtime/config/## 删除文件hadoop fs -rm /user/hadoop/dw_realtime/config/id.properties## 删除目录及文件hadoop fs -rmr /user/hadoop/dw_realtime/config/## 创建目录had

官方 HiveUDF LanguageManual 点这里关系运算等值比较: = 语法:A = B 操作类型: 所有基本类型 描述: 如果表达式A与表达式B相等，则为TRUE；否则为FALSE 举例：hive> select 1 from dual where 1=1;1##### 不等值比较: <>语法: A <> B 操作类型: 所有基本类型描述: 如果表达式A为NULL，或者

Hive 正则提取英文名称和中文名称提取英文名称select regexp_extract(&quot;Aptamil 爱他美(德国)&quot;,'([A-Z][a-z]*(\\s|$))+', 1);select regexp_extract(&quot;Skin 伊思&quot;,'(\\w*(\\s|$))+', 1);select regexp_extract(&quot;SKIN 伊思&quot;,'(\\w*(\\s|$))+',..