lhxsir的博客

最近有新项目需要使用中文分词，然鹅之前安装的ES5.3.0需要安装插件，而且老版也没有自带安全验证，考虑之后还是升级吧（一）下载所需要的软件wget -b https://download.java.net/java/GA/jdk11/13/GPL/openjdk-11.0.1_linux-x64_bin.tar.gzwget https://artifacts.elastic.co/dow...

由于之前使用的是Elasticsearch 5.3.0，需要升级到Elasticsearch 7.3.0

早上业务部门发邮件说昨天数据没生成出来，查看集群后发现workflow任务阻塞了，正常9点之前所有任务都能执行完毕，今天竟然有三个workflow还在执行中。。。还有两个workflow任务超时报错了，进一步排查原因是资源池被其它部门的机器学习任务抢占了！随着生产集群上部署的workflow越来越多，集群资源有限，集群任务没有合理规划执行时间，导致现在出现资源抢占的情况！！！和其它部门协调方案：(1) 限制机器学习任务占用资源大小(2)把机器学习任务从7点调整到5点后续如何避免这类问题：(1)

生产集群workflow经常随机报错，但是报错信息都差不多，SQL解析，内存不足的问题，报错信息如下：21/01/29 04:02:54 ERROR yarn.ApplicationMaster: User class threw exception: org.apache.spark.sql.catalyst.errors.package$TreeNodeException: execute, tree:Exchange RoundRobinPartitioning(1)+- *Project [R

sqoop版本：1.4.6+cdh5.13.3+132oracle导入到hdfs（parquet格式）oracle导入到hdfs（text格式）oracle导入到hdfs（rowid字段）oracle导入到hivehdfs导出到oraclehdfs导出到mysqloracle导入到hdfs（parquet格式）工 中经常使用sqoop导入数据到hdfs上，由于oracle表中有些字段包括/t/r/n等特殊字符，为了数据不出现错位，解析失败等情况，我们采用parquet压缩格式（其中时间存为 "yyyy-

（一）Spark读数据为空问题近期数据库迁移，使用Sqoop抽数据到Hive，然后用Spark读数据。经过测试sqoop底层是使用MapReduce程序把Oracle数据导入到Hive中的所以我们应该使用hive的引擎去读这些表，需要在Spark代码中添加配置hiveContext.setConf("spark.sql.hive.convertMetastoreParquet","fals...

引用maven<dependency> <groupId>org.apache.oozie</groupId> <artifactId>oozie-client</artifactId> <version>4.1.0</version> ...

终于到周五了，打开电脑查看集群运行情况，某个workflow原来执行完只需要1h，现在执行时间翻倍？workflow 历史执行时间 4:00-5:14workflow2 历史执行时间 5:00-5:56根据Start Time显示workflow在4:21开始执行，5:00被workflow2卡死，在workflow2 释放资源后，5:52又重新启动并执行成功的。于是调整work...

生产环境账号回收，需要把所有数据表迁移到测试环境！！！上百张表，已经找不到原始建表语句，只能自己想办法了。百度很久，最终决定通过shell把从集群上把建表语句下载下来：新建list_tables.sqluse db;show tables;新建show_create.sqluse db;show create table ${hiveconf:table};download_...

使用regexp_replaceregexp_replace(address,"","")(1)匹配所有字符：select regexp_replace(address, '.*', '***') from table;(2)匹配指定字符：select regexp_replace('2016-06-05', '-', '') from table;(3)匹配特殊字符（换行符）：...

Failed to connect to /192.168.1.1:50010 for block, add to deadNodes and continue. java.net.ConnectException: Connection timed out: no further information初步判断是集群IP映射问题，打开CM中HDFS配置，修改如下：打开配置(1) Name...

平常使用 hive或 mysql主要用聚合函数但对于某些偏分析的需求，group by可能很费力，子查询很多这个时候就需要使用窗口分析函数了~比如：最近一次行驶里程select max(ded.bill_date),ded.vin,ded.current_milemetrefrom db.tt_repair_deed ded where ded.negabalance_sign =...

查看CMhttp://svldl042.csvw.com:7180/cmf/login查看HUEhttp://svldl031.csvw.com:8889/filebrowser/查看spark history运行情况http://svldl045.csvw.com:18089/查看YARNhttp://svldl043.csvw.com:8088/cluster...

创建表CREATE TABLE if not exists test_table( id BIGINT, name STRING, PRIMARY KEY(id))PARTITION BY HASH PARTITIONS 16STORED AS KUDU;将数据插入Kudu表INSERT INTO test_table VALUES (99, "sarah");...

集群环境CDH5.8.0 / spark2.1.0我们用执行以下命令报错：spark2-submit --master yarn --class com.egridcloud.hive.SparkReadHbaseTest2 ./dac-repair2.jar 'SELECT count(*) FROM test' 'hdfs:///user/asmp/test/HT'其中test表是...

报错信息：client token: N/A diagnostics: Application application_1536912246146_0002 failed 2 times due to AM Container for appattempt_1536912246146_0002_000002 exited with exitCode: -1000For mor...

java.lang.OutOfMemoryError: GC overhead limit exceeded at org.apache.spark.unsafe.types.UTF8String.fromAddress(UTF8String.java:102) at org.apache.spark.sql.catalyst.expressions.UnsafeRow.getUTF8Stri...

进入spark运行历史界面：可以查看运行时间，Jobs等详细信息一般来说，每个Action的触发都会生成一个Job,一个 Job 会被拆分成stages,一个 stage由多个 task构成(Jobs–&gt; Stages --&gt; Tasks)点击进入job(被分成2个stage)详细信息，查看运行时刻表、DAG可视化、输入数据、输出数据等信息。...

点击Hue报错页面，找到application_ID根据application_ID到yarn界面（http://bigdata.lhx.com:8088/cluster）找到完整信息点击ID或者history进入logs界面详细报错信息：spark找不到集群中asmp数据库 ERROR yarn.ApplicationMaster: User class threw except...

集群内存：1024G（数据量：400G）(1)报错信息：Job aborted due to stage failure: Serialized task 2231:2304 was 637417604 bytes, which exceeds max allowed: spark.rpc.message.maxSize (134217728 bytes). Consider increas...

打开公司集群，隔三差五就有skaftersales_asmp任务报错点进去一看原来是这个子任务出错(1)定位到dws_sk_dealer_repair_count_day这张hive表原因：没有前一天数据导致删除失败，也没有生成今天的数据(2)继续查看这张表数据来自于dhi_sk_repair_deed_tmp表(3)接下来查到数据是来自于我年前创建的tt_repair_deed_t...

代码不规范，同事两行泪！代码不备份，自己两行泪！早上正常上班，打开集群：昨天的任务全部失败！打开目录，发现少了conf文件夹，之后又发现analysis文件夹也莫名消失。没有专门的运维人员进行集群管理和快照保存，作为开发我才发现Hue上删除数据竟然没有用户操作记录，数据找回无望，因为之前写的程序代码都在。只能按照历史数据重新计算，然而这个是同比环比数据，想当初计算出来的时候逻辑改了好几版，...

参考代码如下import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.io.Text;import org.apache.hadoo...