恩特尔派

kylin在hive中会使用一个叫做kylindb的库Step #1: Create Intermediate Flat Hive Table做表关联，做一张关联后的宽表，具体步骤如下：1.1 根据cube的维度、度量创建中间宽表 kylin_intermediate_cubeA。DROP TABLE IF EXISTS kylin_intermediate_cubeA;CREATE E...

1、aggregate()方法声明：def aggregate[U: ClassTag](zeroValue: U)(seqOp: (U, T) => U, combOp: (U, U) => U): U = withScope {}方法声明中的重点：1、aggregate返回类型为传入的类型参数U2、第一个参数列表zeroValue为U类型的值，是聚合的初始值。3、两个函数类型的参数，官方注释如下： * @param seqOp an operator used to accu

在hive中添加udf较为简单，没遇到什么麻烦，但是在impala中添加udf有时候会报错，找不到类,class not found等。一、class not found解决办法：将所缺类的jar包放到impala的lib目录下，如果是cloudera管理的，通常为：/opt/cloudera/parcels/CDH/lib/impala/lib/然后还需要重启impala新放入的jar...

首先语句上很简单，sqoop export \--connect jdbc:mysql://192.0.0.1:13308/test?characterEncoding=UTF-8 \--username cxk \--password jinitaimei \--table test_table \--columns a,b,c,d,e \--hcatalog-databa...

Writable接口：包名：org.apache.hadoop.io方法：write(DataOutput var1) 用于序列化对象方法：readFields(DataInput var1) 用于反序列化对象Comparable接口：包名：java.lang方法：compareTo(T o) 用于比较大小，排序可能会调用WritableComparable...

def scanFunc(uuid: String, table: Table): ListBuffer[String] = { var result = new ListBuffer[String] val scan = new Scan() val filter = new SingleColumnValueExcludeFilter(Bytes.t...

需求：有一个tuple数组，每个元组四个元素，需求按照 _2 _4 分组，_1 _3拼以 _ 拼接后，组内的再以 | 连接。sql实现为：select _2+_4,contact_ws(_1+_3,'|') from t1 group by _2+_4，改用RDD算子实现为：var arrFriend = ArrayBuffer[(String, String, Int, String)]...

Spark2.X 的 Java API 移除了DataFrame类，换为使用DataSet代替。对应的包为：import org.apache.spark.sql.Dataset;import org.apache.spark.sql.Row;

一、使用DataFrame.saveAsHadoopDataset(conn)方法。特点：适合做批量的写入。优点为批量写入方便快捷。缺点对于数据量大的DF写入速度太慢。val conn = new JobConf(HBaseConfigurationcreate())//设置HBase连接conn.set(,)conn.set(,)//设置Host和Portconn.set(TableO...

之前使用spark2.3.1的sparkstreaming时，发现 spark-submite 设置 num-executors10 时，没有起作用，spark作业的executors一度多大几百个，后来把dynamicAllocation.enabled false ，spark任务的executors才能限制在10。过一段时间，使用spark 1.6的saprk-sql时发现有...

1、安装pip必要包 pip install kylinpy pip install sqlalchemy 2、 查询代码：import sqlalchemy as sadef kylin_query(conn_str,query_sql): #查看表（我没跑通） kylin_engine = sa.create_engine(conn_str) ky...