mathlpz126的博客

图数据库选型汇总，图数据库发展，一文了解各种图数据库查询语言对比。

项目部署要连接外部系统（如苏研平台）的大数据平台hive和hbase组件，大数据平台配置了kerberos安全认证，但对方没有提供相关的连接示例代码。由于是第一次对接，部署调试过程中遇到很多问题，记录下来，仅供参考。1、hive连接配置代码： /** * @return */ @Bean(name = "datasourceHive") public DataSource getDataSourceHive() { // .

表信息（textfile存储格式）：desc dim_tencentyk_info;OKurl string video_id string video_name string .

总共需要以下几个类：package com.config.datasource;import com.alibaba.druid.pool.DruidDataSource;import lombok.extern.slf4j.Slf4j;import org.springframework.beans.factory.annotation.Value;import org.springframework.context.annotation.Bean;import org.springfr

首先上终极解决方案：create_namespace 'recom_ns'create 'recom_ns:prefer_result','info', { NUMREGIONS => 10 , SPLITALGO => 'UniformSplit' }hdfs dfs -put hbase_test.data /tmp/hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator="," \-Dm

一创建flink包下载flink parcel# git clone https://github.com/pkeropen/flink-parcel.git 1.需要提前安装maven，执行编译脚本的需要用# yum -y install maven# chmod 744build.sh2.配置flink-parcel.properties#FLINK 下载地址FLINK_URL=https://archive.apache.org/dist/flink/flink-...

项目中打算使用Flume把数据直接传到Hive表而不是HDFS上，使用Hive作为Sink，Flume版本为1.9.0。前期启动遇到各种报错：NoClassDefFoundError: org/apache/hadoop/hive/ql/session/SessionStateNoClassDefFoundError: org/apache/hadoop/hive/cli/CliSessionStateNoClassDefFoundError: org/apache/hadoop/hive/

从hive查询数据，使用shell脚本管道方式导入到Redis集群。

代码脚本如下：#!/bin/bash# 连接mysql数据库，并查询结果，将结果输出到文件中# 1.定义连接变量mysql_hostname='172.28.65.133'mysql_port='3306'mysql_username='root'mysql_password='xxxxxx'#dbname='recom_video'time=`date -d "1 day ago" +"%Y-%m-%d"`save_f="t_st_video_info_${time}.txt"

使用sqoop将数据定时从hive表导入MySQL。话不多说，线上脚本：#!/bin/sh#********************************************************************************#********************************************************************************#reload env#当前目录路径mysqldhome_hostname=