lm19770429的专栏

ES mapping 设计思路及JavaBean实现标签ETL代码实现

Spark2.0+ElasticSearch开发用户画像实战笔记

大数据环境安装与测试内存8GB，4核CPU利用好批处理命令来管理整个集群集群启动：run.sh#!/bin/bashdocker-compose -f docker-compose.yml up -d namenode hive-metastore-postgresqldocker-compose -f docker-compose.yml up -d datanode hive-metastoredocker-compose -f docker-compose.yml up -d

希望能够坚持到底用到了vagrant，用vagrantfile进行详细设置说明：docker-compose.ymlversion: '2' services: namenode: image: bde2020/hadoop-namenode:1.1.0-hadoop2.8-java8 container_name: namenode volumes: - ./data/namenode:/hadoop/dfs/name e..

Java.io.IOException: Cannot run program "python": CreateProcess error=2解决办法：在ubuntu用户系统配置文件.bashrc中加入：export PYSPARK_PYTHON=/usr/bin/python 同步所有spark的集群中的机器该配置source .bashrc使生生效...

文件下载首先一些安装CDH6集群的必须文件要先在外网环境先下载好。Cloudera Manager 6.0.1CM6 RPM：https://archive.cloudera.com/cm6/6.0.1/redhat7/yum/RPMS/x86_64/需要下载该链接下的所有RPM文件，由于jdk1.8我在环境准备部分已经手动安装了，所以可以不用下载RPMS/x86_64/目录下的jd...