赤山岛

MySQL 8.0 安装时 Authentication Method 选了第一个caching_sha2_passoword 导致navicat连接报authentication验证失败 ，修改方法show databases;use mysql;show tables;select * from user;ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY 'root';flush privilege

elasticsearch-7.1.0-linux 外网访问 root问题 良心优化版本 比别人多点套路

CM+CDH6.2.0整理下安装过程和心得还有问题解决hostname改不成功，TSocket read 0 bytes，重启网络失效，大小设置

大数据-Spark-StructuredStreaming流处理含（socket , kfk）demo

大数据-SparkStreaming-Kafka集成DEMO

大数据-Spark-SparkStreaming实时流处理保存到Mysql demonc安装与演示spark-shell演示idea代码演示

拷贝hive中的MySQL jar包到spark 的jars目录mysql-connector-java-5.1.27-bin.jar 把表写入MysqL(自动创建表)scala> val df = spark.sql("select * from kfk.test") scala> import java.util.Propertiesimport java.util.Properties scala> val pro = new Properties()pro:

一、需要配置的项目1.拷贝hive的配置文件hive-site.xml到spark的conf目录 记得检查hive-site.xml中metastore的url的 配置<property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://bigdata-pro01.kfk.com/metastore?createDatabaseIfNotExist=true</v

客户端yarn模式执行bin/spark-shell --master yarn --deploy-mode client问题 HADOOP_CONF_DIR or YARN_CONF_DIR must be setException in thread "main" java.lang.Exception: When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the env

配置 slavesbigdata-pro03.kfk.com配置 spark-env.shJAVA_HOME=/opt/modules/jdk1.8.0_11SCALA_HOME=/opt/modules/scala-2.11.8SPARK_MASTER_HOST=bigdata-pro03.kfk.comSPARK_MASTER_PORT=7077SPARK_MASTER_WEBUI_PORT=8080SPARK_WORKER_CORES=1SPARK_WORKER_MEMORY=1g

中间存在问题请参阅 Spark开发错误锦集（持续更新）https://blog.youkuaiyun.com/tanxiang21/article/details/108678731编辑scala类packagecom.spark.test importorg.apache.spark.sql.SparkSession objectTest{ defmain(args:Array[String]):Unit={ valspark=SparkSession.builder() .master("

错误一 Failed to locate the winutils binary in the hadoop binary path1. 下载hadoop-common-2.7.1-binhttps://download.youkuaiyun.com/download/groovier/9591226?utm_medium=distribute.pc_relevant_download.none-task-download-searchfrombaidu-1.nonecase&depth_1-utm_s

版本Spark2.2 编译 打包 安装 启动 测试下载并安装JDK1.8.0_11 和 SCALA-2.11.8下载地址http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html配置sudo vi /etc/profileexport JAVA_HOME=/opt/modules/jdk1.8.0_11export CLASSPATH=.:$JAVA_HOME/jre/lib/rt

版本hue-3.9.0-cdh5.5.0下载解压http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.5.0.tar.gztar -zxf hue-3.9.0-cdh5.5.0.tar.gz -C /opt/modules编译联网虚拟机里面设置为自动连接切换为root用户安装相关依赖包yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ kr

配置hive-site.xml<property> <name>hive.server2.thrift.port</name> <value>10000</value></property><property> <name>hive.server2.thrift.bind.host</name> <value>bigdata-pro03.kfk.com

HIVE安装与演示（含配置Mysql元数据库）

Mysql yum安装

kafka分布式集群安装

HBASE操作-使用Shell进行数据表操作

1.3.2 大数据HBASE安装 - 解决各种报错

HBASE特点及应用场景结构体系与设计模型示例

1、YARN-HA架构原理介绍2、配置yarn-site.xml<!-- Site specific YARN configuration properties --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> &

架构原理步骤一 先试试配置手动HAhdfs-site.xml HA配置<configuration> <property> <name>dfs.replication</name> <value>2</value> </property><property> <name>dfs.permissions.enabled<

版本zookeeper-3.4.5-cdh5.10.0配置conf/zoo.cfgtickTime=2000 心跳时间单位initLimit=10 10*2000 初始连接最长忍受心跳间隔dataDir=/opt/modules/zookeeper-3.4.5-cdh5.10.0/zkData 文件夹bigdata-pro01.kfk 域名# The number of milliseconds of each ticktickTime=2000# The number of

安装[kfk@bigdata-pro01 ~]$ sudo rpm -qa|grep ntpfontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.4p8-3.el6.centos.x86_64ntp-4.2.4p8-3.el6.centos.x86_64服务[kfk@bigdata-pro01 ~]$ sudo rpm -qa|grep ntpfontpackages-filesystem-1.41-1.1.el6.noarchntp

1、现象Permission denied: user=dr.who2、解决3、配置mapred-site<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value&gt...

大数据2.x 集群安装系列-- YARN配置启动

大数据2.x 集群安装系列 HDFS安装配置

2.x集群安装系列 环境准备

大数据概述（思维导图、学习笔记）

Apache™Hadoop®项目开发了用于可靠，可扩展的分布式计算的开源软件。Apache Hadoop软件库是一个框架，该框架允许使用简单的编程模型跨计算机集群对大型数据集进行分布式处理。它旨在从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储。库本身不用于依靠硬件来提供高可用性，而是被设计用来检测和处理应用程序层的故障，因此可以在计算机集群的顶部提供高可用性服务，每台计算机都容易出现故...

从0到1环境搭建HADOOP伪分布式 hadoop-3.2.1 1、虚拟机设置2、工具安装3、JAVA4、用户5、hadoop6、yarn

HADOOP CDH quickstart安装 cloudera-quickstart-vm-5.13.0-0-vmware