- 博客(21)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 ElasticSearch_入门操作
1.创建索引对象curl -XPUT 'http://192.168.10.201:9200/demo_02'2.插入数据curl -H "Content-Type:application/json" -XPUT 'http://192.168.10.201:9200/demo_01/emp/5' -d '{"name":"xiao","age":56,"sex":"女","salary":1000}'3.查询数据--------------------查询指定id的信息curl -XGET
2020-10-21 20:23:25
5463
原创 MySQL异常_java.sql.SQLException: Access denied for user ‘root‘@‘124.160.227.218‘ (using password: YES)
一、可以尝试直接设置免密登陆/etc/my.cnf 中进行编辑：skip-grant-tables最后 重启mysql服务: systemctl restart mysqld二、进行权限设置1、查看 mysql 初始的密码策略SHOW VARIABLES LIKE 'validate_password%'; 2、指定密码的强度验证等级 set global validate_password_policy=LOW; 3、固定密码的总长度set global validate_p
2020-10-13 20:30:13
189
原创 15、Spark_RDD算子——AggregateByKey
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext
2020-10-12 21:25:39
187
原创 14、Spark_RDD算子——CombineByKey_ReduceByKey转换
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext
2020-10-12 21:23:08
128
原创 13、Spark_RDD算子——CombineByKey_GroupByKey转换
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext
2020-10-12 21:11:36
182
1
原创 12、Spark_RDD算子——MapPartitionWithIndex
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext
2020-10-12 21:09:21
338
原创 11、Spark_RDD算子——CoalesceAndRepartition
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext
2020-10-12 21:07:27
98
原创 10、Spark_RDD算子——MapPartition
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext
2020-10-10 17:19:47
261
原创 9、Spark_RDD算子——SortByKey
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext
2020-10-10 17:17:30
250
原创 8、Spark_RDD算子——GroupByKey
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext
2020-10-10 09:03:14
259
1
原创 7、Spark_RDD算子——Join
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext
2020-10-10 08:59:25
302
2
原创 6、Spark_RDD算子——Distinct
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext
2020-10-10 08:55:50
166
原创 5、Spark_RDD算子——Union
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext
2020-10-10 08:52:55
365
原创 4、Spark_RDD算子——sample
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext
2020-09-29 08:56:48
242
原创 3、Spark_RDD算子——filter
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext
2020-09-23 19:56:02
245
原创 2、Spark_RDD算子——flatMap
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext
2020-09-23 19:53:37
167
原创 1、Spark_RDD算子——Map
一、SparkUtils工具类import org.apache.spark.{SparkConf, SparkContext}object SparkUtils { /** * 默认的master url路径 */ val DEFAULT_MASTER = "local[*]" /** * 默认master为local[*]的获取sparkContext */ def getSparkContext(appName:String):SparkContext
2020-09-23 19:50:41
360
原创 Zookeeper几个概念解读
zookeeperzookeeper是Hadoop和Hbase的重要组件。主要用于解决分布式集群中应用系统的一致性问题。一、zookeeper的特点1.也是一个分布式集群，一个领导者leader 。 多个跟随者 follower2.集群只要又半数以上的节点存活，zookeeper集群就能正常服务3.全局数据的一致性，每个server保存一份相同的数据副本，client无论到哪个server，数据都是一致的4.更新请求按照顺序进行，来自同一个client的更新请求按其发送顺序依次执行5.数据更新
2020-09-23 19:34:55
109
原创 Hadoop——三种模式安装教程
集群搭建本地模式本地模式，也称为是单机版本。主要是为了测试使用的，基本不需要进行配置。以下的安装、配置，都在1节点上完成！1. 上传Hadoop的二进制文件安装包到/root/data/software中2. 将二进制文件解压安装到/usr/local下 tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local/ 重命名这个文件夹，去掉版本号，为了方便后面的使用 mv /usr/local/hadoop-2.7.6 /usr/local/had
2020-09-23 19:32:22
345
原创 HDFS详解——大数据
HDFS一、大数据简介1、大数据特征1.Volume :巨大的数据量2.Variety:数据结构多样化 1.结构化的数据 -- 又固定格式和有限长度的数据 2.半结构化的数据 --是一些XML或者HTML的格式的数据 3.非结构化的数据 --现在非结构化的数据越来越多，就是不定长，无固定格式的数据，例如网页，语音，视频等3.Velocity: 数据增长速度快4.Value： 价值密度低2、数据采集或者同步的方式常用的数据采集导入框架 - sqoop ： 用于RD
2020-09-22 12:57:39
1210
原创 SHELL编程——基础部分
SHELL编程一、快速入门脚本以 #!/bin/bash 开头：告诉解释器以bash来解析脚本；编写myshell.sh文件：#!/bin/bashecho "Hello World" /*输出结果是 Hello World chmod a+x myshell.sh /*用来给脚本添加权限二、SHELL变量变量分类：1.自定义变量：A="Hello World"等等；2.系统变量：HOME、HOME、HOME、PWD、SHELL、SHELL、S
2020-09-22 12:43:36
114
SHELL编程详细教程——基础篇
2020-08-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人