- 博客(4)
- 收藏
- 关注
RSS订阅原创 MySql中的问题汇总
1.安装mysql-5.1.73使用root用户: su root安装yum -y install mysqlyum -y install mysql-server修改配置信息，vi /etc/my.cnf，添加:[mysql]default-character-set=utf8[mysqld]character-set-server=utf8lower_case_table...
2019-06-28 17:40:54
166
原创 Spark-Sql（RDD----DataFrame3种方式)
DataFrame是什么在Spark中，DataFrame是一种按列组织的分布式数据集，概念上等价于关系数据库中一个表或者是Python中的data frame，但是在底层进行了更丰富的优化。DataFrame与RDD的对比以及联系DataFrame里面存放的结构化数据的描述信息，DataFrame要有表头（表的描述信息），描述了有多少列，每一列数叫什么名字、什么类型、能不能为空？D...
2019-06-14 16:00:27
1102
原创 Spark Session 组件以及应用
在理解spark-session之前让我们理解入口点，一个入口点是控制从操作系统传递到提供的程序的地方。 在2.0入口之前，spark-core的入口点是sparkContextSparkContext在Apache Spark中的功能：获取spark应用程序的当前状态设置配置访问各种服务取消job取消一个stage关闭清洁注册Spark-Listener可编程动态分配访问...
2019-06-14 11:01:44
351
原创 基于Hadoop集群的Redis集群搭建以及自定义脚本运行
前期准备：hadoop集群Redis集群的搭建：这里以3台虚拟机，6个redis数据库为例1、 集群通信是通过“ping-pong”机制进行通信；2、 客户端不需要将所有的节点都连接上，只需要连接其中一个节点即可。3、 集群中存储数据是存储到一个个的槽中，集群中槽的个数是固定的：16384，槽的编号是【0-16383】。在集群中存储数据时，会根据key进行计算，计算出一个结果，然后将这...
2019-06-14 09:26:59
888
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人