Spark大数据平台
关注
分享
扫一扫
yrg5101
这个作者很懒，什么都没留下…
展开
-
HDP3.0.1+Ambari2.7 add new host报错之不创建service 用户
关注我的微信公众号：pythonislover,领取python,大数据，SQL优化相关视频资料！~Python大数据与SQL优化笔 QQ群：771686295通过Ambari增加新的host时候，总是不能自动增加service账号，如hdfs, hive等。解决办法：修改HDP参数ignore_groupsusers_create# python...原创 2019-03-26 16:34:08 · 1107 阅读 · 0 评论 -
Python读取HDFS统计Hive数据库大小
关注我的微信公众号：pythonislover,领取python,大数据，SQL优化相关视频资料！~Python大数据与SQL优化笔 QQ群：771686295文章公众号连接如下：https://mp.weixin.qq.com/s/zR4o3tR_I0ol-fjYs4jJnQ...原创 2019-04-28 14:15:46 · 714 阅读 · 0 评论 -
两张图带你了解PySpark SQL和RDD用法
关注我的微信公众号：pythonislover,领取python,大数据，SQL优化相关视频资料！~Python大数据与SQL优化笔 QQ群：771686295文章公众号连接如下：https://mp.weixin.qq.com/s/dInwA4d0fP2nKzoKcafWEA...原创 2019-04-16 09:54:13 · 396 阅读 · 0 评论 -
Spark算子：RDD基本转换操作(1)–map、flatMap、distinct
关注我的微信公众号：pythonislover,领取python,大数据，SQL优化相关视频资料！~Python大数据与SQL优化笔 QQ群：771686295map将一个RDD中的每个数据项，通过map中的函数映射变为一个新的元素。输入分区与输出分区一对一，即：有多少个输入分区，就有多少个输出分区。hadoop fs -cat /tmp/1.txt hel...转载 2019-03-29 11:59:06 · 983 阅读 · 0 评论 -
Nginx多进程高并发、低时延、高可靠机制在滴滴缓存代理中的应用
关注我的微信公众号：pythonislover,领取python,大数据，SQL优化相关视频资料！~Python大数据与SQL优化笔 QQ群：771686295https://mp.weixin.qq.com/s/gAxwF07odLLL0ASpmoFZtw...转载 2019-04-08 14:19:32 · 157 阅读 · 0 评论 -
Spark SQL 实战
关注我的微信公众号：pythonislover,领取python,大数据，SQL优化相关视频资料！~Python大数据与SQL优化笔 QQ群：771686295001DataFrame&DatasetDataset 概述:Dataset 是从 spark 1.6 后提出的新接口，是一个分布式的数据集合，提供 RDD 的优势以及 Spark SQL ...转载 2019-03-27 15:40:01 · 239 阅读 · 0 评论 -
Ambari之hadoop auditlong整挂了我的平台
关注我的微信公众号：pythonislover,领取python,大数据，SQL优化相关视频资料！~Python大数据与SQL优化笔 QQ群：771686295今天平台出现了NAMENODE的down机重启namenode出现错误：500 status code received on PUT method for API: /api/v1/cluste...原创 2019-03-27 15:38:30 · 770 阅读 · 0 评论 -
Ambari+Hive+HDFS的权限认证配置
关注我的微信公众号：pythonislover,领取python,大数据，SQL优化相关视频资料！~Python大数据与SQL优化笔 QQ群：771686295一. Hive 配置里的几个概念Authorization： 授权，也就是用户权限Authentication：验证，也就是用户身份认证Metastore Server, HiveServer2, 这是H...原创 2019-03-27 10:01:21 · 3863 阅读 · 0 评论 -
Python通过Pandas查询Mysql实战代码
关注我的微信公众号：pythonislover,领取python,大数据，SQL优化相关视频资料！~Python大数据与SQL优化笔 QQ群：771686295https://mp.weixin.qq.com/s/bemXPM65cO3xxKjSBHa7gg...原创 2019-04-04 14:47:17 · 181 阅读 · 0 评论 -
Ambari2.7+HDP3.0.1 Spark读取Hive数据
关注我的微信公众号：pythonislover,领取python,大数据，SQL优化相关视频资料！~Python大数据与SQL优化笔 QQ群：771686295下面说说Ambari2.7+HDP3.0.1 Spark读取Hive数据设置的一些坑，因为最近有人遇到和我同意的问题，所以这里记录下，希望如果有人用和我一样的大数据环境，别再踩这个坑。Spark Shell...原创 2019-03-30 16:57:14 · 2122 阅读 · 0 评论 -
Spark算子：RDD行动Action操作(2)–take、top、takeOrdered
关注我的微信公众号：pythonislover,领取python,大数据，SQL优化相关视频资料！~Python大数据与SQL优化笔 QQ群：771686295takedef take(num: Int): Array[T]take用于获取RDD中从0到num-1下标的元素，不排序。scala> var rdd1 = sc.makeRDD(Seq(10, ...原创 2019-03-30 16:53:54 · 747 阅读 · 0 评论 -
大数据平台-Ambari添加本地yum源
关注我的微信公众号：pythonislover,领取python,大数据，SQL优化相关视频资料！~Python大数据与SQL优化笔 QQ群：771686295不知道大家在安装Ambari大数据平台或者新加new host安装服务的时候，有没有奔溃过？哈哈，反正我奔溃过，因为太慢了，还是不是给你来个下面的error,见过吗？这个是告诉你stderr: Pyt...原创 2019-03-26 17:22:54 · 1325 阅读 · 2 评论 -
HDP+Postgresql Ldap认证配置
关注我的微信公众号：pythonislover,领取python,大数据，SQL优化相关视频资料！~Python大数据与SQL优化笔 QQ群：771686295LDAP的搭建大家可以自行百度最近项目上需要把Postgresql的认证方式通过LDAP来实现，所以就有了这篇文章的记录，如下：LDAP入门 首先要先理解什么是LDAP，当时我看了很多解释，也是云...原创 2019-03-26 17:15:23 · 552 阅读 · 0 评论 -
一份还热乎的蚂蚁金服面经（已拿Offer）！附答案！！
关注我的微信公众号：pythonislover,领取python,大数据，SQL优化相关视频资料！~Python大数据与SQL优化笔 QQ群：771686295文章公众号连接如下：https://mp.weixin.qq.com/s/Ipmd1fmk1uhz3ONoz9MK8g...转载 2019-04-28 14:16:21 · 750 阅读 · 0 评论