大数据
关注
分享
扫一扫
文章平均质量分 81
Hadoop，HDFS，Yarn，Spark，Mesos，Hbase，Phoenix ...
若苗瞬
A monkey not only designing and coding, iya iya yo!
But structuring, engineering, maintaining & testing.
Also teaching and standardization, all kind of documentation.
Write pascal and CPP jav.pytho.scal.so hard to go landing.
They ask how SQL SoapU VS/QT Linux DB Hadoop SFTP, oh singing everything.
展开
-
Spark的RDD(弹性分布式数据集)返回大结果集
有时候确实需要返回很大的结果集，不能直接collect，会导致driver端内存不足。原创 2022-01-14 15:46:40 · 1311 阅读 · 0 评论 -
Hadoop集群中某主机(Worker)不作为HDFS的存储(Datanode)
集群中有些主机不想作为HDFS存储，但想参与Yarn集群运算，以及不停止集群动态上线/下线主机。原创 2022-01-14 11:57:52 · 874 阅读 · 0 评论 -
Spark独立集群动态上线下线Worker节点
Spark独立集群不关闭Master的情况下动态上线下线一台Worker节点主机……原创 2022-01-11 18:24:54 · 1230 阅读 · 0 评论 -
提交Spark应用的若干问题记录（python+ubuntu20+libffi）
Python is looking for libffi.so.6 while ubuntu upgradeto libffi.so.7原创 2022-01-11 17:52:48 · 1055 阅读 · 0 评论 -
提交Spark应用的若干问题记录（sparklauncher from wsl ubuntu）
WSL ubuntu try to launch a spark APP in 2 deploy mode.原创 2022-01-10 21:47:00 · 621 阅读 · 0 评论 -
提交Spark应用的若干问题记录（sparklauncher with cluster deploy mode）
Finally sparklauncher with cluster deploy mode to Yarn is OK on Linux.原创 2022-01-10 15:28:24 · 1760 阅读 · 0 评论 -
Spark独立集群Worker和Executor的概念
Worker和Executor，有时候傻傻分不清，当然还有这里没说的Yarn的Container……原创 2022-01-06 17:15:41 · 2153 阅读 · 0 评论 -
在Windows下程序通过SparkLauncher执行Spark应用好多坑
咱需要的是任务能自动运行，可别每次都手动命令来提交Spark应用啊！原创 2022-01-05 17:29:05 · 3906 阅读 · 2 评论 -
升级HBase2字符编码问题以及中文显示
继续讨论编码，看上去是HBase的问题，实际上仅仅是操作系统缺省编码问题。原创 2022-01-04 00:51:21 · 3237 阅读 · 0 评论 -
Python写入文本文件时‘GBK’编码器无法编码字符‘\uXXYY‘
GB2312，GBK，GB18030……原创 2021-12-31 17:43:36 · 2751 阅读 · 1 评论 -
大数据平台配置目录分离与Hadoop升级3.3.1版本
软件/配置/数据目录分离后，升级才方便……原创 2021-12-17 11:51:24 · 2364 阅读 · 0 评论 -
Hadoop通过WEB上传文件到HDFS失败
没想到WEB也需要知道内部的主机名，不科学啊……原创 2021-12-15 10:42:49 · 16271 阅读 · 5 评论 -
从零开始学习大数据平台（Episode 2）
为什么要用大数据平台。HDFS做文件系统，HBase做数据库。Spark如何访问HBase。原创 2019-09-20 01:02:28 · 803 阅读 · 0 评论 -
从零开始学习大数据平台（Episode 1）
安装Master+n*Workers虚拟机, 安装配置HDFS和Spark。Client/Cluster方式提交Java, Scala, Python程序实例. 测试独立集群,YARN,Mesos,用zookeeper.测试数据为27000W条的BOSS/CRM数据.原创 2019-04-17 17:31:55 · 1198 阅读 · 0 评论