cafebar123的专栏

centos7.2(linux)+spark2.1.0安装介绍下spark在Linux上的安装.

在工作中，会有处理很多数据的场景。比如，用户需求：我有大量数据，（1）我想要高效查询我想要的数据。（2）我想要高效计算出我想要的结果数据。为了存储数据，我们使用的数据存储方式有：mysql，oracle，表；csv文件excel文件hdfs文件系统hbaseredis，ehcache把数据从存储区拿出来作分析，我们使用的数据分析手段有：jav...

接着上一篇, 问题(2):scan有scan.setCaching(10000)scan.setCacheBlocks(true)等设定.setCaching ,个人感觉不够用.hbase 默认是在内存里面放一块数据用来读取,所以读取效率比较高,可是,其余大部分数据还是在硬盘中,这个内存数据块的设定和意义,待清晰研究.单节点hbase的写入效率,有人粗估计,在3万-5万,这个...

大数据技术对处理大批量数据和在分布式计算上，较传统技术优势明显。那么，借大数据技术在处理航空数据上是否有用武之地？本文接下来讨论使用大数据组件来处理航空数据。航空数据有的数据以csv文件格式存储，统计分析航空数据有很多潜在价值，尽管有可观的分析价值，但这里仍跟大数据技术扯不上关系。所以，笔者准备从案例的角度，来尝试讨论下自己的观点。案例一假设一个航空公司的某业务一天生成100个...

spark调优是一个头疼的事，这个疼在什么地方呢？ （1）spark将内部几乎完全封装，类似黑箱，不了解内部机理； （2）spark 调优参数众多，参数之间关联很多； （3）spark运行在集群上，本地调试功能有限。...

待更新

待更新

最近公司搞一个spark集群项目,期间会对spark集群进行调优.虽然调优的建议网上有很多,但是通过具体实践,发现不同的场景,调节的参数还是有不一样的地方.现记录一下最近学到的一些实践手段吧.(1)要留一点资源给除spark以外的应用.我们用的是Spark-On-Yarn资源调度,每台机器有24核心,每台机器最大内存有128G,在yarn-site.xml里面,有人很可能把核心数和资源

scala 构造方法初始化初探

包含spark开发流程和常用技术代码

spark读写hbase,先写一下hbase的常用操作方式.hbase建表:create 'hbase_test_table', 'info', {NAME=>'info', SPLITALGO => 'HexStringSplit', REPLICATION_SCOPE =>0}, SPLITS => ['S0','S1','S2', 'S3', 'S4'...

win10+intelij 开发spark程序(一)

最近在整理spark技术的应用,觉得 行为特征归类, 相似产品或相似功能推荐 这块比较热门. 网上发现一个网上大数据实验室,是厦门大学建立的一个网站,发布一些大数据的知识.其中有一个案例,叫 "淘宝双11数据分析与预测课程案例" ,我就用它练手.实验室网站链接: http://dblab.xmu.edu.cn/blog/spark/案例主要要求如下:对文本文件形式的原始数据集进

ERROR util.SparkUncaughtExceptionHandler: Uncaught exception in thread Thread[appclient-registration-retry-thread,5,main]

spark查询任意字段,并使用dataframe输出结果

前段时间,需要写一个用户在前端编辑代码,后台自动生成scala程序的例子.其功能类似与web在线写代码,在线执行,出结果.一开始,不知从何下手,经同事提醒,可以用ant来自动编译程序,再结合sh脚本执行新的scala 编译后的程序. 于是折腾了一天,写了一个build.xml编译工具:

spark常见操作系列做数据处理有一段时间了,现把工作中遇到的问题和处理思路做个整理.文章分为5块,依次是:1. spark hadoop,hbase 版本划分, 以及spark1.5.2,scala2.10.4 与spark2.0, scala2.11版本区别 2. spark读写hadoop 3. spark读写hbase 4. spark广播变量的应用 5. spar...

真正开发大数据之前,本人折腾过hadoop,spark组件,其中把之前公司的日志放到hadoop 和hive里面去读写.但实际上,真正开发spark程序,遇到的坑,是十分多的.本篇主要介绍spark读写hadoop.hadoop的读写,有java方式,也有scala方式. 虽scala可以嵌入java代码,并不意味着直接把java 操作工具类放到scala程序就行了. hadoop 一般...

几个月前折腾了一番jupyter(web 代码编辑器),感觉jupyter在编写某些科学文章是比较灵活.不过几乎是单机版的,在生产环境应用有限.之前因为需要在集群上执行编辑的代码,遂查找资料,又折腾了一番,使得jupyter可以应用于集群环境.我们的需求类似使用者可以写点简单的程序,然后在集群上面执行代码. 程序是python语言的.所以,集群是pyspark集群.在spark包下面,会有pysp...

文章目录1.常用的rddrdd的输入和输出，scala版，java版每个rdd函数的使用场景特殊rdd的使用选择reduceByKey,groupByKey,的使用选择collect，count的使用选择总结1.常用的rdd函数说明map(func)返回一个新的分布式数据集，由每个原元素经过func函数转换后组成filter(func)返回一个新的数据集，由经过f...