
钻牛角尖系列
文章平均质量分 79
主要提供自己对于大数据软件的思考与实战和总结。
NICEDAYSS
do one more thing
公众号:N个程序猿的日常 欢迎关注
展开
-
kafka 系列 (三) kafka怎么完成数据的高速读写?---kafka四大优化读写性能奠定消息中间件的统治地位
写在前面: 我是「nicedays」,一枚喜爱做特效,听音乐,分享技术的大数据开发猿。这名字是来自world order乐队的一首HAVE A NICE DAY。如今,走到现在很多坎坷和不顺,如今终于明白nice day是需要自己赋予的。白驹过隙,时光荏苒,珍惜当下~~写博客一方面是对自己学习的一点点总结及记录,另一方面则是希望能够帮助更多对大数据感兴趣的朋友。如果你也对 大数据与机器学习感兴趣,可以关注我的动态 https://blog.youkuaiyun.com/qq_35050438,让我们一起挖掘数据与.原创 2020-08-18 10:07:30 · 887 阅读 · 0 评论 -
Spark 系列(九) Spark数据倾斜之六大使用场景---真正详细得数据倾斜实战套路!!
写在前面: 我是「nicedays」,一枚喜爱做特效,听音乐,分享技术的大数据开发猿。这名字是来自world order乐队的一首HAVE A NICE DAY。如今,走到现在很多坎坷和不顺,如今终于明白nice day是需要自己赋予的。白驹过隙,时光荏苒,珍惜当下~~写博客一方面是对自己学习的一点点总结及记录,另一方面则是希望能够帮助更多对大数据感兴趣的朋友。如果你也对 大数据与机器学习感兴趣,可以关注我的动态 https://blog.youkuaiyun.com/qq_35050438,让我们一起挖掘数据与.原创 2020-08-17 15:55:06 · 900 阅读 · 0 评论 -
HBase 系列 (七)数据导入到HBase数据库的N种方式
文章目录Shell导入到HBase:Hive与HBase集成:Sqoop将Mysql移到HBase:JavaAPI控制HBase:Shell导入到HBase:##通过hbase shell导入文档数据hbase org.apache.hadoop.hbase.mapreduce.ImportTsv \-Dimporttsv.separator=',' \-Dimporttsv.columns="HBASE_ROW_KEY,order:numb,order:date" \customer fil原创 2020-07-21 20:01:59 · 1214 阅读 · 0 评论 -
Scala系列 (四)Scala数组功能分类整理---更利于记忆与理解运用实战!!
写在前面: 我是「nicedays」,一枚喜爱做特效,听音乐,分享技术的大数据开发猿。这名字是来自world order乐队的一首HAVE A NICE DAY。如今,走到现在很多坎坷和不顺,如今终于明白nice day是需要自己赋予的。白驹过隙,时光荏苒,珍惜当下~~写博客一方面是对自己学习的一点点总结及记录,另一方面则是希望能够帮助更多对大数据感兴趣的朋友。如果你也对 大数据与机器学习感兴趣,可以关注我的动态 https://blog.youkuaiyun.com/qq_35050438,让我们一起挖掘数据与.原创 2020-07-14 17:36:50 · 755 阅读 · 0 评论 -
HBase 系列 (五)HBase优化之Region管理--Region合并与拆分
写在前面: 我是「nicedays」,一枚喜爱做特效,听音乐,分享技术的大数据开发猿。这名字是来自world order乐队的一首HAVE A NICE DAY。如今,走到现在很多坎坷和不顺,如今终于明白nice day是需要自己赋予的。白驹过隙,时光荏苒,珍惜当下~~写博客一方面是对自己学习的一点点总结及记录,另一方面则是希望能够帮助更多对大数据感兴趣的朋友。如果你也对 大数据与机器学习感兴趣,可以关注我的动态 https://blog.youkuaiyun.com/qq_35050438,让我们一起挖掘数据与.原创 2020-07-21 13:00:38 · 1411 阅读 · 0 评论 -
简单工厂----工厂方法----抽象工厂模式(JAVA)(区别,优缺,如何使用)---不会还有人不会用工厂把??
简单工厂简单工厂具体来说不算一种模式,而是一种设计思想————将业务逻辑和界面逻辑分离,即服务端和客户端分离在不需要客户端进行修改,在服务端修改增加产品类即可。具体的做法:1.创建工厂类作为父类,产品类作为工厂类子类,具体产品类作为产品类子类2.工厂类根据客户端选择参数的不同,建立创建产品函数返回产品对象,产品类写出方法,具体产品类作为具体实现服务端代码:服务端public cl...原创 2020-01-27 21:59:50 · 790 阅读 · 0 评论 -
Spark 系列(六)Spark-GraphX的PageRank算法----热度排名的实例代码+图解展示
Spark GraphX 图算法:一:PageRank模型:每个网页为一个点A到B的链接抽象为一条有向边整张网页链接抽象成一份有向图接下来我们通过一个转移矩阵来表示用户从页面i到页面j的可能性M=[01201213001213120013010]M = \begin{bmatrix}0 & \frac{1}{2} & 0 & \frac{1}{2} \\\frac{1}{3} & 0 & 0 & \frac{1}{2} \\\frac{原创 2020-08-05 14:22:27 · 2253 阅读 · 2 评论 -
HashMap的底层运作和源码解析---把最珍贵的源码理解分享出来
HashMap的底层运作和源码解析哈希的定义:任意长度的输入通过散列算法变换成固定长度的输出,该输出就是散列值(又称哈希值)哈希的作用:哈希的作用在数据结构和密码学中,发挥的作用不尽相同。今天我们主要去了解数据结构中的应用。Hash表----HashMap而JAVA中的HashMap和HashTable就是我们常说的Hash表在计算机的表现形式。生成HashMap的流程:一:...原创 2020-04-18 00:12:59 · 592 阅读 · 2 评论 -
机器学习:回归预测连续与离散的深度剖析----看完完全理解了回归是什么东西了!
回归的预测完整过程前提:1.线性回归与非线性回归概念要解释线性回归和非线性回归首先我们要理解这两个词(1):什么是回归(regression)?由于是外国人命名的,我们找其根源只能从英文单词开始入手,regression的词根有重复的意思统计学家在很久以前对于一些混乱的,看似无规律的,复杂的家族之间身高的数据中,不断统计提取,发现了一些规律,父亲身高高的,孩子的身高趋于下降,父亲身高矮...原创 2020-03-01 20:32:25 · 6428 阅读 · 1 评论 -
Hadoop系列 ( 三 ) MapReduce存在的意义----MapReduce究竟做了些什么??
**前言:**对于MapReduce,每次刷一遍都会感慨,究竟是谁想出如此巧妙的处理数据的方式,虽然现在它的使用不如以前那么广泛了,但是它的核心思想永远不会被淘汰,真的是非常的巧妙。不仅运用了“分而治之”,也巧妙的运用了映射和函数处理的思想,03年解决了我们大数据集处理的困扰。MapReduce的核心思想:MapReduce源于Google一篇论文,它充分借鉴了分而治之的思想,将一个数据处理过程拆分为主要的Map(映射)与Reduce(化简)两步如果用表达式表示,其过程如下式所示 :{Keyl.原创 2020-07-01 20:17:29 · 2271 阅读 · 0 评论 -
HBase系列(三)HBase物理架构与工作流程详解--收藏这一份就够了!!!
文章目录HBase物理架构:HMaster:HMaster的主要作用:--负责table和region管理工作HRegionServer:1.HLog ----简直和NN的editlog还有mysql的log文件一毛一样2.HRegion3.Store--一个Store代表一个列簇4.StoreFile5.blockcacheHBase物理架构工作流程:一:读操作:二:写操作细节扩展:一:为什么Client只需要知道Zookeeper地址就可以了呢?二:HBase三大模块如何一起协作的。(HMaster,R原创 2020-06-28 16:17:16 · 2187 阅读 · 2 评论 -
钻牛角尖系列(二)Hive调优与思考
写在前面: 我是「nicedays」,一枚喜爱做特效,听音乐,分享技术的大数据开发猿。这名字是来自world order乐队的一首HAVE A NICE DAY。如今,走到现在很多坎坷和不顺,如今终于明白nice day是需要自己赋予的。白驹过隙,时光荏苒,珍惜当下~~写博客一方面是对自己学习的一点点总结及记录,另一方面则是希望能够帮助更多对大数据感兴趣的朋友。如果你也对 大数据与机器学习感兴趣,可以关注我的动态 https://blog.youkuaiyun.com/qq_35050438,让我们一起挖掘数据与.原创 2020-07-07 18:20:29 · 582 阅读 · 1 评论 -
钻牛角尖系列(一)MapReduce的一点点小细节
Inputformat的数据多种处理方式:FileInputFormat:–处理文件TextInputFormat:<偏移量,行数据>----LineRecordReaderKeyValueTextInputFormat:<分隔符前,分隔符后>----KeyValueLineRecordReaderNLineInputFormat:<偏移量,行数据>----LineRecordReaderCombineTextInputFormat:原创 2020-07-07 00:33:00 · 200 阅读 · 0 评论