大数据
关注
分享
扫一扫
文章平均质量分 83
胖琪的升级之路
这个作者很懒，什么都没留下…
展开
-
每日一节：强大的文本搜索命令
ackack是一款比grep更好的文本搜索工具。安装ubuntu上安装使用方式如下：# ubuntu下要安装ack-grep，因为在debian系中，ack这个名字被其他的软件占用了。sudo apt-get install ack-grep使用主要使用如下参数c :用来统计i : 忽略大小写h : 不显示名称l ：只显示文件名n : 加行号v : 显示不匹配...原创 2019-10-21 00:34:29 · 961 阅读 · 0 评论 -
一篇文章告诉你，平均负载的来龙去脉
平均负载？没有那么难前言作为一名开发，我们绕不过去的一道坎是在服务器上对系统进行监控，并且当系统出现异常情况，需要快速排查，我们今天了解的平均负载就是监控中重要的一环。在学习平均负载之前，我们需要了解相关指标，根据指标看清楚相关问题。正因为如此，我们从浅入深了解如下知识。常用的相关命令平均负载相关工具了解案例解析常用的相关命令常用的top命令，uptime命令，htop...原创 2019-09-02 00:05:02 · 1190 阅读 · 0 评论 -
知乎上高赞的github中文学习资料
github学习资料群里面有小伙伴问怎么找一些开源的项目学习下别人的编码。出现这个原因是个别公司主要是集中在业务上，对于代码的审核，代码的整洁性等内容要求不高，而又有很多朋友想通过看别人代码提高自己的代码的编码效率与整洁性。AWESOME在资源整理学习上最好的应该就属AWESOME吧，并且在知乎上询问GitHub上有哪些优秀的项目，该回答就是属于第一项。。该项目上内容不局限于某个语言，...原创 2019-03-19 00:41:27 · 474 阅读 · 0 评论 -
大数据文件存储系统HDFS
现在随着企业规模的发展，对于数据存储的要求越来越大，单机存储性能已经成为存储的瓶颈，在这里我们就需要引入分布式存储，通过水平扩展的方式进行容量的扩展，并且提高数据的一致性，安全性，可靠性等关系。大数据也是发展的前景之一，越来越多的开发者开始进入大数据领域，并且很多企业开始关注，逐步发展自己的大数据业务，数据的重要性不言而喻，那么我们应该怎么进行数据保存，扩展呢？这正是分布式文件系统需要解决的问题...原创 2019-01-15 23:54:01 · 979 阅读 · 1 评论 -
大数据基础Hadoop 3.1.1 的高可用HA安装～踩坑记录
最近负责的项目准备上大数据平台存储，主要还是围绕Hadoop平台来实现，虽然打算上cdh版本的hadoop，但是为了前期方便开发还是先使用原声的hadoop进行开发，后期再准备更好的环境进行扩展。环境准备三台服务器系统环境是建立在Centos7.6基础上。并且是建立在root账户上运行的，如果需要使用其他用户操作，注意权限的问题基础机器分配在三台新购买的服务器上进行搭建。服务器规划如下...原创 2019-01-15 20:44:03 · 3880 阅读 · 2 评论 -
Java大数据学习~Hadoop初识二读取与写入流程
今天趁着端午节的最后一天假期，把想看的视频看了下。也走了一遍Hadoop的安装步骤。总的来说流程也明白了很多。这次文章简单的介绍知识点。具体安装步骤大家可以先看网上的。后面有时间的时候在补一篇。 我们的文章是建立在Hadoop已经安装好的情况下。请大家注意再练习的时候首先把环境安装好。HDFS 简介在HDFS的学习中，我们首先应该明白他具体是什么，为什么会有这个系统。优点和缺点是什么...原创 2018-06-19 23:44:04 · 377 阅读 · 0 评论 -
分布式管理器~Zookeeper初识
原先写过一篇关于Zookeeper的安装基础,关于安装的基础咱们这里就不说了，可以看上一篇文章。在这里说点关于Zookpeer的基础知识。了解其内部是怎么构造了。方便大家对其操作。分布式协调技术平常大家开发程序，大部分都是关注与逻辑的实现，基本上逻辑实现之后，程序就万册好难过了，但是我们在大型架构下，进程与进程之间的通信是十分有必要的，我们的程序就涉及到了分布式开发。多台服务器提供相同...原创 2018-06-10 23:06:27 · 250 阅读 · 0 评论 -
惊心动魄的Hadoop-6小时350T数据恢复
这次文章是记录一下数据恢复。 上周五在调试Spark数据的时候发现了一个问题，就是一直显示No lease的问题，我们的实时处理程序升级之后，处理的数据量在一个小时内暴增1T。我们的小时程序Spark，有的单个key数据重复导致value值增大，程序运行卡住，根据网上查的参数进行调整。Hadoop在调整前，将Hadoop进行关闭 . stop-all.sh 进行关...原创 2018-06-06 23:36:45 · 1646 阅读 · 0 评论 -
Java核心技术讲解学习三
LuckQI在这里你可以得到不只是技术，关注即可习得新技能 前天我们在写Java技术讲解的时候说过引用现在在Java中分为四种类型，强引用,软引用，弱引用，幻象引用。但是这几者之间有什么关系呢？Java中对象的可达性在Java中我们都是通过分析来计算对象是否还是存活状态。不是存活状态的对象才能 被清理掉。那么这个分析就是称为可达性分析。这个算法的实现是建立在一系列称为GC Root 的对象作为起点...原创 2018-05-15 00:04:03 · 627 阅读 · 0 评论 -
让入门者也能开明白的区块链讲解三
LuckQI在这里你可以得到不只是技术，关注即可习得新技能 我们前面简单的了解了下什么是区块链，那么我们现在整体来看下具体区块链的定义： 区块链技术是一个保证了最终一致性的数据库 。说是数据库因为在区块链上我们的数据是保存在节点上的，数据存储在数据节点上相当于我们说的数据库。数据保持一直是我们在每个节点的上的数据交换都不会进行篡改，并且每个节点都会同步数据。保证数据的有效性。 从数据结构上来说是基...原创 2018-05-20 00:27:00 · 512 阅读 · 0 评论 -
免费编程资源分享。共同学习进步
LuckQI在这里你可以得到不只是技术，关注即可习得新技能 一直在写技术文章，但是在平常生活中还是发现有很多资源不是那么容易找到。这次趁着机会把自己收藏的编程资源分享出来，供大家使用。希望能帮助大家在技术上共进一步。来一段图片吧中间件ActiveMQJava P2P项目实战数据库数据资源Spring Boot项目资源这些资源可以直接关注公众号来回复关键字获得链接。回复内容如下：想要更多资源联系微信...原创 2018-05-05 18:18:33 · 960 阅读 · 1 评论 -
Redis初识~持久化数据
LuckQI在这里你可以得到不只是技术，关注即可习得新技能请点击此处输入图片描述Redis我们都知道Redis的内容是放在内存当中的，如果我们的安装Redis的服务器宕机了，那么我们在内存保存的内容也就丢失了。在Redis当中给提供了不同级别的持久化的方式来进行数据的保存：RDB持久化方式能够在指定的时间间隔能对你的数据进行快照存储。AOF持久化方式记录每次对服务器写的操作。当服务器重启的时候会重...原创 2018-04-06 22:01:03 · 187 阅读 · 0 评论 -
redis初识~String命令
回家是人生中最幸福的一件事。回家路途上风景总是最美丽的，即使灯已暗，路已黑。回家路上，我一直按捺不住自己的激动的心情，跟着电视播放的歌曲一路哼唱，看着窗外黑漆漆，即使塞车也没有关系，因为我知道终点站是我的家。Redis简介Redis 是一个速度非常快的非关系型数据库，可以存储key与5种不同类型的value值之间的映射，可以将存储在内存的键值对数据持久化到硬盘中，并且还可以使用复制的特性来扩展读的...原创 2018-03-11 23:38:47 · 191 阅读 · 0 评论 -
spark初识三
上面两篇大部分介绍的都是理论知识，希望看到前两篇的都读读。读一遍 不容易理解现在这一篇是介绍api操作的。相对来说容易些也是方便我自己记忆。RDD的两种类型操作有哪两种操作呢？分别是transformation ，action 也是我们上面所说的转换 和行动。 Transformations 使用的是常用的api操作还有很多可能介绍不到 1. map():将原来的RDD的每个数据想根据自定义函...原创 2018-03-03 14:56:21 · 175 阅读 · 0 评论 -
spark初识二
RDD设计背景RDD被设计用来减少IO出现的，提供了一中抽象的数据结构，不用担心的底层数据的分布式特性。只需将具体的应用逻辑将一些列转换进行处理。不同的RDD之间的转换操作形成依实现管道话。从而避免中间结果落地的存储。降低数据复制，磁盘IO和序列化开销。RDD是一个不可变的分布式对象集合。每个RDD会被分成多个分区，这些分区运行在集群的不同节点上。每个分区就是一个数据集片段。RDD提供的是一种高原创 2018-03-02 23:37:38 · 169 阅读 · 0 评论