- 博客(15)
- 收藏
- 关注
RSS订阅原创 2021-03-29
package lesson01;import org.apache.flink.api.common.functions.FlatMapFunction;import org.apache.flink.api.java.tuple.Tuple2;import org.apache.flink.configuration.Configuration;import org.apache.flink.streaming.api.datastream.DataStreamSource;import .
2021-03-29 23:00:50
116
原创 Hbase的java操作
HBase的java代码开发熟练掌握通过使用java代码实现HBase数据库当中的数据增删改查的操作，特别是各种查询，熟练运用第一步：创建maven工程，导入jar包<repositories> <repository> <id>cloudera</id> <url>https://repository.cloudera.com/artifactory/cloudera-repo
2021-03-02 22:33:07
310
原创 mongoDB启动 访问 停止命令
sudo /opt/module/mongodb/bin/mongod -config /opt/module/mongodb/data/mongodb.conf// 访问MongoDB服务器[bigdata@linux mongodb]$ /opt/module/mongodb/bin/mongo// 停止MongoDB服务器[bigdata@linux mongodb]$ sudo /opt/module/mongodb/bin/mongod -shutdown -config /opt/mod
2021-03-01 21:32:37
165
原创 orc和parquet选型
SparkSQL选orc还是parquet?hive有三种默认的存储格式，TEXT、ORC、PARQUET。TEXT是默认的格式，ORC、PARQUET是列存储格式，占用空间和查询效率是不同的，专门测试过后记录一下。一：建表语句差别create table if not exists text(a bigint) partitioned by (dt string)row format delimited fields terminated by ‘\001’location ‘/hdfs
2021-02-09 00:37:13
471
原创 好消息,我将优快云博客迁移到简书!
优快云博客地址:https://mp.youkuaiyun.com/console/article以后的博客，可能在简书更新的多一些!简书地址:https://www.jianshu.com/u/de9d36bf922b
2020-05-23 15:53:54
298
原创 4 持久化
4 持久化1）RDB持久化：每隔一段时间，将内存中的数据集写到磁盘Redis会单独创建（fork）一个子进程来进行持久化，会先将数据写入到个临时文件中，待持久化过程都结束了，再用这个临时文件替换上次持久化好的文件。整个过程中，主进程是不进行任何IO操作的，这就确保了极高的性能如果需要进行大规模数据的恢复，且对于数据恢复的完整性不是非常敏感，那RDB方式要比AOF方式更加的高效。保存策略：save900 1900 秒内如果至少有 1 个 key 的值变化，则保存save3
2020-05-20 20:17:54
141
原创 String buffer和String build区别
String buffer和String build区别1、StringBuffer 与 StringBuilder 中的方法和功能完全是等价的，2、只是StringBuffer 中的方法大都采用了 synchronized 关键字进行修饰，因此是线程安全的，而 StringBuilder 没有这个修饰，可以被认为是线程不安全的。3、在单线程程序下，StringBuild...
2020-04-20 12:46:47
253
原创 关于zookeeperapi-watch的问题
线程为什么要睡长时间？1、因为它要长时间监听，相当于while循环。treecache是一直开启的
2019-08-16 09:54:57
119
原创 关于Hdfs的理解和yarn理解总结1
关于Hdfs的理解关于HDFS的问题总结1、DataNode每6s向NameNode上传一次请求，这个关键点在于6秒，但是很多人会有这样一个问题，那namenode在多长时间接收不到请求，会认为宕掉了？这个是一个问题。2、关于HDFS的磁盘不足问题，当要存储的数据大于磁盘的时候，选择增加节点进行扩容。3、移动数据和移动计算的比较，移动数据成本较大，消耗的网络IO资源比较大，所以选择移动计算...
2019-07-05 00:41:32
329
原创 解决跨平台winutils的问题
1、从windows访问linux包。绝大多数都有一个报错，因为我当前hadoop版本是linux的，而我当前windows运行版本没有hadoop的环境，我如何去运行，我现在不是winutils找不到嘛，我给你一个winutils是不是就可以了。exe文件可以去执行，在windows上进行的一个编译，在开发过程中，用它就保证没有错误了，那么具体如何解决呢？HDFS的api开发1)解决...
2019-07-04 17:27:38
5275
3
转载 Spring简单理解
一.概念：spring是开源的轻量级框架2 spring核心主要两部分：（1）aop：面向切面编程，扩展功能不修改源代码实现（2）ioc：控制反转比如有一个类，在类里面有方法（不是静态的方法），调用类里面的方法，创建类的对象，使用对象调用方法，创建类对象的过程，需要new出来对象， 把对象的创建不是通过new方式实现，而是交给spring配置创建类对象。我用通俗的话给你解释把。首先...
2019-07-04 13:50:45
298
原创 大白话解释Spring【java】【优化别人博客】
根据我的师傅所说，Spring框架理解起来其实不是很复杂，只要理解好一个概念就可以了-----IOC容器，什么是IOC容器呢，我讲一个故事你就明白了假如说，我现在是一个吃小孩的妖怪，我现在想要吃小孩，那么我就需要 Kid kid = new Kid()出来，但是Kid不会凭空出来啊，想要一个孩子肯定需要一个男的，和一个女的经过一个 叫 嘿咻的构造函数就出来一个小baby啦（当时我和师傅莫名兴...
2019-07-04 13:38:31
663
原创 关于mapreduce博客1
1、mapreduce最早起源什么地方？mapreduce最早起源于谷歌2004年发表的一篇论文，2、mapreduce处理的大规模数据集，那么它所限定的大的范围是什么？大于1TB的数据集3、mapreduce是什么？MapReduce是面向大数据并行处理的计算模型、框架和平台4、mapreduce的特点是什么？易于编程 自己的执行计算框架良好的扩展性 增加节点高容错性 ...
2019-07-04 13:23:55
144
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人