haoren1994的博客

Flink多并行度与WaterMark

Flink项目之统计网站热门商品项目介绍每五分钟统计电商网站一小时内的热门商品数据格式543462,1715,1464116,pv,1511658000543462,1715,1464116,pv,1511658000662867,2244074,1575622,pv,1511658000分别对应userId,itemId,categoryId,behavior,timestamp涉及内容窗口、状态相关支持Flink 1.12.5 java 8项目所需依赖&l

最近在测试华为集群认真的时候 代码出现 Mechanism level: Failed to find any Kerberos credentails异常（内网开发），无法贴出故障解决办法 配置host映射

一、介绍Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high thr...

启动时192.168.5.176: failed to launch: nice -n 0 /usr/spark/bin/spark-class org.apache.spark.deploy.worker.Worker --webui-port 8081 spark://server178:7077192.168.5.176: at java.lang.Class.ge...

准备工作安装过flume jdk kafka 并且会使用!!!引入整合依赖<!-- https://www.mvnjar.com/com.teambytes.logback/logback-flume-appender_2.10/0.0.9/detail.html --> <dependency> <groupI...

hdfs特点海量数据的存储支持TB、PB级别的数据存储故障成本较低部署在多台服务器上，相对于单独的大型服务器发生故障而言发生故障后损失成本较低高度容错hdfs在文件存储上采用冗余备份机制，每个文件都会被存储三次并且放在了不同的服务器上，一旦某台服务器宕机，可以快速恢复流式数据访问数据一次写入后，能进行多次读操作。写入后的数据无法修改（hadoop2中可以支持修改，但是在分布式文...