qq_31297573的博客

Echarts可视化实战 获取HBase中的数据 按天获取HBase中course_clickcount表的数据 public Map<String, Long> query(String tableName, String condition) throws Exception { HashMap<String, Long> map = new HashMap<>(); HTable table = getTable(table

Spark Streaming 实时流处理项目实战 项目整体流程： 模拟用户访问日志数据； 由Flume采集数据并通过Kafka进行消费； 按照需求由spark sparkstreaming 进行实时处理，并将结果保存到HBase中； 数据准备 generate_log.py 生成模拟用户访问网站的日志数据 由ip+时间+url+状态码+搜索引擎来源组成 为了模拟实时处理流程，定时 运行generate_log.py 脚本 定时运行： lgl.sh python /home/jackie

问题排除 集群包括hadoop102、hadoop103、hadoop104，其中hadoop102 是master； 虚拟机中所有端口均可正常访问，表明集群配置文件等没有问题； Windows端无法访问50070端口，准确的来说是无法访问master中的所有端口： yarn配置在hadoop103中，2NN配置在hadoop104，8088、50090端口可以访问，说明其他两台没有问题； 那么问题就是在hadoop102中； 问题解决 hadoop102的防火墙出了问题，而其他两台的均正常关

需求 取出每个班级前三的score 数据格式 class2 77 class4 95 代码 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object TopN { def main(args: Array[String]): Unit = { //创建SparkConf对象 val config: SparkConf = new SparkConf().

输入数据格式 预期结果 package com.jackie.spark import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} class UDFSort(val first: Int, val second: Int) extends Ordered[UDFSort] with Serializable { override def compare(that: UDFSort): Int