留歌__36的博客

~~ 前置 ~~ Spark Streaming 常常对接 ：本地文件、HDFS、端口、flume、kafka package february.streaming import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds, StreamingContext} /** * ...

import java.sql.{DriverManager, ResultSet} import kafka.common.TopicAndPartition import kafka.message.MessageAndMetadata import kafka.serializer.StringDecoder import org.apache.commons.lang3.StringU...

import org.apache.spark.{SparkConf, SparkContext} /** * Description: 日志统计分析 * .collect().foreach(println) * .take(10).foreach(println) * * * 分隔符 ， *map()是对每一行数据进行操作 *reduceByKey()是将相...

package sanjin; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.sql.SparkSession; import scala.Tuple2; import java.util.Array...

package february.sql import org.apache.spark.sql.SparkSession /** * * ====== Spark SQL默认处理的format是parquet ==== * Description: Parquet 文件操作 * * 处理parquet数据 * spark.read....

package march.sql import org.apache.spark.sql.SparkSession /** * Description: TODO * * @Author: 留歌36 * @Date: 2019/3/6 8:57 */ object AllHouseAPP { def main(args: Array[String]): Unit =...

写在前面： A DataFrame is a Dataset organized into named columns. A Dataset is a distributed collection of data. 贴代码： package february.sql import org.apache.spark.sql.SparkSession /** * Description: ...

import java.sql.*; /** * Description: HiveJdbcClient的操作 * 修改默认的hiveserver2的启动端口： * $HIVE_HOME/bin/hiveserver2 --hiveconf hive.server2.thrift.port=14000 * $HIVE_HOME/bin/beeline -u jdb...

写在前面 因为觉得自己的代码量实在是太少了，所以，想着，每周至少写5个小的demo程序。现在的想法是，写一些Spark,Storm,MapReduce，Flume,kafka等等单独或组合使用的一些小的Demo。 然后，我会尽力记录好，自己编码过程中遇到的问题，方便自己巩固复习。 废话不多说，我们直接干吧。 开发环境 本地开发 工具 版本 Spark 2.2.0 Scala 2...

先贴代码 package february.sql import org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType} import org.apache.spark.sql.{Row, SparkSession} /** * Description: ============Spark...

写在前面： 当得到一个DataFrame对象之后，可以使用对象提供的各种API方法进行直接调用，进行数据的处理。 // =====基于dataframe的API=======之后的就都是DataFrame 的操作了============== infoDF.show() infoDF.filter(infoDF.col("age") > 30).show() 另，也可以...

import kafka.serializer.StringDecoder import org.apache.spark.SparkConf import org.apache.spark.streaming.kafka.KafkaUtils import org.apache.spark.streaming.{Duration, Seconds, StreamingContext} /** ...