chenbengang的博客

基于Hive和Spark的淘宝双11数据分析与预测1.系统和环境要求（版本仅供参考）：Linux: centos7MySQL: 5.7.16Hadoop: 2.7.1Hive: 1.2.1Sqoop: 1.4.6Spark: 2.1.0Eclipse: 3.8ECharts: 3.4.02.数据上传到Hive（Hive的安装配置）2.1数据集格式内容数据集压缩包为dat...

Linux查看文件指定行数内容1、tail date.log 输出文件末尾的内容，默认10行 tail -20 date.log 输出最后20行的内容 tail -n -20 date.log 输出倒数第20行到文件末尾的内容 tail -n +20 date.log 输出第20行到文件末尾的内容 tail -f date....

Spark+Kafka构建实时分析Dashboard1.框架利用Spark+Kafka实时分析男女生每秒购物人数，利用Spark Streaming实时处理用户购物日志，然后利用websocket将数据实时推送给浏览器，最后浏览器将接收到的数据实时展现，案例的整体框架图如下：详细分析下上述步骤：应用程序将购物日志发送给Kafka，topic为”sex”，因为这里只是统计购物男女生人数，...

TMDB电影数据分析（spark-scala版，pyspark版本）基于kaggle的TMDB电影数据集的数据分析，该数据集包含大约 5000 部电影的相关数据，TMDB数据下载。分析电影关键词的分布、电影投入以及收益评价等之间的关系，并使用Python web进行可视化。一.环境要求（仅供参考）centos7、hadoop、spark、bottle（一种基于Python的web框架）。二...

ml的逻辑斯蒂回归和决策树解决分类问题1.逻辑斯蒂回归解决分类问题使用ml库的逻辑斯蒂回归解决鸢尾花的二分类问题：// 二分类逻辑斯地回归，只用两个属性长度和宽度import org.apache.spark.sql.Rowimport org.apache.spark.ml.linalg.{Vector,Vectors}import org.apache.spark.ml.eval...

特征抽取CountVectorizer// 通过计数将文档转化为向量的，产生文档关于词语的稀疏表示// CountVectorizer将根据语料库中的词频排序从高到低进行选择，词汇表的最大含量由vocabsize超参数来指定，超参数minDF，// 则指定词汇表中的词语至少要在多少个不同文档中出现import org.apache.spark.sql.SparkSessionval...

特征抽取Word2Vecimport org.apache.spark.sql.SparkSessionval spark=SparkSession.builder().master("local").appName("word2vec").getOrCreate()import spark.implicits._import org.apache.spark.ml.feature.W...

特征抽取TF-IDFimport org.apache.spark.ml.feature.{HashingTF,IDF,Tokenizer}import org.apache.spark.sql.SparkSessionval spark=SparkSession.builder(). master("local"). appName("TF-IDF-Test"). ...

Spark MLib机器学习流水线PipelineDataFrame作为基本的数据抽象。Transform：转化器，传入DataFrame转换成新的DataFrame。Estimator：评估器，fit训练得到模型。Pipeline：流水线，多步骤组合。构建Pipeline：// 构建一个机器学习工作流// 在原始DataFrame上调用Pipeline.fit（）方法，它具有原始...

Spark MLib简介hadopp实现机器学习：MapReduce也可以编写机器学习，基于磁盘操作，多次迭代计算磁盘IO开销大。spark实现机器学习：spark是基于内存，只有shuffle操作需要落磁盘，实现管道化处理，在内存中完成数据交接。大大减少在磁盘的IO开销。基于MLib库。MLib包含：分类、回归、聚类、协同过滤、降维。特征化工具：特征提取、转化、降维、选择工具...

structured streaming概述structured streaming引入持续流处理模式，真正支持毫秒级别响应。spark streaming无法满足毫秒级响应。2.2正式发布。重新抽象流式计算，基于DataFrame数据抽象。易于exactly-once（所有数据只被处理一次），以前的spark为at-least once(所有数据至少处理一次)。1.structur...

spark streaming输出操作其他部分与转换操作一样，只需要添加输出保存部分，保存为文件使用saveAsTextFiles，输出到mysql数据库。object NetworkWordCountStateful { def main(args: Array[String]) { //定义状态更新函数 val updateFunc = (values: Seq[Int...

spark streaming转换操作1.无状态转换map操作：源 为DStream，一次一对一转换。flatMap：一个输入映射成0或多个输出项。filter：过滤，满足条件的过滤出来。repartition：改变DStream用的分区数。reduce：提供聚合函数，进行聚合运算。count：统计源DStream中每个RDD的元素数量。union：合并多个DStream...

Spark大数据-输入源之kafkakafka相关基础高吞吐量的分布式发布订阅消息系统，能订阅和发布消息。broker：kafka集群中每个节点服务器叫broker。topic：消息扔给某个topic，订阅相关topic即可。partition：每个topic消息非常多，所以需要分区放在多台服务器上。生产者：把消息发给kafka broker。消费者：向kafka broker读...

Spark大数据-输入源之RDD队列流RDD队列流每隔一秒创建一个RDD扔到队列中，spark streaming每隔两秒从队列流中处理一次，对队列RDD中的每个数做余数词频统计。// 每隔1秒创建一个RDD，Streaming每隔2秒就对数据进行处理import org.apache.spark.SparkConfimport org.apache.spark.rdd.RDDimpo...

Spark大数据-输入源之套接字流套接字流使用套接字流作为spark streaming数据源1.创建客户端文件目录cd /usr/local/spark/mycodemkdir streamingcd streamingmkdir -p src/main/scala //如果已经存在该目录，则不用创建cd src/main/scalavim NetworkWordCoun...

文件流日志的实时捕捉：对目录进行监控，只要目录生成新的文件或者文件变动就捕捉。1.创建被监控的文件目录：cd /usr/local/spark/mycodemkdir streamingcd streamingmkdir logfilecd logfile2.spark-scala文件监控程序-实现词频统计：import org.apache.spark._impor...

Dstream概述工作机制输入数据流的input Dstream和receiver挂接起来。1.创建输入Dstream定义输入源，文件流，kafka，rdd队列流。2.转换和输出操作定义流计算过程。3.StreamingContext.start()、awaitTermination()等待处理结束(发生错误结束)、stop()手动结束。// 创建StreamingContext...

Spark Streaming输入输出源输入源：kafka、flume、hdfs、tcp socket。输出源：hdfs、databases、dashboards。Spark Streaming基本原理连续数据切分，每段数据交给spark处理批处理，每段批处理模仿流处理。Spark是线程级别并行，实时响应级别高。实现秒级响应，变相实现高效流计算。DStream：一堆的RDD。...

spark流数据概述1.两种典型数据2.流数据特征3.流计算概述1.两种典型数据静态数据和流数据2.流数据特征数据快速持续到达，潜在大小无穷无尽数据来源多，格式复杂数据量大注重数据整体价值顺序颠倒或不完整3.流计算概述批量计算，MapReduce 处理大规模静态数据，无法满足秒级响应。流计算框架，实时采集，实时分析处理，结果反馈。用户点击流实时分析，时间内结果有意义...