大数据
关注
分享
扫一扫
浅夏初雨yan
没有最好，只有更好
展开
-
kafka java api编程
1）创建kafka的topic（fyy_topic）/home/opt/kafka_2.11-0.10.2.2/bin/kafka-topics.sh --create --zookeeper 01.server.bd:2181,02.server.bd:2181,03.server.bd:2181 --replication-factor 3 --partitions 3 --topic f...原创 2019-03-08 18:32:45 · 927 阅读 · 0 评论 -
SecureCRT解决命令行无法退格/删除
在通过CRT进行spark-shell程序编码时，发现不能进行退格和删除。解决办法：进行SecureCRT的设置。Options --> Session OptionsTorminal --> Emulation --> Terminal(选择Linux)Terminal --> Mapped Keys --> 勾选（Backspace s...原创 2019-04-11 10:50:05 · 9067 阅读 · 0 评论 -
Spark Streaming整合Kafka（scala）
Spark Streaming整合Kafka有两种方式：Receiver和Direct方式两种方式的区别？Receiver方式：接收固定时间间隔的数据（放在内存中的），使用Kafka高级的API，自动维护偏移量，达到固定的时间才进行处理，效率低并且容易丢失数据。Direct直连方式：相当于直接连接到Kafka的分区上，使用Kafka底层的API，效率高，需要自己维护偏移量。（常用）...原创 2019-03-13 15:59:20 · 600 阅读 · 0 评论 -
HBaseUtils操作工具类（java）
HBase操作工具类（java），具有获取表名（getTable）、存入数据（put）等功能。如果有需要，大家可以自行增加。1）在pom.xml中导入HBase依赖 <!-- HBase 依赖--> <dependency> <groupId>org.apache.hbase</group...原创 2019-03-21 16:50:03 · 1779 阅读 · 0 评论 -
Spark Streaming整合Flume（scala）
Spark Streaming整合Flume有两种方式：（1）方式一：Push方式方法步骤：1）启动sparkstreaming作业2）启动flume agent3)）通过telnet输入数据1、Flume Agent的编写：$ vi $FLUME_HOME/conf/flume_push_streaming.confpush-agent.sources = net...原创 2019-03-12 18:35:36 · 295 阅读 · 0 评论 -
Spark Streaming和Spark SQL关联使用，实现词频统计（scala）
此实例为官网的整合实例，仅供参考。package com.fyy.spark.streamingimport org.apache.spark.SparkConfimport org.apache.spark.rdd.RDDimport org.apache.spark.sql.SparkSessionimport org.apache.spark.streaming.{Secon...原创 2019-03-12 15:40:22 · 496 阅读 · 0 评论 -
Spark Streaming实现词频计算将结果保存到Mysql数据库（scala）
Spark Streaming实现词频计算将结果保存到Mysql数据库（scala）实例。1）建立Mysql连接池(MysqlPool.scala)package com.fyy.spark.streamingimport java.sql.{Connection, DriverManager}import java.util/** * @Title: MysqlPoo...原创 2019-03-12 15:01:52 · 762 阅读 · 0 评论 -
Spark Streaming实现黑名单过滤（scala）
对于黑名单过滤，采用的是访问日志形成的DStreaml与黑名单列表形成的RDD进行left join的方式，进行过滤。步骤解读：日志列表：20190102,192.168.10.10120190102,192.168.10.10220190102,192.168.10.103将访问日志转换为相应的 DStream ==> (192.168.10.101:20190...原创 2019-03-12 14:13:07 · 1393 阅读 · 1 评论 -
error: object HBaseUtils is not a member of package com.spark.project.utils
问题描述：[ERROR] /Users/work/SparkStreamingProject/src/main/scala/com/spark/project/dao/BrowserClickCountDAO.scala:4: error: object HBaseUtils is not a memberof package com.ipark.project.utils问题分析...原创 2019-03-20 13:50:32 · 695 阅读 · 0 评论 -
idea中无法new scala文件
对于IDEA无法创建scala文件，分3步排除问题1）检查scala文件是否设置为source类型File-->Project Structure选择Modules-->Sources，然后展开目录，查验scala是否被设置成了Souces类型（变为蓝色）。如果未设置，选择scala文件，点击Sources即可进行设置。2) 查验是否安装了scala插件...原创 2019-03-11 17:54:26 · 2176 阅读 · 0 评论 -
ip地址解析（scala）
在日志处理过程中，常常会遇到ip地址的分析，就要涉及到ip地址解析为城市的操作。下面介绍2种方法：方法一：只能够进行中国的ip地址转换为城市的操作，国外的解析不是很实用。方法二：可以进行全球的ip地址的各项解析，解析城市、国家、经纬度等等。方法一：一个使用他人的源码来实现此功能的方法，希望能帮助有需要的人。步骤如下：1）将源码从github上下载下来$ git cl...原创 2019-03-15 18:44:24 · 2280 阅读 · 5 评论 -
解决：Exception in thread "main" java.lang.NoSuchMethodError
程序是一个scala编写的Spark Streaming程序，导入依赖spark 2.2.0 ，hadoop 2.8.2， hbase 1.2.6问题描述:Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.security.authentication.util.KerberosUtil.ha...原创 2019-03-19 17:57:55 · 6352 阅读 · 0 评论 -
maven项目不能打包scala代码
在建立maven项目时，遇到问题，只能对java代码的打包。此问题出现的原因时，在建立项目的时候，建立的时java的项目，后期进行scala的添加，但是在pom.xml中并没有出现scala代码的打包配置，导致只能进行java代码的打包。解决方法：在maven文件中，加入scala的打包配置。<!-- This plugin compiles Scala files --&...原创 2019-04-12 10:34:31 · 1863 阅读 · 0 评论