- 博客(12)
- 收藏
- 关注
RSS订阅原创 SparkStraming
SparkStraming 3.0.0【Spark Version:3.0.0】【Scala Version:2.12】第 1 章 SparkStreaming 概述1.1 Spark Streaming 是什么Spark Streaming 用于流式数据的处理。Spark Streaming 支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ 和简单的 TCP 套接字等等。数据输入后可以用 Spark 的高度抽象原语，如：map、reduce、join、windo
2024-11-19 12:31:49
1054
原创 shell中if[-参数]解读
[ -a FILE ] 如果 FILE 存在则为真。[ -b FILE ] 如果 FILE 存在且是一个块特殊文件则为真。[ -c FILE ] 如果 FILE 存在且是一个字特殊文件则为真。[ -d FILE ] 如果 FILE 存在且是一个目录则为真。[ -e FILE ] 如果 FILE 存在则为真。[ -f FILE ] 如果 FILE 存在且是一个普通文件则为真。[ -g FILE ] 如果 FILE 存在且已经设置了SGID则为真。[ -h FILE ] 如果 FILE 存在且是一
2021-01-07 14:05:23
624
原创 Mysql服务1067错误解决方法
MySQL服务启动失败原因:可能是的初始化时需要创建日志目录,涉及到相关权限问题查看mysql安装目录下的my.ini将my.ini文件中的指定的目录手动创建,然后重启就可以了
2020-11-02 22:53:46
232
原创 Linux系统修改IP地址
1.查看使用网卡ifconfig2.修改对应的网卡的IP配置文件(需要root用户操作)vim /etc/sysconfig/network-scripts/ifcfg-eth0根据需要修改IP或网关等信息3.修改主机名映射(需要root用户操作)查看当前主机的主机名hostname修改主机名映射(将ip修改为变更后的)vim /etc/hosts4.重启网络服务service network restart5.ping一下百度测试一下ping www.baidu
2020-11-02 10:11:33
747
2
原创 Spark中的三种隐式转换
1.使用SparkSQL中toDF时2.Spark整合Kudu,创建Kudu对象时3.Spark中一些Scala类型转Java类型时(.asjava的隐式转换)
2020-10-22 17:26:55
3550
转载 Spark Streaming反压机制原理及使用
链接: link.转载:https://blog.51cto.com/14309075/2414995
2020-10-15 10:35:36
701
原创 Streaming消费Kafka数据,存入HBase(详细案例,附HBase工具类)
前言1.自定义的Kafka生产者实时向Kafka发送模拟数据;2.Streaming使用Direct模式拉取Kafka中数据,经处理后存入HBase.一、依赖文件(注意HBase版本对应)<!-- 指定仓库位置，依次为aliyun、cloudera和jboss仓库 --> <repositories> <repository> <id>aliyun</id> <
2020-10-14 15:41:45
883
1
原创 Notepad++如何连接上Linux系统的项目进行编辑？
大家有没有在开发的过程中，想在window系统连接上Linux系统的项目进行开发呢？答案是必然的!!!步骤一:确保您的电脑上安装有近期版本的Notepad++,打开notepad++开发工具，找到插件的菜单。步骤二:点击插件管理步骤三:搜索NppFTP插件,勾选NppFTP插件前的方框,点击安装.(这里安装后会重启)步骤四:在安装好之后，点击插件就可以看到刚刚安装的NppFTP的插件。.把鼠标移动NppFTP插件上，勾选Show NppFTP window显示插件窗口(有时窗口会很靠界
2020-05-10 15:06:42
656
原创 JVM的缓存机制(案例)
JVM缓存机制原因:JVM的缓存机制所导致.下面先来看一些Java 测试代码。 //第一组 Integer num1 = 127; Integer num2 = 127; System.out.println(num1 == num2); //------------------------------------ //第...
2020-05-04 14:07:42
1855
原创 IDEA error：java 源发行版8 需要目标发行版 1.8
源发行版8 需要目标发行版 1.8产生原因:出现这个问题一般是IDEA的JDK配置版本与运行所需版本不一致或者未配置,只需关联所需版本的JDK即可.1.fele --> Project Structure;2.fele --> Project Structure->Modules;3. fele --> settings–> Build,Executi...
2020-04-28 23:50:50
14734
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人