墨兰公子-优快云博客

原创 Idea创建scala项目，添加Archetype步骤

Idea 2020版之后新增scala项目与2019版有所区别，在选择scala-archetype-simple时，需要手动添加。新建Project ---->Archetype选择“添加”，然后将下面的参数添加至相应位置即可。然后点击"添加"，再点创建即可。

2025-01-07 10:56:18 148

原创 Exception in thread “main“ org.apache.spark.SparkException: Task not serializable异常

Exception in thread “main“ org.apache.spark.SparkException: Task not serializable异常。出现这个错误，直接在object的这个单例对象‌继承一下Serializable，就可以解决这个问题了。

2024-11-22 15:23:16 220

原创 dataFrame（DF）将数据插入ES时报错 org.elasticsearch.hadoop.EsHadoopIllegalArgumentException: Cannot detect E

SparkSql插入ES时报错解决（针对增加用户权限之后的报错解决）org.elasticsearch.hadoop.EsHadoopIllegalArgumentException: Cannot detect ES version - typically this happens if the network/Elasticsearch cluster is not accessible or when targeting a WAN/Cloud i

2022-11-15 16:12:15 2128

原创 Azkaban4.0.0版本编译

Azkaban4.0.0版本编译前言由于4.0之前的版本在实际应用过程中会在安扫中jar包Apache Velocity爆出巨大漏洞需要升级至2.3以上版本，所以建议使用4.0.0版本的Azkaban安装包下载https://github.com/azkaban/azkaban/releaseswget https://github.com/azkaban/azkaban/archive/refs/tags/4.0.0.tar.gz -O azkaban-4.0.0.tar.gz安装编译工具

2022-02-11 15:38:35 817

原创 Scala获取当年最后一天、上月第一天、上月最后一天、上周第一天、上周最后一天等日期数据

Scala获取当年最后一天、上月第一天、上月最后一天、上周第一天、上周最后一天等日期数据

2021-12-02 17:30:40 2148

原创 spark value $ is not a member of StringContext

spark value $ is not a member of StringContext问题描述：Error:(61, 40) value $ is not a member of StringContext val click= df.filter($"e_type" === "click") 解决办法在创建的SparkSession对象后，引入【implicits._】val spark = SparkSession.builder() .master("

2021-11-08 14:36:07 2374

原创 CentOS7 yum 时报错 curl#6 - “Could not resolve host: mirror.lzu.edu.cn； Unknown error“ 及telnet安装

CentOS7 yum 时报错[root@localhost apache-flume-1.7.0-bin]# yum -y install telnet-server已加载插件：fastestmirrorLoading mirror speeds from cached hostfile * base: ftp.sjtu.edu.cn * extras: ftp.sjtu.edu.cn * updates: ftp.sjtu.edu.cnhttp://mirrors.nju.edu.cn/

2021-10-12 17:54:49 11295

原创 CentOS 7 es 7.x 集群搭建

CentOS 7 es 7.x 集群搭建1、准备三台虚拟机192.168.50.133192.168.50.136192.168.50.137(主节点)安装连接：https://blog.youkuaiyun.com/weixin_45441740/article/details/119779886?spm=1001.2014.3001.55022、进入1192.168.50.137机器配置es核心配置文件vim elasticsearch.yml# 配置集群名称，保证每个节点的名称相同，如此就

2021-09-01 11:18:30 365

原创 CentOS7 ES7.X版本的ES安装

CentOS7 的ES集群搭建一、ES安装下载地址https://www.elastic.co/cn/downloads/elasticsearch2、解压压缩包elasticsearch-7.8.1.tar.gz3、不能以root方式启动es#创建新用户useradd esuser#修改esuser用户密码passwd es#切换至目标用户su esuser#对es的安装文件夹赋予读写权限chown -R esuser:esuser /usr/local/elasticsearc

2021-08-18 16:52:09 1143

原创 Git安装及Idea拉取git代码教程

安装git首先登陆git，下载Windows的安装包 https://git-scm.com/downloads1、下载安装包，进行安装；一直next就可以2、安装完成后，将安装git的bin目录配置入系统环境变量中：如：C:\Program Files\Git\bin配置完成后在cmd中试用git --version 查看git版本，若出现版本信息，则证明安装成功。接下来进行下一步，拉取代码：Idea拉取git代码1、打开idea后，点File----->Setting-------

2021-04-21 15:22:04 5800

原创 Scala中将日期由1、2、3变为“01、02、03”；将24小时制的时间由1、2、3变为“01、02、03”

Scala中将24小时制的时间由1、2、3变为“01、02、03” cal.add(Calendar.HOUR,-1) val h = cal.get(Calendar.HOUR_OF_DAY) //Calendar.DAY_OF_MONTH是24小时制 Calendar.HOUR为12小时制 val hFormat = new DecimalFormat("00") val hour = hFormat.format(h) //01 02 03 04 05 当日某一

2020-12-23 09:28:04 302

原创 spark中split()根据特殊符号“.“ “|“ “*“ “\“ “]“切割的表达

关于点的问题是用string.split("[.]") 解决。关于竖线的问题用 string.split("\\|")关于竖线的问题用 string.split("\\|")解决。关于星号的问题用 string.split("\\*")解决。关于斜线的问题用 sring.split("\\\\")解决。关于中括号的问题用 sring.split("\\[\\]")解决。...

2020-11-05 16:17:07 2301

原创创建scala项目及处理Maven无法创建Scala文件的问题

创建scala项目步骤第一步：File------->New-------->Project-------->Maven------------->勾选Create from archetype 并选中scala-archetype-simple 新建第二步：Scala项目如果不能无法创建scala类或者object 则需要以下处理：File--------->Project Structure-------->Libraries-------->点击**

2020-11-05 14:33:26 396

原创 Azkaban Schedule Flow Options(定时任务调度)

Azkaban Schedule Flow Options(定时任务调度)1.crontab知识crontab任务配置基本格式：*　 *　 *　 *　 * command分钟(0-59)　小时(0-23)　日期(1-31)　月份(1-12)　星期(0-6,0代表星期天)第1列表示分钟1～59 每分钟用*或者 */1表示第2列表示小时1～23（0表示0点）第3列表示日期1～31第4列表示月份1～12第5列标识号星期0～6（0表示星期天）第6列要运行的命令在以上任何

2020-07-27 10:34:29 1508

转载 SparkSql 参数的调优

https://www.youkuaiyun.com/gather_22/MtTaYg3sNzg0MS1ibG9n.html

2020-06-04 09:45:15 219

原创详解HBase架构原理

详解HBase架构原理一、什么是HBase HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价的PC Server上搭建大规模结构化存储集群。 HBase是Google BigTable的开源实现，与Google BigTable利用GFS作为其文件存储系统类似，HBase利用Hadoop HDFS作为其文件存储系统；...

2019-12-08 15:55:09 195

原创 Kafka的相关配置信息详解

Kafka相关配置解释//1. 指定kafka消费者的配置信息Properties properties = new Properties();//生产者的配置信息//生产者的服务器配置properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG,"Spark:9092")//配置ByteArray序列化器props.put(Produ...

2019-11-27 14:50:58 365

原创 Linux安装MySql

Linux中安装MySql#使用yum安装MySQL[root@Spark ~]# yum install -y mysql-server#开启Mysql服务[root@Spark ~]# service mysqld start#设置用户名及密码[root@Spark ~]# mysqladmin -u root password '1234'#登录MySQL[root@Spar...

2019-11-19 09:06:11 225

原创 redis,zookeeper及kafka的安装

redis安装#安装gcc依赖yum install gcc#安装包下载网址 www.redis.io[root@Spark ~]# mkdir /usr/redis #创建文件夹[root@Spark ~]# tar -zxf redis-5.0.6.tar.gz -C /usr/redis/ ##解压文档#解压后进入解压目录进行编译[root@Spark ~]# ...

2019-11-15 21:08:05 208

原创 Hadoop的安装以及基本的shell操作命令

Hadoop一,HDFS的安装1) 准备虚拟机更改ipvi /etc/sysconfig/network-scripts/ifcfg-eth0OnBoot--->yesBOOTPROTO=staticIPADDR=192.168.40.20 (与虚拟机中的NAT模式中的IP一致(前三个字段一致))2)安装JDK1.8 将Linux 版本的Jdk拉至系统的roo...

2019-11-14 16:13:43 403

weixin_45441740的博客