- 博客(17)
- 收藏
- 关注
RSS订阅原创 [Flink/Spark]scala代码使用gradle打包部署
Gradle官网地址下载地址依赖：JDK1.8及以上为什么写Gradle：Gradle和Maven是我们使用IDEA的依赖管理工具，是我们开发者必不可少需要接触的，Gradle相较于Maven是更新的管理工具，资料较少，公司要求使用scala语言和gradle开发，头疼了好久，终于下定决心用了一下午做了下面的总结。Gradle安装部署网上的太多，我就总结一下难点，现在网上比较少的是gradle打包scala代码，我这里开源一下自己的代码配置，直接build及可打包，注意修改自己的main方法
2021-10-12 16:20:36
811
原创 一、Flink环境解决[安装部署｜Maven｜Gradle｜scala打包]
Flink前置：公司要求使用gradle-scala版本。现在maven-java版本学习资料居多，我根据java版本、官网来学校scala版本。已有的三台测试服务器：/opt/app 目录下，下面来部署Flink1.12.01、安装部署flink部署分为[local本地模式、Standalone独立集群模式、Standalone-HA高可用模式、Flink-on-Yarn模式生产]实际生产中使用Flink-On-Yarn下载地址：Flink-1.12.0 flink-1.12.0-bin
2021-09-30 13:58:02
1205
原创 Elasticsearch7.x配置
ESElasticsearch配置node01#node01 config/elasticsearch.yml#集群名字cluster.name: elastic-7.8.1##集群中当前的节点node.name: node-1#数据目录，配置到指定的分区挂载目录path.data: /opt/app/elasticsearch/data#日志目录path.logs: /opt/app/elasticsearch/log#当前主机的ip地址及ES服务端口【具体的服务器修改
2021-09-24 14:07:28
579
原创 11.Kibana
kibana做接口相关的开发tar -zxvf /export/software/kibana-6.7.2-linux-x86_64.tar.gz -C /home/es/配置config/kibana.yml#监听地址,默认5601#server.port: 5601#监听地址#远程需改为0.0.0.0#server.host: "1.15.51.82"server.host: "0.0.0.0"#es服务器elasticsearch.url: "http://1.15.51.
2021-06-22 14:31:15
145
原创 10.Grok正则
推荐使用工具kibana 或者使用下面提供的解析工具https://www.5axxw.com/tools/v2/grok.html#特殊匹配(%{GREEDYDATA:json1}|-) 匹配所有数据%{QS:agent} 匹配"-"数据# 匹配规则LogFile="%{WORD:logfile}";Time="%{DATA:time}";SIP="%{IPV4:sip}";#关键字WORD 匹配单词DATA 匹配任意数据IPV4 匹配IPNUMBE
2021-06-22 14:27:01
516
原创 9.Logstash配置
主要配置logstash-sample.conf配置文件#文件 logstash-sample.conf#input 监听filebeat端口5044input { beats { port => 5044 }}filter { #grok正则转换【注：(%{GREEDYDATA:kylinRequest}) 匹配剩余所有数据,使用\转译符号】 grok { #匹配满足要求的massage，可以配置对各match，即可以匹配多个日志，注意配置不能相互干扰 match
2021-06-22 14:22:35
972
原创 8.Filebeat配置
查询：curl -XGET http://10.181.116.83:7300/wfw_20200209/_search?pretty也可以使用XPOSTfilebeat主要对filebeat.yml配置编写,建议保留原配置，cp新文件编写 :例cp filebeat.yml filebeat-wfw.yml#文件名 filebeat.yml#配置读取文件项 filebeat-wfw.ymlfilebeat.inputs:- tpye: log enabled: true # 配置读取文件
2021-06-22 14:16:41
631
原创 7.elasticsearch-curator 保留两周索引
elasticsearch-curator-5.4.1-1.x86_64.rpm下载地址链接: https://pan.baidu.com/s/1noqbW9qkZ-kuWMvgJZS6Mw 密码: oulf上传安装包到服务器，执行rpm安装rpm -ivh elasticsearch-curator-5.4.1-1.x86_64.rpm默认安装路径/opt/elasticsearch-curator[root@localhost elasticsearch-curator]# mkdi
2021-06-22 14:10:27
182
原创 【linux】Elasticsearch7.8.1
链接: https://pan.baidu.com/s/1vSolETQraq-1QVOLRMkldg 密码: p4fo
2021-06-22 09:28:49
106
原创 【Linux】jdk-8u172-linux-x64.tar.gz
jdk-8u172-linux-x64.tar.gz链接: https://pan.baidu.com/s/16ACMFHfnLHjOkMiEE4vZ0g 密码: fs4d
2021-06-22 09:25:17
916
原创 【mac】xmind for mac
mac 下载地址链接: https://pan.baidu.com/s/1yfjJZ-RyrSSsD38_ZLAZ0w 密码: epe3
2021-06-22 09:21:54
137
原创 6.Elasticsearch登录认证
Elasticsearch 单节点登录认证1.在 elasticsearch.yml 中添加如下配置# 配置X-Packhttp.cors.enabled: truehttp.cors.allow-origin: "*"http.cors.allow-headers: Authorizationxpack.security.enabled: truexpack.security.transport.ssl.enabled: true需要重启es2.设置密码cd /home/es/el
2021-06-21 17:10:53
2966
原创 5.安装部署Elasticsearch
进入到上传的文件夹解压到安装目录下tar -zxvf elasticsearch-7.8.1.tar.gz -C /home/es/#改名mv elasticsearch-7.8.1 elasticsearch配置文件 【每台服务器都要配置】config/elasticsearch.yml参考配置及个配置的含义#加入以下配置#集群名字cluster.name: elasticsearch#集群中当前的节点node.name: node-1#数据目录，配置到指定的分区挂载目录.
2021-06-21 16:59:18
178
原创 4.Linux环境下jdk安装部署
安装包位置：/export/software安装部署位置：/opt/#进入安装包目录cd /export/softwarell#解压至安装目录tar -zxvf jdk-8u172-linux-x64.tar.gz -C /opt/#修改环境变量vim /etc/profileexport JAVA_HOME=/opt/jdk1.8.0_172export PATH=:$PATH:$JAVA_HOME/bin#刷新source /etc/profile#配置软连接ln -s .
2021-06-21 16:27:46
89
原创 3.Elasticsearch部署环境前置
0>创建ES用户前置：需要先创建ES目录创建目录先用root用户在三台机器创建ES的用户useradd espasswd es#输入es用户的密码userdel -r es #如果错了，可以删除再加三台机器配置ES的sudo权限visudo#100行左右添加：es ALL=(ALL) NOPASSWD: ALL1>关闭防火墙systemctl stop firewalldsystemctl disable firewalld#查看防火墙状态system
2021-06-21 16:26:40
163
原创 2.下载Elasticsearch相关
java下载地址jdk-8u172-linux-x64.tar.gzhttps://www.oracle.com/java/technologies/javase/javase8-archive-downloads.htmlElasticsearch下载地址elasticsearch-7.8.1-linux-x86_64.tar.gzhttps://www.elastic.co/cn/downloads/past-releases#elasticsearch
2021-06-21 16:23:53
74
原创 1.服务器磁盘分区挂载
gpt分区、挂载1>查看Linux有几块磁盘lsblk2>查看磁盘个分区大小，已用空间信息等de -h3>查看内存free -m1>分区#对sdb分区操作parted /dev/sdbmklabel gpt #对sdb创建第一个分区，执行这个命令，会擦除所有数据，第二个分区不用在执行这个mkpart storm File system type? [ext2]? xfs #这里使用xfs文件系统start？ 0G //起始位置，第二个从1024G开始即
2021-06-21 16:16:41
185
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人