- 博客(23)
- 收藏
- 关注
RSS订阅原创 使用beeline连接hive
使用beeline连接hive的前提是hive已经部署完毕，Hive单机部署可以看：http://t.csdnimg.cn/54WMQ。
2024-06-05 14:15:24
2778
1
原创 Hive单机版安装部署
在根目录下建立software文件夹：mkdir software。进入/software/hadoop/etc/hadoop文件夹。保存退出，使文件生效：source /etc/profile。保存退出，生效：source /etc/profile。进入配置文件夹：/software/hive/conf。打开配置文件：vi /etc/profile。打开配置文件：vi /etc/profile。文件夹改名：mv 源文件夹名 目标文件夹名。输入show databases;
2024-06-05 14:09:10
1377
1
原创 实验三：路由器配置
不要弄错路由器接口，注意路由器连接交换机和另一个路由器的接口分别是哪个，如果把接口的IP配错了是无法成功连通的。是去往子网地址的下一跳路由器的地址（因为在当前路由器的视角下，下一跳路由器的地址为连接当前路由器的接口的地址）另一个路由器配置方法相同。是目的子网地址的子网掩码，左边PC ping右边PC。右边PC ping左边PC。
2024-01-01 11:36:33
615
原创 实验二：多交换机配置VLAN
第一个接口连接到192.168.1.1，将其分配到VLAN100，另2个接口配置同第一个接口。192.168.1.1能否ping通1.4？创建VLAN后会进入VLAN配置模式，需退出到配置模式再创建其他VLAN。首先进入配置模式，然后创建VLAN。另一个交换机的配置操作相同。
2024-01-01 10:28:03
1488
原创 mybatis-plus示例(mysql)
一、准备工作1. mysql 安装下载地址:https://downloads.mysql.com/archives/community/我选择的版本是5.7.8rc2. 数据库准备-- 创建数据库CREATE TABLE user( id BIGINT(20) NOT NULL COMMENT '主键ID', name VARCHAR(30) NULL DEFAULT NULL COMMENT '姓名', age INT(11) NULL DEFAULT NULL C
2022-03-10 10:16:25
1053
原创 Set(List)与String互转
一、Set与String互转在处理JSON数据时，我发现想把数据取出来用set去重，然后toString后放回JSON，但是再取出来要转成Set时就出问题了。这是一个用例：JSONObject jsonObject = new JSONObject();jsonObject.put("姓名", "张三,李四");HashSet<Object> names = Sets.newHashSet(jsonObject.getString("姓名").split(","));names.ad
2022-01-21 15:56:47
14997
原创 Flink的容错重启和恢复
一、重启机制Flink的重启机制在代码中的设置：1. NoRestart表示发生错误不会重启env.setRestartStrategy(RestartStrategies.noRestart());2. EnableCheckpointRestart默认重启策略，固定频率env.enableCheckpointing(2000);3. FailureRateRestart设置失败次数，启动间隔，当重启次数达到设置的失败次数，结束重启终止作业。// 失败次数5次，时间段为5分钟内，重
2021-12-31 16:21:30
3438
原创 MapReduce程序样例
public class MovieClass { public class MovieMapper extends Mapper<LongWritable, Text, LongWritable, DoubleWritable> { @Override protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, LongWritable, DoubleWritable>.Cont
2021-11-16 15:30:38
1177
原创 贷款Hive分析
create database hive;use hive;create table loan( LoanStatus STRING, BorrowerRate FLOAT, ProsperScore FLOAT, Occupation STRING, EmploymentStatus STRING, IsBorrowerHomeowner BOOLEAN, CreditScorerangeLower INT, CreditScorer
2021-11-16 15:28:02
1345
原创 eclipse配置hadoop
因此对应的插件为 hadoop-eclipse-plugin-2.7.7.jar ,放在eclipse安装包下的plugins⽬录下，也可以直接放在dropins⽬录下（较为便捷）。2）解压Hadoop安装包在eclipse的Windows->Preferences的HadoopMap/Reduce中设置对应的安装⽬录3）打开Windows->Perspective->Open Perspective-> Other 中的Map/Reduce，在此perspective下
2021-11-16 15:26:40
1158
原创 大数据集群搭建操作
1.安装ntprpm -qa|grep ntpyum install ntp -y2.删除mariadbrpm -aq | grep mariadbrpm -e --nodeps mariadb-libs- 版本3.安装mysqlrpm -ivh mysql-community-common... libs... libs-compat... client... server4.修改主机名hostnamectl set-hostname xxxbash5.关闭防
2021-10-18 16:29:05
384
原创 Flink自定义实现ElasticSearch Table Source
Flink版本：1.12.1ES Maven版本：elasticsearch-rest-client:6.3.1FLINK TableSource官方文档：https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/dev/table/sourceSinks.htmlFlink自定义Table Source需要实现3个类，DynamicTableSourceFactory -> DynamicTableSource ->.
2021-09-10 15:53:39
1595
4
原创 Flink自定义Table Source
基于官方文档 User-defined Sources & Sinks 实现，该实现完成了一个自定义Socket Table Source来将Socket传入的数据转为Table。Flink版本:1.12.1maven依赖在最后，出现问题首先排查依赖版本是否正确。一、TableSource实现Dynamic Table Factory在使用Table source时，首先需要建表：CREATE TABLE UserScores (name STRING, score INT)WI.
2021-09-02 17:51:10
1418
原创 Flink连接WSL中的kafka遇到的问题
按照官方文档Apache Kafka 连接器建立一个类public class FlinkDataStream { public static void main(String[] args) throws Exception { final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); DataStream<String> s
2021-08-18 17:43:27
779
原创 WSL中kafka安装和启动
下载安装打开网站找到版本https://mirrors.tuna.tsinghua.edu.cn/apache/kafka，然后下载wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgztar -zxvf kafka_2.13-2.7.0.tgzcd kafka_2.13-2.7.0/修改配置文件cd config vi server.properties修改参数log.dir.
2021-08-18 09:10:07
492
原创 Java枚举类
在JAVA基础的学习中学到的枚举类一般是这样的：enum Weekday { SUN, MON, TUE, WED, THU, FRI, SAT;}而我在实际中碰到的枚举类是这样的：import lombok.AllArgsConstructor;@AllArgsConstructorpublic enum Test { SAT("sat"), SUB("sub"); private String test;}public class Te
2021-08-12 16:26:07
202
原创 kali学习4——使用msfvenom制作exe木马
使用msfvenom制作exe木马文件1. msfvenommsfvenom是msfpayload,msfencode的结合体。使用msfvenom制作木马的思路是，木马在目标机上执行后，向本机发送信息，而本机则需要开启监听状态，收到信息后则进行连接。2. 制作木马msfvenom制作木马需要的参数很多：root@kali:~# msfvenom -hMsfVenom - a Metasploit standalone payload generator.Also a replacement
2021-01-29 16:31:37
6409
2
原创 Kali学习3——MSF
metasploitable2metasploitable为基于ubuntu的靶机。下载后直接打开虚拟机即可。默认账号密码是msfadmin# 设置root密码sudo passwd root# 设置固定IPvi /etc/network/interfacesauto eth0iface eth0 inet staticaddress xxx.xxx.xxx.xxxnetmask 255.255.255.0gateway xxx.xxx.xxx.xxx# 重启网卡/etc/i
2021-01-26 14:49:57
1648
2
原创 Kali学习1——收集信息
阿里云deb更新源：vi /etc/apt/sources.listdeb https://mirrors.aliyun.com/kali kali-rolling main non-free contribdeb-src https://mirrors.aliyun.com/kali kali-rolling main non-free contribkali修改固定IP：/etc/network/interfaces修改DNS：/etc/resolv.conf信息收集工具：maltego
2021-01-26 14:48:29
226
原创 Kali学习2——抓包、扫描
2021年1月19日wireshark混杂模式wireshark可以接收所有经过网卡的数据包，包括不是发给本机的，不检验MAC地址。普通模式只接收发给本机的包（包括广播包）。过滤条件ip.addr == 0.0.0.0tcp\arp\udp等协议(oicq\dns都是基于udp之上的协议，DNS服务器负载更低，响应更快)协议分析ARP协议：地址解析协议，可以使用nmap -sn来发送ARP解析ICMP协议：使用ping发送。TCP协议：shell连接ka
2021-01-26 14:46:17
1515
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人