- 博客(58)
- 资源 (12)
- 收藏
- 关注
RSS订阅
原创 开发一个spring boot的FTP Starter
Maven依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="ht...
2019-07-25 09:37:59
763
原创 spring boot 动态加载模块（加载外部jar包）
package com.cm.dynamicer.classloader;import com.cm.dynamicer.util.SpringContextUtil;import org.springframework.beans.factory.config.BeanDefinition;import org.springframework.beans.factory.suppo...
2019-06-21 10:29:35
34461
78
原创 nacos2.2.3版本安装
威胁情报组收到事件情报，部分单位发现Nacos存在权限认证绕过的Nday漏洞（CVE-2021-29441），据在野验证，该漏洞在Nacos版本2.0.4及之前可复现。
2023-08-22 18:53:22
1792
原创 mac下minikube拉取镜像失败问题解决
使用minikube ssh进入minikube的docker节点执行 touch /etc/docker/daemon.json将以下配置添加到daemon.json文件中{"registry-mirrors": ["https://o2qykx8m.mirror.aliyuncs.com" ]}然后重启minikube再次运行kubectl create创建资源的时候，镜像会被成功拉取...
2022-03-15 21:21:49
1559
原创 批量删除Git中的cherry-pick分支
#!/bin/shpath=$(pwd)cd $pathvariable=$(git branch -a)array=(${variable// / }) for var in ${array[@]}do if [[ $var == remotes/origin/cherry-pick-* ]];then git push origin --delete ${var##*/} fidone 将内容保存到sh格式的文件中，并将文件添加到环境变量中，这.
2022-03-08 14:24:10
589
原创 运行pyspark,报py4j.protocol.Py4JError: org.apache.spark.api.python.PythonUtils.getEncryptionEnabled
解决方式1:配置环境变量:PYTHONPATHexport PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.9.2-src.zip:$PYTHONPATH解决方式2:使用findspark模块import findsparkfindspark.init()
2022-02-15 13:56:20
1495
2
原创 spark业务开发-列值替换
spark业务开发-列值替换项目地址:https://gitee.com/cch-bigdata/spark-process.git输入数据order_number,order_date,purchaser,quantity,product_id,remark10001,2016-01-16,1001,1,102,机q器w记e录r10003,2016-01-17,1002,2,105,人工记录10002,2016-01-19,1002,3,106,人工补录10004,2016-02-21,
2022-01-15 10:14:50
1579
原创 spark业务开发-排序
spark业务开发-排序项目地址:https://gitee.com/cch-bigdata/spark-process.git输入数据subject,name,score数学,张三,88语文,张三,92英语,张三,77数学,王五,65语文,王五,87英语,王五,90数学,李雷,67语文,李雷,33英语,李雷,24数学,宫九,77语文,宫九,87英语,宫九,90输出数据+-------+----+-----+|subject|name|score|+------
2022-01-15 10:10:11
623
原创 spark业务开发-union合并(union)
spark业务开发-union合并(union)项目地址:https://gitee.com/cch-bigdata/spark-process.git输入数据集1id,name,profession,enroll,score1,庄劲聪,经济学类,北京理工大学,5512,吴雅思,经济学类,北京理工大学,5293,周育传,经济学类,北京理工大学,6824,丁俊伟,通信工程,北京电子科技学院,7085,庄逸琳,通信工程,北京电子科技学院,7086,吴志发,通信工程,北京电子科技学院,578
2022-01-15 10:08:48
1481
原创 spark业务开发-列拆分
spark业务开发-列拆分项目地址:https://gitee.com/cch-bigdata/spark-process.git输入数据id,data1,"Ming,20,15552211521"2,"hong,19,13287994007"3,"zhi,21,15552211523"输出数据+---+----+---+-----------+| id| 列1|列2| 列3|+---+----+---+-----------+| 1|Ming| 20|15552
2022-01-15 10:07:26
1164
原创 spark业务开发-添加索引列
spark业务开发-添加索引列项目地址:https://gitee.com/cch-bigdata/spark-process.git输入数据name,profession,enroll,score曾凰妹,金融学,北京电子科技学院,637谢德炜,金融学,北京电子科技学院,542林逸翔,金融学,北京电子科技学院,543王丽云,金融学,北京电子科技学院,626吴鸿毅,金融学,北京电子科技学院,591施珊珊,经济学类,北京理工大学,581柯祥坤,经济学类,北京理工大学,650庄劲聪,经济
2022-01-14 16:20:31
524
原创 spark业务开发-行转列
spark业务开发-行转列项目地址:https://gitee.com/cch-bigdata/spark-process.git输入数据subject,name,score数学,张三,88语文,张三,92英语,张三,77数学,王五,65语文,王五,87英语,王五,90数学,李雷,67语文,李雷,33英语,李雷,24数学,宫九,77语文,宫九,87英语,宫九,90输出数据+-------+----+----+----+----+|subject|宫九|张三|李雷|
2022-01-14 16:11:36
278
原创 spark业务开发-删除重复行
spark业务开发-删除重复行项目地址:https://gitee.com/cch-bigdata/spark-process.git输入数据order_number,order_date,purchaser,quantity,product_id,remark10001,2016-01-16,1001,1,102,机q器w记e录r10003,2016-01-17,1002,2,105,人工记录10002,2016-01-19,1002,3,106,人工补录10004,2016-02-21
2022-01-14 15:55:27
269
原创 spark业务开发-列选择
spark业务开发-列选择项目地址:https://gitee.com/cch-bigdata/spark-process.git输入数据"id","name","description","weight""102","car battery","12V car battery","8.1""103","12-pack drill bits","12-pack of drill bits with sizes ranging from #40 to #3","0.8""104","hamme
2022-01-14 15:50:12
169
原创 spark业务开发-列转行
spark业务开发-列转行项目地址:https://gitee.com/cch-bigdata/spark-process.git输入数据subject,gongjiu,zhangsan,lilei,wangwu英语,90,77,24,90语文,87,92,33,87数学,77,88,67,65输出数据+-------+----+-----+|subject|name|score|+-------+----+-----+| 英语| 77| 77|| 英语| 90
2022-01-14 15:31:41
373
原创 spark业务开发-数据清洗
spark业务开发-数据清洗项目地址:https://gitee.com/cch-bigdata/spark-process.git输入数据order_number,order_date,purchaser,quantity,product_id,remark10001,2016-01-16,1001,1,102,机q器w记e录r10003,2016-01-17,1002,2,105,人工记录10002,2016-01-19,1002,3,106,人工补录10004,2016-02-21,
2022-01-14 15:16:57
390
原创 spark业务开发-聚合(agg)
spark业务开发-聚合(agg)项目地址:https://gitee.com/cch-bigdata/spark-process.git输入数据name,profession,enroll,score曾凰妹,金融学,北京电子科技学院,637谢德炜,金融学,北京电子科技学院,542林逸翔,金融学,北京电子科技学院,543王丽云,金融学,北京电子科技学院,626吴鸿毅,金融学,北京电子科技学院,591施珊珊,经济学类,北京理工大学,581柯祥坤,经济学类,北京理工大学,650庄劲聪,
2022-01-14 15:06:26
455
原创 spark业务开发-空值处理
spark业务开发-空值处理项目地址:https://gitee.com/cch-bigdata/spark-process.git输入数据集"id","name","description","weight""102","car battery","12V car battery","8.1""103","12-pack drill bits","12-pack of drill bits with sizes ranging from #40 to #3","0.8""104","ham
2022-01-14 14:53:56
472
原创 spark业务开发-join合并(join)
spark业务开发-join合并(join)项目地址:https://gitee.com/cch-bigdata/spark-process.git输入数据集1order_number,order_date,purchaser,quantity,product_id,remark10001,2016-01-16,1001,1,102,机q器w记e录r10003,2016-01-17,1002,2,105,人工记录10002,2016-01-19,1002,3,106,人工补录10004,2
2022-01-14 14:36:57
302
原创 spark业务开发-列过滤(filter)
spark业务开发-列过滤(filter)输入数据order_number,order_date,purchaser,quantity,product_id,remark10001,2016-01-16,1001,1,102,机q器w记e录r10003,2016-01-17,1002,2,105,人工记录10002,2016-01-19,1002,3,106,人工补录10004,2016-02-21,1003,4,107,自然交易10001,2016-01-16,1001,1,102,机器记录
2022-01-14 14:21:22
879
原创 CDC框架之Debezium使用
CDC框架之Debezium简介Debezium 是一组分布式服务，用于捕获数据库中的更改，以便您的应用程序可以看到这些更改并对其做出响应。Debezium 在更改事件流中记录每个数据库表中的所有行级更改，应用程序只需读取这些流以查看更改事件发生的相同顺序。Debezium 构建在Apache Kafka之上，并提供与Kafka Connect兼容的连接器，用于监控特定的数据库管理系统。Debezium 在 Kafka 日志中记录数据更改的历史记录，从您的应用程序使用它们的位置。这使您的应用程序可以轻
2021-11-22 14:10:38
3702
原创 kudu集群安装
kudu集群安装服务器masterslave01slave02架构master:kudu-master,kudu-tserverslave01:kudu-tserverslave02:kudu-tserver前置条件安装ntp同步时间，否则会报错误Check failed: _s.ok() Bad status:Service unavailable: Cannot initialize clock: Error reading clock. Clock con
2021-10-27 14:45:15
577
原创 Neo4j 图数据库快速学习
neo4j简介Neo4j是一个高性能的,NOSQL图形数据库，它将结构化数据存储在网络上而不是表中。它是一个嵌入式的、基于磁盘的、具备完全的事务特性的Java持久化引擎，但是它将结构化数据存储在网络(从数学角度叫做图)上而不是表中。Neo4j也可以被看作是一个高性能的图引擎，该引擎具有成熟数据库的所有特性。程序员工作在一个面向对象的、灵活的网络结构下而不是严格、静态的表中——但是他们可以享受到具备完全的事务特性、企业级的数据库的所有好处。Neo4j因其嵌入式、高性能、轻量级等优势，越来越受到关注.安
2021-09-16 00:02:09
375
转载 Hadoop Shell命令
Hadoop Shell命令cat使用方法：hadoop fs -cat URI [URI …]将路径指定文件的内容输出到stdout。示例：hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2hadoop fs -cat file:///file3 /user/hadoop/file4返回值：成功返回0，失败返回-1。chgrp使用方法：hadoop fs -chgrp [-R] GROUP URI [UR
2021-08-26 14:54:56
121
原创 json数据平铺规则
json数据平铺规则maven依赖<!-- https://mvnrepository.com/artifact/net.sf.json-lib/json-lib --> <dependency> <groupId>net.sf.json-lib</groupId> <artifactId>json-lib</artifactId> <ve
2021-08-24 14:17:13
894
原创 基于docker搭建hadoop集群
1. 创建自定义docker networkdocker network create --subnet=172.20.0.0/16 hadoop-cluster2. 创建自定义镜像(基于centos) 拉取centos镜像:docker pullcentos:latest 运行容器：docker run -d --privileged --name cluster-master -h cluster-master --net hadoop-n...
2021-08-02 10:51:13
522
原创 网页内容无法右键，无法复制问题解决
按F12打开控制台选中Console选项卡输入document.oncontextmenu = function () {event.returnValue = true; }敲回车输入document.onselectstart = function(){event.returnValue = true; };敲回车即可进行页面内容选中和复制了...
2021-05-18 17:19:44
1448
转载 docker 容器内apt-get install 报E: Unable to locate package xxx问题解决
现象:apt-get install vimReading package lists... DoneBuilding dependency tree Reading state information... DoneE: Unable to locate package vim解决root@0ca58288509f:/# mv /etc/apt/sources.list /etc/apt/sources.list.bakroot@0ca58288509f:/# ec...
2021-04-23 19:32:19
1645
3
原创 docker登录报WARNING! Using --password via the CLI is insecure. Use --password-stdin.
当使用docker login -u xxx -p xx时，报WARNING! Using --password via the CLI is insecure. Use --password-stdin.提示解决:1. 将密码写入到一个文件中，例如/etc/docker_passwd文件2.使用以下命令执行登录:cat /etc/docker_passwd | docker login --username 用户名--password-stdin...
2021-03-15 16:55:47
20133
2
转载 netstat查看端口情况
netstat [-acCeFghilMnNoprstuvVwx][-A<网络类型>][--ip]-a或--all 显示所有连线中的Socket。 -A<网络类型>或--<网络类型> 列出该网络类型连线中的相关地址。 -c或--continuous 持续列出网络状态。 -C或--cache 显示路由器配置的快取信息。 -e或--extend 显示网络其他相关信息。 -F或--fib 显示路由缓存。 -g或--groups 显示多重广播功能群组组员名..
2021-03-09 14:30:31
271
原创 spring boot 单元测试
1.测试类上添加注解@RunWith(SpringRunner.class)@SpringBootTest2.属性注入类使用@PropertySource(value = "xx/xx.properties")类似的写法时，需要换成@PropertySource("classpath:xx/xx.properties")否则运行单元测试时，会报无法找到配置文件的错误Could not open ServletContext resource [/application..
2021-03-08 10:51:27
141
原创 加快访问github的速度
使用https://www.ipaddress.com/解析以下地址github.com assets-cdn.github.com github.global.ssl.fastly.net将解析结果添加到host文件中例如140.82.113.3 github.com185.199.108.153 assets-cdn.github.com199.232.69.194 github.global.ssl.fastly.net然后刷新DNS如果是Windows Vi..
2021-01-19 15:23:33
196
原创 debezium 监控数据库事件(docker独立容器模式)
Debezium是什么?Debezium是一组分布式服务，用于捕获数据库中的更改变化，以便您的应用程序可以看到这些更改并做出响应。Debezium在更改事件流中记录每个数据库表内的所有行级更改，应用程序只需读取这些流，即可按发生事件的顺序查看更改事件。...
2021-01-13 14:37:47
1312
原创 mysql对应的JDBC类型
MySQL Type Name Return value ofGetColumnTypeName Return value ofGetColumnClassName BIT(1) BIT java.lang.Boolean BIT( > 1) BIT byte[] TINYINT TINYINT java.lang.Booleanif the configuration propertytinyInt1isBitis set to...
2021-01-08 20:39:14
635
dynamicer.zip
2019-06-21
word,excel,ppt转换成pdf项目的依赖jar
2018-09-21
aspose将office组件（word,excel,ppt）转换为PDF
2017-09-26
最简化tomcat设计,socket,web服务器
2016-06-29
飞秋（局域网传文件）
2015-12-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人