- 博客(33)
- 收藏
- 关注
RSS订阅原创 DolphinSchedule本地配置方案
基础环境：Macbook Projava 8python 2.7Mysql 5.71. 安装ZooKeeperzookeeper下载地址note:需要下载apache-zookeeper-3.5.8-bin.tar.gz文件，否则zk无法启动错误信息：错误: 找不到或无法加载主类 org.apache.zookeeper.server.quorum.QuorumPeerMain解压文件，进入conf,执行如下命令cp zoo_sample.cfg zoo.cfg编辑 zoo.cfg
2021-11-17 15:41:26
2822
原创 MySQL问题汇总以及解决方案
MySQL问题汇总以及解决方案1. mysql5.7报错this is incompatible with sql_mode=only_full_group_by报错信息：[Err] 1055 - Expression #1 of ORDER BY clause is not in GROUP BY clause and contains nonaggregated column 'information_schema.PROFILING.SEQ' which is not functionally
2021-03-30 19:13:52
617
原创 python 记录
python 写入csv文件 # 写入csv # cur_path = os.path.dirname(__file__) # ac_csv = "%s/ac_%s.csv" % (cur_path, feature) # self.LOG.print_info("csv路径是：" + ac_csv) # ac
2021-03-10 11:17:24
204
原创 超详细的Java自定义注解介绍
一、注解概述：1.注解不会对代码本身产生直接的影响。2.注解可以用来修饰类（@Controller）、方法（@RequestMapping）、变量(@Autowired)、参数(@RequestBody)、包。3.注解是一种元数据形式，类似于类、接口等，二、自定义注解的具体实现：1.定义注解：给注解下一个定义注意：访问的修饰符必须是public，不写默认是public，注解类型的元素智能是基本的数据类型、String、Class、枚举值类型、注解类型（嵌套）；当只有一个元素的时候，尽量把名字起为
2020-07-24 09:55:28
401
原创 Java异步处理（1.8之后）
jdk1.8才算是真正支持了异步操作，利用jdk1.8中提供的lambada表达式，借助CompletableFuture可以实现异步的操作，同时lambada又大大简化了代码量。CompletableFuture的使用详解:a.创建异步操作的方法 public static CompletableFuture<Void> runAsync(Runnable runnable) public static CompletableFuture<Void> runAsyn
2020-07-09 18:15:22
1181
原创 Redis必须要会的知识
1. 多路复用：多路网络连接复用一个线程2. 5种I/O模型：阻塞I/O, 非阻塞I/O, I/O复用模型, 信号驱动I/O模型, 异步I/O模型链接：https://www.zhihu.com/question/321630053. redis的持久化开启了RDB和AOF下重启服务是如何加载的？(优先是加载AOF,AOF没找到的话再找RDB，因为AOF文件的数据要全于RDB)RDB的几个优点:与AOF方式相比，通过rdb文件恢复数据比较快。rdb文件非常紧凑，适合于数据备份。通过RDB进
2020-07-06 18:16:21
162
原创 踩坑 calendar.getActualMaximum(calendar.DAY_OF_MONTH)函数
当使用calendar.getActualMaximum(calendar.DAY_OF_MONTH)获取每月最后一天时或者获取当季的最后一天时，会出现在二月的时候获取的不准确的情况问题出现原因：代码没有动过，之前一直是使用这个时间函数来进行获取上个月的最后一天，但是突然有一天获取的上月（主要问题出现在二月份）最后一天的日期不准，导致程序出现异常。解决办法：使用其它方式获取上月（上季）最后...
2020-05-06 14:35:22
2551
原创 Linux定时执行任务
crontab命令crontab -l(list)：展示现在已经配上的定时任务crontab -e(edit)编辑定时任务例：
2020-04-23 17:27:01
143
原创 mysql基本赋权命令
给具体访问的用户赋权grant all privileges on . TO ‘root’@’%’ identified by ‘root的密码’ WITH GRANT OPTION;使新赋予的权限生效FLUSH PRIVILEGES;
2020-03-11 14:37:53
453
原创 Data从HDFS导出数据导入Mysql时，遇到的emoji表情默认为脏数据的问题
Datax将emoji表情导入mysql显示为脏数据前情：mysql建表时的字符编码已经调整，在本地insert是可以添加进去的，但是使用datax导入显示为脏数据。报错信息：解决方式：– 修改mysql配置文件vim /etc/my.cnf– 在配置文件中添加如下内容[client]default-character-set=utf8mb4[mysql]default-...
2020-03-11 10:55:16
1499
1
原创 mac上安装webpack报错解决方法Hit error EACCES: permission denied, mkdir '/usr/local/lib/node_modules/webpack
mac上安装webpack报错解决方法Hit error EACCES: permission denied, mkdir '/usr/local/lib/node_modules/webpack解决方法：sudo npm install webpack -g --unsafe-perm=true --allow-rootsudo npm install webpack -g --unsa...
2020-03-02 18:15:57
3819
2
原创 mybatis-Springboot配置多数据源出现错误记录
mybatis-Springboot配置多数据源出现错误记录1. jdbcUrl is required with driverClassName错误解决官方文档的解释是：因为连接池的实际类型没有被公开，所以在您的自定义数据源的元数据中没有生成密钥，而且在IDE中没有完成(因为DataSource接口没有暴露属性)。另外，如果您碰巧在类路径上有Hikari，那么这个基本设置就不起作用了，因为...
2020-02-27 12:16:18
1569
原创 Mac 安装完mysql，连接时出现Access denied for user ‘root‘@‘localhost‘ (using password: YES)
原因分析：root用户没有权限使用mysql。解决方案：先禁止验证功能，再进去赋权。具体步骤（偏好设置里关闭mysql服务）：使用终端进入到mysql的bin目录下。cd /usr/local/mysql/bin (配置好环境变量的可跳过此步骤)。输入 ./mysqld_safe --skip-grant-tables & 命令以禁止mysql验证功能，此时mysql会自动进行...
2020-02-25 11:33:12
984
原创 SpringBoot常见问题记录
SpringBoot常见问题记录SpringBoot启动后：警告：Your ApplicationContext is unlikely to start due to a @ComponentScan of the default package.org.springframework.beans.factory.BeanDefinitionStoreException: Failed t...
2020-01-08 21:30:09
215
原创 Spring的基本知识（最最基础）
Spring的基本知识1. Spring（全栈级轻量框架）：IoC（控制反转）、AOP（面向切面编程）2. 优点：方便解耦，简便开发AOP编程的支持声明式事务的支持方便程序的测试方便集成各种优秀框架降低Java EE API的使用难度Java源码是经典学习范例3.Spring注解分类：用于创建对象@component作用：把当前类对象存入Spring容器中@C...
2020-01-08 21:25:10
260
原创 Spring中基于XML文件AOP配置步骤：
Spring中基于XML文件AOP配置步骤：1.把通知bean也交给Spring来管理2.使用aop：config标签表明开始AOP的配置3.使用aop：aspect标签配置切面id属性：是给切面提供一个唯一标识ref属性：是指定通知类bean的id4.在aop：aspect内部使用对应标签来配置通知的类型 我们现在实例是让printLog方法在切入点方法之前，所以是前置通知 a...
2020-01-08 21:20:12
213
原创 ElasticSearch集群搭建所遇问题：
1. AccessDeniedException: /opt/elasticsearch-7.0.0/config/elasticsearch.keystore原因：ES只能使用非root的用户进行使用。解决方案：将用户切换为非root进行使用2.`Exception in thread “main” java.nio.file.AccessDeniedException: /root/ho...
2020-01-02 18:49:46
418
原创 DataX踩坑
踩坑一：com.alibaba.fastjson.JSONObject cannot be cast to java.util.List解决方法将数据库等表信息不是用List格式表示的
2019-11-18 11:45:52
1567
1
原创 HBase中报错 java.lang.NoClassDefFoundError: com/google/protobuf/LiteralByteString
错误报告：org.apache.hadoop.hbase.DoNotRetryIOException: java.lang.NoClassDefFoundError: com/google/protobuf/LiteralByteString错误原因：Protobuf（全称 Protocol Buffers）是 Google 开发的一种数据描述语言，能够将结构化数据序列化，可用于数据存储、通...
2019-11-12 15:03:57
3563
原创 Redis5.0安装步骤
Redis安装步骤1.上传解压包tar -zxvf redis-5.0.5.tar.gz2.在命令行输入 make 命令进行编译make当出现以下提示证明编译成功3.使用 make install 命令进行安装make install4.修改配置文件vim /usr/local/redis-5.0-rc3/redis.conf5. 启动Redis6.实现端口监听...
2019-09-28 21:48:46
287
原创 Spark中的RDD的创建以及基本操作
1.RDD的创建：RDD的创建两种方式：并行化已有的集合val RDD1 = sc.makeRDD(List(3,5,6,7,8))val RDD2 = sc.parallelize(Array(1,3,4,6,7))以上两种方式是都可以创建RDD的，虽有区别，但是实现方式都一样makeRDD的底层也是用parallelize方法实现的并行集合的一个重要参数是要将数据集拆分后的分...
2019-09-24 10:18:13
1405
原创 Hadoop 和 Spark中shuffle阶段的区别
1. 排序方式不同hadoop的shuffle阶段会map端输出的进行排序分区Spark的shuffle阶段不会对map输出的数据进行排序2. 溢出不同hadoop阶段有存在一个环形缓冲区，当缓冲区达到阈值（默认80%）的时候，会将数据溢出到磁盘中，并最终形成一个输出文件，而Spark虽然存在溢出，但不必须存在这个溢出过程，文件都是在并发在写，最后不需要合并成一个3.数据结构不同had...
2019-09-24 10:13:47
826
原创 连接MySQL数据库常见问题汇总
解决java.sql.SQLException: Access denied for user ‘root’@‘localhost’ (using password: YES)解决办法：数据库用户名或者密码错误：jdbc.driver_class com.mysql.jdbc.Driverjdbc.url jdbc:mysql://localhost:3306/mytest?useU...
2019-09-23 22:04:52
316
原创 Spark Rdd中的coalesce()方法和repartition()方法
在Spark的Rdd中，Rdd是分区的。有时候需要重新设置Rdd的分区数量，比如Rdd的分区中，Rdd分区比较多，但是每个Rdd的数据量比较小，需要设置一个比较合理的分区。或者需要把Rdd的分区数量调大。还有就是通过设置一个Rdd的分区来达到设置生成的文件的数量，coalesce()方法和repartition()方法就是用来重新分区的repartition(numPartitions:Int)...
2019-09-20 15:35:12
323
原创 互联网笔试经典算法——机器跳跃问题（字节跳动真题）
机器人正在玩一个古老的基于DOS的游戏。游戏中有N+1座建筑——从0到N编号，从左到右排列。编号为0的建筑高度为0个单位，编号为i的建筑的高度为H(i)个单位。起初， 机器人在编号为0的建筑处。每一步，它跳到下一个（右边）建筑。假设机器人在第k个建筑，且它现在的能量值是E, 下一步它将跳到第个k+1建筑。 它将会得到或者失去正比于与H(k+1)与E之差的能量。如果 H(k+1) > E 那么...
2019-09-20 09:18:55
849
原创 程序员笔试经典题型——货币系统问题
Z国的货币系统包含面值1元、4元、16元、64元共计4种硬币，以及面值1024元的纸币。现在小Y使用1024元的纸币购买了一件价值为N (0 < N \le 1024)N(0<N≤1024)的商品，请问最少他会收到多少硬币？分析：因为需要硬币的面值不一样大，而且硬币肯定是越少越好的，我们可以通过除余的方式来从大到小换取硬币。用1024减去购买商品需要花费的钱。用剩下的钱对硬币...
2019-09-19 16:59:56
1838
原创 经典算法题：一个非空整数数组，选择其中的两个位置，使得两个位置之间的数和最大。 如果最大的和为正数，则输出这个数；如果最大的和为负数或0，则输出0
一个非空整数数组，选择其中的两个位置，使得两个位置之间的数和最大。 如果最大的和为正数，则输出这个数；如果最大的和为负数或0，则输出0 。方法一：使用for循环动态规划完成import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;/** * 一个非空整数数组...
2019-09-18 22:02:15
692
原创 堆排序——面试经典算法
概述：堆排序(Heapsort)是指利用堆积树（堆）这种数据结构所设计的一种排序算法，它是选择排序的一种。可以利用数组的特点快速定位指定索引的元素。堆分为大根堆和小根堆，是完全二叉树。使用参数计算:父节点个数=（数组的长度-1）/2父节点的索引：父节点的个数 =>1子节点的索引：①左儿子：2*父节点索引 ②右儿子：左儿子索引+1步骤：1. 把堆中最大值放到堆节点上（从后往前...
2019-09-18 16:56:33
560
原创 快速排序——面试经典算法题
1. 写一个快速排序的方法方法里形参分别为需要进行排序的数组、数组起始位置、数组结束位置。static void fastsort(int[] arr,int start,int end)1.1 先进行判断最左端和最右端是否满足条件 if (start>end) { return; }`1.2 定义变量来接收参数值 int base = arr[...
2019-09-18 16:37:44
664
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人