- 博客(85)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 tdengine jdbc连接报错： Unable to resolve FQDN； 其他情况出现该错误，也可用此方法处理。
最近因为项目原因，用到了涛思(taos)旗下的tdengine，踩到的一些坑，记录一下。起因 首先，服务端安装tdengine，按照官方文档即可，客户端使用时按照文档先安装并下载jar包。在 windows 环境开发时需要安装 TDengine 对应的 windows 客户端，Linux 服务器安装完 TDengine 之后默认已安装 client，也可以单独安装
2021-06-07 13:49:43
8189
4
原创 2018年8月31日修改个人所得税法后，新税法正式实施，起征点每月5000元，个税累计预扣法，个人所得税如何计算？程序员一看就懂的教程
文章目录看看官方说法用自己的话说一下怎么算一些概念关于上述信息如何查到缴税的算法来个具体的例子 最近闲来无事，研究了一下工资怎么缴税。看看官方说法 有点复杂，我懒得说，贴个地址：知乎-个税； 个税怎么算用自己的话说一下怎么算一些概念 我用比较通俗易懂的话来说一下下一些需要用到的数字：&n
2020-08-31 18:40:31
4229
2
原创 go build编译失败：imports xxx/xxx/xxx: build constraints exclude all Go files in xxx/xxx/xxx
我的第一份工作是做java开发的，后来增删改查写的没意思了，就转到大数据了。后来想了半年左右，感觉大数据并不适合自己，就又打算转回java。边复习边学习边找骑驴找驴，然而机缘巧合，找了一份go的工作，现在从事go开发。虽说语言只是工具，但还是有许多东西需要专门去学；也有一些坑得自己去踩。所以这段时间，又可以继续写博客了~我自认为代码功底还算可以，所幸目前也没碰到go语法上的问题。碰到的多是设置问题。就像这次，碰到的问题是，go编译项目报错：imports xxx/xxx/xxx/x
2022-05-04 12:08:07
10129
原创 redis五大数据类型以及底层的数据结构
懒是一个很好的托词，说的就像勤快了你就能干成什么大事一样 本文以供自己复习为主，所以相关知识点并不会介绍的很详细。 开发人员在直接使用redis时，可以使用五种数据类型，然而这五种数据类型在底层又分别有着不同的实现，这也是
2021-12-02 00:08:20
2347
原创 TDengine 如何批量插入？
【本文正在参与 “拥抱开源 | 涛思数据 TDengine有奖征稿】拥抱开源 涛思数据 TDengine有奖征稿活动-优快云 链接：https://marketing.youkuaiyun.com/p/0ada836ca30caa924b9baae0fd33857c文章目录正常插入批量插入解决错误查询官方文档常见问题官方文档连接器官方文档高效写入数据官方文档最终结论修改后的代码 最近在使用涛思旗下tdengine数据库的时候，因为需求，需要
2021-07-13 14:28:24
5974
原创 nohup和&的区别
最近因为某些原因，需要自己去服务器部署项目，出于好奇，专门看了下脚本的命令，然后自己测试了一下。代码准备 首先，是java代码：public class test{ public static void main(String[] args) throws InterruptedException{ while(true){ System.out.p
2021-06-08 11:05:28
761
2
原创 使用curl发送es部分常用命令
文章目录使用sql对es进行查询查看索引信息删除索引全部数据删除索引新增索引注意事项 最近项目碰到需求，用curl给es发指令，看看返回结果，记录部分如下。使用sql对es进行查询curl -X POST "http://127.0.0.1:9201/_sql?format=json" -H 'Content-Type: application/json; charset=UTF-8' -H 'Authorization
2021-05-31 16:22:11
1250
原创 hive中，cluster by为什么会出现？有什么意义？有什么用处？有什么应用场景？
前段时间，因为项目原因，了解了cluster by，顺路写了一篇博客：HIVE中，cluster by有什么意义。然后底下有人回复：假如100个专业分了10个区，那么每一个区里都应该会有不同的专业。但反过来说，真正的mr 并没有完全按专业分区，如果完全的话那应该是100个区。问题是结果只有10个区，这么做意义的结果总结一下应该是：cluster by 的字段只是参
2021-05-20 23:00:47
7250
11
原创 pgsql case when 报错： ERROR: invalid input syntax for type numeric ，应该如何处理？
文章目录问题把结果扩展一下问题 最近有个需求，sql如下：select case when score < 60 then 60 else '优秀' end from stuent 但是运行的时候报错了：ERROR: invalid input syntax for type numeric：'优秀' &
2021-05-18 15:58:04
36859
原创 pgsql 无法删除表 CASCADE无效
问题发生并解决后，有一段时间了，所以问题和解决过程只记住了个大概…问题表现 pgsql，删除某张表，无论是用第三方工具，还是命令，都无法删除成功。因为时间有点长了，所以报的啥错我也记不清了… 无法删除、无法访问、select 什么的都不成功。其他同事对这张表的操作一样。  
2021-05-18 15:14:01
4801
4
原创 springBoot项目，图片存在，路径正确，但是访问图片时报404
先说一下具体现象：所有图片都放在一个文件夹里，但其他图片都可以访问到，只有一张图片访问不到。 说结论：1. 路径写错了； 2. 浏览器刷新的时候用的缓存 首先声明，本人是写后台的，所以大部分都是后台视角，前台也就是简单的h
2021-04-25 17:13:07
3150
原创 spark executor内存足够使用，却报错SparkOutOfMemory： Unable to acquire xxx bytes of memory，如何解决？是否与coalesce有关？
文章目录问题描述解决办法问题描述 从spark查出来数据后可以再次保存到hive中。当数据量不是很大的时候，为了避免产生过多小文件，可以使用重分区来解决。 重分区有两个方法：coalesce 和 repartition 。本文重点不是介绍这两个方法，所以大概说一下区别：coalesce 不需要shuffle， 而 repartition 需要 shuffle。而为
2020-12-23 21:56:13
2013
原创 使用spark sql查询hive数据后，如何增加列？如何获取指定的列？
在日常工作中，使用spark sql可以在hive中查询数据并得到一个DataFrame类型的对象。 &nb
2020-12-21 21:51:47
2361
原创 hive中，如何格式化timestamp？如何将timestamp类型的字段转化为指定格式的字符串？
hive中的时间类型有两种：date 和 timestamp。date只存储日期，timestamp则存储纳秒级别的时间戳。当需要存储小时及更精细的时间的时候，就只能使用timestamp了。 然而在实践中，发现一个问题，存好存，但是取不好取。
2020-12-17 22:33:57
13294
原创 pgsql 报错：currval of sequence “test_sequence” is not yet defined in this session， 应该如何解决？pgsql如何主键自增？
pgSql中，可以创建自增主键。（pgSql如何建立自增主键），第一次查询序列值时，会报错：currval of sequence “test_sequence” is not yet defined in this session &nb
2020-12-16 17:23:06
4272
原创 jdbc执行sql出现错误： mismatched input ‘,’ excepting ‘.‘ 应该如何解决？
最近有一个需求，需要查出来数据，再插入到数据库种。采用的办法是：先把数据取出，放到一个list中，然后循环list，拼接sql的插入语句，然后执行sql。 代码大概如下（简化了业务，表达大意）： String insertSql = "insert into t_test(\"name\") values"; StringBuffer sb = new Stri
2020-12-09 17:16:29
31439
原创 java程序中，如何设置周一为一周的开始？如何设置周一为一周的第一天？ 或者说，如何理解java的setFirstDayOfWeek()方法？
java中，在统计周的时候，默认一周是从周日开始的。但因为生活习惯或项目需求，我们经常需要改变一周的起始日期，这里说一下解决办法以及我陷入的误区。 一、 解决办法 使用Calendar类可以解决，这个类很灵活，功能很强大。 &nbs
2020-11-30 22:07:07
3752
6
原创 使用hue oozie运行spark程序，appName不生效
最近公司要求使用hue oozie来管理spark的定时任务。配置并运行spark项目后，虽然项目成功启动了，但是在yarn上查看任务的时候，却发现applicationName与oozie设置的appName完全不一样。 举个例子：oozie中设置的appName是test123，但是在yarn中查看到的applicationName是abc456。
2020-11-29 21:29:28
423
原创 集群上运行spark任务，任务突然提前结束；多线程中，main线程结束了，其他线程为什么也跟着结束了。
文章目录情况说明集群上运行解决方案情况说明 最近有一个需求，在spark集群上运行一个任务，这个任务是多线程的，伪代码如下：public class TestMain { public static void main(String[] args) { Thread t1 = new Thread( new A(1)); Thread t2 = new Thread( new A(2));
2020-08-17 17:34:52
879
2
原创 linux shell 脚本，将变量拼接到命令中。
有这个一个场景：需要写多个定时任务提交到yarn，这些任务都是同一时间启动的。原先的做法是，所有的启动命令都使用linux的crontab，但是因为任务过多，所以crontab里的内容越来越多，不好管理，改时间也不方便，所以这里写脚本进行管理。 同时为了方便查看任务，每个任务的名字，将当前时间的时分拼接到yarn的任务的name上。linux拼接字符串 
2020-08-06 19:16:03
20341
2
原创 PostgreSQL如何建立自增主键 ， PostgreSQL建立自增主键的两种方法
文章目录准备工作创建序列达到自增的效果创建序列序列的相关方法插入数据设置默认值使用SERIAL插入数据 以前建立自增主键都是用mysql建的，只要写个 auto_increment就行了，最近因为工作，需要用到PostgreSQL的自增主键，就去了解了下。发现网上的这点东西写的真乱…就没有个说是整整齐齐从头到尾说清楚的，没有就只能我自己写了… &nbs
2020-07-03 19:22:52
29321
9
原创 使用spark读取hadoop文件的具体内容
在一些情景下，需要用spark读取hadoop的文件的具体内容，这里做一下简单介绍。pom.xml pom.xml如下：<dependencies> <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-j
2020-07-03 17:46:52
1517
原创 java 使用FileSystem读取hadoop文件
在一些情景下，需要用java读取hadoop的文件的具体内容，而不是把文件复制到本地。pom.xml pom.xml如下：<dependencies> <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-
2020-07-03 17:42:18
1966
原创 Java，Scala - 使用代码统计hadoop中hdfs的文件大小以及文件夹大小
文章目录一些配置和前提说明hadoop的一些说明代码的一些说明pom.xml获取行数使用FileSystem获取文件行数使用spark获取hdfs 文件的条数获取大小第一种解决办法：使用getBytes()第二种解决办法：使用listStatus()简单的情况比较麻烦的情况第三种解决办法：使用getContentSummary()额外说点hadoop fs -dus &nb
2020-07-03 17:29:02
5955
原创 flink 使用curl，通过RESTful api，上传和删除jar包
文章目录使用curl发送请求举个例子如何删除jar包 使用curl发送请求 使用flink的过程中，需要用flink的http的api上传jar包，于是就去翻官方文档，但是看的有点郁闷。后来自己试了N此，又去百度，终于查出来了。curl -X POST --header "Except:" -F "@jarfile=文件地址" flink集群地址:端口号/jar
2020-07-01 19:49:07
2152
5
原创 spark项目，读取或写入elasticSearch数据，报错NoClassDefFoundError: org/apache/logging/log4j的解决办法
文章目录添加es的jar包NoClassDefFoundError: org/apache/logging/log4j/util/ReflectionUtil 的解决办法 在用maven进行spark开发时，如果使用离线批处理，一般都有添加spark-core的jar包。<dependency> <groupId>org.apache.spark</groupId> <artifactId
2020-07-01 18:25:44
2675
原创 查看PostgreSQL数据库中所有表 - 注意的事项 -- 为什么使用sql查询所有表报错
文章目录查询所有的数据库查询指定schema下的表tablename 和 schemaname 是什么？ 本人新手，以前接触的关系型数据库无非就是mysql，oracle；最多还听说阿里巴巴有个自研的关系型数据库，但也只听说过没用过。 最近因为工作关系需要用到postgreSql，在学习过程中发生点小意外。  
2020-06-30 20:12:01
1563
原创 使用代码(java, scala) 写入hdfs - java写入hdfs
文章目录java创建文件并写入hdfsjava写入hdfs - 追加写pom.xmljava创建文件并写入hdfs 在网上找了好几个java写入hdfs的，都是用IOUtils.copy()写入的，最后找到了不是用IOUtils.copy()写入的，赶紧自己整理一下。import org.apache.hadoop.conf.Configuration; i
2020-06-22 19:54:15
1349
原创 如何在代码中(java, scala)获取hadoop集群的配置
使用java获取 hadoop集群的配置 正常情况下，我们应该知道自己要使用的hadoop集群的所有配置信息。 但总会有不正常的情况… 如果需要在代码中获取hadoop集群中的相关信息，那么如下：import org.apache.hadoop.conf.Configuration;impo
2020-06-22 19:40:33
593
原创 IDEA新字体 -- JetBrains Mono
用IDE的时候，一般都会在第一时间去调整字体。 最近用idea，听所新出了一个字体，从2019.3版本开始 ,会一起提供。但是之前的版本想用这个字体怎么办啊？ 在网上找了找，找到了相关...
2020-04-24 20:03:00
738
原创 欢迎使用优快云-markdown编辑器 -- 2020.4.24
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...
2020-04-24 19:58:56
621
原创 leetcode -数据库 - 197. 上升的温度 - over()和join解决
文章目录题目答案第一种答案 - join第二种答案 - over() 原题：https://leetcode-cn.com/problems/rising-temperature/ ...
2020-04-11 12:30:16
462
原创 为什么sql没写错，但是delete配合select联合操作报错？但是用子查询又不报错了？
今天做题的时候，发现一个很郁闷的地方，经过问人搜索之后，找到了答案。 题目 https://blog.youkuaiyun.com/weixin_42845682/article/details/105449417 ...
2020-04-11 11:38:33
1753
原创 leetcode - 数据库 - 196. 删除重复的电子邮箱 - 为什么delete的时候select报错?
文章目录题目描述答案第一种答案答案解惑第二种答案第三种答案 原题：https://leetcode-cn.com/problems/delete-duplicate-emails/ ...
2020-04-11 11:31:42
464
原创 sql - 分段统计前N高的问题
文章目录一、 前1高第一种解决办法第二种解决办法 - over()案例二、 前N高第一种解决办法第二种解决办法 - over()案例 最近做了一些sql的题，想着总结一下吧，所以就有了下面这篇博文。 sql中经常会遇到一类需求：需要分段统计前N高。例如：每...
2020-04-10 17:53:57
502
原创 leetcode -数据库 - 185. 部门工资前三高的所有员工 dense_rank()，mysql
原题：https://leetcode-cn.com/problems/department-top-three-salaries/ 我自己做leetcode的数据库题目的解题记录：...
2020-04-10 17:24:20
315
原创 leetcode - 数据库 - 184. 部门工资最高的员工 rank() + over()
原题：https://leetcode-cn.com/problems/department-highest-salary/ 我自己做leetcode的数据库题目的解题记录：&nb...
2020-04-10 16:54:01
293
原创 用join实现交集，并集，差集，补集的效果
sql集合运算的关键字 sql中，对于集合的计算有：并集、差集、交集。 并集：union，union all 差集：EXISTS，not in，except &...
2020-04-09 17:48:16
8572
2
原创 leetcode -数据库 - 183. 从不订购的客户
原题：https://leetcode-cn.com/problems/customers-who-never-order/ 我自己做leetcode的数据库题目的解题记录：&nb...
2020-04-09 16:27:02
353
2
原创 leetcode - 数据库 - 182. 查找重复的电子邮箱
原题：https://leetcode-cn.com/problems/duplicate-emails/ 我自己做leetcode的数据库题目的解题记录： ...
2020-04-09 15:38:27
490
关系数据库标准sql
2018-08-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人