小瑾yes-优快云博客

在 macOS 中，默认情况下只能以只读模式挂载 NTFS 硬盘。为了实现读写功能，你可以使用一些第三方工具或驱动程序。其中一个流行的选择是安装一个名为 Tuxera NTFS 的驱动程序，但这是一个商业软件。对于免费的解决方案，你可以使用 osxfuse 和 ntfs-3g。ntfs-3g 在 macOS 上安装时需要 Linux 内核支持，因为它使用了 FUSE（文件系统在用户空间）技术来实现对 NTFS 文件系统的读写。

2024-04-04 00:00:05 3883

原创海纳斯Hinas安装Tailscale

遇到报错，然后根据：安装软件出现dpkg: error processingxxx.deb错误。海纳斯自己安装了Tailscale，但是无法使用，需要卸载重新安装。

2024-03-10 12:50:51 2741

原创 docker 安装kafka

docker 安装kafka文章目录docker 安装kafka前言一、使用步骤1.docker-compose.yml2.执行语句总结前言提示：以下是本篇文章正文内容，下面案例可供参考一、使用步骤1.docker-compose.yml代码如下（示例）：version: "2"services: zookeeper: image: docker.io/bitnami/zookeeper:3.7 ports: - "2181:2181"

2021-11-02 16:12:25 1070

原创 mac 使用小技巧，持续更新

mac 使用小技巧持续更新文章目录mac 使用小技巧前言一、使用python3开启http服务二、使用命令获取文件或者文本绝对路径三、自带截图总结前言作为一个攻城狮，日常使用技巧记录提示：以下是本篇文章正文内容，下面案例可供参考一、使用python3开启http服务执行的路径下都可以成为http访问的路径python -m http.server 80 二、使用命令获取文件或者文本绝对路径option+command+c三、自带截图截取部分图片shift+co

2021-08-29 19:17:49 281

原创 flink sql client 连接kafka解析avro数据 (avro ArrayIndexOutOfBoundsException 解决办法)

flink sql 连接kafka解析avro数据flink sql 连接kafka解析avro数据查看avro的schema写flink sql 报错正确的flink sql注意的点如何确定flink sql是用map array rowflink sql 连接kafka解析avro数据因为工作需要，需要写FlinkSqlClient解析avro数据，但是网上例子很少，最后在看到一位老哥用debug方式排查问题，我这里也用了相同方式，才找到问题所在。查看avro的schema{ "type"

2021-08-21 12:54:55 4024 6

原创线程安全的时间格式转换

线程安全的时间格式转换时间格式类型时间格式类型yyyy-MM-dd HH:mm:ss.SSSyyyy-MM-dd HH:mm:ssyyyy-MM-dd'T'HH:mm:ss.SSSFastDateFormat fdf = FastDateFormat.getInstance("yyyy-MM-dd'T'HH:mm:ss.SSS");引入maven<!-- https://mvnrepository.com/artifact/org.apache.commons/commons-lang

2021-07-30 17:43:48 385

原创 pg 时间戳转换成时间

SELECT *, to_char( to_timestamp( statistic_time / 1000 ), 'yyyy-MM-dd HH24:MI:SS' ) AS TIME FROM xxx WHERE DAY = 20210401 ORDER BY statistic_time DESC

2021-04-01 13:40:15 3268

原创 spark 相关错误记录，持续更新

1、spark连接datanode超时java.net.SocketTimeoutException: 60000 millis timeout while waiting for channel to be ready for read解决办法 spark.sparkContext.hadoopConfiguration.set("dfs.client.socket-timeout","180000") spark.sparkContext.hadoopConfiguration.s

2021-02-19 19:14:32 618

原创 mysql时间校验函数

CREATE OR REPLACE FUNCTION isnumeric ( txtStr VARCHAR ) RETURNS BOOLEAN AS $$ BEGIN RETURN txtStr ~ '^([0-9]+[.]?[0-9]*|[.][0-9]+)$'; END; $$ LANGUAGE'plpgsql';CREATE OR REPLACE FUNCTION isDate ( dateStr VARCHAR ) RETURNS BOOLEAN AS $$ BEGIN IF

2021-01-19 18:45:21 428

原创 scala基于json4s json转map json转list map转json

scala基于json4s json转map json转listimport org.json4s.DefaultFormatsimport org.json4s.jackson.{JsonMethods, Serialization}/** * @Auther xiaojin * @Date 2020-12-22 7:51 下午 */object test { def main(args: Array[String]): Unit = { val aa = Map(

2020-12-23 10:49:21 890

原创 sql 求定点距离内的点

sql 求定点范围五公里内的点SELECT * FROM ( SELECT *, ( 6371 * acos( cos( radians( $lat ) ) * cos( radians( latitude ) ) * cos( radians( longitude ) - radians( $lng ) ) + sin( radians( $lat ) ) * sin( radians( latitude ) ) ) ) AS distance FROM

2020-11-16 20:53:47 163

原创 scala spark 高精度BigDecimal除法

scala 除法 val totalnumBigDecimal = new java.math.BigDecimal(totalnum) val reissuenumBigDecimal = new java.math.BigDecimal(reissuenum) val reissuerate = reissuenumBigDecimal.divide(totalnumBigDecimal, 2, java.math.BigDecimal.ROUND_HALF_DOWN

2020-11-12 16:41:25 1113

原创 scala 递归解析fastjson

scala 递归解析fastjsonimport com.alibaba.fastjson.{JSON, JSONArray, JSONObject}import scala.collection.mutable/** * @Auther xxxx * @Date 2020-10-30 1:38 下午 */object JsonUtil { def analysis(jsonObject: JSONObject): mutable.HashMap[String, AnyRef

2020-11-02 09:34:34 327

原创 maven-assembly-plugin scala springboot 打包

一、springboot 和maven-assembly-plugin结合pom文件   <build> <finalName>powerjob-server</finalName> <plugins>

2020-10-26 13:19:33 398

原创 java 构建kafka的生产者和消费者

引包 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.11.0.0</version> </dependency>生产者import com.ssi.dataplatform.single.co

2020-09-18 08:53:32 327

原创 fastjson 递归解析json成map

fastjson 依赖包 <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>1.2.73</version> </dependency>代码/** * @Auther xiaojin * @Date 2020-09-

2020-09-18 08:45:06 1467 1

原创 Es http bulk批量插入、创建删除模板mapping

import com.alibaba.fastjson.JSON;import com.alibaba.fastjson.JSONObject;import java.io.IOException;import java.text.ParseException;import java.util.Map;/** * @Auther xiaojin * @Date 2020-09-16 12:13 下午 */public class EsUtil { public static.

2020-09-18 08:41:27 1079

原创 HttpclientUtil4 的get、put、post、delete、Patch、options、head

添加maven依赖 <dependency> <groupId>org.apache.httpcomponents</groupId> <artifactId>httpclient</artifactId> <version>4.5.4</version> </dependency>代码import org.apache.commons.la

2020-09-18 08:37:30 361

原创 Mac 下 brew 切换为国内源

简介Homebrew 是一款自由及开放源代码的软件包管理系统，用以简化 macOS 和 linux 系统上的软件安装过程。它拥有安装、卸载、更新、查看、搜索等很多实用的功能，通过简单的一条指令，就可以实现包管理，十分方便快捷。Homebrew 主要有四个部分组成: brew、homebrew-core 、homebrew-bottles、homebrew-cask。名称说明brewHomebrew 源代码仓库homebrew-coreHomebrew 核心软件仓库h

2020-08-11 20:59:30 447

原创 scala Flink读取kafka 写入es(elasticsearch) 简单实现

scals Filek读取kafka 写入elasticsearch 简单实现引入pom依赖es的Mapping读取kafka 写入es 代码实现scala 构建kafka生产者scala 构建kafka消费者引入pom依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.11</artifactId

2020-07-24 19:20:56 1011

原创 mac获取当前文件的路径适用于 10.12.6、10.13、 10.14、10.15

实际工作中经常需要获取当前文件的路径。在mac中常用的方法有如下几种方式一如果只是需要看一下这个文件的路径，可以先选中该文件，然后右键，选择显示简介，然后就会显示这个文件的具体路径。快捷键为command+i方式二上面的方式只能查看路径，但是实际工作中经常需要对路径进行复制粘贴。那么可以打开terminal，把文件拖到terminal中，在terminal中就会显示文件对应的路径，然后进行复制粘贴即可。方式三如果是想要进行复制粘贴路径，可以找到对应的文件，然后command+option+c，就

2020-06-02 09:09:38 373

原创 mysql多表联查

SELECT f.vin AS vin, o.NAME AS NAME, v.plate_no AS plate_no, f.stat_day AS stat_day FROM lqcv_analysis.lqcv_fault_stat_inday f INNER JOIN lqclw.vehicle v ON f.vin = v.vin INNER JOIN lqclw.customer_organization o ON f.org_id = o.id GROUP BY vin,

2020-05-28 10:48:09 199

原创 scala中json与case class对象的转换, spark读取es json转换成case class

ilinux_onescala中json与对象的转换遇到的问题因为要把spark从es读出来的json数据转换为对象，开始想用case class定义类型，通过fastjson做转换。如下复制代码复制代码case class Book (author: String, content: String, id: String, time: Long, title: String) v...

2020-05-07 12:23:14 3161 1

原创 mysql update 根据一个字段更新另一个字段

UPDATE lqcv_behavior_stat_inday a1INNER JOIN ( SELECT substring( stat_day, 1, 4 ) AS YEAR, substring( stat_day, 5, 2 ) AS MONTH, substring( stat_day, 7, 2 ) AS DAY, stat_day, id FROM l...

2020-05-05 20:51:54 4183

原创国内几个maven镜像源，国内maven仓库,阿里，华为，腾讯，网易

<mirror> <id>alimaven</id> <name>aliyun maven</name> <url>http://maven.aliyun.com/nexus/content/groups/public/</url>...

2020-04-28 20:56:08 44620 7

原创多线程ThreadPoolExecutor与职责链结合

import org.joda.time.DateTime;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.beans.factory.annotation.Value;import org.springframework.scheduling.annotatio...

2020-04-19 09:22:05 190

原创写csv解决Excel打开乱码问题

写csv解决以文本和Excel打开乱码问题 public static File createCSVFile(List<?> exportData, LinkedHashMap map, String outPutPath, String fileName) { File csvFi...

2020-04-18 14:35:29 232

转载访问HDFS报错：org.apache.hadoop.security.AccessControlException: Permission denied

import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import java.util.Properties;public class TestHDFS { public static void main...

2020-03-17 17:39:51 191

原创 SparkSql 写数据库updata操作

仅用作自己做笔记，保存代码import org.apache.commons.lang.StringUtilsimport org.apache.log4j.{Level, Logger}import org.apache.spark.broadcast.Broadcastimport org.apache.spark.internal.Loggingimport org.apache....

2020-03-03 16:04:32 563

原创 SQL学习记录

SELECT vin, ROUND( SUM( CASE WHEN indicators IN ( 0, 1, 2, 3, 4, 5, 6 ) THEN percent END )/ COUNT( DISTINCT stat_day ), 2 ) AS lowRpm, ROUND( SUM( CASE WHEN indicators IN ( 7, 8, 9 ) THEN per...

2020-02-27 16:14:05 163

空空如也

空空如也