- 博客(173)
- 资源 (16)
- 收藏
- 关注
RSS订阅原创 es之null_value
在es中， null, [], [null] 这三个值会被当成null值（空值）在映射中可以指定字段的null_value， 当字段的值为null值时，es会使用null_value为此字段创建索引，但不会替换文档中的null值，客户端可以使用null_value搜索文档。如果索引文档的时候，没有包含某字段，那null_value搜索也无法找到此记录，可以使用exists来搜索。
2023-10-27 15:17:14
1179
原创 canal rocketmq
上篇文章说到直接使用ClusterCanalConnector并发消费是有问题的，可以先用单点将canal事件发送到mq中，再由mq并发处理，另外mq还可以做到削峰的作用，让canal数据不至于阻塞。使用队列，可以自己起一个单实例服务使用ClusterCanalConnector将消息丢队列里，也可以直接使用canal server， canal server原生支持几种队列：Kafka, RocketMQ ,RabbitMQ, PulsarMQ， 下面了解一下canal sever具体的处理过程。
2023-10-13 09:57:19
819
原创 会员生日提前了一天
有一天，收到反馈，某些用户的生日提前了一天（变成了前一天的230000）,比如填写生日"1988-08-20"，数据库中变成了"1988-08-19230000"创建容器的时候，指定了系统时区为Asia/Shanghai数据库连接指定了连接时区为GMT+8（原本也是Asia/Shanghai,这是为了修复另外一个问题）...
2022-07-27 20:50:07
466
原创 集成spring cloud config后优先使用本地配置
注意只有设置spring.cloud.config.allow-override=true时，spring.cloud.config.override-none和spring.cloud.config.override-system-properties才会生效。集成springcloundconfig时默认情况下，远程配置会覆盖本地配置（除非是命令行参数）。如果要优先使用本地配置，需要在。...
2022-07-21 15:01:37
1346
2
原创 gradle7打包libs目录中的jar生成fat jar
需求需要做一个公共业务包，包里引用了一些第三方的jar（文件形式）， 需要打一个整包给业务服务使用，让业务服务不用关注这些第三方的jar， 同时不要打包其他的像日志库之类的东西。解决修改jar任务:jar { from { configurations.runtimeClasspath.findAll { //打包所有libs目录中的jar文件 it.parent.equals(project.rootDir.path + '/
2022-03-29 19:57:24
3416
原创 一个pyside6.0 demo
说明pyside6只能运行在64位python上， 最低要求python3.6， 也就是说可能没办法运行在32位机器上.本文展示如何基于pyside6开发一个demo： 输入账号密码，登录进入主窗口。创建工程使用趁手的ide创建一个py项目，并创建虚拟机（这个用不用都行），创建好目录和文件：demo/app.py — 这是程序入口demo/src/ — 这是放源文件的地方，程序太简单就不分模块了demo/ui/ — 这是存放ui的地方安装相关库pip i
2022-03-17 15:03:02
2118
2
原创 使用pt-online-schema-change在线修改数据库表结构
下载与安装https://www.percona.com/downloads/percona-toolkit/LATEST/wget https://downloads.percona.com/downloads/percona-toolkit/3.3.1/binary/debian/focal/x86_64/percona-toolkit_3.3.1-1.focal_amd64.debsudo dpkg -i percona-toolkit_3.3.1-1.focal_amd64.deb修改表结
2022-01-23 19:21:00
881
原创 @ConfigurationProperties 自动提示配置
这里写自定义目录标题背景环境自动提示的原理配置类配置 annotationProcessor编译生成Configuration Metadata背景spring 提供了属性配置服务， 通过注解@ConfigurationProperties可以很方便地读取外部属性(application.propeties和application.yml)在application.propeties中书写配置的时候，第三方库的配置一般能弹出自动完成提示，但自己定义的属性却不行，这是因为弹出自动完成的提示，需要一点点配
2022-01-05 13:55:18
1217
原创 Hibernate 打印 sql
对于某些项目而言，我更喜欢使用spring data jpa（底层为hibernate），在开发和测试环境，经常需要看到sql日志，但是spring data jpa的日志打印就有点坑，总得来说就是不太好看，为了看到最终执行的sql， 只好自己动手修改了一把。示例sql为： @Modifying @Query("update Article a set a.salesArticleCategoryId=:salesArticleCategoryId where a.tenantId=:te
2020-07-30 14:29:32
1161
2
原创 spring data jpa (1) 基本使用
原文地址： https://blog.lvcc.top/article-detail?articleId=353导入compile 'org.springframework.boot:spring-boot-starter-data-jpa'增加配置文件package cn.com.sjfx.demo.config;import org.springframework.context...
2020-04-25 18:17:38
384
1
原创 mysql 快照读
原文地址： https://blog.lvcc.top/article-detail?articleId=351问题引入有次小A问我，他有一段代码，明明加了分布式的锁，但有时候仍然插入了两条数据，是为什么？已知数据库为mysql， 引擎为innodb， 隔离级别为Repeatable Read， 他的伪代码如下：@Transcationalpublic void checkAndInse...
2020-04-25 10:15:54
4646
6
原创 Jira配置相关问题
bitbucket和confluence使用jira登录1.首先在jira->系统->用户管理->Jira用户服务器->添加应用程序， 添加两个应用程序， 设置好密码和ip， 注意这里ip是白名单，如果使用容器，那么可能是172.17.0.12.到bitbucket或者confluence中，进入管理->用户目录， 添加jira用户目录，设置好参数。jira使用...
2019-12-31 12:02:51
757
翻译 tensorflow2.0 --- MaxPool2D/MaxPooling2D
官方文档作用计算最大值池化定义 def __init__(self, pool_size=(2, 2), strides=None, padding='valid', data_format=None, **kwargs)输入如果da...
2019-12-26 19:23:28
4839
1
翻译 tensorflow2.0 --- Conv2D
tf.keras.layers.Conv2D 是一个2维卷积层“”"2D convolution layer (e.g. spatial convolution over images).This layer creates a convolution kernel that is convolvedwith the layer input to produce a tensor ofou...
2019-12-26 19:23:16
3250
4
翻译 tensorflow2.0 --- api之model.fit
https://tensorflow.google.cn/api_docs/python/tf/keras/Model?version=stable#fit作用使用数据训练模型定义 def fit(self, x=None, y=None, batch_size=None, epochs=1, ...
2019-12-26 19:22:55
7434
3
翻译 tensorflow2.0 --- api之model.compile
https://tensorflow.google.cn/api_docs/python/tf/keras/Sequential?version=stable#compile作用Configures the model for training， 配置模型，准备训练定义 def compile(self, optimizer='rmsprop', ...
2019-12-26 19:22:40
5118
原创 ubuntu18.04 idea intelij 无法使用fcitx输入中文的问题
这两天系统炸了，原来是用ubuntu16.04，不知道做了什么导致一直卡顿， cpu分析和磁盘分析无果， 一直感觉是硬件坏了， 抱着试试的心态重装系统， 直接使用最新的ubuntu18.04。安装步骤非常简单（删除了所有数据的我眼泪掉下来），然而在输入法这块卡住了， 按照正常的流程安装了fcitx和搜狗输入法， 在其他软件都OK， 但在idea里死活切换不了， 就好像按键无效。按照网上的建议，...
2019-12-16 17:43:22
1971
2
原创 tensorflow2.0 --- 波士顿房价预测
数据来源：中国大学MOOCimport tensorflow as tfimport numpy as npimport pandas as pddf = pd.read_csv("boston.csv")df = df.valuesdf = np.array(df)# 归一化数据for i in range(12): df[:, i] = (df[:, i] - df[...
2019-12-09 09:21:07
2248
原创 tensorflow2.0 --- 线性回归预测
import tensorflow as tfimport matplotlib.pyplot as pltimport numpy as np# 线性回归， f(x) = 2*x + 1# 生成训练数据# 使用np生成均匀生布于[-1,1]中的x训练数据np.random.seed(4)x_train = np.linspace(-1, 1, 100)# 计算y训练数据（使用...
2019-12-07 14:21:15
1153
原创 记一个写日志阻塞的问题
背景我们有多家客户，每个客户有自己的服务器（Windows Server），现在需要在客户的服务器上部署程序并自动更新，考虑到后期还会有其他的程序，所以我们首先做了一管理程序，管理程序从云端获取应用列表， 如果版本更新或者本地没有，就自动下载应用并安装启动，启动方式是使用Runtime.getRuntime().exec("java -jar xxx.jar")问题子应用运行起来后，调用...
2019-11-18 20:27:50
4001
1
原创 为什么我的定时器不跑了
最近要搞个小服务运行在多家客户的windows服务器上，里面有两个定时任务，一个是定时检查版本号，一个是定时向服务器汇报状态，都使用 spring 的@Scheduled实现。昨天晚上让它们跑着，今天上午一看，居然没有汇报状态了，（无奈，肯定有bug）。登录服务器，看到服务还在运行，看了一下没有打日志了，访问端口有数据返回，那这个服务应该还活着，定时器不跑了？没有太多的办法，老实下载了一个j...
2019-11-15 20:48:45
2693
原创 Spring 注解缓存总结
文档：https://docs.spring.io/spring/docs/5.1.9.RELEASE/spring-framework-reference/integration.html#cacheSpring为我们提供了一组缓存的高级接口， 是基于注解的声明式缓存， 非常方便，主要的注解有：@Cacheable, @CacheEvict, @CachePut, @Caching， @Ca...
2019-09-11 21:43:57
391
原创 java 日志库搭配
是不是经常被各种日志库搞得头晕脑转？ 看看官方提供的日志库搭配吧。log4j 搭配http://logging.apache.org/log4j/2.x/runtime-dependencies.html模块说明依赖log4j-apilog4j的apiNonelog4j-corelog4j的实现DependencyTreelog4j-1.2-api...
2019-09-02 21:46:10
229
原创 AbstractQueuedSynchronizer 独占锁分析
独占锁， 即一次允许一个线程进入临界区。加锁流程 public final void acquire(int arg) { if (!tryAcquire(arg) && acquireQueued(addWaiter(Node.EXCLUSIVE), arg)) selfInterrupt(); }...
2019-08-20 15:42:03
182
原创 AbstractQueuedSynchronizer 同步队列
AbstractQueuedSynchronizer 维护一个同步变量state，用这个变量来维护锁的状态， 变量值为0表示没有线程加锁，变量值大于0表示有线程加锁了。 对于线程来说， 加锁就是增加这个同步变量，解锁就是释放这个同步变量，增加成功表示加锁成功，线程从此拥有锁。锁分两种类型， 独占锁和共享锁， 独占锁代表只有一个线程可以加锁成功， 共享锁代表有多个线程可以加锁成功。线程在竞争失败...
2019-08-19 21:19:45
223
原创 spring data jdbc 基本使用
文章目录配置使用创建表创建实体类创建操作接口Repository读写数据总结官方文档：https://docs.spring.io/spring-data/jdbc/docs/1.0.6.RELEASE/reference/html/spring data jdbc是spring data产品中的一员， 它提供查询数据库并映射成实体的功能，类似于jpa，但没有实体生命周期管理这些复杂功能， 并...
2019-08-02 15:34:06
14649
4
原创 Spark SQL 访问Hbase
文章目录简介打包生成hbase-spark库读写Hbase参考文档 : https://hbase.apache.org/book.html#_sparksql_dataframes简介hbase-spark integration使用了Spark-1.2.0中引入的DataSource API (SPARK-3247), 它在简单的HBase KV存储和复杂的关系SQL查询之间架起桥梁，使...
2019-07-01 18:03:10
2801
翻译 Spark SQL 访问json和jdbc数据源
文章目录访问json数据从json加载数据写入数据到json基于jdbc访问数据库spark sql可以从很多数据源中读写数据, 比较常用的是json文件和可使用jdbc协议的数据库.访问json数据官方文档: https://spark.apache.org/docs/latest/sql-data-sources-json.html注意: json文件的每一行必须是一个json对象...
2019-06-22 10:21:29
238
翻译 Spark SQL Generic Load/Save Functions(2.4.3)
文章目录Generic Load/Save Functions(通用加载/保存函数)Manually Specifying OptionsRun SQL on files directly(直接在文件上执行SQL)Save Modes(保存模式)Saving to Persistent Tables(保存到持久表)Bucketing, Sorting and Partitioning(分桶,排序和...
2019-06-20 14:41:43
230
翻译 Spark SQL Start(2.4.3)
原文地址: https://spark.apache.org/docs/latest/sql-programming-guide.htmlOverViewSpark SQL是用于处理结构化数据的spark模块。与基本的Spark RDD API不同，Spark SQL提供的接口为Spark提供了更多的数据结构和计算信息。在内部，Spark SQL使用这些额外的信息来执行额外的优化。有几种方法可...
2019-06-19 11:06:56
721
翻译 Spark RDD Programming Guide(2.4.3)
原文地址:https://spark.apache.org/docs/latest/rdd-programming-guide.htmlOverview从高层次的角度来看, spark应用由一个驱动程序(运行用户的main函数)和在集群上执行各种并发的操作组成.spark的主要抽象是弹性分布式数据集(RDD), 它是跨集群节点的元素集合, 能被并发操作.RDD是从Hadoop文件系统(或者其...
2019-06-14 14:37:48
228
原创 一个spark app demo
安装完环境, 现在是时候写一个demo项目了需求就是打印出上传到hdfs中的日志行数.依赖需要用到spark-sql库, 先查看一下spark目录下sql版本:spark-2.4.3-bin-hadoop2.7/jars/spark-sql_2.11-2.4.3.jar那么在程序中引用相同的库 <dependency> <grou...
2019-06-10 11:00:01
871
原创 使用docker安装spark2.4.3
前置说明在安装hbase之前, 安装了hadoop, 因为hbase的数据需要存放到hdfs中spark也与hadoop有关联, 但是要理解spark仅仅用到hadoop的库, 并不依赖hadoop程序, 它不需要安装hadoop, spark仅依赖jdk.spark有四大集群模式: standalone, mesos, yarn, k8s根据数据量, 确定使用最简单的standalone...
2019-06-06 11:37:18
3085
原创 使用docker安装hbase2.1.4
版本确定hadoophbase与hadoop兼容表:https://hbase.apache.org/book.html#hadoop据当前hadoop的版本2.7.7,确定hbase的版本为2.1.x, 那么可以使用最新版本2.1.4.jdkhbase与jdk兼容表:https://hbase.apache.org/book.html#basic.prerequisiteshbase...
2019-06-05 13:52:34
2895
原创 使用docker安装hadoop2.7.7
官方的安装文档https://hadoop.apache.org/docs/r2.7.7/hadoop-project-dist/hadoop-common/ClusterSetup.html由于线上使用docker, 所以需要打包成docker镜像.具体的步骤:基础镜像选用和当服务器一致的ubuntu16.04, 安装vim和tzdata, 并设置时区为东8区.sources.lis...
2019-06-04 14:08:45
1610
The TPC Benchmark H (TPC-H) 3.0.1
2022-08-23
SwitchySharp1.10.4
2016-10-17
基于FL2440的简单无线视频监控系统.zip
2011-11-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人