talen_hx的博客

原创 利用go-git获得git的分支列表

【代码】利用go-git获得git的分支列表。

原创 starrocks聚合表使用

如果要初始化之前的数据，需要执行以下脚本。2、直接执行insert语句。这样就能自动统计数量。

原创 _update_by_query简单使用

"source": "ctx._source.remark= '测试'"是要更新的字段和内容。query是限制查询条件。

原创 StarRocks简单使用

从clickhouse迁移到StarRocks，研究讨论后，决定使用flink进行kafka同步到StarRocks。StarRocks可以选择固定分区和动态分区，考虑到数据增长，故选按天进行动态分区。4、写同步数据的flink sql，配置source和sink。4、使用mybatis的多数据源框架，配置多数据源进行查询。因数据都是日志类数据，帮选择了Duplicate。连接StarRocks可视化工具：SQLyog。在查询的方法前配置注解。

原创 Elasticsearch 索引模板

Elasticsearch 索引模板

原创 《零基础入门Spark》学习笔记 Day 03

spark中的广播变量、累加器

原创 《零基础入门Spark》学习笔记 Day 02

RDD常用算子

原创 《零基础入门Spark》学习笔记 Day 01

Spark如何使用内存

原创 利用systemd自动拉起应用服务

利用systemd自动拉起应用服务

原创 golang语言中简单操作es几个例子

使用库(olivere/elastic/v7)操作es。1、初始化es操作客户端。2、使用must查询数据。4、查询后，根据字段排序。

原创 数据清洗-使用es的ingest

通常es产品里面，数据清洗的logstash，这里使用另外的ingest做简单的数据处理。还可以使用ScriptPrcessor，这种自由度更大，可以处理稍微复杂点数据。这里是根据逗号分隔数据，变成数组。

原创 es使用collapseBuilder去重和只返回某个字段

去重 指定字段

原创 go 同步 kafka 数据程序

简单用go手了一个kafka同步到另外一个kafka程序package mainimport ( "logcopy/config" "logcopy/utils/kafka" "context" "encoding/json" "errors" "flag" "fmt" "io" "os" "os/signal" "syscall" "time" kafkago "github.com/segmentio/kafka.

原创 spring boot整合clickhouse入门

1、前提条件使用mybatis plus，实现多数据源，毕竟实际项目中，不会只用clickhouse2、添加maven依赖包<dependency> <groupId>com.baomidou</groupId> <artifactId>dynamic-datasource-spring-boot-starter</artifactId> <version>3.5.1</version>&

原创 es 聚合查询，cardinality 去重

SearchRequest searchRequest = new SearchRequest("order");SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();BoolQueryBuilder boolQueryBuilder = new BoolQueryBuilder();boolQueryBuilder.must(QueryBuilders.matchQuery("userCode", userCode).

原创 go写es简单例子

package mainimport ( "context" "fmt" "github.com/olivere/elastic/v7")type Person struct { Name string `json:"name"` Age int `json:"age"` Married bool `json:"married"`}func main() { client, err := elastic.NewClient(elastic.SetUR.

原创 es更新部分字段-java实现

POST esindex/_doc/id/_update{ "script" : "ctx._source.bussinesData.remark='test'",}es的restful接口 UpdateRequest updateRequest = new UpdateRequest(dto.getEsIndex(), dto.getId()); Map<String, Object> params = new HashMap<String, Object>(.

原创 es分组后，过滤符合条件数量的记录

GET es-index/_search{ "size": 0, "aggs": { "group_by_data_domain": { "terms": { "field": "data.domain.keyword" }, "aggs": { "count_domain": { "bucket_selector": { "buckets_path": { .

原创 go利用channel控制并发数

package mainimport ( "fmt" "time")//最大并发数const MAX_PROCESS = 10var ch = make(chan string, MAX_PROCESS)func main() { for i := 0; i < MAX_PROCESS; i++ { //启动go runtine go recive() } time.Sleep(1 * time.Hour) close(ch)}func recive().

原创 路很长，继续努力

终于坚持学完云原生训练营了，但感觉只是开始，路很长，谢谢孟老师的讲解.

原创 极客云原生营-云原生知识

原创 es聚合统计查询

#基数统计GET kibana_sample_data_ecommerce/_search{ "size": 0, "aggs": { "customer_id_card": { "cardinality": { "field": "customer_id", "precision_threshold": 80 } } }}#字段数量统计GET kibana_sample_data_ecommerce/_sea...

原创 es的searchtemplate简单使用

POST _scripts/kibana-flight{ "script": { "lang": "mustache", "source": { "_source": [ "Dest","DestRegion" ], "size": 20, "query": { "multi_match": { "query": "{{q}}", "fields": ["Dest",...

原创 es 单字符串多字段查询 multi_match

1.best_fieldsGET /kibana_sample_data_flights-1227/_search{ "query": { "multi_match": { "query": "Sydney Kingsford", "type": "best_fields", "fields": [ "Dest", "DestCityName" ] } }}2.most_fields.

原创 clickhouse日志表清除数据

clickhouse系统里面自带了query_log和query_thread_log表，这两个表不清除的话，时间久了，会挺大的，可以通过设置ttl时间来处理保存一个月的数据ALTER TABLE query_log MODIFY TTL event_date + toIntervalMonth(1);ALTER TABLE query_thread_log MODIFY TTL event_date + toIntervalMonth(1);保存15天的数据ALTER TAB...

原创 es 单字符串多字段查询(Dis_Max_Query)

只提供一个输入框，查询相关的多个字段，使用DisjunctionMaxQuery --- 最佳字段查询，tie_breaker参数调整POST kibana_sample_data_flights-1227/_search{ "query": { "dis_max": { "tie_breaker": 0.7, "boost": 1.2, "queries": [ { "match": { "

原创 es的bool查询

es的bool查询

原创 istio安装

下载istio的tar包wget https://github.com/istio/istio/releases/download/1.8.1/istio-1.8.1-linux-amd64.tar.gztar zxvf istio-1.8.1-linux-amd64.tar.gz -C /usr/local/sudo apt install snapdsudo systemctl restart snapd解压tar包tar -sxvf istio-1.12.1-linux-am

原创 es的query查询(term,prefix,exists,match，matchprase,range)

//查询前缀包含的内容POST /products/_search{ "query": { "prefix": { "desc.keyword": { "value": "iP" } } }}POST /products/_search{ "query": { "term": { "productID.keyword": "XHDK-A-1293-#fJ3" } }}//不查询为空的数据.

原创 es Dynamic mapping的机制和内置analyzers

Dynamic mapping的机制，使得无需手动定义mappings，es会自动根据文档信息，推算出字段类型，但这也存在不好的地方，无法控制结构。如果将Dynamic设置为true，mapping会被更新，如果设置为false，mapping 不会被更新，但信息会存储在_source中，如果设置为Strict，文档写入失败(strict_dynamic_mapping_exception)自带的char_filter：html_strip、mapping、pattern replacemen.

原创 go重写数据清洗踩坑记

字典也就是map,是遍历时，顺序是随机的，如果对内容顺序有要求的话，需要引用第三方包 在用本地缓存时，一定要用读写锁RWmutex，来提高性能，并保证goruntime下，内容的正确性 在用struct转json格式时，属性变量一定要大写，这样反射才能取到值 string类型或数字类型，都有默认值，但不是nil 用gorm查询数据库，比使用原生的，避不少坑，比如取第一条数据，排序等 map的interface，在强转在特定类型时，要注意类型不兼容...

原创 Log4j 安全漏洞已得到解决

最佳方式是替换jar包，现在2.15.0已经发布，在maven公共仓库已经可以下载第二种是修改启动参数， -Dlog4j2.formatMsgNoLookups=true个人推荐第一种方式，不要下载2.15.0-rc2这种了

原创 一个画时序图和流程图的好网站

http://webchart.ihuhai.cn/index.html

原创 用户画像体系建设

一、数据治理管控域：组织、制度、流程、绩效 过程域：分析、设计、实施、评估 价值域：数据价值、数据共享、数据变现 治理域：标准体系、质量、安全 技术域：元数据管理、数据指标管理、主数据管理、数据模型管理、数据质量管理、数据安全管理二、数据中台数据汇聚：异构数据源、离线同步、实时接入，可视化配置 数据开发：离线开发、实时开发、算法开发，智能调度、智能运维、监控告警 数据体系：贴源数据（ODS）、统一数仓、标签数据、应用数据 数据资产管理：元数据、数据质量、数据血缘、数据安全 数据服务

原创 es的query-string和simple-query-string

GET kibana_sample_data_flights/_search{ "query": { "query_string": { "default_field": "OriginCityName", "query": "Frankfurt and Airport" } }}GET kibana_sample_data_flights/_search{ "query": { "query_string": { "fiel...

原创 es的URI Search详解

#泛查询GET kibana_sample_data_flights/_search?q=2021{ "profile": true}#指定字段查询GET kibana_sample_data_flights/_search?q=timestamp:2021{ "profile": true}#布尔操作符GET /kibana_sample_data_flights/_search?q=Dest:(Sydney AND Mind){ "profile": "true"}...

原创 经过三个月的学习大数据体系，终于告一段落了

原创 kubernetes的app,service,ingress

app.yamlapiVersion: v1kind: Podmetadata: labels: app.kubernetes.io/name: talensz-httpserver-app app.kubernetes.io/instance: talensz-httpserver-app app.kubernetes.io/version: 1.0.0 app.kubernetes.io/component: controller name: tale.

原创 腾讯云安装kubernetes(ubuntu20.4)

1、安装dockersudoapt install docker.io2、修改 cgroupdriver to systemdsudo vi /etc/docker/daemon.json添加以下内容：{ "exec-opts": ["native.cgroupdriver=systemd"]}sudo systemctl daemon-reloadsudo systemctl restart docker3、更新apt-getsudo apt-get upd.

原创 如何用户画像体系