jiuweiC的博客

原创 python 虚拟环境

激活虚拟环境（这里用的git shell在windows上操作，所以有点不一样）取消虚拟环境2. 简单介绍创建完虚拟环境在，在虚拟环境的文件下会有对应里面的依赖信息,在脚本里面也有他启动和关闭的文件信息

原创 curl window下编码异常

服务端按照utf-8进行body的decode提示解码失败。

原创 python使用asyncio

asyncio自带异常处理，内部不用再加try。

原创 vsocde golang相关插件下载异常

如果是国内网，且无法访问外网的网络环境下，代理为国内源。vsocde golang相关插件下载异常。

原创 FastTransformer使用

进入容器。

原创 常用es sql

实例地址：https://console.cloud.tencent.com/vdb/instance/secretkey?

原创 hive常用命令

可以直接从master节点访问数据。

原创 样本特征方案

后续规划。

原创 样本特征方案

后续规划。

原创 斯坦福小镇调研

整个仓库分为3部分功能 ：前端部分（这里不讲）、角色数据、后台活动生成。

原创 网络抓包教学

server向client完成回包。整个过程有两次请求操作，

原创 模型-交叉编码

https://www.datagrand.com/blog/%E6%8A%80%E6%9C%AF%E5%B9%B2%E8%B4%A7%EF%BC%9A%E5%A6%82%E4%BD%95%E8%AE%AD%E7%BB%83%E9%AB%98%E6%80%A7%E8%83%BD%E8%AF%AD%E4%B9%89%E8%A1%A8%E7%A4%BA%E6%A8%A1%E5%9E%8B-%E4%BA%A4%E5%8F%89.html

原创 向量数据库对比

性能差异，部分服务对索引方式做了整合优化，最终性能上还有一些差别，详细参见底部的性能对比。这些库整体对外提供的检索功能都差不多，向量相似检索+meta过滤检索。运维差别，是否有可完全托管的服务，降低运维成本。向量数据库的灵活性：记录字段可灵活设置。使用腾讯云或 zilliz。

原创 spark3 streaming 读kafka写es

【代码】spark3 streaming 读kafka写es。

原创 hive小文件问题

以此表为例子。

原创 spark-streaming-kafka-0-10消费ckafka写hive

【代码】spark-streaming-kafka-0-10消费ckafka写hive。

原创 spark steaming spark-sql-消费kafka并写hive

【代码】spark steaming消费kafka并写hive。

原创 spark-scala 常见算子

【代码】spark-scala 常见算子。

原创 hive 笔记

原创 linux文件权限管理

其中，a表示所有用户，+表示添加权限，权限可以是r（读权限）、w（写权限）或x（执行权限）的组合。这样所有用户都会具有执行该目录及其中所有文件的权限。这样所有用户都会具有读写该文件的权限。递归对文件夹下所有文件进行权限修改。

原创 docker使用

【代码】docker使用。

原创 spark jar依赖顺序

如果环境没有依赖的且不想打包到自己的项目jar里面时，可以使用该方式。Spark-submit --jars 提交的依赖包。

原创 This build of IntelliJ IDEA has expired. The IDE will now close.

注意不是删除IntelliJ 安装本地的文件，是远端机器的文件。在要访问的ssh机器上。

原创 golang笔记

go build -v -x -work -o bin/hello src/main.go

原创 spark环境搭建

https://moonce.blog.youkuaiyun.com/article/details/123337486https://blog.youkuaiyun.com/qq_31635851/article/details/123338562

原创 linux GO版本更新

https://blog.youkuaiyun.com/qq_29695701/article/details/82744684

原创 linux GO版本更新

https://blog.youkuaiyun.com/qq_29695701/article/details/82744684

原创 embedding模型

https://arthurchiao.art/blog/rag-basis-bge-zh/https://www.cnblogs.com/xiaoqi/p/18143552/bge-m3

原创 日语es检索

参考： https://juejin.cn/post/6844903854337687559。

原创 k8s-golang获取健康状态ip

【代码】k8s-golang获取健康状态ip。

原创 golang反射函数注册

Dt := reflect.TypeOf(controller) // 这里可以拿到两个方法。// 这样就避免了 在创建新的实例的之后 结构体的方法中接受者为指针类型的不可见的问题。// 获取变量的 reflect.Type。// New 通过反射创建出新一个对象。// 为什么这样设计。

原创 ES 自定义排序方式

es默认score是根据query的相关度进行打分的，具体打分机制可以参见：官方文档。如果召回时既希望有相关性又能根据其他信息进行排序。例如小红书搜索的时候，可能既希望有召回相关度又能根据热度信息（如果喜欢、收藏等等参数去进行召回）具体使用方式：script_score 查询 官方文档参考：ES自定义评分机制:function_score查询详解

原创 golang context管理channel

如下图，上游的ctx只能执行很快就被cancel了，此时那启动的子协程也没有继续运行的必要，所以此时子协程也监控上游的状态，上游一结束，子协程也直接关闭了。如果多个协程之间有一定的生命周期关系，可以使用context去做退出管理。

原创 kafka rebalance

https://learn.conduktor.io/kafka/consumer-incremental-rebalance-and-static-group-membership/

原创 布隆过滤器详解

布隆过滤器详解。

原创 gRPC Connection reset by peer

https://lvlv.fun/posts/2019-07-22/

原创 node 环境问题

如果node版本过低，git也会报错。本地node版本太低一直升级不成功。

原创 docker安装

【代码】docker安装。

原创 大模型-模型文件下载

直接使用git lfs clone 速度很慢，先把文件用普通方式拉下来，再去git lfs pull对应的大文件。工具：git lfs。

原创 向量数据库

数据在存入向量数据库前，需先做embedding转化为向量。