yy的博客

原创 mermaid绘制神经网络

【代码】mermaid绘制神经网络。

原创 aws sagemaker 启动/创建 pipeline报错

ClientError: An error occurred (ValidationException) when calling the CreatePipeline operation: Unable to parse pipeline definition. Property 'null' with value 'null' is not of expected type 'String'

原创 autogluon做时间序列推理报错 “RuntimeError: Following models failed to predict: [‘RecursiveTabular‘, ‘Weighted

时间序列的格式不对 我这里是时间序列的时间长度太短. 训练集正常,推理时候出现了短时间序列的id.

原创 jupyterhub on k8s 配置用户名密码 + 自定义镜像

如果只是小组内使用 不想共用密码 也不想搞复杂认证方案 那么就直接通过map(用户名,密码md5值)来制定密码。

原创 aws sagemaker api 获取/删除 endpoints

【代码】aws sagemaker api 获取/删除 endpoints。

原创 python 关闭 sagemaker 日志美化

公司凭条不支持日志美化中的颜色显示,会显示乱码比如:其中很多符号都是颜色等.

原创 macos arm 本地/docker/本地k8s 安装jupyterhub 并登陆

编辑生成的配置文件: jupyterhub_config.py。修改这两个常见容易冲突的port即可。

原创 pandas df.groupby 效果

【代码】pandas df.groupby 效果。

原创 jupyter notebook 模型命令行传参

sys.argv = ['当前notebook文件名字.ipynb','--key1','value1','--key2','value2']

原创 spark sql flatten 展开双层数组的内存数组

spark-sql (default)> select flatten(array(array(11,22),array(22,33)));flatten(array(array(11, 22), array(22, 33)))[11,22,22,33]

原创 paimon表做flink维表 实时join

【代码】paimon表做flink维表 实时join。

原创 flink sql function array_contains demo

【代码】flink sql function array_contains demo。

原创 macos python绘图 matplotlib 中文表头不显示/乱码问题

【代码】macos python绘图 matplotlib 中文表头不显示/乱码问题。

原创 flink datastream table 混用报错 Cannot have more than one execute() or executeAsync() call in a single e

Cannot have more than one execute() or executeAsync() call in a single environment

原创 paimon0.9 主键表的之 changelog producer 笔记

paimon解决-U的的方式是增加normalize算子,存储老数据再state中,比对后可补齐-U,所以成本高 可配置 scan.remove-normalize 取消,同时导致没-U。如果没关闭normalize算子,先发-U(小王,18,100) 再发+U(小王,18,300) 那么结果就是 18,(103-100+300)=303 这才是正确值.normalize算子开启(flink state存老数据 注意ttl要永久,否则部分-U也会丢): sink: +I -U +U -D。

原创 scalatest 之 数组 contains

【代码】scalatest 之 数组 contains。

原创 scalatest之 参数化测试

【代码】scalatest之 参数化测试。

原创 scalatest scalamock 之 mock案例

【代码】scalatest scalamock 之 mock案例。

原创 scalatest 实战 expects onCall 指定参数限制 制定参数和返回值关系

【代码】scalatest 实战 expects onCall 指定参数限制 制定参数和返回值关系。

原创 fastjson2 解决long类型带L尾缀的value

/ 数组L 替换为数字 但是字符串中的不能替换。

原创 jdbc报错 Caused by: com.mysql.cj.jdbc.exceptions.CommunicationsException: The last packet successfully

• validationQuery=SELECT 1：执行简单的 SQL 查询来测试连接。• testOnBorrow=true：每次获取连接时测试连接是否有效。

原创 flink程序 官方测试工具 scala版本 本地亲测

udf测试 flinkc程序测试。

原创 flink1.18.0 试用谷歌云 checkpoint报错:com.google.common.collect.ImmutableMap$Builder.buildOrThrow()

基础镜像: https://hub.docker.com/_/flink/tags?flink 开始做checkpoint写入google云存 就会触发报错。升级到flink1.18.1。

原创 flink udf 返回多列 demo

【代码】flink udf 返回多列 demo。

原创 20240830顺风车乘客端价格对比

原创 吉利银河L6 第二年保险 出险对保费的影响

出险一次 自己责任 自己修车走车损,1000多元;给对方修车走交强险,1000多元.导致保费上涨1100左右. 车损,三者等项目都上涨注意:如果出险流程没走完(不会导致第二年报价上涨),恰好可以买第二年保险(保险到期前一个月),如果你买了,这次出险没给你加钱,会在第二年给你加上............. 可以钻漏洞第二年换保险公司。

原创 spark-sql 写入paimon主键表报错 Cannot write nullable values to non-null column

写入paimon 会从语法上检测主键字段是否非空,如果函数或者字段可能为空,则报错如上。借助nvl 返回值非空的逻辑规避。

原创 python实现scp跨服务器文件传输的功能

在需要传输的文件 hadoop.tar.gz目录下执行: python3 -m http.server 18000。在需要保留到的文件夹下执行: wget。不需要写代码 shell执行即可。

原创 自如 杭州出租屋甲醛 TVOC测试记录

监管就是个笑话。

原创 酷热指数 python公式计算

【代码】酷热指数 python公式计算。

原创 吉利银河L6之毫米波雷达 and 并线辅助

/ 我京东买的77GHZ 有两个毫米波角雷达。

原创 spark3 flink1.19 配置paimon0.9 jdbc metastore

注意uri加引号:use paimon;

原创 吉利银河L6 AQS空气质量监控系统

顶配才有AQS开启空调且auto模式 则默认开启AQS 无法关闭AQS。

原创 吉利银河L6(官方小订送的3M) 对比 威固vk70+ks15

/ 忘记测反射的热量了 可以验证金属膜是反射热而不是吸热。

原创 spark sql 报错 LEGACY store assignment policy is disallowed in Spark data source V2. Please set the co

spark.conf.set("spark.sql.storeAssignmentPolicy", "ANSI")

原创 flink1.18 paimon0.8 paimon作为source的指标

仅供参考。

原创 apache paimon在flink中做维表join的优势

下载源码自己看下 有些错的请帮忙提示我# 核心参数- AUTO //默认值- Auto mode, try to use partial mode. //部分更新模式.- FULL- Use full caching mode //rocksdb存全量,可规避常规look up join的缓存穿透# 维表join 入口分类逻辑 PrimaryKeyPartialLookupTable|PrimaryKeyLookupTable 的 open。

原创 spark3.5.1 thriftserver paimon0.9 Datagrip

启动spark thriftserver(支持paimon) 并使用Datagrip。

原创 本地spark3.5(不整合hive) 集成paimon0.9

spark官网下载集成hadoop的spark包: spark-3.5.1-bin-hadoop3....解压后 环境变量配置 SPARK_HOMEspark-defaults.conf 中增加一行配置(避免启动spark-sql报错hive元数据连不上): spark.sql.catalogImplementation=hive打开paimon官网: https://paimon.apache.org/docs/master/spark/quick-start/paimon-spark-3.

原创 spark 本地模式 standalone模式 配置spark-sql的资源