猫舍

本文介绍了一个基于CNN模型的轻量级图片查重与分类工具，适合普通CPU环境运行。该项目通过预训练的小型CNN模型（如MobileNet、ConvNeXt）提取图像特征，采用余弦相似度计算图片相似度（重复阈值0.95，相似阈值0.7），可快速处理海量照片（700张约5-10分钟）。使用方式为命令行或IDE直接运行Python脚本，支持复制/移动模式，输出目录自动分类为保留图片和重复图片。项目开源提供基础功能，用户可自定义模型和阈值，适合需要整理相似场景照片但无高性能显卡的用户。

最近做大模型集成，在一个容器中集成多个模型，以提供堆外服务。当容器只加载一个模型的时候，正常。当加载多个模型的时候，启动正常，但是在调用模型进行推理计算的时候，就会报异常。查询了众多资料后无果，在准备在容器中启多进程的时候，找到了一个解决方案。注意：命令是一个示例，实际操作时，请修改为实际的。感兴趣的，可以看看GitHub上大家的说法。如果不指定，会默认去系统目录下找。文件没找到，也可以用以下方式尝试解决。调用模型进行推理时，会报以下异常。，初步可以判断是版本冲突了。文件，即上述异常中提到的路径。

python连接clickhouse异常column = [int(x.timestamp()) if x else 0 for x in column]OSError: [Errno 22] Invalid argument

maven仓库：https://mvnrepository.com/search?注意驱动地址，IDEA一个不好就是驱动地址不能自定义。所以下载驱动包时，要和IDEA中的驱动类地址对应。从这个页面可以看到，新版本的驱动包路径已经变更。由于IDEA的驱动类路径没更新，所以还是选择旧版驱动。如果切换驱动版本依旧无法解决，可以下载驱动，然后本地加载驱动。切换到驱动界面，选择其他版本驱动，依旧显示无法找到驱动类。Idea连接clickhouse时，报驱动类找不到。之后就是通过加载本地驱动包的形式，配置驱动。

TiDB连接异常，COLLATION 'utf8_general_ci' is not valid for CHARACTER SET 'utf8mb4'.

调整throttle-limit为10时，处理线程只有8，再次增大throttle-limit值为20，处理线程依旧为8，并未生效。即没有对线程池进行配置的情况下，一个任务到顶，撑死只能拿到8个线程。控制的是单个任务能够从线程池中获取的线程数的最大值，从这个值的注释说明可以看到，实际任务能够拿到的线程数量，不仅受。中配置可以看到，任务处理的线程池通过properties配置实体进行线程数设置。值为20，启动任务，可以看到并行处理的线程数达到了20个。的值的时候，就必须先把线程池的线程数配置调大。

命令，提示异常，但没有报出命令不存在，则说明安装成果，恭喜你，可以使用psql命令连接远程postgresql数据库了。其实这个解决方案，实在官网上找到的，在寻找源码安装部署的时候，发现安装包被拆分成了不同的小包，以应对不同的使用场合。这个是红帽子Linux，CentOS-7的安装地址，其他操作系统，请回退上级目录选择。以上两个方案，供大家参考，如果下面的方案不可行，以上两个方案希望可以提供一些借鉴。介绍，可以知道，libs是通用包，所有程序都需要安装。中查看介绍，可以知道，我们的想法是正确的。

在使用ireporter写报表的时候，经常会用到新建一个子数据集，然后基于该数据集来创建图表。但是有一个问题，数据集之间的参数是基于数据集隔离的。也就是，在子数据集中，无法直接使用主数据集里面的参数。但是，只有主数据集的参数，才会暴露在对外接口中。或者当我们需要子数据集中的where条件，带上主数据集中查询到的参数，这个岂不是玩不转了？先吐槽，在某度上查了一下午，全是抄来抄去的答案，每一个管用的。我们在新建子数据集时，和新建主数据集一样，设置好sql查询语句需要的参数。下面把解决方案说一下，供大家参考。

使用ireporter的一个缺点是，模板文件需要提前准备，虽然可以通过提供上传页面来支持，但是导致的结果是需要在两个页面之间切换。如果只是少数几个人使用，可以保持这种模式没问题。如果使用的人数较多，可以考虑对ireporter进行二次开发，提供在线模式，并将生成的模板放到云服务器上。这样其他应用可以直接读取云服务上的模板文件，而免去在应用之间的跳转。

本文为作者阅读《敏捷实践指南》一书的摘抄笔记，没有整理，比较乱。仅供参考。

简单记录一下 grafana 的时间函数说明：- $__time(column) -> UNIX_TIMESTAMP(column) as time_sec- $__timeEpoch(column) -> UNIX_TIMESTAMP(column) as time_sec- $__timeFilter(column) -> column BETWEEN FROM_UNIXTIME(1492750877) AND FROM_UNIXTIME(1492750877)- $__uni

今天在起容器的时候，发现容器出于existed状态，状态码为130，查找后发现，自己启动的时候使用了非后台启动。当手动 ctrl+C 退出命令行的时候，容器也就退出了。开始的时候，不知道状态码含义，纠结了很久，于是把一些状态码的含义搜罗了一下。首先状态码必须在 0-255 之间0 表示正常退出外界中断将程序退出的时候状态码区间在 129-255，(操作系统给程序发送中断信号，比如 kill -9 是 SIGKILL，ctrl+c 是 SIGINT)一般程序自身原因导致的异常退出状态区间在 1-12

本文主要介绍，logback文件在容器化的部署过程中，如何部署logback.xml配置文件。

背景今天写了一个数据处理任务，用于后端定时触发。并为这个定时任务提供了一个触发接口，用于手动触发。这个任务的处理逻辑，大概是从SFTP上拉取文件，并对文件进行解析。任务写完后，在测试时，数据量较少，并未发现问题。现象今天在正式环境手动触发任务时，由于处理时间较长，大概在30分钟左右。开始时，任务处理正常。处理了一段时间后，任务持续报异常，后台日志持续飘红。跟踪日志发现，SFTP连接被意外中断，导致任务处理失败。即使程序自动重新创建连接，仍然会被意外中断。重试多次，现象可以复现，且均是出现在任务执行

今天在写sql时，发现了一个慢sql，在测试环境上没问题，但是在正式环境查询非常缓慢。几张万级数据量的表关联操作，查询时间居然长达两分多钟。查看执行计划，发现同样的语句，在测试环境走了索引，在正式环境上没有走索引，并且在执行计划中提示：Using where; Using join buffer (Block Nested Loop)查看MySQL版本发现，测试环境为5.6版本，正式环境为5.7版本。网上找了一圈，都说是索引没建，但是我的表索引没有问题，都建的好好的。折腾了一上午，终于发现了问题。M

近期工作过程中，遇到了一个需要解析压缩包的功能开发。对于这个功能，如果频繁的解压压缩包，在性能上多少有些损耗，且解压文件，会产生大量中间文件，不适合后续管理。特别是现在都是基于容器化部署，如果文件操作处理不当，导致删除失败，将很快打满容器磁盘容量，引起容器崩溃重启。综合考虑之后，采用ArchiveInputStream，在不解压文件的前提下，解析压缩包。具体实践如下。整体流程从SFTP获取压缩包读取压缩包文件内容删除本地压缩包文件从SFTP获取压缩包文件添加项目依赖，使用jcraft包来

repeater在单机上部署，很简单。但是在docker上部署，则有些问题。这里记录下部署过程：制作安装包如果对repeater代码有修改，则使用代码工程里的install-lcoal.sh脚本来生成安装包。如果没修改，本地有代码工程的情况下，也可以使用install-local.sh脚本安装，否则，使用install-repeater.sh来在线安装。安装完成后，用户目录下会生成sandbox和.sandbox-module两个文件夹，将两个文件夹打包成zip包，repeater的安装包就做好了。

下载源码源码下载Github地址：https://github.com/alibaba/jvm-sandbox-repeater.git源码下载下来后，可以通过源码目录下 /bin中的install-local.sh来生成repeater文件。建议通过cmd命令执行，双击shell脚本执行，看不到报错信息。执行完成后，会在用户根目录生成两个文件夹/sandbox，/.sandbox-module，sandbox中放的是启动脚本和sandbox的默认jar包，repeater生成的jar包和配置文件

如果需要扩展sentinel的指令集，需要从何入手？怎么样扩展才会显得优雅？下面介绍一个我在工作中的实践经验，供大家参考。以重写降级逻辑为例，我们重新定义降级逻辑控制台的增删查改逻辑就不做过多介绍，我们从扩展的降级规则发送到client端开始说起。server端发送规则首先，我们可以仿照sentinel原生的规则发送方法，写一个扩展的规则发送方法private boolean setExtendRules(String app, String ip, int port, String type,

sentinel心跳sentinel分为客户端client和监控面板dashboard。client端启动后，需要向dashboard上报心跳。基础概念就不做过多介绍，不清楚的，可以网上参考其他资料。整理主要介绍心跳是如何上报的，如何扩展心跳报文内容？心跳过程心跳入口心跳的入口，在HeartbeatSenderInitFunc.java中，这个类会被初始化方法加载，并执行init方法。过程可参照 sentinel框架基于SPI机制的二次开发 这篇文章。// SPI机制中的加载顺序@InitOrd

单元测试机制及术语软件开发V形模式说到单元测试，就不得不提到软件工程中的软件开发模式-V形模式。V模型是对瀑布模型的修正，强调了验证活动，由Paul Rook在1980年率先提出。在瀑布模型中，由于早期的错误可能要等到开发后期的测试阶段才能发现，所以可能带来严重的后果。V模型就是在这点上改进了瀑布模型，即在软件开发的生存期中，开发活动和测试活动几乎同时开始，这两个并行的动态的过程就会极大地减小bug和error出现的概率。V模型是瀑布模型的变种，它反映了测试活动与分析和设计的关系。所以开发在代码编写过

移动app为什么要做版本控制应用升级无法做到全部升级。比如某应用现行1.1版本，某次开发升级后，版本变为1.2。除app界面变化外，后台接口也发生了变化。然而不是所有的用户都在第一时间升级了app，或者由于版本推送不及时，用户忽略更新等原因，1.1和1.2的app将会在很长一段时间内同时运行。如果不做版本控制，导致1.1版本的用户无法正常使用app，从用户角度讲，是一个很不友好的体验。很常见的一个场景，比如推送更新的时候，我正在户外，没有wifi，我想等回家了再更新，然而我现在就需要使用这个app。判断