- 博客(447)
- 资源 (95)
- 收藏
- 关注
RSS订阅
原创 linux的cache过高的原因定位与解决echo 3 ＞ /proc/sys/vm/drop_caches
一、在crontab定时执行echo 3> /proc/sys/vm/drop_caches清理缓存。治标不治本。二、hcache -top 10查看缓存文件,删除后其缓存将永久清除。三、把没用的大日志文件清理删除掉，查找大于1G的文件find / -type f -size +1G。四、将vm.extra_free_kbytes设置为vm.min_free_kbytes和一样大，提高low阈值，触发操作系统自动回收缓存。...
2020-09-23 09:12:15
36664
1
原创 如何查看JVM内存中的对象和执行中的方法
本机debugger就好了,远程的可以远程debugger,内网生产无法远程debugger的怎么办？使用jmap和jstack将堆内存(对象)和栈(方法)输出为文件进行查看。pid:是jvm进程号,可以使用jps -ml或ps命令查看到jvm内存对象统计：jmap -histo:live pidjvm内存对象查看：先将内存导出为文件: jmap -dump:format=b,file=dump.hprof pid然后使用mat工具打开查看里面有多个统计...
2020-09-01 12:58:58
6392
原创 xwiki自定义认证实现单点登录
编译这个通过head中的remote_user进行认证的jar或下载已编译的jar。修改为通过请求中的token来鉴权，鉴权通过之后设置用户到session中，后续session中存在用户就不在校验token。如果session中没用户又没有token就走xwiki自带的默认鉴权。修改xwiki.cfg设置自定义认证类（会被加载到XWiki对象的authService属性）在HTTP请求头部中添加必要的身份验证信息（remote_user）。XWiki将根据HTTP头部信息进行身份验证和用户同步。
2025-03-21 17:02:30
158
原创 xwiki的收藏夹功能插件Favorites
https://extensions.xwiki.org/xwiki/bin/view/Extension/Favorites%20Application/xwiki的收藏夹功能插件
2025-03-21 16:55:25
275
原创 使用docker部署xwiki
使用docker部署xwiki。 git clone https://github.com/xwiki/xwiki-docker.git cd xwiki-docker/16.4/mysql-tomcat ls -a docker-compose up -d.env修改mysql数据库密码。
2025-03-13 09:46:48
95
原创 XWiki使用war部署在tomcat9
xwiki是基于java的开源知识库，可以替代Confluence。有多种部署方式，本文使用war方式部署在tomca下，需要提供jdbc驱动jar包，修改WEB-INF/hibernate.cfg.xml，解压xip包，按向导一步步部署即可。xwiki会自动建表。
2025-03-09 17:20:34
820
原创 dify部署
Dify是一款开源的大语言模型(LLM) 应用开发平台。它融合了后端即服务（Backend as Service）和LLMOps的理念，使开发者可以快速搭建生产级的生成式 AI 应用。Dify 内置了构建 LLM 应用所需的关键技术栈，包括对数百个模型的支持、直观的 Prompt 编排界面、高质量的 RAG 引擎、稳健的 Agent 框架、灵活的流程编排，并同时提供了一套易用的界面和 API。这为开发者节省了许多重复造轮子的时间，使其可以专注在创新和业务需求上。
2025-03-08 16:35:34
455
原创 manus本地部署使用体验
大模型配置config.toml中的大模型配置，一个是全局的一个是特殊的，可以使用同一个。可以使用硅基流动的deepseek大模型，自己修改相关配置。内容如下python main.py直接启动命令行对话，没有页面。
2025-03-08 13:18:20
763
原创 windows11在wsl安装centos7并部署docker20
1：安装 WSL：wsl --install2：安装 CentOS 7，下载CentOS7 ZIP并解压运行 CentOS7.exewsl -d CentOS73：更改yum 源wget http://mirrors.aliyun.com/repo/Centos-7.repo4：安装 Docker，wget http://mirrors.aliyun.com/docker-ce/linux/static/stable/x86_64/docker-20.10.24.tgz
2025-02-23 10:00:42
164
原创 zkui升级jetty
下载zkui源码后，修改pom.xml中jetty版本号后从新打包即可。git clone git@github.com:DeemOpen/zkui.git
2024-09-20 11:53:37
260
原创 Mybase8过期提示去除
rem -----------------------过滤包含自定义字符串的行----------------------------
2024-08-07 16:30:33
460
原创 使用7zip解决linux大文件解压报错invalid zip file with overlapped components (possible zip bomb)
8G的zip文件在linux解压报错invalid zip file with overlapped components (possible zip bomb)。安装p7zip并设置UNZIP_DISABLE_ZIPBOMB_DETECTION=TRUE后解决。yum install p7zip7z x 8g.zip7za x 8g.zip
2024-02-02 06:40:46
1459
1
原创 shell监控目录下新增的文件并进行处理
用户每天上传文件到指定目录，通过shell脚本尽快识别到新上传的文件已经上传完成，然后就处理新上传的文件。通过文件的大小变化判断新增文件是否上传完成，连续10秒大小不变就认为上传完成了。通过ls记录文件名列表到临时文件中，然后通过diff比较识别新增的文件；每分钟检查一次，循环运行一天后退出，然后通过crontab脚本每天拉起。
2024-01-26 14:46:13
961
原创 讯飞星火大模型api调用
讯飞星火大模型，通过websocket方式通信传递协议要求的报文，然后将流式返回的报文拼接为完整的响应内容，status=2时是最后一条消息。因为是websocket方式所以是异步响应的，如果想要同步需要使用CountDownLatch控制下线程等待最后一条消息处理完再继续往下走。星火不同版本稍微有一些差异，具体以官网提供的demo为准。
2023-12-16 14:30:21
3833
原创 domain参数错误导致讯飞星火大模型：发生错误，错误码为：10404
开通讯飞星火大模型api调用后，使用官方demo调用报错10404，最终发现是domain参数需要跟调用的版本保持一致，1.5，2，3版本分别传general,generalv2,generalv3，传错了还报错10404。
2023-11-29 14:30:30
1383
1
原创 国内20个大模型中文场景测评及体验
无，开源大模型https://gitee.com/mindspore/zidongtaichu。选择类型后会将提示语显示出来并显示关键词和关键词的说明，方便修改关键词。商汤商量SenseChat（日日新大模型SenseNova）方便的插件选择，包括思维导图，文档输入，图片识别。上海MiniMax（ABAB大模型）上海人工智能实验室（书生通用大模型）好未来（MathGPT 大模型）知乎（“知海图 AI”模型）网易有道（“子曰”大模型）昆仑万维（“天工”大模型）智谱AI（GLM大模型）中科院（紫东太初大模型）
2023-11-26 10:30:26
1670
原创 hugeGraph修改PropertyKey属性类型
备份后修改propertykeys.zip中指定属性的"data_type":“TEXT"为"data_type”:“INT”修改PropertyKey字段属性的类型。修改groovy脚本中的Text为Int。然后使用修改后的备份文件恢复图数据库。
2023-11-14 22:29:22
403
原创 SQL血缘解析原理
大致步骤如下：1.sql文本进行词法分析2.sql语法分析获取到AST抽象语法树3.访问AST抽象语法树根据语法结构推测出数据的流向,例如create as select from 这种结构,数据就是从from的表流向select出来的ResultSet中间结果集最后流程create的表中, 字段可以使用字段名进行匹配，如果可以连接到元数据库是可以查询到表和字段的，如果仅仅根据sql文本分析，那么一般只能根据select中的字段名结合语法进行猜测。
2023-09-28 12:02:18
2543
原创 百度千帆大模型文心一言api调用
创建应用成功后,可以获取到API Key和Secret Key。然后获取token后使用http方式调用即可。curl -XPOST 'https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions?access_token=[调用接口获取的access_token]' -d '{ "messages": [ {"role":"user","content":"介绍一下你自己"} ]}'
2023-09-11 15:07:13
3664
原创 doris多租户资源隔离及权限管理
Doris 集群FE 主要负责元数据管理、用户请求的接入,BE 主要负责数据存储、查询计划的执行等工作。doris的资源隔离主要是BE节点的tag分组赋权,以及用户级别的cpu和内存使用限制,用户最大的并发连接数等。而权限控制则类似于mysql，在2.0版本开始使用角色赋权。总的来说，使用起来比较的简单方便， 在pb级数据容量的情况下比较合适。
2023-09-04 10:53:41
2973
原创 kinit报错 /etc/host.conf: line 3: bad command `nospoof on‘
kinit报错 /etc/host.conf: line 3: bad command `nospoof on’linux7.5不再支持nospoof命令了, 修改/etc/host.conf注释掉nospoof on即可。
2023-08-11 18:08:18
2891
原创 linux挂载超过2T的大磁盘
parted /dev/sdbmklabel gptmkpart primary 2048s 100%align-check optimal 1quitmkfs.xfs -f /dev/sdbmount /dev/sdb /srv/BigData/hadoop/data1echo "/dev/sdb /srv/BigData/hadoop/data1 xfs defaults,noatime,nodiratime 1 0" >>/etc/fstab
2023-08-09 10:24:01
829
原创 Doris的索引
目前 Doris 主要支持两类索引：1. 内建的智能索引，包括前缀索引(每行数据的最多前36字节)和 ZoneMap 索引(Min/Max，Null 值个数等)。前缀索引:每行数据的最多前36字节,遇到varchar不会继续读后续字段,建表时需要设计好字段的顺序,每个表只有一个前缀索引。2. 用户手动创建的二级索引，包括 倒排索引-关键词加速、 bloomfilter索引-in单值查询加速、 ngram bloomfilter索引-like查询加速 和bitmap索引-查询加速。
2023-08-04 16:56:17
1431
原创 AI代码生成助手Cursor、TabNine 、Cosy使用体验
AI代码助手好多都需要翻墙,chargpt,微软系统的Copilot, Cursor(基于gpt,需要翻墙)。TabNine不翻墙但是免费版本只给生成单行代码,阿里的cosy功能比较弱甚至不能算ai。即使这样也能大大提高编码效率了， 使用了下，感觉AI编码助手真的是可以解决一部分问题，不可避免的要替代掉部分程序员的工作了。
2023-08-04 16:39:40
2734
4
原创 网络超时导致namenode被kill的定位
超时触发了namenode切换,并将超时的active状态的namenode杀掉来防止集群脑裂。查看日志发现namenode切换为active之前为了防止集群脑裂,主动ssh到原来的namenode集群上把namenode端口杀掉了。网络问题导致namenode与zk间的连接超时触发了hadoop集群的防脑裂机制而主动kill掉了超时的namenode进程。交换机升级导致部分网络通信超时, 集群的namenode主从切换后,主namenode进程被杀死。
2023-07-23 21:41:04
403
原创 seatunnel hive source 未设置分隔符导致多个字段合并成一个的问题定位解决
seatunnel hive source 未设置分隔符导致多个字段没有切分全保存在一个字段中了,翻看源码发现分隔符是是通过delimiter设置的,只要设置这个delimiter=","就可以了。
2023-07-21 10:00:30
769
原创 华为breeze ideploy部署流程示例
https://www.cnblogs.com/withfeel/p/11640877.html 华为breeze ideploy部署流程示例
2023-06-29 20:30:00
600
原创 pstree -p查看使用线程较多的进程
bash: fork: retry: 没有子进程;su:failed to execute /bin/bash网上查看说是线程数用完了, 一般修改/etc/security/limits.d/20-nproc.conf 加大用户的最大线程数,然后重新登录后通过 ulimit -u命令查询最大线程。网上有说ps -ef|grep sshd后把不需要的进程都杀掉。可以pstree -p打印所有进程及线程,找到占用线程较多的进程后,杀掉该进程。
2023-06-12 17:07:26
480
原创 cgroup限制内存使用
#查看进程pidsudo systemctl status kubeletMain PID: 20763 (kubelet)Tasks: 69Memory: 97.9MCGroup: /system.slice/kubelet.service└─20763 /usr/bin/kubelet --bootstrap-kubeconfig=/etc/kubernetes/bootstrap-kubelet.conf --kubeconfig=/etc/kubernetes/kubelet.conf
2023-06-08 09:06:50
1388
原创 手写代码导出导入手机联系人
然后发现百度网盘只能全量恢复,没法去重,可以浏览器查看通讯录但是没有导出功能,好吧,我决定从网页上复制下来然后再手工修改。本来直接复制粘贴也是可以的，但是我还是写了js脚本。console里,每页执行一下,把打印结果复制出来粘贴到.svc文件中,删除不需要的联系人,然后复制到mysql表里去重,最后设法拼出.vcf文件格式。换手机了,一千多联系人里面好多重复的,手机联系人每次同步就增加一批重复的,就想导出来手工处理下再导进去。把文本编辑后的.vcf文件发送到手机上,然后通过通讯录导入.vcf文件即可。
2023-06-05 23:09:26
299
原创 Trino安装使用及权限控制
Trino是一个分布式SQL查询引擎，旨在查询分布在一个或多个异构数据源上的大型数据集。支持丰富的数据源连接方式,支持库、表和字段级别的权限控制,以及支持通过资源组实现类似队列的资源使用控制。这些都需要手工进行配置，这是不方便的地方。
2023-05-06 19:13:13
5302
原创 配置hive后启动trino报错KrbException: no supported default etypes for default_tkt_enctypes
KrbException: no supported default etypes for default_tkt_enctypes 解决: 在 /etc/krb5/krb5.conf 文件的 libdefaults 部分中设置 allow_weak_crypto = true,然后重启Trino。这是因为jdk-17默认禁用了arcfour-hmac-md5-exp、des-cbc-md5 和 des-cbc-crc 弱加密类型。
2023-04-12 20:30:00
783
原创 重写了equals和hashcode方法之后也不能 保证contains方法一定生效
重写了equals和hashcode方法之后也不能 保证contains方法一定生效,看下下面的代码全部能答对输出的估计很少。同一个对象如果修改了之后很可能contains就为false了，平时还是应该对常用容器的源码好好看看。
2023-03-28 17:21:57
417
1
MemoryAnalyzer-1.12.0.20210602-win32.win32.x86_64.zip
2021-10-12
jython-standalone-2.70.zip
2021-08-24
apache-log4j-2.14.1.zip
2021-06-07
flink-1.13.1-bin-scala_2.12.tgz
2021-06-04
jdk11官网下载 linux+windows
2021-03-08
arthas3.4-bin.zip
2020-10-14
data-integration.part3.rar
2020-04-27
data-integration.part2.rar
2020-04-27
data-integration.part1.rar
2020-04-27
mysql-5.7.29-winx64.zip
2020-01-14
代码整洁之道读书笔记.zip
2019-08-21
java多线程安全性基础介绍.pptx
2019-07-25
trino-server-412.tar.gz 分布式多数据源即席查询引擎Trino安装包(Presto)
2023-04-11
sqlflow-data-lineage-model-reference.pdf
2023-03-07
jetty-distribution-9.4.47.v20220610
2022-12-12
curlftpfs-0.9.2安装包
2022-12-09
clickhouse-20.5.4.40 deb安装包 Ubuntu可用
2022-10-27
mysql5.7arm64.zip麒麟arm64架构下的deb安装包
2022-09-02
麒麟ARM平台Docker的.deb安装包
2022-09-02
createrepo本地软件源安装包 createrepo-0.9.9-28.el7.noarch.rpm
2022-08-05
linux版本grafana+prometheus+node_exporter安装包,用于主机监控
2022-06-22
redis5离线安装文件包,包含redis-5.0.14.tar.gz和redis-4.6.0.gem
2022-06-10
chproxy_1.15.1_linux_amd64.tar.gz clickhouse官方代理工具chproxy
2022-06-01
hcache缓存cache查看工具
2022-05-26
clickhouse-22.2.2.1-2.x86_64.rpm离线安装包
2022-04-26
jackson-databind-2.9.10.8.jar升级相关jar包
2022-04-21
redis-3.2.13安装文件集群安装文件包含redis-3.2.13.tar.gz,和redis-3.2.1.gem
2022-04-16
flink-1.5.0-bin-hadoop26-scala_2.11.tgz
2022-03-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人