- 博客(305)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 StarRocks常用命令
除了 timeout 参数可以控制该导入作业的超时时间外，您还可以通过 FE 配置参数 stream_load_default_timeout_second 来统一控制 Stream Load 导入作业的超时时间。而这种场景中的上游数据，往往可能来自于多个不同业务（比如来自购物消费业务、快递业务、银行业务等）或系统（比如计算用户不同标签属性的机器学习系统），主键表的部分列更新功能就很好地满足这种需求，不同业务直接各自按需更新与业务相关的列即可，并且继续享受主键表的实时同步增删改数据及高效的查询性能。
2025-01-24 19:22:41
1146
原创 StarRocks 安装部署
除了 timeout 参数可以控制该导入作业的超时时间外，您还可以通过 FE 配置参数 stream_load_default_timeout_second 来统一控制 Stream Load 导入作业的超时时间。对于 Stream Load、Broker Load、Routine Load 和 Spark Load，导入作业能够容忍的因数据质量不合格而过滤掉的错误数据行所占的最大比例，由作业的可选参数 max_filter_ratio 控制。只有符合 WHERE 子句中指定的过滤条件的数据才会导入。
2025-01-24 19:21:24
1607
原创 Docker方式部署ClickHouse
ClickHouse 21.8.13.6 docker 版本镜像：https://docker.aityp.com/image/docker.io/clickhouse/clickhouse-server:21.8.13.6。ClickHouse docker 版本镜像：https://docker.aityp.com/r/docker.io/clickhouse/clickhouse-server。# 拷贝容器里的配置文件到本机上，按需修改配置、开放端口、设置密码等。# 或者先进入容器、再查看。
2024-10-28 20:32:44
755
原创 Elasticsearch7 常用命令
ES6及低版本支持_type属性，和数据库的对应关系可以理解为_index对应库、_type对应表，而ES7及以上版本不再支持_type属性，在ES7中_index对应表，在ES7中创建索引时无需指定_type、ES底层固定为_type="_doc"。#添加数据、索引不存在时会自动创建索引并写入数据（指定_id，如果_id已存在，多次修改时_version递增）#查询索引数据（指定文档id、即_id，ES7虽然不支持_type、但底层创建索引_type固定为"_doc"）bool: 布尔查询。
2024-10-22 19:31:45
600
原创 SQL Server 2012 ldf日志文接太大的截断和收缩日志处理
如果 SQL Server 数据库的事务日志已满（达到了设定的事务日志文件大小的最大值），则 SQL Server 数据库引擎 会发出 9002 错误。当数据库联机或恢复时，日志可能会满。如果日志在数据库处于联机状态时已满，则该数据库仍会保持联机状态，但只能读取，不能更新。如果恢复过程中日志已满，则数据库引擎将数据库标记为 RESOURCE PENDING。不管哪种情况，都需要 DBA 用户执行操作才能使日志空间可用。因此，平时使用过程中，DBA 就应该频繁的进行维护处理，避免日志文件写满。
2024-09-26 13:33:31
1064
原创 Java访问Hive的几种JDBC URL格式
zookeeper quorum：是 hive-site.xml 配置文件中 Zookeeper 的 Quorum 节点列表，以三节点为例格式为：zk_host01:zk_port,zk_host02:zk_port,zk_host03:zk_port。4）hive2 server HA（zookeeper）方式访问（带Kerberos认证） JDBC URL。2）hive2 server HA（zookeeper）方式访问 JDBC URL。1）hive2 server 单点访问 JDBC URL。
2024-08-05 20:59:55
1436
1
原创 SecureCRT使用SSH登录服务器报错：Key exchange failed
方案3）如果无法本地登录管理服务端、只能ssh访问服务端的话，那可以试试用其他ssh客户端软件（支持服务端秘钥交换算法）先登录、修改服务端sshd配置文件、重启服务，然后就可以通过SecureCRT客户端登录了。ssh客户端与服务器的公钥协商失败，SecureCRT客户端所指定的秘钥交换算法（KexAlgorithms ），不在服务端支持范围内。可能是服务端的sshd版本比较高、默认配置不支持一些比较旧的秘钥交换算法。修改sshd配置后，重启sshd服务，然后就可以用SecureCRT SSH登录了。
2024-06-27 19:00:39
7410
原创 Centos7上tomcat.service服务脚本创建与自启动
如果要禁用自启动，则直接禁用服务 systemctl disable tomcat.service 即可，等效于直接删除软连接 unlink /etc/systemd/system/multi-user.target.wants/tomcat.service。等效于 ln -s /usr/lib/systemd/system/tomcat.service /etc/systemd/system/multi-user.target.wants/tomcat.service。在指定的服务之后启动本服务。
2024-05-17 07:05:05
522
1
原创 Centos添加FTP用户指定解释器为/sbin/nologin导致FTP无法登录（530 Login incorrect）的问题
Centos vsftpd 配置时，添加FTP用户时为了禁止ssh登录、仅用于FTP登录而指定解释器为/sbin/nologin，但用该用户进行FTP登录时报错 530 Login incorrect.在 /etc/shells 文件里面添加用户的 shell（解释器）登录失败，报错 530 Login incorrect.去掉用户主目录的写权限、并创建独立的可写子目录。
2024-04-06 09:10:41
2139
原创 FTP登录（vsftpd）报错500 OOPS: vsftpd: refusing to run with writable root inside chroot()的问题
FTP登录（vsftpd）报错500 OOPS: vsftpd: refusing to run with writable root inside chroot()最终查找资料，定位原因如下：当配置 chroot_local_user=YES 锁定用户登录 FTP 后，只能到自己的主目录下，不能随便切换到其它目录。但是普通系统用户默认是可以在自己的主目录里写文件的，vsftp 出于安全性要求，如果配置为锁定了用户的 FTP 登录目录，则所在目录不能有写权限。
2024-04-06 09:06:10
3075
1
原创 hadoop 常用命令
datanode 使用率占满&配置容量显示为0的问题【DFS Used%: 100.00% & Configured Capacity: 0 (0 B)】尝试多种方法、最终原因是 slave 中配置的 datanode 节点 hostname 配置成了 localhost 而导致的问题。vi salve 把配置的 datanode 主机名配置为 hadoop01 后，重启 datanode 服务，问题就解决了。-- load后会在配置文件决定的固定目录下产生一个表名对应的目录，目录下为对应的数据文件。
2024-03-26 07:05:44
913
原创 Maven构建OSGI+HttpServer应用
使用 "org.eclipse.equinox.http" 包（例如：http-1.0.100-v20070423.jar），可以将我们自定义的服务（servlet或静态资源页面）注册到这个 HttpService 中去，实现自定义的HTTP服务。一种是基于”org.eclipse.equinox.http”包的轻量级实现，另一种是基于”org.eclipse.equinox.http.jetty”包（基于jetty的Servlet）实现。3）创建静态页面文件：webpage/index.html。
2024-02-06 09:51:30
1762
1
原创 OSGI bundle 运行报错 java.lang.ClassNotFoundException & java.lang.NoClassDefFoundError
OSGI bundle 运行报错 java.lang.ClassNotFoundException & java.lang.NoClassDefFoundError。修改 pom ，增加 Dynamicimport-Package 配置：com.mysql.*
2023-12-12 18:20:07
1471
原创 基于Maven构建OSGI应用（Maven和OSGI结合）
基于Maven构建OSGI应用。使用Maven来构建项目，包括项目的创建、子模块buldle的创建等。使用OSGI来实现动态模块化管理，实现模块的热插拔效果（即插即用）。创建一个Maven项目：helloworld，并在该项目下创建两个Maven 子模块：helloworld-client、helloworld-server。创建 helloworld maven项目、填写参数及Advanced Settings：
2023-12-09 14:35:08
1474
原创 Java正则分组查找和替换
Java使用正则分组功能以及查找和替换功能来实现对包含密码的ftp或sftp协议访问格式的url字符串中的密码进行脱敏
2023-11-29 13:50:03
575
原创 Linux shell for jar test
Linux shell 脚本，循环解析命令行传入的所有参数，并按照不同的传参实现对不同的 java jar文件 进行测试执行。
2023-11-27 21:53:26
1159
原创 SQL实现根据时间戳和增量标记IDU获取最新记录和脱IDU标记
- 先查询一下根据时间戳字段和id进行处理，对id去重（同一个id的多条重复记录，只取时间戳最新的一条记录）-- 带IDU标记idu字段，但去掉了id重复的记录、只保留时间戳字段最新的一条记录，即 id 唯一。-- 带IDU标记idu字段和时间戳字段ctimestamp，id字段可能存在重复的值的记录。-- 脱IDU和时间戳以后的最终目的表（不带增量标记和时间戳字段）-- 根据id和时间戳查询最新记录、并只显示idu='IU'的结果。-- 根据id和时间戳查询最新记录、并只显示idu='D'的结果。
2023-10-31 20:28:26
622
原创 idea中Run/Debug Python项目报错 Argument for @NotNull parameter ‘module‘ of ...
Error running 'main': Argument for @NotNull parameter 'module' of com/intellij/openapi/roots/ModuleRootManager.getInstance must not be null1）File -> Project Structure-> Project，检查 SDK 参数是否指定了 Python SDK2）File -> Project Structure-> Modules
2023-10-29 20:42:03
19457
1
原创 GBase8a SSL 配置
openssl x509 -sha1 -req -in server-req.pem -days 3650 -CA ca-cert.pem -CAkey ca-key.pem -set_serial 01 -out server-cert.pem # 服务器证书。[no]: yes。[no]: yes。// 仅打印 Ssl_cipher, Ssl_cipher_list, Ssl_verify_depth, Ssl_verify_mode, Ssl_version。
2023-10-26 21:30:10
1068
原创 GBase8a 连接工具 gccli 独立安装
gccli 连接工具也可以独立安装在单独的虚机上使用（非 GBase8a 集群节点上安装），但系统必须是 GBase8a MPP Cluster 支持的系统。会释放 gccli_install 目录，包含两个文件 gccli_install.sh、gccli_standalone.tar.bz2。step2：创建 gccli 安装的目标目录，拷贝 gccli_install 目录下的所有文件到 gccli 安装的目标目录下。step3：在安装的目标目录下执行安装脚本。
2023-10-26 10:34:23
1094
原创 GBase 8a 负载均衡策略及JDBC连接方式
整个集群是由若干个 VC 组成，所有的 VC 由同一套 GCluster Cluster（集群的分布式调度集群）和 GCware Cluster（集群的分布式管理集群，一致性）管理， 共享统一的入口。VC：Virtual Cluster，虚拟集群，是对 Data Cluster（集群的分布式数据存储计算集群）节点的划分， 每个 VC 拥有固定数量的 Data Cluster 节点。要高可靠的话，必须配置该参数为 true。4，用户有多个VC的访问权限时，可以在多个VC间进行数据交换，甚至跨VC查询数据。
2023-10-17 20:31:26
1116
原创 Centos7安装GBase8a V9.5
连接集群时，如果当前IP（比如jdbc的最前面的IP）无法连接，则自动从 hostlist 里面挨个尝试连接，直到连接成功返回，或者均不可用报错退出。注意：dbaPwd配置指定gbase OS用户密码，rootPwd指定root OS用户密码，这里指定的是安装时需要用到的OS用户的密码，而不是数据库用户密码，数据库用户密码时安装完成以后会自动生成默认密码，然后再自行修改。注意：在同一应用程序中(JVM)， 如果有多个不同用途的URL，则gclusterId必须唯一，否则会导致访问了不属于本服务负责的集群。
2023-10-16 18:35:45
1382
原创 MySQL性能优化之buffer pool配置优化
设置值大于1时，需要保证：innodb_buffer_pool_size / innodb_buffer_pool_instances > 1GB。2）如果修改了 innodb_buffer_pool_chunk_size 值将会导致 innodb_buffer_pool_size 的值改变。
2023-10-12 12:53:43
456
原创 MySQL 数据库查询缓存query_cache_type
MySQL 数据库的查询缓存功能打开以后，当执行完全相同的 SQL 语句的时候，服务器就会直接从缓存中读取结果，当数据被修改则之前的缓存会失效，修改比较频繁的表不太适合做查询缓存。query_cache_limit : 允许使用 MySQL 查询缓存的单条 Query 结果集占用内存的最大值，默认是 1MB，超出此大小的 SQL 语句结果集则不放入缓存。Qcache_not_cached：非缓存查询的数量（由于 query_cache_type 设置而无法缓存或未缓存的查询的数量）-- 不缓存查询结果。
2023-10-08 17:41:32
1564
原创 Centos7 docker 容器内root身份应用自启动 & /usr/sbin/init 问题
网上找了很多资料，原因是 root 身份运行docker容器，需要特权，需要加 /usr/sbin/init 运行容器。最后，换了一个思路，既然mysqld和nginx做成了service服务自启动可以（systemctl enable xxx），那我也尝创建自己应用的.service脚本，做成系统服务自启动。容器 478394f89173 是以root运行的，里面的mysqld服务和nginx服务自启正常，但自己服务编写的自启动脚本 init_ats 自启不生效。
2023-10-01 01:46:37
1910
原创 vue前端项目中添加独立的静态资源
如果想要在vue项目中放一些独立的静态资源，比如html文件或者用于下载的业务模板或其他文件等，需要在vue打包的时候指定一下静态资源的位置和打包后的目标位置。使用的是 copy-webpack-plugin 插件。const CopyPlugin = require("copy-webpack-plugin")module.exports = { configureWebpack:{
2023-09-30 09:25:39
1031
原创 Centos7 yum方式安装mysql8
gpgcheck=0 # 改为0不校验，gpgcheck表示安装rpm包时，是否基于公私钥对匹配包的安全信息，1表示开启，0表示关闭，此项不写默认为验证。enabled=1 # enabled表示当前仓库是否开启，1为开启，0为关闭，此项不写默认为开启，确认已经为1。下面两部操作不是必须的，可以选择是否执行，清除缓存和重新生成缓存。1.如果之前安装过或者系统默认安装了MariaDB，需要先卸载。再检查是否有手动安装过 mysql ，如果有，也需要删除。安装初始为随机密码，需要修改方便好记。
2023-09-29 20:11:02
1071
windbg调试工具安装和使用说明.doc
2020-02-28
TotalCommanderPortable_9.50b5.zip
2019-12-24
iso_10816-1-1995.pdf
2019-12-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人