大数据
文章平均质量分 50
怪只怪满眼尽是人间烟火
尚未佩妥剑 转眼已江湖
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
HugeGraph 【图数据库】JAVA调用SDK
【代码】HugeGraph 【图数据库】JAVA调用SDK。原创 2025-07-16 20:56:32 · 346 阅读 · 0 评论 -
【java】文件&文件夹时间刷新工具
摘要:这是一个Java Swing开发的文件夹/文件时间批量修改工具(v3.0),主要功能包括: 支持批量修改文件/文件夹的创建、修改和访问时间 可设置当前系统时间或自定义时间(格式:yyyy-MM-dd HH:mm:ss) 提供递归处理子文件夹选项 支持拖放文件夹路径操作 显示详细操作日志和进度条 自动保存用户配置偏好 可自由组合需要修改的时间属性 该工具采用GUI界面,操作简便,能有效处理文件系统时间属性,适用于需要统一调整文件时间的场景。程序采用多线程处理,并实时显示处理进度和结果统计。原创 2025-07-11 10:18:13 · 397 阅读 · 0 评论 -
集群【运维】麒麟V10挂载本地yum源
【代码】集群【部署】麒麟V10挂载本地yum源。原创 2025-06-30 22:01:25 · 667 阅读 · 2 评论 -
linux单机版kafka启动命令
需要java环境,推荐1.8以上下载kafka,解压,进入kafka的bin目录启动zookeeper(Kafka 0.5.x版本以上已经自带ZooKeper)自测的话直接使用自带的zookeeper就行,要是生产的话,建议分离。nohup ./zookeeper-server-start.sh ../config/zookeeper.properties &启动kafkanohup ./kafka-server-start.sh ../config/server....原创 2022-01-25 11:42:08 · 2090 阅读 · 0 评论 -
HugeGraph【部署】Linux单机部署
注: 从版本1.5.0开始,需要 Java11 运行时环境。原创 2025-06-30 10:07:39 · 618 阅读 · 0 评论 -
Neo4j【部署】windows和linux单机部署
neo4j新版本安装需要部署jdk17,下面这个版本是jdk8最新的支持版本。原创 2025-06-24 17:25:57 · 505 阅读 · 0 评论 -
SQL分片工具类
摘要: SQL分片工具类(SqlShardingUtil)提供数据库查询的智能分片功能,支持数字和字符串两种字段类型的分片策略。对于数字字段,可以指定分片数量均匀划分数值区间;对于字符串字段,则按照ASCII字符范围自动划分。工具类确保分片后的SQL语句完整覆盖数据范围且不重复,同时支持附加WHERE条件。实现原理是通过计算分片边界值,构建区间查询条件,特别处理字符串类型的开放式结尾区间,保证数据完整性。该工具适用于大数据量查询的性能优化场景。原创 2025-06-19 20:04:16 · 617 阅读 · 0 评论 -
关键节点分析 (PageRank)结合流量进行分析
这个版本适用于,你可以直接保存并用于计算不同场景的 PageRank!🚀济南 → 西安(500)济南 → 北京(500)西安 → 天津(100)北京 → 西安(500)天津 → 北京(200)原创 2025-03-04 09:40:24 · 282 阅读 · 0 评论 -
十亿数据量 判断元素是否存在
核心是采用:bitMap假设一个场景,要存0-7之内的数字[3,5,6,1,2],尽量的节省空间。传统思路就是单纯使用集合存储:使用redis的set集合存储,但若是数据量放大到十亿级别,集合的所占用的内存会很是大。并且,redis单个实例最大为2.5亿。另外一种思路是使用BitMap:表示[3,5,7,1,2],咱们能够用8bit的空间来存储,每一个数字都在对应的位置中以1的方式表示这样,相当于每一位只存储了一个字符,只需要知道该下标是否为1,即可。这里是不是就会发现,存储的数据必须为正整数,才可以使用原创 2022-06-10 11:42:42 · 757 阅读 · 0 评论 -
apache Doris linux单机安装部署
环境准备CPU:2C(最低)8C(推荐) 内存:4G(最低)48G(推荐) 硬盘:100G(最低)400G(推荐) 平台:MacOS(Intel)、LinuxOS、Windows虚拟机 系统:CentOS(7.1及以上)、Ubuntu(16.04及以上) 软件:JDK(1.8及以上)、GCC(4.8.2及以上)独立部署1.设置系统中打开文件句柄的最大数量vim /etc/security/limits.conf * soft nofile 65536* hard n..原创 2022-05-25 10:24:08 · 2861 阅读 · 7 评论 -
ClickHouse设置用户名密码
官方不建议直接写明文密码,可以用以下命令生成密码PASSWORD=$(base64 < /dev/urandom | head -c8); echo "$PASSWORD"; echo -n "$PASSWORD" | sha256sum | tr -d '-'停止clickhouseservice clickhouse-server stop启动clickhouseservice clickhouse-server start...原创 2022-03-28 14:49:16 · 1905 阅读 · 0 评论 -
ClickHouse分布式集群部署
前提:首先每个集群上搭建zookeeper集群。然后每个集群上都部署ClickHouse集群部署:每个集群上都新建一个文件:/etc/metrika.xmltouch /etc/metrika.xml<?xml version="1.0" encoding="utf-8"?><yandex> <clickhouse_remote_servers> <perftest_3shards_1replicas>原创 2022-03-28 14:43:47 · 2021 阅读 · 0 评论 -
Spring Boot集成Debezium监控数据库变化
看这篇文章之前,建议先看这篇文章,主要是采用数据的binlog进行监听mysql实时监听canal+kafka_怪只怪满眼尽是人间烟火-优快云博客1.首先安装mysql2.然后安装kafka然后安装kafkahttps://qushen.blog.youkuaiyun.com/article/details/1226820003.安装并配置canalcanal.deployer-1.1.5.tar.gzhttps://github.com/alibaba/canal/releases/downl...原创 2022-02-24 11:58:06 · 4011 阅读 · 4 评论 -
Flink-CDC读取数据库binlog
<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.12.0</version> </dependency> <dependency> <groupId>org.apache.flink.原创 2022-02-21 13:53:07 · 2022 阅读 · 0 评论 -
Apache seaTunnel的本地启动
准备spark环境:https://qushen.blog.youkuaiyun.com/article/details/122997521下载 seatunnel:wget https://github.com/InterestingLab/seatunnel/releases/download/v1.5.7/seatunnel-1.5.7.zip -O seatunnel-1.5.7.zip解压,并采用软连接重命名:unzip seatunnel-1.5.7.zipln -s seatu原创 2022-02-18 10:57:01 · 2867 阅读 · 0 评论 -
CentOS安装ClickHouse
安装前准备:1.取消打开文件数限制:修改打开文件限制,修改修改两个文件,分别是: vi /etc/security/limits.confvim /etc/security/limits.d/20-nproc.conf在上面两个文件末尾都添加:* soft nofile 1024000* hard nofile 1024000* soft nproc 1024000* hard nproc 10240002.关闭selinux:sudo vim /etc/s原创 2021-09-05 22:49:54 · 581 阅读 · 0 评论 -
Centos修改文件打开数限制
查看打开文件数:ulimit -n修改打开文件限制,修改修改两个文件,分别是: vi /etc/security/limits.confvim /etc/security/limits.d/20-nproc.conf在上面两个文件末尾都添加:* soft nofile 1024000* hard nofile 1024000* soft nproc 1024000* hard nproc 1024000...原创 2021-09-05 22:11:06 · 883 阅读 · 0 评论 -
Hadoop四大组件
common、HDFS、MapReduce、YARNcommon:HDFS:(Hadoop Distributed File System):分布式文件系统。 a.文件系统:文件管理+block块管理。 b.分布式:多个服务器存储。 c.三大组件 &...原创 2021-06-21 10:17:59 · 817 阅读 · 1 评论 -
mysql的表分区
1.RANGEalter table `cdb_test` partition by range (id) ( partition `p0` values less than (2), partition `p1` values less than (4), partition `p2` values less than (maxvalue))2.List原创 2020-07-16 20:59:45 · 1089 阅读 · 0 评论 -
大数据的学习路线
大数据的本质: 数据的储存。 数据的计算。学习路线:(1)java基础和linux基础。(2)hadoop的学习:体系结构、原理、变成。 第一阶段:HDFS(储存)、MapReduce(计算)、HBase(NoSQL数据库)。 ...原创 2020-04-13 12:13:31 · 190 阅读 · 0 评论
分享