- 博客(282)
- 资源 (23)
- 收藏
- 关注
RSS订阅
原创 豆瓣最新国产电影Top10
我这里整理了下豆瓣目前来说排名最高的国产电影Top10Top1经典台词：1.真虞姬，假霸王2.不疯魔不成活（巩俐当时颜值爆表啊）经典画面：Top2经典台词：1.曾经有一份真挚的爱情摆在我的面前，可是我没有珍惜，等到失去的时候才后悔莫及，尘世间最痛苦的事莫过于此．如果上天可以让我再来一次的话，我会对那个女孩子说三个字：我爱你．如果要给这份爱加一个期限，我希望是一万年．2.我的意中人是个盖世英雄，有一...
2018-02-04 12:27:53
3200
原创 换个眼界，换种心情
大家刚看我博客的时候肯定会好奇，为什么要起这个昵称呢，难道你会签名设计不成？？？ 在下不才，曾经在大学期间做过一段时间的签名设计，也就是小打小闹，体验了下过程罢了，不过经历还是值得回忆的。 以下是我的一些作品，不为别的，就为作为IT的我们换个眼界，没必要整天眼中都是代码什么的，放松一下心情吧。登录新浪微博可...
2017-07-23 15:30:44
1223
原创 ElasticSearch 分词器
不同的 Analyzer 会有不同的分词结果，内置的分词器有以下几种，基本上内置的 Analyzer 包括 Language Analyzers 在内，对中文的分词都不够友好，中文分词需要安装其它 Analyzer。可以看出是按照空格、非字母的方式对输入的文本进行了转换，比如对 Java 做了转小写，对一些停用词也没有去掉，比如 in，其中 token 为分词结果；有时在淘宝搜索商品的时候，会发现使用汉字、拼音、或者拼音混合汉字都会出来想要的搜索结果，其实是通过拼音搜索插件实现的。：会做最粗粒度的拆分。
2025-03-26 17:39:29
1003
原创 Elasticsearch Sql 查询
ElasticSearch 从6.3.0版本也开始支持 SQL 查询了。在早期版本中，Elasticsearch 执行 SQL 的 REST 接口为_xpack/sql，但在版本 7 以后这个接口已经被废止而推荐使用_sql接口。Elasticsearch 支持传统关系型数据库 SQL 语句中的查询语句，但并不支持DML、DCL 句。换句话说，它只支持 SELECT 语句，不支持 INSERT、UPDATE、DELETE语句。
2025-03-17 19:16:19
408
原创 Flink 1.17.2 版本用 java 读取 starrocks
在 Flink 1.17.2 中使用 Java 读取 StarRocks 数据，可以通过 JDBC 连接器 或 StarRocks 官方提供的 Flink Connector 实现。StarRocks 兼容 MySQL 协议，可通过 Flink 的 JDBC 连接器读取数据。StarRocks 提供官方 Connector，支持高效读写。
2025-03-12 21:14:21
524
原创 Flink DataSet API
文章目录DataSet SourcesDataSet TransformationDataSet Sink序列化器一、样例一：读 csv 文件生成 csv 文件二、样例二：读 starrocks 写 starrocks三、样例三：DataSet、Table Sql 处理后写入 StarRocks四、`DataSet<Row>` 遍历分类：Source：数据源创建初始数据集，例如来自文件或 Java 集合。Transformation：数据转换将一个或多个 DataSet 转换为新的 Da
2025-01-03 15:01:54
804
原创 Flink UDF
一、样例一：读 csv 文件生成 csv 文件 参考：（3）Flink学习- Table API & SQL编程 准备测试文件 ： 运行程序后会生成 文件。
2024-11-27 16:22:07
640
原创 Flink CDC 同步 Mysql 数据
Flink CDC 基于数据库日志的技术，实现了全量和增量的一体化读取能力，并借助 Flink 优秀的管道能力和丰富的上下游生态，支持捕获多种数据库的变更，并将这些变更实时同步到下游存储。
2024-10-30 20:31:55
1358
1
原创 Debian安装mysql遇到的问题解决及yum源配置
每次发布的版本都是稳定版，而测试版在经过一段时间的测试证明没有问题后会成为新的稳定。而不稳定版的代号永远是 sid。第三部分表示你的debian版本号（注意，不是某个软件的版本号，而是debian本身的版本号），也有人称这是对debian软件包的一种水平划分（这种说法还是比较形象的），具体这一项怎么写，可以参看http://mirrors.163.com/debian/dists/网页里面的内容（如下图），大致来说按版本的旧–>新程度有这么几大类：oldstable，stable，testing，sid。
2024-09-23 11:27:49
1431
原创 K8S 上部署 Emqx
访问 Kubernetes 的任意一台节点 IP 的 32717 端口，输入默认用户名：admin，默认密码：public，登陆 EMQX dashboard。可以看到 my-emqx 的 18083 端口对应的宿主机的 32717 端口。（NodePort 在每次部署的时候都会变化，以实际部署时为准。启动 EMQX 集群，设置。
2024-07-15 09:53:28
1562
4
原创 Java代码常用功能实现总结（三）
上述是几种不同的方法来遍历目录下的文件，包括递归、栈和队列。通过递归的方法，可以在遇到子文件夹时自动进入子文件夹继续遍历；而栈和队列的方法通过维护一个待处理的文件集合，不断处理集合中的文件，可以实现相同的效果。确保在运行此代码之前，已经设置好Hadoop的相关配置，并且有权限对HDFS上的文件进行操作。此外，需要有一个编译Java的环境，并且确保已经添加了Hadoop的相关依赖库。方法之前，旧文件存在，并且没有其他进程正在使用该文件。同时，确保应用程序有足够的权限去更改文件名，并且目标路径存在。
2024-04-22 14:54:56
1267
1
原创 Redis安装及使用
简单来说 redis 就是一个数据库，不过与传统数据库不同的是 redis 的数据是存在内存中的，所以读写速度非常快，因此 redis 被广泛应用于缓存方向。另外，redis 也经常用来做分布式锁。为什么要用 redis/为什么要用缓存？主要从“高性能”和“高并发”这两点来看待这个问题。高性能：假如用户第一次访问数据库中的某些数据，这个过程会比较慢，因为是从硬盘上读取的。如果该用户访问的数据存在缓存中，这样下一次再访问这些数据的时候就可以直接从缓存中获取了。
2024-01-16 10:54:16
790
原创 CDH 6.3.2-1 离线安装部署（Centos7.9）
三台服务器都操作：三、安装 Cloudera-Manager四、访问 Cloudera Manager五、集群异常信息解决参考：Linux搭建Cloudera Manager+CDH6.3.1环境
2023-12-27 11:20:52
1329
原创 SQL语句整理二--Mysql
这个是要区分环境的。就遇到了本来想根据三个字段去插入数据，结果 unique 索引只设置了两个字段，这就导致本来想插入两个字段值一样另一个字段值不一样的五条数据，但不一样的那个字段没设置为 unique 索引，这就导致只插入了一条循环后的最后一条数据。开窗函数与聚合函数一样，也是对行集组进行聚合计算，但是它不像普通聚合函数那样每组只返回一个值，开窗函数可以为每组返回多个值，因为开窗函数所执行聚合计算的行集组是窗口。会覆盖不指定字段的值，比如我更新字段1和2之前字段3的值为5，字段3设置的默认值为0，则。
2023-12-18 16:17:05
1371
原创 浪潮服务器安装操作系统
一开始认为将镜像文件导入U盘即可，但实操中并不行，得首先将U盘制作成启动盘才行。打开刻录软件，选择光盘镜像文件，点击”写入硬盘映像”，以下是刻录过程的截图。首先需要确定安装的版本，我这里要安装的是。
2023-11-14 11:57:30
4028
原创 Rclone 上传本地文件到 OSS
上面是通过 Amazon S3 协议挂载的 OSS，符合亚马逊 S3 标准的存储提供商，包括 AWS、阿里巴巴、Ceph、中国移动、Cloudflare、ArvanCloud、DigitalOcean、Dreamhost、华为OBS、IBM COS、IDrive e2、IONOS Cloud、Liara、Lyve Cloud、Minio、网易、RackCorp、Scaleway、SeaweedFS、StackPath、Storj、腾讯COS、Qiniu 和 Wasabi。
2023-11-13 12:00:27
1812
原创 Hbase的bulkload流程与实践
通常MapReduce在写HBase时使用的是方式，在 reduce 中直接生成 put 对象写入HBase，该方式在大数据量写入时效率低下（HBase 会 block 写入，频繁进行 flush、split、compact 等大量 IO 操作），并对HBase节点的稳定性造成一定的影响（GC 时间过长，响应变慢，导致节点超时退出，并引起一系列连锁反应），而HBase支持bulk load的入库方式，它是利用hbase的数据信息按照特定格式存储在hdfs内这一原理，直接在HDFS中生成持久化的HFile。
2023-06-15 10:03:21
3524
转载 漫谈数据仓库之拉链表（原理、设计以及在Hive中的实现）
本文将会谈一谈在数据仓库中拉链表相关的内容，包括它的原理、设计、以及在我们大数据场景下的实现方式。先分享一下拉链表的用途、什么是拉链表。通过一些小的使用场景来对拉链表做近一步的阐释，以及拉链表和常用的切片表的区别。举一个具体的应用场景，来设计并实现一份拉链表，最后并通过一些例子说明如何使用我们设计的这张表（因为现在Hive的大规模使用，我们会以Hive场景下的设计为例分析一下拉链表的优缺点，并对前面的提到的一些内容进行补充说明，比如说拉链表和流水表的区别。
2023-05-11 22:20:37
1053
原创 Html 小功能总结一
当然有一种方式是在页面跳转前，先发个请求到后台将值存储到session中，跳转后再发个请求到后台取出。这种方式不仅仅慢而且还特别耗费资源。 以下有其他的几种方式：
2022-11-24 14:52:43
506
原创 Neo4j的安装和使用
Neo4j是一个高性能的NOSQL图形数据库，它将结构化数据存储在网络上而不是表中。它是一个嵌入式的、基于磁盘的、具备完全的事务特性的Java持久化引擎，但是它将结构化数据存储在网络（从数学角度叫做图）上而不是表中。Neo4j也可以被看作是一个高性能的图引擎，该引擎具有成熟数据库的所有特性。程序员工作在一个面向对象的、灵活的网络结构下，而不是严格、静态的表中。但是他们可以享受到具备完全的事务特性、企业级的数据库的所有好处。Neo4j因其嵌入式、高性能、轻量级等优势，越来越受到关注。 现实中很多数据都是
2022-06-15 16:05:48
1944
原创 大数据各组件安装（数据中台搭建）
文章目录一、基础环境配置（三台机器都操作）1.修改主机名：2.关闭防火墙：3.关闭Selinux：4.文件描述符配置：5.自定义JDK安装：5.1 删除默认openJDK：5.2 安装jdk1.8.0_91：6.创建Hadoop用户：7.配置SSH免密登录：二、大数据组件安装1.安装Zookeeper：2.安装Hadoop：3.安装Hbase：4.安装Hive：4.1 安装MySQL：4.2 部署Hive：5.安装kafka：6.安装Solr：7.安装Atlas：7.1 集成 Hbase：7.2 集成 So
2022-04-02 12:14:01
8243
3
原创 Docker实践与命令
安装docker：yum -y install docker下载镜像：docker search centos //搜索镜像启动容器： 因为是在1台虚拟机搭建3个docker的缘故，所以这次选择的docker 网卡类型为bridge模式（bridge模式容器ip无法自己指定），网段为 172.17.0.0/16 网关为172.17.0.1，三台容器的主机名和ip分别为：server 172.17.0.2agent1 172.17.0.3age
2022-03-21 15:50:34
1417
原创 Atlas学习二
文章目录一、安装atlas1.集成 Hbase：2.集成 Solr：3.集成 Kafka： 首先调大虚拟机内存为6G左右：一、安装atlasmvn clean -DskipTests package -Pdist,external-hbase-solr -Denforcer.skip=true# 由于atlas只提供源码，所以需要我们先将源码编译后，再将压缩包上传到服务器tar -zxvf apache-atlas-2.1.0-server.tar.gz1.集成 Hbase：root
2021-10-15 17:38:49
536
原创 Atlas学习一
文章目录一、apache-atlas-1.1.0-sources源码编译打包1.遇到的问题：2.启动：一、apache-atlas-1.1.0-sources源码编译打包源码包下载地址：apache-atlas-1.1.0-sources.tar.gz Atlas目前只能自行编译源码进行安装，Atlas使用java开发，但是是以python方式启动，所以安装之前，环境必须满足以下需求：jdk 1.8+maven3.xpython2.7+ 我把源码包上传到了CentOS服务器上（Cent
2021-10-12 19:04:37
1800
SimHei MAC字体资源
2024-04-23
hadoop.dll 文件，解决报错所需文件
2024-04-11
HDP3.1.5.0+Ambari2.7.5安装部署（Centos7.2）所需的三台Ambari镜像
2023-04-13
大数据各组件安装（数据中台搭建）所需安装包
2022-04-02
Snort_3.0.0-a4-241_on_Ubuntu_14_and_16.pdf
2018-02-09
elasticsearch-2.2.0.tar.gz
2017-09-19
flumee.zip
2017-08-03
winutils.exe
2017-07-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人