自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

加贝的博客

专注大数据技术实战,分享Hadoop/DataWorks/Flink开发经验和实操案例,方便新手快速入门。

  • 博客(73)
  • 资源 (1)
  • 收藏
  • 关注

原创 MaxCompute开发UDF和UDTF案例

Java开发MaxCompute的UDF和UDTF使用案例,更多详情可参考: https://help.aliyun.com/zh/maxcompute/user-guide/udfs-1/?spm=a2c4g.11186623.help-menu-27797.d_2_1_3_3.4a4b11c1MAtFZb

2025-06-03 22:47:44 984

原创 DataWorks通用资源组绑定的VPC配置NAT网关

Serverless资源组默认不具备公网访问能力,如果需要通过公网访问数据源或网络,请为Serverless资源组绑定的VPC配置公网NAT网关和EIP

2025-06-02 16:56:56 405

原创 MaxCompute的本地备份与恢复

MaxCompute的备份与恢复功能和操作命令,并提供参考示例。

2025-06-01 01:55:55 199

原创 Hologres SQL开发参考

实时数仓 Hologres的SQL开发参考

2025-05-15 01:00:36 976

原创 DataWorks的SQL组件使用

SQL组件用于将SQL过程抽象为一个SQL模板,实现SQL代码的复用。

2025-05-10 01:31:25 447

原创 DataWorks常见错误场景

DataWorks常见报错以及解决方案,该文档会持续更新...

2025-05-09 01:14:36 198

原创 DataWorks快速入门

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎,为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

2025-05-08 22:39:44 366

原创 StarRocks的物化视图详解

同步物化视图和异步物化视图的使用说明,参考开源文档, 仅供学习使用

2025-03-29 01:34:04 1070

原创 StarRocks的执行计划和Profile

为优化 StarRocks 集群性能,管理员需要定期针对慢查询进行分析并优化,本文介绍如何分析SQL查询

2025-03-29 01:32:28 514

原创 Flink基础简介和安装部署

Flink是⼀个分布式,高性能,随时可⽤的以及准确的流处理计算框架,Flink可以对无界数据(流处理)和有界数据(批处理)进⾏有状态计算的分布式,⾼性能的计算框架。⽆界数据流:数据流是有⼀个开始但是没有结束;有界数据流:数据流是有⼀个明确的开始和结束,数据流是有边界的。

2025-03-23 00:33:29 1018

原创 Windows本地部署DeepSeek

访问 https://ollama.com/library/deepseek-r1 选择要部署的deepseek-r1, 这里我选择7B。复制命令在本地cmd窗口执行,等待安装完成即可。中间网络开小差了,重新执行了一次 安装成功。双击安装完Ollama,默认安装在C盘的。本案例使用Windows电脑。

2025-02-18 23:04:45 796

原创 ElasticSearch的Python Client集成

Python Client 链接阿里云ES的代码案例,参考了ES官方文档仅供学习参考使用

2024-11-10 10:56:42 450

原创 Hadoop-007-MapReduce&YARN的配置部署

分布式计算组件MapReduce和分布式调度组件YARN的配置, 部署 以及实测执行任务验证

2024-11-01 16:27:43 1036

原创 Hadoop-006-集群运维常见报错及解决方案

Hadoop集群常见问题总结, 后续在实际应用中有相关场景会不断持续更新该篇文档

2024-11-01 15:17:16 348

原创 Hadoop-005-HDFS分布式文件存储原理

HDFS的数据存储原理和读写流程

2024-11-01 15:16:10 1527

原创 Hadoop-004-Big Data Tools插件的使用

Big Data Tools插件的使用,可以链接HDFS可视化操作

2024-11-01 04:20:38 588

原创 Hadoop-003-HDFS的Shell命令操作

HDFS常用的Shell命令

2024-11-01 03:04:35 414

原创 Hadoop-002-部署并配置HDFS集群

第一篇前期环境准备后, 本文主要是HDFS的部署完整配置, 直到搭建完成成功访问 http://hadoop-1:9870

2024-10-30 00:46:44 1314

原创 Hadoop-001-本地虚拟机环境搭建

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。本篇学习为主, 介绍Hadoop集群虚拟机的搭建,包括网络配置, 免密登录,JDK环境, 时间同步, 防火墙设置,SETLinux 等等, 实际场景可以先配置好一台服务器环境再克隆2台虚拟机, 或者直接购买云服务器来配置。参考黑马程序员公众号提供的视频和资料,非常感谢!

2024-10-22 12:39:43 628 1

原创 StarRocks的SQL开发基础命令

快速上手的的基础脚本使用

2024-10-20 22:09:55 940

原创 StarRocks产品简介

Starrocks的基础简介和架构说明,参考开源官方文档学习

2024-10-20 01:03:34 909

原创 MQTT.fx工具的使用

MQTT.fx Version 1.7.1 for Windows版本的配置使用

2021-10-27 18:26:58 2454

原创 SuppressWarnings注解学习与使用

SuppressWarnings注解的使用

2021-09-14 01:18:36 471 1

原创 MQTT Topic通配符匹配规则

本文介绍了主题树的层级分隔符/的使用,以及多层通配符#和单层通配符+在匹配主题时的规则。多层通配符能匹配任意层数,而单层通配符仅匹配一层。注意,通配符不能用作发布者消息,且主题命名应避免特殊字符,如null,并保持在64k长度限制内。

2021-01-15 00:03:40 5112 1

原创 cron表达式-Scheduled

Scheduled(cron = " * * * * ") cron表达式详解和常用示例

2021-01-08 10:20:11 290

原创 正则表达式的理解与应用

正则表达式(regular expression)描述了一种字符串匹配的模式(pattern),可以用来检查一个串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。

2021-01-08 10:16:55 182

原创 Linux安装MySQL-5.7.24数据库完整步骤

Linux安装MySQL详细步骤

2020-12-14 20:51:32 689 1

原创 ElasticSearch常用的运维命令

ElasticSearch 常见的Kiban运维命令

2020-12-07 01:15:08 1553 1

原创 ElasticSearch的IK分词器安装测试

IK分词器的配置使用和分词测试

2020-12-07 00:56:08 769

原创 ElasticSearch索引模板的使用

索引模板顾名思义就是创建索引的模板,模板中包含公共的配置(settings)和映射(Mapping),并包含一个简单触发条件,及条件满足时使用该模板创建一个新的索引。

2020-11-12 14:50:33 850

原创 Kafka Linux与Windows下的搭建

Kafka是一款流行分布式消息分布订阅系统。Kafka用于构建实时的数据管道和流式的app.它可以水平扩展,高可用,速度快。

2020-10-13 14:02:12 214

原创 Linux远程安装node.js

Linux系统下node.js的下载安装教程

2020-09-29 13:10:54 654

原创 ElasticSearch的Java Client集成

Java开发语言,创建Maven项目, 代码链接ES进行各种查询测试

2020-09-14 09:34:35 608 1

原创 Rocket MQ的集群架构

RocketMQ 是阿里巴巴集团自主研发的专业消息中间件,基于高可用分布式集群技术,提供消息订阅和发布、消息轨迹查询以及定时(延时)消息、资源统计、监控报警等一系列消息云服务,是企业级互联网架构的核心产品。

2020-09-14 09:20:14 188

原创 MQ消息队列对比参考以及特点说明

本文简要介绍消息中间件MQ的特点

2020-09-13 22:11:00 451

原创 ElasticSearch生态和集群简介

ES通常以集群方式工作,这样做不仅能够提高,ES的搜索能力还可以处理大数据搜索的能力,同时也增加了系统的容错能力及高可用,ES可以实现PB级数据的搜索

2020-09-08 23:42:09 312 1

原创 ElasticSearch的部署与基础查询

ElasticSearch是一个基于Lucene的高扩展的分布式搜索服务器,支持开箱即用,隐藏了Lucene的复杂性,对外提供Restful 接口来操作索引、搜索。

2020-09-08 23:28:07 154 1

原创 ElasticSearch的常规操作-结构化查询

Elasticsearch的接口请求查询

2020-09-07 23:47:30 395

原创 ElasticStack生态简介

ELK生态简介

2020-09-07 21:56:08 182

原创 SpringCloud-Config的理解与应用

SpringCloud-Config提供了对分布式项目配置文件的统一管理

2020-08-24 12:14:28 328

Big Data Tools插件依赖文件

Big Data Tools插件的依赖文件, 包括hadoop.dll文件和winutils.exe文件 下载地址: https://github.com/steveloughran/winutils/blob/master/hadoop-3.0.0/bin/hadoop.dll https://github.com/steveloughran/winutils/blob/master/hadoop-3.0.0/bin/winutils.exe

2024-11-01

Windows-Oracle-JDK-11

x64 Compressed Archive 的 jdk-11.0.25_windows-x64_bin.zip

2024-10-20

Windows-Oracle-JDK-8

x64 Compressed Archive 的 jdk-8u431-windows-x64.zip

2024-10-20

Linux-Oracle-JDK-11

x64 Compressed Archive 的 jdk-11.0.25_linux-x64_bin.tar.gz

2024-10-20

MAC-ElasticSearch-7.4

Elasticsearch 是一个分布式、可扩展、实时的搜索与数据分析引擎。 它能从项目一开始就赋予你的数据以搜索、分析和探索的能力,这是通常没有预料到的。 Elasticsearch 不仅仅只是全文搜索,我们还将介绍结构化搜索、数据分析、复杂的人类语言处理、地理位置和对象间关联关系等。 我们还将探讨为了充分利用 Elasticsearch 的水平伸缩性,应当如何建立数据模型,以及在生产环境中如何配置和监控你的集群。

2020-09-23

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除