- 博客(7)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 大数据之路-数据中台-概述（1）
数据中台是国内学者提出的概念，它的技术理念来源于国外的一些开源架构，然而国外没有数据中台厂商，常见赛道如图所示，包括数据采集、数据管理、数据可视化、数据分析、数据治理等。国内的做法一般是端到端全部覆盖，因此逐渐形成市场认知中的数据中台，个人倾向于将数据中台理解为解决企业数据问题，释放企业数据价值的一套端到端的解决方案。
2023-01-14 17:00:40
2069
原创 大数据之路-Hadoop-Demo（5）
Java客户端API使用 准备工作 1、新建Java项目，建立lib文件夹 2、将hdfs客户端开发所需的jar导入工程，将如下所有文件导入项目lib文件夹中。 Demo public class HdfsClientDemo { public static void main(String[] args) throws Exception { /** * Configuration参数对象的机制： * 构造时，会加载jar包中的默认配置 xx-default.xml
2022-01-27 18:40:34
204
原创 大数据之路-Hadoop-部署（4）
hadoop-eclipse-plugin安装 想在windows环境下，用eclipse进行开发，提交到Hadoop上执行，需要安装插件hadoop-eclipse-plugin。 前期准备： 1、安装Eclipse及JDK（略） 2、下载hadoop-eclipse-plugin（找到了两个资源） https://download.youkuaiyun.com/download/sunnnyeee/10982844 https://download.youkuaiyun.com/download/sunnnyeee/10938
2022-01-19 14:50:27
1842
原创 大数据之路-Hadoop-部署（3）
之前PPT里写平台产品价值的时候，总是会写“开箱即用，降低部署门槛"这一点，好奇之下自己找了些网上的资料，尝试了下部署，分享下自己的部署步骤。 准备工作 先准备3台虚拟机：1个namenode节点 + 2个datanode 节点 各台机器的主机名和ip地址如下： 主机名：master 对应的ip地址：192.168.110.11 主机名：slave1 对应的ip地址：192.168.110.12 主机名：slave2 对应的ip地址：192.168.110.13 已配置好网络环境，免密登录和JDK。
2022-01-12 13:52:42
1336
原创 大数据之路-Hadoop-概述（2）
Hadoop集群 Hadoop和云计算的关系 2006年，谷歌在搜索引擎大会上正式提出了“云计算”的概念。云计算是分布式计算、并行计算、网格计算、多核计算、网络存储、虚拟化、负载均衡等传统计算机技术和互联网技术融合发展的产物。现阶段，云计算的两大底层支撑技术为“虚拟化”和“大数据技术” 云计算借助IaaS(基础设施即服务)、PaaS(平台即服务)、SaaS（软件即服务）等业务模式，把强大的计算能力提供给终端用户。而Hadoop则是云计算的PaaS层的解决方案之一，并不等同于PaaS，更不等同于云计算。 这么
2022-01-05 17:42:52
710
原创 大数据之路-Hadoop-概述（1）
Hadoop已经不是一个新技术了，从2003年谷歌的三驾马车（GFS、MapReduce、Bigtable），到2008年成为Apache的顶级项目，一直到现在广泛的使用在大数据领域中，这是在做数据中台建设时必然会接触到的领域。 因此想写一个系列，从产品经理的角度讲一讲Hadoop及其相关的一些生态，帮助非技术背景的同行们能够更快速的理解。 如果从一个产品角度来分析Hadoop，那么可以分成以下几个方面： 背景问题 Hadoop最早起源于Nutch，Nutch的设计目标是构建一个大型的全网搜索引擎，在这过程
2021-12-31 18:30:26
1228
原创 立一个FLAG
立一个FLAG 今天是2021年的最后一天，回顾这一年，似乎匆匆就过去了。从成为产品经理开始，一直做的大数据平台相关，离线开发、实时开发、机器学习、画像分析…发现做了很多，但很少总结，突然想要去写点什么。 也许开始做一件事情才是最难的，从这里开始，记录一些生活工作中的思考和沉淀。 ...
2021-12-31 13:09:16
1104
hadoop_on_windows_2.8.3
2019-03-01
hadoop_on_windows_2.6.0
2019-01-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人