- 博客(10)
- 收藏
- 关注
RSS订阅原创 Hadoop（四）HDFS 读写流程
HDFS 的读写流程 HDFS 将文件切割为默认大小的块（block）存放在不同的 DataNode上； 上传文件和读取文件时 HDFS 重要的流程；HDFS 的写文件流程图文解释： 1、Client 连接 HDFS ，发送上传文件的请求； 2、NameNode 响应请求，对文件进行校验；校验成功后返回要存放文件的 block 所对应的 DataNode 的信息列表； 列如： block01：dataNode1、dataNode2 block02：da
2022-02-17 23:42:00
2148
2
原创 Hadoop（三）HDFS 原理
HDFS核心的设计思想 HDFS 集群中，主要的角色有 NameNode 和 DataNode 两大角色 （SecondaryNamenode 和 Client）； NameNode 负责管理文件系统的元数据，并响应 Client 的请求； DataNode 负责存储用户的文件块（block），进行读写文件，并向 NameNode 发送心跳信息。 文件会按照固定的大小切分成块（block），每一个 block 的默认大小为 128M； 每一个 block 都会存在多个副本，形成备份存在于
2022-02-16 23:25:28
3802
3
原创 Windows迁移kettle到Linux
Windows迁移kettle到Linux一、Linux中下载安装Kettle1、下载kettle安装包官方下载地址：https://sourceforge.net/projects/pentaho/files/Data%20Integration/我目前用的是7.1版本注意：要是从Windows迁移的话，最好下载和Windows中使用的相同的版本点击 pdi-ce-7.1.0.0-12.zip 下载，由于网站是外网，可能需要多等几分钟。二、上传Linux解压文件将下载后的安装包上传Lin
2021-09-16 17:38:06
689
原创 Linux上运行kettle报错 No appropriate protocol
No appropriate protocol (protocol is disabled or cipher suites are inappropriate)Linux上部署好kettle，然后运行发送邮件的测试脚本，报错如下：org.pentaho.di.core.exception.KettleException: Can not send mail!Could not connect to SMTP host: smtp.exmail.qq.com, port: 465 at org.p
2021-09-15 16:29:14
783
原创 Spark（一）Spark介绍
一、Spark的介绍发展前景：1、目前许多领域的应用数据爆炸式增长，与前所未有的数据收集规模；例如：电子商务、社交网络、计算机生物、自媒体、公安交通、运营商等等。2、大规模数据处理和分析系统越来越流行和重要。具备良好特性如通用性、容错性、高性能的大数据处理引擎是当前最受欢迎的。3、较成熟的大数据计算框架MapReduce、Storm、Flink等都已近存在，与之相比Spark是更加通用的、快速的、性能较优秀的大数据处理系统。官网介绍：http://spark.apache.org1、Spark
2021-09-07 16:48:34
800
原创 kettle（一）kettle介绍
kettle介绍及组成一、kettle 是什么kettle 是一个ETL工具，ETL（Extract-Transform-Load，数据抽取、转换、装载）；kettle 是java编写，绿色无需安装，抽取高效稳定；kettle 主要用来对不同数据库的数据，不同来源的数据进场处理；kettle 提供图形化的用户界面，用来使用户使用时描述 想做什么，而不是想要怎么做；kettle 有两种脚本文件 transformation 和 job；transformation 是转换，job 是对多个转换构建
2021-09-03 16:33:14
15365
1
原创 Hadoop（一）介绍Hadoop
Hadoop 的产生： 随着各行业进入大数据时代，大规模的数据收集，大量的数据生产速度和数据结构的多样性，使得大数据生态快速发展，用于处理和计算大规模的数据。 大数据的特点： Volume 大量 Velocity 高速 Variety 多样 Value 低价值密度 Veracity 真实性 使用一台机器无法处理的数据； Hadoop起源于Nutch（由java语言编写的搜索引擎），Nutch设计为一个大型全网搜索引擎，包括网页抓取、索引、查询等的功能
2021-09-03 13:40:28
579
翻译 ajax使用参数详解
ajax使用参数详解ajax使用参数详解参数及解析功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入ajax使用参数详解参数及解析url: String （默认为当前页地址）发送请求的地址。2.type: String
2021-08-26 22:24:03
222
原创 ajax上传文件及参数后台获取
ajax上传文件及参数前后台使用formData和input文件类型HTML<label class="w160 fl" style='width: 150px;'><em>*</em>文件上传：</label> <input type="text" name="uploadFile" class="gy-inp w250" read...
2019-10-13 16:31:39
1799
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人