Chad_it的博客

本文介绍了Pandas中的两个核心数据结构：Series和DataFrame。Series是一维数组对象，包含值和索引，可通过numpy数组、列表或字典创建；DataFrame是二维表格，由多个Series组成，可通过字典或列表创建。文章详细讲解了两种对象的常用API，包括数据统计、类型转换等操作，并比较了它们在数据分析和处理中的不同应用场景。通过示例代码展示了如何创建和操作这两种数据结构，为后续数据分析工作奠定基础。

本文通过一个案例演示如何使用Pandas进行GDP数据分析。首先加载全球GDP数据，筛选中国、日本和美国的数据并设置年份为索引。利用Matplotlib绘制三国GDP变化曲线，通过修改列名使图例显示国家名称，并解决中文显示问题。最终实现三国GDP数据的可视化对比，清晰展示经济增长趋势差异。案例展示了Pandas数据处理和Matplotlib可视化分析的基本流程。

本文介绍了Hive中两种常见的数据处理场景：行转列和JSON解析。在行转列部分，展示了如何使用concat_ws和collect_set函数将多行数据合并为一列，实现部门ID分组后员工姓名拼接的效果。JSON解析部分提供了三种解决方案：get_json_object函数、json_tuple函数以及建表时使用JsonSerDe自动解析，并比较了它们的优缺点。文章通过具体示例演示了从数据准备到SQL实现的全过程，帮助读者掌握Hive中这些常用数据处理技巧。

UDTF(表生成函数)是一类"一进多出"的函数，典型代表是explode函数，它能将数组或map类型数据展开为多行数据。通过案例演示如何将部门员工列表展开：首先创建包含数组类型的表并导入数据，使用explode函数时发现UDTF限制（不能与其他列同时查询），通过lateral view侧视图解决该问题。最终实现了将"部门ID|员工列表"转换为"部门ID-单个员工"的多行数据。对于字符串类型数据，可结合split函数处理。

本文概述了Hive、MapReduce和Spark三种大数据处理框架的执行流程。Hive的执行包括SQL解析为AST、生成逻辑计划、优化、物理计划生成及提交Hadoop任务；MapReduce流程涉及资源管理器分配任务、节点管理器启动任务容器、执行Map/Reduce任务及结果返回；Spark流程则包含资源分配、Executor启动、任务分发执行及结果写入HDFS。三者的核心差异在于处理模型：Hive基于SQL转换，MapReduce采用两阶段批处理，而Spark通过内存计算实现高效迭代。

zookeeper集群安装从官网下载hadoop-3.2.2.tar.gz地址：https://hadoop.apache.org/release/3.2.2.html集群规划上传安装hadoop-3.2.2.tar.gz 包解压到安装目录(我用的普通用户)2.修改配置文件core-site.xml3. 修改hdfs-site.xml4. 修改修改yarn-site.xml5.修改workers文件（老版本叫slave文件）6.修改hadoop-env.sh7.修改mapre

知识图谱最开始是Google为了优化搜索引擎提出来的，推出之后引起了业界轰动，随后其他搜索公司也纷纷推出了他们的知识图谱。知识图谱发展到今天，不仅是应用在搜索行业，已经是AI的基础功能了。那到底知识图谱是什么？有什么能力？怎么应用？这就是本文想要讨论的内容。1. 定义官方定义：知识图谱是一种基于图的数据结构，由节点（point）和边（Edge）组成，每个节点表示一个“实体”，每条边为实体与实体之间的“关系”，知识图谱本质上是语义网络。实体指的可以是现实世界中的事物，比如人、地名、公司、电话、动物等；

postman 显示也可以换成Employee employee 对象的方式，也是可以成功传递参数的。

1．不同集群之间的数据复制1.1．集群内部文件拷贝scp1.2．跨集群之间的数据拷贝distcp2．Archive档案的使用2.1．如何创建Archive2.2．如何查看Archive2.3．如何解压Archive2.4．Archive注意事项3. HDFS安全模式3.1．安全模式概述3.2．安全模式配置

zookeeper介绍，集群搭建，角色分析

由于Elasticsearch没有表和表的join关系，所以设计出来一种可以文档与文档关联起来的方法，其中包括1.普通内部对象；2.嵌套结构；3.父子结构。以下操作都是通过kibana操作。

大数据基础之java异常处理

java SimpleDateFormat,Calendar类的介绍和使用

1. 数组元素排序1. 1 冒泡排序1.2 Arrays2. 包装类2.1 基本类型-->包装类3. 自动拆装箱3. Date类

1. Object类1.1 概述1.2 构造方法1.3 成员方法:2. String类2.1 概述2.2 构造方法2.3 String案例2.3.1 模拟用户登录2.3.2 统计字符次数2.3.3 字符串反转3. StringBuilder类3.1 概述3.2 构造方法

1. **API简介**2. **帮助文档的使用步骤**3. **使用帮助文档学习Scanner**

面向对象(Object Oriented)是软件开发方法，一种编程范式。面向对象的概念和应用已超越了程序设计和软件开发，扩展到如数据库系统、交互式界面、应用结构、应用平台、分布式系统、网络管理结构、CAD技术、人工智能等领域。“类（Class）是面向对象程序设计（OOP，Object-Oriented Programming）实现信息封装的基础。类是一种用户定义的引用数据类型，也称类类型。每个类包含数据说明和一组操作数据或传递消息的函数。”

java 的方法的定义使用、方法重载、方法的参数传递问题

java生成随机数

java循环结构语句， for循环 while循环 循环进阶

java流程控制，if语句和switch语句

大数据之java基础之键盘录入，Scanner的使用及案例演示

java核心基础二（标识符、数据类型转换、三元运算符 、运算符）

注释，关键字，常量，变量，基础类型数据范围

java8新特性，lambda表达式的演变及应用，用代码演示，简单易懂

想了解流计算，你必须得看一眼，实现Flink on Yarn的三种部署方式，并运行wordcount,7000字奉上

Flink on Yarn的三种部署方式，Session模式，Per-Job模式，application模式，他们为何会诞生，我们要用哪种模式来部署

java集合介绍，集合的体系，什么是单列集合以及结合Collection集合

什么是分布式， 分布式和集群，分布式计算，分布式存储，分布式服务和应用

大数据的诞生：海量数据的挑战，大数据计算的应运而生，大数据设计的方方面面