- 博客(11)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 hadoop4hive入门
启动必须项：首先启动metastore服务，然后启动hiveserver2服务。用户编写sql--hive转为mapreduce--查询元数据--提交到yarn执行。(2)Hive的数据存储在HDFS的：/user/hive/warehouse中。元数据管理功能，即： 数据位置 数据结构 对数据进行描述 进行记录。1.使用hive处理数据底层都是执行的maprecuce程序。(1)元数据存储:通过外置关系型数据存储，如mysql。(1)首先启动metastore，再启动hive。3.hive执行步骤。
2025-11-05 12:33:11
193
原创 hadoop3yarn&mapreduce
(2)中心调度->步骤执行 （大数据体系的Spark、Flink等是这种模式）(计算不简简单单为分散-汇总，在分散后还会有交换、复杂的一些计算操作后再汇总)对外提供WEB 站点会有安全性问题， 而代理服务器的功能就是最大限度保障对WEB UI的访问是安全的。(2)NodeManager：单个服务器的资源调度者，负责调度单个服务器上的资源提供给应用程序使用。先在自己的服务器上占一个容器的资源后，分配个程序使用。(1)ResourceManager：整个集群的资源调度者， 负责协调调度各个程序所需的资源。
2025-11-05 12:16:26
210
原创 hadoop2hdfs存储原理
通过http协议从namenode拿取edits然后合并为fsimage回传给namenode使用。fsimage文件记录某个时间点的整个文件系统的结构和状态，包括文件目录、文件路径、文件大小、块数等等。dfs.namenode.checkpoint.check.period，默认。5. 重复123流程。dfs.namenode.checkpoint.period，默认。dfs.namenode.checkpoint.txns，默认。和已存在的fsimage进行合并，形成新的fsimage。
2025-10-31 11:54:29
635
原创 了解光伏系统的概念
(2)ModelChain：pvlib中的一个类，作用是将多个模块联系起来比如光伏模块，逆变器，阵列等组合起来来计算整个光伏系统的性能。(3)Bifccial modeling：pvlib中的一个类，考虑双面组件在正面和背面同时收到辐射的情况。(1)光伏阵列：由安装位置(方位角倾斜角)、模块温度模型、光伏模块配置。zenith：天顶角，光线入射方向与地面垂直光线的夹角，与高度角互余。POA：太阳能板的总辐射度，受方位角，倾斜角，遮挡等影响。(1)pvsystem：光伏系统模块。GHI：地面的总辐射度。
2025-10-07 12:45:01
293
原创 sql111
添加/删除数据库：alter/dropdatabasename使用数据库：use name整型：tinyint,smallint,med
2021-06-15 14:41:00
192
2
原创 np笔记1
np.random.RandomState(1) # 伪随机数生成器np.rand生成0~1之间随机数np.ravel()把数组展平为一维数组
2021-06-03 18:22:37
124
原创 使用sklearn转换器处理数据
datasets模块常用数据集加载函数：load_boston,fetch_california_housing,load_digits,load_breast_cancer,load
2021-05-28 15:51:52
731
原创 标准化数据
标准化数据：1.离差标准化：X* = X-min/max-min2.标准差标准化：X* = X-mean/std3.小数定标标准化：X* = X/10**np.ceil(np.log10(np.abs().max())) (np为numpy库)
2021-05-21 18:11:10
354
原创 可视化期中考试考点
# 期中考试考点柱状图:plt.bar(x,y,width(柱子宽度),color,linewidth(柱子边框宽度),edgecolor(边缘颜色),tick_label(柱子刻度标签),hatch(柱子填充符号))如果绘制多条柱状图，就使用不同的x参数如果绘制堆积柱状图，就是用相同的x参数设置合格线:plt.axhline(0.5,linestyle,color)饼图:plt.pie(x,labels(外标签),autopct='%1.1f%%'(内标签),shadow=True(阴影
2021-05-17 16:34:24
196
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人