- 博客(6)
- 收藏
- 关注
RSS订阅原创 Hive安装并配置metadata到Mysql （附遇到的问题及解决方法）
Hive安装并配置Metastore到Mysqlhive的Metastore有好几种部署方式，默认的方法是直接用自带的Derby数据库，但是这会导致hive服务和Metastore必须同时启动，在实际使用时一般不使用这种方法，这里介绍一下自己配置Metastore到Mysql的步骤和一些坑。Hive下载下载链接 https://dlcdn.apache.org/hive/wget https://dlcdn.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-b
2021-10-13 11:28:00
1479
原创 R语言corrplot相关性热图制作
R语言corrplot相关性热图制作使用R语言制作相关性热图，使用corrplot这个包，本文进行简略的介绍，函数的具体内容见文档：https://cran.r-project.org/web/packages/corrplot/vignettes/corrplot-intro.html在函数中，可以选择不同的method可以绘制不同类型的图像，例如circle、square、ellipse、color、number等等，此文不过多展示，可以直接去官方的函数介绍中。corrplot(M, metho
2021-03-16 19:45:22
11177
4
原创 6.NULL The missing Semester of your CS Education学习笔记
6.NULL The missing Semester of your CS Educationshellls（英文全拼：list files）: 列出目录及文件名cd（英文全拼：change directory）：切换目录pwd（英文全拼：print work directory）：显示目前的目录mkdir（英文全拼：make directory）：创建一个新的目录rmdir（英文全拼：remove directory）：删除一个空的目录cp（英文全拼：copy file）: 复制文件或目
2021-03-01 19:22:54
352
原创 时空模式可视化文献综述
时空模式可视化时空可视化和可视分析特指对含有时间和空间信息的数据的展示和分析，与常规的信息可视化相比，时空可视化的应用范围更为具体。时空模式可视化表达在研究中非常重要，这是因为 (1)空间数据所具有的空间异构性、属性和关系多样性很难满足自动处理和浏览的需求 (2)分析并从中提取知识依赖于分析人员的空间位置感、对数据隐含的属性和关系的理解程度和空间位置相关的分析经验[1]。由于存在大量针对具体领域的可视化工作，并且不同分析技术的技术特点差别也较大，因此针对不同研究内容选择合适的可视化技术是一项非常有挑战性
2021-03-01 10:59:57
1220
原创 6.824分布式系统杂记
lab1配置运行beforego build -buildmode=plugin ../mrapps/wc.gogo build -buildmode=plugin /Users/jiarui/Study/Distributed System/6.824/src/mrapps/wc.goMapReduce 论文阅读实现执行过程概述1.首先把输入的文件分割成M pieces，16-64MB，可以在多个集群中的机器上启动2.Master比较特殊，其余的worker被master指派工作；
2021-03-01 09:59:12
199
原创 基于pandas的excel数据处理
基于pandas的excel数据处理实现目的：将实验数据（excel格式）根据Date列中数据按照年份划分成多个数据集并输出。数据思路使用pandas读取excel文件未dataframe格式，然后获取其中Date列的数据并进行取最后四位数的操作，循环结果所需要的数据集进行判断代码 with open(fileName, 'r',encoding='utf-8') as f: dataTotal = pd.read_excel(fileName,sheet_name=0)
2021-01-27 20:56:35
292
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人