- 博客(10)
- 收藏
- 关注
RSS订阅原创 wordcount任务：建立一个自己的jar包然后统计数字出现的次数
/bin/ jar ./myapp/WordCount.jar input output//指向hadoop 安装目录下bin文件夹下的hadoop版本。jar用来打包JAR文件 input是输入目录或文件 output是结果输出的目录。如果output文件存在，hadoop会拒绝执行任务。在任务进行前，需要西按删除output目录。./bin/hdfs dfs -cat output/* 查看结果。
2025-02-23 17:13:49
139
原创 实验二：熟悉常用的java hbase操作
/在增添数据时，hbase会自动为添加的数据添加一个时间戳，在修改数据的时候，hbase会为修改后的数据生成一个新的时间戳，旧的版本保留。系统会定时回收垃圾数据，只留下几个最新的版本，保存的版本数可以在创建表的时候指定。put "student","001","sname","小书" //001作为行键，然后put每次只能放一个列。//put函数添加数据，每次只能为一个表的一行数据的一个列添加一个数据。3、打开hbase的shell终端，查看表的状态。list 查看在hbase数据库中已经存在的表。
2025-02-23 17:13:17
125
原创 实验一：熟悉常用的hadoop操作
/bin/hdfs dfs -cp -f file:///usr/local/hadoop/wordcount.txt sure.txt # 可以选择复制文件的路径，不局限于本地。./bin/hdfs dfs -appendToFile wordcount.txt sure.txt 将本地文件写入到sure.txt中，追加到原文件末尾。./bin/hdfs dfs -copyFromLocal -f wordcount.txt sure.txt #-f 强制覆盖目标文件，复制的是本低文件。
2025-02-23 17:12:07
138
原创 医学统计学问答（含答案)
简答题 0. 算术均数、几何均数和中位数各有什么适用条件？答：（1）算术均数：适用对称分布，特别是正态或近似正态分布的数值变量资料。（2）几何均数：适用于频数分布呈正偏态的资料，或者经对数变换后服从正态分布（对数正态分布）的资料，以及等比数列资料。（3）中位数：适用各种类型的资料，尤其以下情况：A 资料分布呈明显偏态；B 资料一端或两端存在不确定数值（开口资料或无界资料）；C 资料分布不明。1.对于一组近似正态分布的资料，除样本含量n 外，还可计算S X ,和S X 96.1±，问各说明什么？（1）X 为算
2025-02-23 16:33:17
1309
原创 python入门之math包的用法和常见语句
math包导入：Python 的math模块提供了对 C 标准定义的数学函数的访问。这些函数通常用于处理浮点数运算，包括基本算术运算、三角函数、指数和对数函数等。要使用math模块中的函数，首先需要通过语句导入该模块。
2025-02-23 16:31:01
604
原创 python入门之常见的字符串语句
在 Python 中，字符串是一种非常常用的数据类型，用于表示文本信息。Python 提供了丰富的内置方法来操作字符串，使得处理文本变得简单而高效。以下是一些常见的字符串操作和常用的语句示例。
2025-02-23 16:30:44
300
原创 python基础入门之如何导入包
n 换行 \t 制表符代表空四个字符的位置 \r 将当前位置移动到本行的开头。python语言中的基本数据类型：整型、浮点型、布尔型、字符串类型、变量名称只能使用下划线、字母、数字，且只能用字母和下划线开头。pip install 包名：安装某个包的最新版本。pip install -i 指定某个源来安装包。pip uninsatll：卸载。
2025-02-23 16:19:35
86
原创 第二章：大数据处理架构Hadoop介绍
sqoop是SQL-to-Hadoop的缩写，用来在hadoop和关系数据库之间进行交换数据，可以改进数据的互操作性，通过sqoop可以将关系数据库中的数据导入hadoop（hive hbase hdfs），或者将数据哦那个hadoop导入到关系数据库，使得传统数据库与hadoop之间的数据迁移变得很简单，sqoop主要是通过java数据库连接（JDBC）和关系数据库进行交互，理论上支持jdbc的关系数据库都有可以是sqoop和hadoop进行数据交互。hbase主要用来存储非结构化和半结构化的松散数据。
2025-02-23 16:18:00
358
原创 大数据与云计算、物联网的关系 大数据关键技术 大数据计算模式 大数据的概念 大数据的影响 大数据的应用 大数据的产业
大数据、云计算、物联网之间的区别和联系：物联网是大数据的来源 大数据技术为物联网数据分析提供支撑 云计算为物联网提供了海量数据存储能力 物联网为云计算机技术提供了广阔的应用空间 云计算为大数据提供了技术基础 大数据为u云计算提供了用物之地。物联网是物物相连的互联网，是互联网的延申，他利用局部网络或者互联网等通信技术把传感器、控制器、计算机、人员和物等通过新的方式联系在一起，形成人与物、物与物相连。数据中心是云计算的重要载体，为云计算提供了计算、存储、宽带等多种硬件资源，1、8大数据与云计算、物联网。
2025-02-23 16:17:02
267
原创 机器学习知识汇总（最新版）
4. 模型选择 根据问题的特点和数据的性质选择合适的模型。在超参数的取值空间内，按照一定的方式i（等间隔取值或者是随机取值） 取一个超参数值，用这组确定的超参数，通过训练集训练模型，将训练得到的模型用于验证集面积算验证误差，取不同的超参数，重复这个过程，最后确定效果做好的超参数和对应的模型，然后测试集测试性能，计算测试误差，估计泛化性能。获取的数据难免存在噪声，模型为了尽可能使训练误差小，可能过度的拟合噪声的趋向，导致拟合的模型在局部变化过于剧烈，这种模型对于新的输入的预测性不好么火对测试集的误差很大。
2025-02-23 16:15:41
1314
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人