余诚诚诚诚-优快云博客

原创 scala学习2

课程名称Spark大数据分析实验室名称　　　　　　　　　　实验名称Scala程序设计进阶指导老师成绩一、实验任务及结果1. 构造Person类。包括姓名(name)，性别(sex)和年龄(age)。提供所有属性的set和get函数，提供print函数打印其信息；构造Student类继承Person类，并增加学校(school)，...

2022-03-04 23:00:00 370

原创实验一初步掌握Scala程序设计

课程名称Spark大数据分析实验室名称　　　　　　　　　　实验名称实验一初步掌握Scala程序设计指导老师成绩一、实验任务及结果1.可否定义一个sum函数呢？返回指定区间的值的和？例如，区间[1,4]的和为1+2+3+4=10返回指定区间值的平方的和呢？立方呢？object Sum { def sum(x: Int, y...

2022-02-25 17:00:00 1120

一、实验目的及任务1、理解DNS工作过程。2、分析DNS协议。二、实验环境与因特网连接的计算机网络系统；主机操作系统为Windows；Ethereal(或WireShark)等软件。三、预备知识1、nslookup工具允许主机向指定的DNS服务器查询某个DNS记录。如果没有指明DNS服务器，nslookup默将把查询请求发向认的DNS服务器，否则将把查询请求发向指定的DNS服务器。nslookup域名 [dns-server]这是最常用最简单的用法，可以直接获得目标域名的IP地址和CN

2021-11-18 10:58:10 2165

原创作业5_Hbase综合作业

上传csv文件到hdfshadoop fs -put hbase.csv /HbasePut在hbase创建表将csv文件导入hbase表hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator="," -Dimporttsv.columns=HBASE_ROW_KEY,info:sno,info:sname,info:plt,info:alb,info:age40_60,info:ca,info:age_

2021-11-13 19:09:07 1828

原创 socket 编程实验

1 实验内容编写一个基于UDP协议的客户机与服务器程序，实现相互通讯。编写一个基于TCP协议的客户机与服务器程序，实现相互通讯。捕获以上两种通讯的数据包，使用Wireshark进行分析，以深入了解TCP、UDP协议的数据传输机制。2 TCP编程及监听分析1、建立一个TCP服务器连接需要6个步骤：(1）创建socket对象。调用socket构造函数：socket=socket.socket(familly,type)family的值可以是AF_UNIX(Unix域，用于同一台机器上的进程

2021-11-11 11:20:57 4777

原创实验四：MapReduce中级编程实践

一、实验目的通过实验掌握基本的MapReduce编程方法；掌握用MapReduce解决一些常见的数据处理问题，包括数据去重计数、数据排序。二、实验平台操作系统：LinuxHadoop版本：3.2.2三、实验步骤（一）对访问同一个网站的用户去重计数。注：文件userurl_20150911中，数据以”\t”隔开，用户手机号为第三列，网站主域为第17列（二）对同一个用户不同记录产生的上下行流量求和后进行排序输出。注：上行流量位于第25列，下行流量位于第26列四、实验总结及

2021-10-31 17:56:16 586

原创实验三：MapReduce初级编程实践

一、实验目的通过实验掌握基本的MapReduce编程方法；掌握用MapReduce解决一些常见的数据处理问题，包括数据去重、数据排序和数据挖掘等。二、实验平台操作系统：KubuntuHadoop版本：3.2.2三、实验步骤(一)编程实现文件合并和去重操作对于两个输入文件，即文件A和文件B，请编写MapReduce程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新的输出文件C。下面是输入文件和输出文件的一个样例供参考。输入文件A的样例如下：20170101 x20

2021-10-25 19:19:58 3230

原创作业4 mongodb操作

1、请写出MongoDB术语相对应的关系数据库术语，例如：“文档集”对应“表”。并简述你所了解的MongoDB特点。SQL和MongoDB术语对比DBMSMongoDB数据库数据库表文档集行文档列字段嵌套表嵌入式文档数组数组主键对象主键(Objectid)MongoDB的特点是高性能、易部署、易使用，存储数据非常方便。主要功能特性MongoDB 是一个面向文档存储的数据库，操作起来比较简单和容易。你可以在MongoDB

2021-10-22 17:19:52 739

原创实验3：熟悉常用的HBase操作

一、实验目的（1）理解HDFS在Hadoop体系结构中的角色；（2）熟练使用HDFS操作常用的Shell命令；（3）熟悉HDFS操作常用的Java API。二、实验平台操作系统：Linux（建议CentOS）；Hadoop版本：3.2.1；JDK版本：1.7或以上版本；Java IDE：IDEA三、实验步骤（1）编程实现以下指定功能，并用Hadoop提供的HBase Shell命令完成相同任务：1 列出HBase所有的表的相关信息，例如表名；import org.apache.h

2021-10-16 15:50:25 5793 1

原创 HBase相关操作

实验二：熟悉常用的HDFS操作一、实验目的理解HDFS在Hadoop体系结构中的角色；熟练使用HDFS操作常用的Shell命令；熟悉HDFS操作常用的Java API。二、实验平台操作系统：Linux（建议CentOS）； Hadoop版本：2.6.1；三、实验步骤（一）编程实现以下功能，并利用Hadoop提供的Shell命令完成相同任务：将HDFS中指定文件的内容输出到终端中； Shell实现：显示HDFS中指定的文件的读

2021-10-09 20:59:53 237

原创实验二：熟悉常用的HDFS操作

一、实验目的理解HDFS在Hadoop体系结构中的角色；熟练使用HDFS操作常用的Shell命令；熟悉HDFS操作常用的Java API。二、实验平台操作系统：Linux（建议CentOS）； Hadoop版本：2.6.1； JDK版本：1.7或以上版本； Java IDE：Eclipse。三、实验步骤（一）编程实现以下功能，并利用Hadoop提供的Shell命令完成相同任务：将HDFS中指定文件的内容输出到终端中；#!/bin/bashhadoop fs -l

2021-10-01 19:52:51 1047 1

原创 pandas作业

引入文件取第一行做索引import pandas as pddf1 = pd.read_excel('学生信息表.xls', header=1)df2 = pd.read_excel('学生期末成绩表.xls', header=1)df3 = pd.merge(df1, df2, on='姓名', how='outer')print(df3)print(df3.sort_values(by=['总分', '语文', '数学', '英语'], ascending=False))..

2021-09-16 21:32:36 218

qq_46023947的博客