2005年3月16日 晴

博主因Linux未删好重装机器,掌握了用fdisk /mbr命令清除LILO启动程式的方法。意识到自己跨专业报计算机专业有难度,决定周末去东大自习。还提及明天要继续任务,与小蕊沟通坏主板机器的事,向老靳要报废主板。

今天是比较无聊的一天,什么事都没做,把我的机器又重新装了一遍,因为,LINUX没有删好。不过,掌握了一个知识,fdisk /mbr这个命令可以解决LILO这些启动程式的清除方法。

下午又是一个无聊的会,居然讨论反国家分裂法,郁闷!晚上的课更是郁闷,听得一头雾水。于是我突然意识到,我们班很多都是计算机专业的专升本,而且物理底子都不错。而我,中专没有学好物理,专科又是一个园林专业,根本没学。我居然敢报东北大学的计算机科学与技术,是成教计算机类专业中最难的,晕,我都服我自己了,不是勇敢就是发傻。呵呵。。。可我还是喜欢,现在应了那句话了,有困难要上,没有困难创造困难也要上。呵呵。。。。不行,周末要去东大上自习。

明天还要继续昨天提醒中的任务,还有,要与小蕊沟通一下,坏主板的机器的事。还有,问问老靳,要一些报废的P3,P4主板。

今天就到这吧,精神头足,心情就会好,状态自然就好。今晚会睡一个好觉。做饭去喽。

任务描述 本关任务:对数据按照一定规则进行清洗。 编程要求 根据提示,在右侧编辑器补充代码,对数据按照一定规则进行清洗。 数据说明如下:a.txt; 数据切分方式:一个或多个空格; 数据所在位置:/user/test/input/a.txt; 2005 01 01 16 -6 -28 10157 260 31 8 0 -9999 2005 01 01 16 -6 -28 10157 260 31 8 0 -9999 小时 温度 湿度 气压 风向 风速 天气情况 1h降雨量 6h降雨量 sky.txt; 数据切分方式:逗号; 数据所在位置:data/sky.txt或者/user/test/input/sky.txt。 1,积云 1 积云 天气情况 cumulus 清洗规则: 将分隔符转化为逗号; 清除不合法数据:字段长度不足,风向不在[0,360]的,风速为负的,气压为负的,天气情况不在[0,10],湿度不在[0,100],温度不在[-40,50]的数据; 将a.txt与sky.txt的数据以天气情况进行join操作,把天气情况变为其对应的云属; 对进入同一个分区的数据排序; 排序规则: (1)同同月同天为key; (2)按每温度升序; (3)若温度相同则按风速升序; (4)风速相同则按压强降序。 设置数据来源文件路径及清洗后的数据存储路径: 数据来源路径为: /user/test/input/a.txt (HDFS); 清洗后的数据存放于:/user/test/output (HDFS)。 数据清洗后如下: 2005,01,01,16,-6,-28,10157,260,31,卷云,0,-9999 测试说明 平台会对你编写的代码进行测试: 评测之前先在命令行启动hadoop:start-all.sh; Weather:封装对象; WeatherMap:map端操作; WeatherReduce:reduce端操作; Auto:自定义分区; WeatherTest:测试结果类。 具体本关的预期输出请查看右侧测试集。 因为大数据实训消耗资源较大,且map/reduce运行比较耗时,所以评测时间较长,大概在60秒左右,请耐心等待。 开始你的任务吧,祝你成功!
10-10
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值