dcswo2708-优快云博客

转载 Hadoop综合大作业

1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。启动Hive导入文件内容到表docs并查看进行词频统计，结果放在表word_count里查看统计结果2.用Hive对爬虫大作业产生的csv文件进行数据分析，写一篇博客描述你的分析过程和分析结果。删除文件的第一条数据并查看上传文件到h...

2018-05-25 21:29:00 142

转载 hive基本操作与应用

通过hadoop上的hive完成WordCount启动hadoopstart-all.shHdfs上创建文件夹hdfs dfs -mkdir wcinputhdfs dfs -ls /user/hadoop上传文件至hdfshdfs dfs -put ./dj.txt wcinputhdfs dfs -ls /user/ha...

2018-05-16 19:55:00 107

转载用mapreduce 处理气象数据集

用mapreduce 处理气象数据集编写程序求每日最高最低气温，区间最高最低气温气象数据集下载地址为：ftp://ftp.ncdc.noaa.gov/pub/data/noaa按学号后三位下载不同年份月份的数据（例如201506110136号同学，就下载2013年以6开头的数据，看具体数据情况稍有变通）解压数据集，并保存在文本文件中对气象数据格式进行解析编写m...

2018-05-09 21:36:00 265

转载熟悉常用的HBase操作，编写MapReduce作业

1. 以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据：学生表（Student）（不包括最后一列）学号（S_No）姓名（S_Name）性别（S_Sex）年龄（S_Age）课程（course）2015001Zhangsanmale23...

2018-05-08 21:47:00 153

转载爬虫大作业

1.选一个自己感兴趣的主题。2.用python 编写爬虫程序，从网络上爬取相关主题的数据。3.对爬了的数据进行文本分析，生成词云。4.对文本分析结果进行解释说明。5.写一篇完整的博客，描述上述实现过程、遇到的问题及解决办法、数据分析思想及结论。6.最后提交爬取的全部数据、爬虫及数据分析源代码。import requestsfrom bs4 import B...

2018-05-02 16:20:00 167

转载熟悉常用的HDFS操作

编程实现以下指定功能，并利用Hadoop提供的Shell命令完成相同任务：在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt，里面可以随意输入一些单词.在本地查看文件位置（ls）在本地显示文件内容cd /usr/local/hadooptouch linux.txtcat linux.txt使用命令把本地...

2018-04-25 20:58:00 146

转载数据结构化与保存

1. 将新闻的正文内容保存到文本文件。def write(filename, content): f = open(filename, 'a', encoding='utf-8') f.write(content) f.close()　　2. 将新闻数据结构化为字典的列表:单条新闻的详情-->字典news一个列表页所...

2018-04-12 21:03:00 140

转载获取全部校园新闻

import requestsfrom bs4 import BeautifulSoupfrom datetime import datetimeimport re#获取点击次数def getClickCount(newsUrl): newId=re.search('\_(.*).html',newsUrl).group(1).split('/')[1] clickU...

2018-04-11 21:50:00 99

转载爬取校园新闻首页的新闻的详情，使用正则表达式，函数抽离

import requestsfrom bs4 import BeautifulSoupfrom datetime import datetimeimport redef get_soup(url): req = requests.get(url) req.encoding = 'utf-8' soup = BeautifulSoup(r...

2018-04-09 18:09:00 101

转载网络爬虫基本联系

0.可以新建一个用于练习的html文件，在浏览器中打开。1.利用requests.get(url)获取网页页面的html文件import requestsnewsurl='http://news.gzcc.cn/html/xiaoyuanxinwen/'res = requests.get(newsurl) #返回response对象res.encoding='...

2018-03-29 20:51:00 138

转载中文词频统计

下载一长篇中文文章。从文件读取待分析文本。news = open('gzccnews.txt','r',encoding = 'utf-8')安装与使用jieba进行中文分词。pip install jiebaimport jiebalist(jieba.lcut(news))生成词频统计排序排除语法型词汇，代词、冠词、连词输出词频最大TOP2...

2018-03-28 20:20:00 130

转载英文词频统计

str='''A famous man has once said that women hold half the sky. A wise writer has said that half the man is a woman. In fact, women are just like the deep-hidden treasure which has not bee...

2018-03-25 21:37:00 149

转载字符串、组合数据类型练习

字符串练习：http://news.gzcc.cn/html/2017/xiaoyuanxinwen_1027/8443.html取得校园新闻的编号str='http://news.gzcc.cn/html/2017/xiaoyuanxinwen_1027/8443.html'print(str[-14:-5])　　https://docs....

2018-03-20 22:18:00 154

转载 Python基础

Pycharm开发环境设置与熟悉。练习基本输入输出：print('你好,{}.'.format(name))uprint(sys.argv)库的使用方法：import ...from ... import ...条件语句： if (abs(pos()))<1: break循环语句：for i i...

2018-03-16 19:06:00 160

转载熟悉常用的Linux操作

请按要求上机实践如下linux基本命令。cd命令：切换目录（1）切换到目录 /usr/localmkdir localcd /usr/local（2）去到目前的上层目录cd ..（3）回到自己的主文件夹cd ~ls命令：查看文件与目录（4）查看目录/usr下所有的文件ls -a ~usrmkdir命令：新建新目录（5）进入...

2018-03-13 21:23:00 148

转载大数据概述

1.试述大数据对思维方式的重要影响。大数据使人类的思考、研究不仅仅局限于眼前有限的认知里，让我们能够从海量的数据中更加系统地把握客观对象。在不同的领域中，能够使我们在更大程度上掌握到更多的信息，并且更快捷，方便。大数据具有“全样而非抽样、效率而非精确、相关而非因果”三大显著特征，可以说是完全颠覆了传统的思维方式。2.详细阐述大数据、云计算、物联网之间的区别与联系区别：...

2018-03-06 19:31:00 204

转载递归下降分析-实验报告

实验四：语法分析实验一、实验目的编制一个递归下降分析程序。E→TE'E'→(+T|-T)E'|εT→FT'T'→(*F|/F)T'|εF→(E)|i二、实验内容和要求输入：算术表达式；判断：每遇到一个终结符，则判断当前读入的单词符号是否与该终结符相匹配，若匹配，则继续读取下一个单词符号，若不匹配，则进行错误处理。...

2016-12-23 16:02:00 1267

转载 LL(1)文法

2016-12-16 15:11:00 271

转载简单C语言文法

2016-10-30 11:00:00 233

转载编译原理

学习编译原理首先要了解的就是词法分析，词法分析是基础。在理解编译原理并且会运用编译原理的程序员看来，完全不懂编译原理的程序员，就好像是完全没有学过人体解剖图的画家一样，当然不会说一定就无法成功，但更好的基础可以提高成功的几率。在知道底层的情况下，对上层的描绘会更加写实，更加生动。学习编译原理可以更好的理解语言之间的差异，转换需求以及对学习语言的效率也会有所提高。但是从一开始学习编译...

2016-10-14 14:52:00 120

dcswo2708的博客