dboktp0188-优快云博客

转载 Hadoop综合大作业

1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。启动hadoop：12start-all.shjps查看hdfs上的文件夹：12cd/usr/local/hadoophdfs dfs-ls...

2018-05-25 19:25:00 137

转载 hive基本操作与应用

通过hadoop上的hive完成WordCount启动hadoop1start-all.shHdfs上创建文件夹12hdfs dfs-mkdir songinputhdfs dfs-ls/user/hadoop...

2018-05-17 21:02:00 116

转载理解MapReduce计算构架

用Python编写WordCount程序任务程序WordCount输入一个包含大量单词的文本文件输出文件中每个单词及其出现次数（频数），并按照单词字母顺序排序，每个单词和其频数占一行，单词和频数之间有间隔编写map函数，reduce函数1.创建一个文件夹和两个文...

2018-05-10 18:36:00 118

转载熟悉HBase基本操作

1. 以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据：学生表（Student）（不包括最后一列）学号（S_No）姓名（S_Name）性别（S_Sex）年龄（S_Age）课程（course）2015001Zhangsanmale23...

2018-05-10 18:34:00 149

转载 python爬虫

一、主题本次只是简单的爬取广东轻工职业技术学院的校园新闻并将爬取信息生成词云进行分析二、实现过程1.在广东轻工职业技术学院官网中进入校园新闻模块，首先点击其中一条新闻，通过开发者工具（F12）分析获取新闻的标题，发布时间以及链接以字典news{}存放起来，并将新闻内容写到content.txt中# 获取一条新闻的信息def getNewDetails(n...

2018-04-30 16:20:00 208

转载熟悉常用的HDFS操作

一、Hadoop提供的Shell命令完成相同任务：在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt，里面可以随意输入一些单词.在本地查看文件位置（ls）在本地显示文件内容cd /home/hadoop/touch test.txt cat temp.txt　　 4.使用命令把本地文件系统中的“tx...

2018-04-27 18:50:00 176

转载数据结构化与保存

1. 将新闻的正文内容保存到文本文件。def writeNewsDetail(content): f = open('gzccNews.txt','a',encoding='utf-8') f.write(content) f.close()　　2. 将新闻数据结构化为字典的列表:单条新闻的详情-->字典news一个...

2018-04-18 16:33:00 100

转载爬取校园新闻首页的新闻

1. 用requests库和BeautifulSoup库，爬取校园新闻首页新闻的标题、链接、正文。import requestsfrom bs4 import BeautifulSoupres = requests.get('http://news.gzcc.cn/html/xiaoyuanxinwen/')res.encoding = 'utf-8'soup...

2018-04-10 17:20:00 85

转载网络爬虫基础练习

0.可以新建一个用于练习的html文件，在浏览器中打开。<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Simple DOM Demo</title></head>...

2018-03-30 19:13:00 91

转载综合练习：词频统计

1.英文词频统下载一首英文的歌词或文章将所有,.？！’:等分隔符全部替换为空格news = '''A man may usually be known by the books he reads as well as by the company he keeps; for there is a companionship of books as well as of...

2018-03-28 19:27:00 122

转载组合数据类型综合练习：英文词频统计

字符串：>>> str = "Hello World">>> for i in str: print(i)Hello World　列表：>>> str1 = ['nike','vans',[1996,7,28]]>>> for...

2018-03-22 20:43:00 108

转载 Python基础综合练习

　　Pycharm开发环境设置与熟悉。练习基本输入输出：print('你好,{}.'.format(name))print(sys.argv)库的使用方法：import ...from ... import ...条件语句： if (abs(pos()))<1: break循环语句：for ...

2018-03-21 20:05:00 283

转载 Python基础综合练习-画五角星

import turtledef mygoto(x, y): turtle.up() turtle.goto(x, y) turtle.down()def drawstar(x): turtle.begin_fill() for i in range(5): turtle.forward(x) ...

2018-03-20 16:28:00 330

转载熟悉常用的Linux操作

cd命令：切换目录（1）切换到目录 /usr/localcd /user/local（2）去到目前的上层目录cd ..（3）回到自己的主文件夹cd ~ls命令：查看文件与目录（4）查看目录/usr下所有的文件cd /userls -almkdir命令：新建新目录（5）进入/tmp目录，创建一个名为a的目录,并查看有多少目录存在cd ...

2018-03-13 16:37:00 87

转载大数据概述

1.大数据对思维方式的重要影响（1）全面而非抽样过去，由于数据存储和处理能力的限制，在科学分析中，通常采用抽样的方法，即从全集数据中抽取一部分样本数据，通过对样本数据的分析来推断全集数据的总体特征。通常，样本数据规模要比全集数据小很多，因此，可以在可控的代价内实现数据分析的目的。现在，我们已经迎来大数据时代，大数据技术的核心就是海量数据的存储和处理，分布式文件系统和分布...

2018-03-06 17:46:00 453

转载简易c语言文法

2016-10-27 22:33:00 83

转载实验一词法分析

实验一、词法分析实验商业软件工程黄宋佳 201506110231一、实验目的编制一个词法分析程序二、实验内容和要求输入：源程序字符串输出：二元组（种别，单词本身）三、实验方法、步骤及结果测试1. 源程序名：压缩包文件（rar或zip）中源程序名×××.c可执行程序名：×...

2016-10-20 11:23:00 245

转载词法分析程序

#include <stdio.h> #include <string.h> char string[50],word[8],ch; char keyword[][6]={"begin","if","then","while","do","end"};//关键字数组int type,p,i,n,sum; void getsym(); main() ...

2016-10-07 23:58:00 176

转载编译原理

编译原理是计算机专业的一门重要专业课，旨在介绍编译程序构造的一般原理和基本方法。内容包括语言和文法、词法分析、语法分析、语法制导翻译、中间代码生成、存储管理、代码优化和目标代码生成。编译原理是计算机专业设置的一门重要的专业课程。虽然只有少数人从事编译方面的工作，但是这门课在理论、技术、方法上都对学生提供了系统而有效的训练，有利于提高软件人员的素质和能力。　　这门课程...

2016-09-09 12:55:00 89

dboktp0188的博客