bagaichang8396-优快云博客

转载 Hadoop综合大作业

1.用Hive对英文长篇小说进行词频统计。利用WinSCP 英语长篇小说文本文件放于 /home/hadoop/wc 目录下：启动hadoop：上传到hdfs/data文件中启动Hive 在hive数据库创建表 world：导入文本world.txt并查看：用HQL...

2018-05-22 21:29:00 205

转载 hive基本操作与应用

通过hadoop上的hive完成WordCount 启动hadoop Hdfs上创建文件夹上传文件至hdfs 准备文件song.txt: 上传到hdfs/data文件中启动Hive 创建原始文档表导入文件内容到表docs并查看导入： ...

2018-05-15 20:19:00 175

转载理解MapReduce计算构架

用Python编写WordCount程序任务程序 WordCount 输入一个包含大量单词的文本文件输出文件中每个单词及其出现次数（频数），并按照单词字母顺序排序，每个单词和其频数占一行，单词和频数之间有间隔编写map函数，reduce函数 map函数： red...

2018-05-10 14:40:00 184

转载熟悉HBase基本操作

1. 以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据：学生表（Student）（不包括最后一列）学号（S_No）姓名（S_Name）性别（S_Sex）年龄（S_Age）课程（course） 2015001 Zhangsan male 23...

2018-05-08 16:13:00 178

转载熟悉常用的HDFS操作

一、Hadoop提供的Shell命令完成相同任务：在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt，里面可以随意输入一些单词. 在本地查看文件位置（ls）在本地显示文件内容使用命令把本地文件系统中的“txt”上传到HDFS中的当前用户目录的input目录下。查看hdfs中的文件(-ls) 显示hdfs中该...

2018-04-26 11:05:00 214

转载爬虫大作业

一、主题：爬取博客园博问上160页每页25条帖子标题，利用jieba分词生成词云进行分析二、python爬取数据博问主页：https://q.cnblogs.com/list/unsolved?page=1 第二页：https://q.cnblogs.com/list/unsolved?page=2 以此类推…...

2018-04-22 13:45:00 671

转载数据结构化与保存

1. 将新闻的正文内容保存到文本文件。 def addcontent(content): f = open("F:/study/大三/大数据/content.txt", "a") f.write('\n'+content) f.close() 2. 将新闻数据结构化为字典的列表: 单条新闻的详情-->字典news 一个列表页所有...

2018-04-17 18:47:00 130

转载使用正则表达式

学会使用正则表达式 import requestsimport match import re newsurl = 'http://news.gzcc.cn/html/xiaoyuanxinwen/' res = requests.get(newsurl) res.encoding = 'utf-8' from bs4 import BeautifulSoup ...

2018-04-10 20:56:00 188

转载爬取校园新闻首页的新闻

1. 用requests库和BeautifulSoup库，爬取校园新闻首页新闻的标题、链接、正文。 import requestsnewsurl = 'http://news.gzcc.cn/html/xiaoyuanxinwen/'res = requests.get(newsurl) # 返回response对象res.encoding = 'utf-8'from bs4...

2018-04-04 12:37:00 177

转载网络爬虫基础练习

练习：新建一个用于练习的html文件，在浏览器中打开。 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Simple DOM Demo</title> </head> &l...

2018-03-29 11:21:00 173

转载综合练习：词频统计

1.英文词频统计：下载一首英文的歌词或文章 song = ''' Passion is sweet Love makes weak You said you cherised freedom so You refused to let it go Follow your faith Love and hate never failed to seize the d...

2018-03-27 16:59:00 213

转载组合数据类型综合练习：英文词频统计

1.组合数据类型练习：分别定义字符串，列表，元组，字典，集合，并进行遍历。总结列表，元组，字典，集合的联系与区别。字符串： str1 = "hello everyone" for i in str1: print(i) 列表： str2 = ['jay','male',[1996,12,2]] for i in str2: print(i) 元组...

2018-03-22 19:10:00 189

转载 Python基础综合练习

import turtle def mygoto(x,y): turtle.up() turtle.goto(x, y) turtle.down() def draw(x): turtle.begin_fill() for i in range(5): turtle.forward(x) turtle.right(144...

2018-03-20 16:04:00 213

转载熟悉常用的Linux操作

cd命令：切换目录（1）切换到目录 /usr/localcd /usr/local （2）去到目前的上层目录 cd .. （3）回到自己的主文件夹 cd ~ ls命令：查看文件与目录（4）查看目录/usr下所有的文件 cd /usr ls -al mkdir命令：新建新目录（5）进入/tmp目录，创建一个名为a的目录,并查看有多少目录存在 cd /tm...

2018-03-13 17:04:00 447

转载大数据概述

1.试述大数据对思维方式的重要影响。大数据对思维方式带来的转变有三种：全样而非抽样、效率而非精确、相关而非因果。 ①、全样而非抽样:在过去,数据存储和处理能力有限，所以在科学分析中一般采用抽样的方法，而现在，有了大数据技术的支持，科学分析可以直接针对全样数据进行分析而不是抽样数据； ②、效率而非精确:在科学分析中如果采用抽样分析，则分析需要做到精确，否则分析...

2018-03-06 16:21:00 3065

转载 C程序语法(无左递归)

<程序> —〉 <外部声明> | <函数定义><外部声明> —〉<头文件> | <变量> | <结构体> <头文件> —〉 #include<文件名><文件名> —〉 stdio.h丨stdlib.h丨string.h<结构体> —〉 <结构体声明〉|...

2016-12-02 18:38:00 328

转载简易版C语言程序语法

<程序> —〉 <外部声明> | <函数定义><外部声明> —〉<头文件> | <变量> | <结构体> <头文件> —〉 #include<文件名><文件名> —〉 stdio.h丨stdlib.h丨string.h<结构体> —〉 <结构体声明〉|...

2016-10-27 11:22:00 236

转载词法分析实验报告(一)

实验一词法分析实验专业：商业软件三班姓名：曾铭杰学号：201506110197 一、实验目的用C语言设计一个词法分析程序，将字符流的源程序进行分析，从左到右逐个字符地扫描源程序，同时滤掉空格符和回车换行符，逐个读取字符，然后将它们拼在一起组成一个有意义的单词符号，识别出单词的种别及单词自身的值. 二、实验内容和要求 1.输入一段...

2016-10-13 10:58:00 906

转载词法分析程序（C）

#include <stdio.h> #include <string.h> char string[80],word[8],ch; int type,p,i,n,sum; char keyword[][6]={"begin","if","then","while","do","end"}; //关键字数组 ...

2016-10-07 21:33:00 282

转载词法分析程序

词法分析程序的功能：将用户输入的程序段进行分析，逐个字符进行读取，根据关键字、数字、标识符等的文法规则，将它们拼在一起组成一个有意义的单词，并输出自身值及其种别码。单词符号种别码单词符号种别码 begin 1 : 17 if 2 := 18 then ...

2016-09-30 10:40:00 239

转载我对编译原理的理解

1.编译原理就是什么？编译就是计算机将人类语言翻译成机器语言的过程，也就是将高级语言翻译成低级语言（0/1），而学习编译原理就是要我们学习整个的翻译过程，即计算机内部如何将高级语言翻译成低级语言。 2.学习编译原理有什么好处？不会编译原理，就相当于一个不会一个英语的人在看一部无中文字幕的英语电影，如果没有人翻译出来字幕，那他就完全都听不懂，但即便不会...

2016-09-08 11:20:00 299

bagaichang8396的博客