- 博客(19)
- 收藏
- 关注
RSS订阅转载 Hadoop综合大作业
1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。 （1）开启所有的服务，并创建文件夹wwc(2)查看目录下所有文件（3）把hdfs文件系统中文件夹里的文本文件load进去。（4）进入hive,并查看所有的表(5)创建表word,,写hiveQL命令统计（6）运行结果...
2018-05-25 09:14:00
149
转载 理解MapReduce
1.用Python编写WordCount程序并提交任务程序WordCount输入一个包含大量单词的文本文件输出文件中每个单词及其出现次数（频数），并按照单词字母顺序排序，每个单词和其频数占一行，单词和频数之间有间隔编写map函数，reduce函数#！/usr/...
2018-05-10 21:17:00
195
转载 熟悉常用的HBase操作
1. 以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据：学生表（Student）（不包括最后一列）学号（S_No）姓名（S_Name）性别（S_Sex）年龄（S_Age）课程（course）2015001Zhangsanmale23...
2018-05-04 20:18:00
141
转载 第三章 熟悉常用的HDFS操作
一、Hadoop提供的Shell命令完成相同任务：在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt，里面可以随意输入一些单词.在本地查看文件位置（ls）在本地显示文件内容cd /usr/local/hadoop touch ly.txt cat ly.txt使用命令把本地文件系统中的“txt”上传到HDFS中的当前...
2018-04-27 17:55:00
183
转载 爬虫大作业
1.选一个自己感兴趣的主题或网站。(所有同学不能雷同)2.用python 编写爬虫程序，从网络上爬取相关主题的数据。3.对爬了的数据进行文本分析，生成词云。4.对文本分析结果进行解释说明。5.写一篇完整的博客，描述上述实现过程、遇到的问题及解决办法、数据分析思想及结论。6.最后提交爬取的全部数据、爬虫及数据分析源代码from bs4 import Beauti...
2018-04-23 15:08:00
139
转载 数据结构化与保存
1. 将新闻的正文内容保存到文本文件。def writeNewsDetail(content): f = open('gzccNews.txt', 'a',encoding='utf-8') f.write(content) f.close()2. 将新闻数据结构化为字典的列表:单条新闻的详情-->字典news一个列表页...
2018-04-16 17:12:00
118
转载 使用正则表达式，取得点击次数，函数抽离
import rea = "123456789@qq.com"b = '020-88770099'mail = re.search('\d{6,12}@[a-zA-Z0-9]+.[a-zA-Z0-9]+', a).group(0)tele_num = re.search('\d{3,4}-\d{6,8}', b).group(0)print(mail+'\n'...
2018-04-11 20:45:00
115
转载 爬取校园新闻首页的新闻
1. 用requests库和BeautifulSoup库，爬取校园新闻首页新闻的标题、链接、正文。爬取校园新闻首页新闻的标题、链接：import requestsfrom bs4 import BeautifulSoupurl='http://news.gzcc.cn/html/xiaoyuanxinwen/'res=requests.get(url)re...
2018-04-02 11:36:00
225
转载 网络爬虫基本练习
1.取出h1标签的文本import requestsurl = 'http://news.gzcc.cn/html/2018/xiaoyuanxinwen_0328/9113.html'res = requests.get(url)res.encoding='utf-8'from bs4 import BeautifulSoupsoup = Beautiful...
2018-03-29 12:35:00
136
转载 综合练习：词频统计
song = ''' Don't need permission Made my decision to test my limits Cause it's my business god as my witness Start what I finished Don't need no hold up Taking control of th...
2018-03-26 11:07:00
135
转载 组合数据类型练习
'''字符串'''str = "This is a string"for i in str: print(i) '''列表'''list = ['a','b','c','hasee']for i in list: print(i) '''元组'''tup = ('a','b',123,'hasee')for i in tup...
2018-03-22 12:49:00
101
转载 Python基础综合练习
import turtledef mygoto(x, y): turtle.up() turtle.goto(x, y) turtle.down()def drawwu(x): turtle.begin_fill() for i in range(5): turtle.forward(x)...
2018-03-19 09:57:00
118
转载 熟悉常用的Linux操作
请按要求上机实践如下linux基本命令。cd命令：切换目录（1）切换到目录 /usr/localcd /usr/local（2）去到目前的上层目录cd ...（3）回到自己的主文件夹cd ~ls命令：查看文件与目录（4）查看目录/usr下所有的文件Ls /usrmkdir命令：新建新目录（5）进入/tmp目录，创建一个名为a的目录,并查...
2018-03-12 11:25:00
117
转载 大数据概述
1.试述大数据对思维方式的重要影响：随着时代的发展信息时代已经来到第三次的浪潮：信息大爆发。如今的世界网络发达且遍布广人们很容易就利用自己身边的移动终端如手机和电脑产生大量数据，比如你用电脑搜索一些关键字或者利用手机的app如：微信、美团等娱乐休闲的软件、支付宝支付为你自己服务的同时也会产生大量的数据返回给终端，所以说现在我们也是大数据的提供者之一。我认为大数据给我们带来的思维改变有...
2018-03-05 10:01:00
358
转载 有穷自动机
#include<string.h>#include<stdio.h>#include<stdlib.h>int main(){ char p[30][30]; char q[30][30]; int line=0; int n; int i,j; int count=0; int k,t=0; int ...
2016-12-09 16:50:00
118
转载 C语言文法
1.<程序>→<外部声明>|<程序><外部声明>2.<外部声明>→<函数定义>|<声明>3.<函数定义>→<类型说明><声明符><复合语句>4.<类型说明>→<VOID>|...
2016-10-28 17:48:00
104
转载 词法分析实验报告
一、 实验目的编写一个词法分析程序。二、 实验内容和要求输入：源程序字符串输出：二元组（种别，单词本身） 待分析语言的词法规则三、 实验方法、步骤及结果测试1. 源程序名：压缩包文件（rar或zip）中源程序名 kenk.c可执行程序名：kenk.exe2....
2016-10-14 17:41:00
312
转载 词法分析程序
#include<stdio.h>#include<stdlib.h>#include<string.h>#define_KEY_WOED_END"waitingforyourexpanding"//关键字结束标志typedefstruct{inttypenum;char*word;}WORD;charinput[255];/...
2016-09-30 17:46:00
163
转载 如何看待编译原理
1.随着我进入到大二的学习中我认识到一门叫编译原理的课程，一开始我对这一门课程不是十分的了解，编译原理是什么？所以我看了下书本的前言解释和网上的有关资料，给出的结果是编译原理是计算机专业的一门重要专业课，旨在介绍编译程序构造的一般原理和基本方法。内容包括语言和文法、词法分析、语法分析、语法制导翻译、中间代码生成、存储管理、代码优化和目标代码生成。 编译原理是计算机专业设置的一门...
2016-09-09 17:48:00
212
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人