bafeipo7704-优快云博客

转载 Hadoop综合大作业+补交平时作业

1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）进行词频统计。载入数据创建查表 create table Newword_count as select word,count(1) as count from(select explode(split(line,' ')) as word from ...

2018-05-25 22:16:00 238

转载熟悉常用的Hbase操作

1. 以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据：学生表（Student）（不包括最后一列）学号（S_No）姓名（S_Name）性别（S_Sex）年龄（S_Age）课程（course） 2015001 Zhangsan male ...

2018-05-08 15:47:00 172

转载爬虫大作业

import requests from bs4 import BeautifulSoup def catchSoup(url): #url=‘http://www.18ladys.com/post/buchong/‘ res=requests.get(url) res.encoding=‘utf-8‘ soup=BeautifulSo...

2018-04-29 12:58:00 161

转载熟悉常用的HDFS操作

编程实现以下指定功能，并利用Hadoop提供的Shell命令完成相同任务：在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt，里面可以随意输入一些单词. 在本地查看文件位置（ls）在本地显示文件内容 1 2 3 cd/usr/local/hadoop touch test.txt ...

2018-04-25 20:45:00 140

转载数据结构化与保存

1. 将新闻的正文内容保存到文本文件。 ? 1 2 3 4 f = open('content.txt', 'a', encoding ='utf - 8') # content为文本正文 f.write(content) f.close() 2. 将新闻数据结构化为字典的列表: ? ...

2018-04-12 19:51:00 98

转载爬取校园新闻首页的新闻的详情，使用正则表达式，函数抽离

import requests from bs4 import BeautifulSoup from datetime import datetime url = "http://news.gzcc.cn/html/xiaoyuanxinwen/" res = requests.get(url); res.encoding = "utf-8" soup = Beautif...

2018-04-04 21:01:00 109

转载中文词频统计

下载一长篇中文文章。从文件读取待分析文本。 news = open('gzccnews.txt','r',encoding = 'utf-8') 安装与使用jieba进行中文分词。 pip install jieba import jieba list(jieba.lcut(news)) 生成词频统计排序排除语法型词汇，代词、冠词、连词输出词频最大TOP20 ...

2018-03-28 16:11:00 97

转载综合练习：英文词频统计

词频统计预处理下载一首英文的歌词或文章将所有,.？！’:等分隔符全部替换为空格将所有大写转换为小写生成单词列表生成词频统计排序排除语法型词汇，代词、冠词、连词输出词频最大TOP10 1 # -*- coding: UTF-8 -*- 2 # -*- author: yjw -*- 3 4 Music="""Oh if th...

2018-03-26 19:58:00 104

转载字符串练习

字符串练习： http://news.gzcc.cn/html/2017/xiaoyuanxinwen_1027/8443.html 取得校园新闻的编号 acc="http://news.gzcc.cn/html/2017/xiaoyuanxinwen_1027/8443.html" print(acc[-14:-5]) https://docs.python.org/...

2018-03-21 14:06:00 141

转载熟悉常用的Linux操作

cd命令：切换目录（1）切换到目录 /usr/local cd /usr/local （2）去到目前的上层目录 cd .. （3）回到自己的主文件夹 cd ~ ls命令：查看文件与目录（4）查看目录/usr下所有的文件 ls -a /usr mkdir命令：新建新目录（5）进入/tmp目录，创建一个名为a的目录,并查看有多少目录存在 cd /...

2018-03-14 15:03:00 112

转载大数据概述作业

恢复 1.试述大数据对思维方式的重要影响。大数据时代，思维方式的一个改变，不执着于对精确性的追求，拥抱混乱。另外一个思维方式的转变则是，更加重视相关关系，而不偏执于基于假设基础上对因果关系的追寻。在小数据的世界中，相关关系也是有用的，但在大数据的背景下，相关关系大放异彩。通过应用相关关系，我们可以比以前更容易、更便捷、更清楚地分析事物。人类的思维活动影响着人类的生产生活...

2018-03-06 18:38:00 403

转载简化C语言文法

2016-10-28 21:37:00 233

转载词法分析

实验一、词法分析实验专业：商业软件工程二班姓名：林凯盛学号：201506110149 一、实验目的编制一个词法分析程序二、实验内容和要求实验内容：1.对字符串表示的源程序 2.从左到右进行扫描和分解 3.根据词法规则 4.识别出一个一个具有独立意义的单词符号 5.以供语法分析之用 6.发现词法错误...

2016-10-14 16:00:00 162

转载词法分析程序

一、功能输入：所给文法的源程序字符串。输出：二元组（syn,token 或sum）构成的序列。其中：syn为单词种别码； token为存放的单词自身字符串； sum为整型常数。二、符号与种别码对照表单词符号种别码单词符号种别码 begin 1 ： 17 If...

2016-09-30 21:41:00 185

转载编译原理心得

一、编译原理是什么编译器是将汇编或高级计算机语言翻译为二进制机器语言代码的计算机程序。编译器将源程序（source language）编写的程序作为输入，翻译产生目标语言（target language ）机器代码的等价程序。通常地，源程序为高级语言（high-level language ），像C或C + +、汉语语言程序等，而目标则是机器语言的目标代码（object cod...

2016-09-09 15:52:00 339

bafeipo7704的博客