alxna0852-优快云博客

转载 Hadoop综合大作业

1.用Hive对爬虫大作业产生的文本文件（或者英文词频统计下载的英文长篇小说）词频统计。（1）启动hadoop ssh localhost cd /usr/local/hive/lib service mysql start start-all.sh （2）Hdfs上创建文件夹 hdfs dfs -mkdir newsinput hdfs dfs -...

2018-05-20 17:10:00 311

转载 hive基本操作与应用

通过hadoop上的hive完成WordCount 启动hadoop ssh localhost cd /usr/local/hadoop ./sbin/start-dfs.sh cd /usr/local/hive/lib service mysql start start-all.sh Hdfs上创建文件夹 hdfs dfs -mkdir wcinput...

2018-05-16 15:25:00 190

转载用mapreduce 处理气象数据集

用mapreduce 处理气象数据集编写程序求每日最高最低气温，区间最高最低气温 1.气象数据集下载地址为：ftp://ftp.ncdc.noaa.gov/pub/data/noaa 2.按学号后三位下载不同年份月份的数据（例如201506110136号同学，就下载2013年以6开头的数据，看具体数据情况稍有变通） 3.解压数据集，并保存在文本文件中 cd /usr/ha...

2018-05-09 20:58:00 427

转载熟悉常用的HBase操作，编写MapReduce作业

1. 以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据：学生表（Student）（不包括最后一列）学号（S_No）姓名（S_Name）性别（S_Sex）年龄（S_Age）课程（course） 2015001 Zhangsan male 23...

2018-05-08 18:42:00 225

转载爬虫大作业

1.选一个自己感兴趣的主题。 2.用python 编写爬虫程序，从网络上爬取相关主题的数据。 3.对爬了的数据进行文本分析，生成词云。 4.对文本分析结果进行解释说明。 5.写一篇完整的博客，描述上述实现过程、遇到的问题及解决办法、数据分析思想及结论。 6.最后提交爬取的全部数据、爬虫及数据分析源代码。前言：由于自己对赛车情有独钟，所以本次作业去爬取腾讯F1赛车频...

2018-04-29 16:15:00 241

转载熟悉常用的HDFS操作

在本地Linux文件系统的“/home/hadoop/”目录下创建一个文件txt，里面可以随意输入一些单词. mkdir hadoop cd hadoop touch 123.txt gedit 123.txt 在本地查看文件位置（ls） ls -al 在本地显示文件内容 gedit 123.txt 使用命令把本地文件系统中的“txt”上传到HD...

2018-04-24 20:23:00 554

转载数据结构化与保存

1. 将新闻的正文内容保存到文本文件。 def writeToDocument(filename, content): f = open(filename, 'a', encoding='utf-8') f.write(content) f.close() 2. 将新闻数据结构化为字典的列表: （1）单条新闻的详情-->字典news...

2018-04-11 19:38:00 139

转载获取全部校园新闻

1.取出一个新闻列表页的全部新闻包装成函数。 2.获取总的新闻篇数，算出新闻总页数。 3.获取全部新闻列表页的全部新闻详情。 import requests from bs4 import BeautifulSoup from datetime import datetime import locale import re def getClickCount...

2018-04-10 21:51:00 171

转载爬取校园新闻首页的新闻

1. 用requests库和BeautifulSoup库，爬取校园新闻首页新闻的标题、链接、正文、show-info。 2. 分析info字符串，获取每篇新闻的发布时间，作者，来源，摄影等信息。 3. 将字符串格式的发布时间转换成datetime类型 4.使用正则表达式取得新闻编号 5. 生成点击次数的Request URL 6. 获取点击次数 7. 将456步骤定义成一个...

2018-04-03 18:12:00 157

转载网络爬虫基础练习

0.可以新建一个用于练习的html文件，在浏览器中打开。 1.利用requests.get(url)获取网页页面的html文件 import requests newsurl='http://news.gzcc.cn/html/xiaoyuanxinwen/' res = requests.get(newsurl) #返回response对象 res.encoding='...

2018-03-29 17:06:00 126

转载中文词频统计

下载一长篇中文文章。从文件读取待分析文本。 news = open('gzccnews.txt','r',encoding = 'utf-8') 安装与使用jieba进行中文分词。 pip install jieba import jieba list(jieba.lcut(news)) 生成词频统计排序排除语法型词汇，代词、冠词、连词输出词频最大TOP20 ...

2018-03-28 17:40:00 202

转载综合练习：英文词频统计

词频统计预处理下载一首英文的歌词或文章将所有,.？！’:等分隔符全部替换为空格将所有大写转换为小写生成单词列表生成词频统计排序排除语法型词汇，代词、冠词、连词输出词频最大TOP10 word = ''' It's the most controversial Formula One introduction since the 2016 q...

2018-03-22 18:33:00 182

转载字符串练习

字符串练习： http://news.gzcc.cn/html/2017/xiaoyuanxinwen_1027/8443.html 取得校园新闻的编号 str = 'http://news.gzcc.cn/html/2017/xiaoyuanxinwen_1027/8443.html' print(str[-14:-5]) https://docs.python.or...

2018-03-20 21:25:00 172

转载 Python基础

# -*- coding:UTF-8 -*- from turtle import * def mygoto(x, y): up() goto(x, y) down() def draw(r): begin_fill() for i in range(5): forward(r) ...

2018-03-14 18:42:00 138

转载熟悉常用Linux操作

cd命令：切换目录（1）切换到目录 /usr/local cd /usr/local （2）去到目前的上层目录 cd .. （3）回到自己的主文件夹 cd ~ ls命令：查看文件与目录（4）查看目录/usr下所有的文件 cd /usr ls -al ~ mkdir命令：新建新目录（5）进入/tmp目录，创建一个名为a的目录,并查看有多少目...

2018-03-13 21:32:00 167

转载大数据概述

1.试述大数据对思维方式的重要影响。（1）全样而非抽样（2）效率而非精准（3）相关而非因果 2.详细阐述大数据、云计算、物联网之间的区别与联系。（1）区别：大数据侧重于对海量数据的存储、处理与分析，从海量数据中发现价值、服务于生产和生活；云计算本质上旨在整合和优化各种IT资源、并通过网络以服务的方式廉价的提供给用户；物联网的发展目标是实现物物相连，应用创新是物联网发展的...

2018-03-06 18:33:00 496

转载实验三递归下降分析程序

实验三递归下降分析程序实验专业商软2班姓名邝启彬学号 201506110165 一、实验目的编制一个递归下降分析程序。二、实验内容和要求输入：正规式输出：判断该正规式是否正确。三、实验方法、步骤及结果测试 1. 源程序名：递归下降分析程序.c 可执...

2016-12-16 19:45:00 643

转载实验二 c语言文法

2016-10-28 15:57:00 323

转载实验一词法分析程序

实验一词法分析程序实验专业商软2班姓名邝启彬学号 201506110165 一、实验目的编制一个词法分析程序。二、实验内容和要求输入：源程序字符串输出：二元组（种别，单词符号本身）。三、实验方法、步骤及结果测试 1. 源程序名：词法分析.c 可执行程序名：词法...

2016-10-14 15:04:00 368

转载词法分析程序

词法分析程序的功能：通过用户输入的关键字及其他保留字符，输出它本身及它的种别码符号与种别码对照表如下单词符号种别码单词符号种别码 begin 1 : 17 if 2 := 18 then 3 &...

2016-09-30 15:53:00 197

转载我对编译原理的一些看法

编译原理就是了解编译器的编译过程，好处是可以使得自己能在了解编译过程之后能编写出一个更高效的程序，供其他人使用。不学的话可能会很难去在完成一个程序后去调试程序，更好地去修改程序。对于学习这门课的话，我觉得除了学习上课老师所讲的内容是不够的，如果要学的更加深入的话就需要自己去翻阅一些有关编译原理的书籍，才能学得更加好。转载于:https://www.cnblogs.com/BennyK...

2016-09-09 15:32:00 240

alxna0852的博客