- 博客(19)
- 收藏
- 关注
RSS订阅转载 hadoop综合大作业
作业要求来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3339 本案例主要分析在豆瓣爬取的短评数据，数据字段包括地址、评论时间、评论内容、评价程度、用户名和投票数6个属性值，将数据上传到hdfs的hive数据仓库中进行简要分析。 一、建立一个运行本案例的目录bigdatacase、dataset： 上传...
2019-06-16 15:42:00
395
转载 分布式并行计算MapReduce
作业要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3319 1.用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。 HDFS（Hadoop Distributed File System，Hadoop分布式文件系统），它是一个高度容错性的系统，适合部署在廉价的机器上。HD...
2019-06-06 19:51:00
229
转载 ·分布式文件系统HDFS 练习
作业要求来源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3292 1.目录操作 在HDFS中为hadoop用户创建一个用户目录（hadoop用户） 在用户目录下创建一个input目录 在HDFS的根目录下创建一个名称为input的目录 删除HDFS根目录中的"input"目录 2....
2019-05-31 18:13:00
188
转载 安装关系型数据库MySQL 安装大数据处理框架Hadoop
作业要求来自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3161 1.Hadoop的介绍 Hadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。2003年、2004...
2019-05-12 21:38:00
131
转载 爬虫综合大作业
作业要求来源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3075 一.把爬取的内容保存取MySQL数据库 import pandas as pd import pymysql from sqlalchemy import create_engine conInfo = "mysql+pymysql://...
2019-04-28 21:05:00
318
转载 爬取全部的校园新闻
作业来源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2941 1.从新闻url获取新闻详情： 字典,anews 2.从列表页的url获取新闻url：列表append(字典) alist 3.生成所页列表页的url并获取全部新闻 ：列表extend(列表) allnews *每个同学爬学号尾数开始的10个列表页...
2019-04-12 21:30:00
199
转载 获取一篇新闻的全部信息
作业要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2894 给定一篇新闻的链接newsUrl，获取该新闻的全部信息 标题、作者、发布单位、审核、来源 发布时间:转换成datetime类型 点击： newsUrl newsId(使用正则表达式re) clickUrl(str.format(new...
2019-04-03 14:43:00
115
转载 理解爬虫原理
作业要求：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2851 1. 简单说明爬虫原理 1、发起请求 使用http库向目标站点发起请求，即发送一个Request Request包含：请求头、请求体等 Request模块缺陷：不能执行JS 和CSS 代码 2、获取响应内容 如果服务器能正常响应，则会得...
2019-03-25 17:51:00
87
转载 中文词频统计
作业的要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2773 中文词频统计 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba import jieba ljieba.lcut(text) 4. 更新词库，加入所...
2019-03-18 21:24:00
141
转载 复合数据类型，英文词频统计
作业来源于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2696 1.列表，元组，字典，集合分别如何增删改查及遍历。 ''' 列表的增删改查 ''' List = [1, 2, 3] # 增 append / insert / extend List.append(['新列表', '新元素']...
2019-03-14 21:38:00
119
转载 字符串、文件操作，英文词频统计预处理
该作业要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2646 1.字符串操作： 解析身份证号：生日、性别、出生地 ID=input('请输入十八位身份证号码: ') if len(ID)==18: print("你的身份证号码是 "+ID) else: print("错误的身份证号码...
2019-03-06 19:09:00
137
转载 了解大数据的特点、来源与数据呈现方式
1.浏览2019春节各种大数据分析报告，例如： 这世间，再无第二个国家有能力承载如此庞大的人流量 http://www.sohu.com/a/290025769_313993 春节人口迁徙大数据报告！ http://www.sohu.com/a/293854116_679156 春节大数据:消费首破万亿 最佳伴手礼竟是教辅书? http://news...
2019-02-26 21:52:00
93
转载 Git_GitHub-使用过程遇到的问题——坑（持续添加）
push错误——>master git push -u origin master 最后找到解决办法如下： 1、先删除远程 Git 仓库 $ git remote rm origin 2、再添加远程 Git 仓库 $ git remote add origin git@github.com:FBing/java-code-generator 如果执...
2018-12-17 16:34:00
2684
转载 xampp——apache服务启动问题（端口占用）
Apache启动提示 20:39:02 [Apache] Error: Apache shutdown unexpectedly.20:39:02 [Apache] This may be due to a blocked port, missing dependencies, 20:39:02 [Apache] improper privileges, a crash...
2018-11-24 21:10:00
267
转载 四则运算升级版--图形化界面
结对项目——四则运算 “软件”之升级版 这个作业的要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2232 GitHub地址：https://github.com/Rozmin/Airi 结对成员刘星辰博客园：https://www.cnblogs.com/destinymingyun 一...
2018-10-28 23:21:00
423
转载 第四次作业 运算
作业要求来源：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2186 GitHub地址：https://github.com/Rozmin/PupilsArithme.git 一、题目要求： 像《构建之法》的人物阿超那样，写一个能自动生成小学四则运算题目的命令行 “软件”。具体要求：任何编程语言都可以，命令行程序...
2018-10-15 11:05:00
191
转载 阅《构建之法》1——5章
这个作业的要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2178。 在这个愉悦的国庆小长假，我仔细阅《构建之法》1-5章，对软件工程这门课有了全新的认识。在阅读过程中我产生了一些疑惑，并对问题进行多方查询，有了自己的见解和分析。 第一章 飞机的安全功能，乘坐飞机时，你会看到乘务人员不厌其烦地给你介绍飞...
2018-10-06 21:08:00
127
转载 分布式版本控制系统Git的安装与使用
作业要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2097 1.下载git，安装配置用户名和邮箱。 （1）下载安装Github配置 （2）配置用户名命令：$git config --global user.name "R" （3）配置邮箱命令：$git config --global user.emai...
2018-09-17 19:54:00
113
转载 随笔——第一次作业
作业要求来自于：https://www.cnblogs.com/greyzeng/p/9581624.html 两篇博客的心得体会： 我为何早起？因为我想知道早上的太阳是否升起；为何晚睡？我想知道流星的美丽是否值得去追寻。 小时候学自行车，想想那是个后并没有人教，自个来回一次小巷就会了，当时的感觉是，新奇害怕，可能是因为只有为我一个人的原因，我并不希望摔倒，周围没有人，不会有人把我...
2018-09-09 18:55:00
122
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人