<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[a376712116的博客]]></title><description><![CDATA[唾手可得的必然毫无价值，那些打不倒你的才会使你更加强大！]]></description><link>https://blog.youkuaiyun.com/a376712116</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; a376712116]]></copyright><item><title><![CDATA[四非计算机推免]]></title><link>https://blog.youkuaiyun.com/a376712116/article/details/82898494</link><guid>https://blog.youkuaiyun.com/a376712116/article/details/82898494</guid><author>a376712116</author><pubDate>Sat, 29 Sep 2018 15:44:52 +0800</pubDate><description><![CDATA[四非计算机推免我个人背景为什么要写这个？夏令营北大软微北大叉院复旦大数据浙大计算机院预推免中科院国防科技大学浙江大学中山大学北大软微北大叉院复旦大数据厦门大学四川大学重庆大学同济大学天津大学南京大学东南大学中南大学武汉大学华中科技大学华东师范大学总结
我
个人背景
本人杭州的一所四非学校，计算机金融专业，绩点4.19，学院排名1/307，拿了省政府奖学金、校十佳大学生等等荣誉。3项国奖、4项省奖、...]]></description><category></category></item><item><title><![CDATA[博物馆AR虚拟合影]]></title><link>https://blog.youkuaiyun.com/a376712116/article/details/81267906</link><guid>https://blog.youkuaiyun.com/a376712116/article/details/81267906</guid><author>a376712116</author><pubDate>Sun, 29 Jul 2018 09:26:41 +0800</pubDate><description><![CDATA[一、项目概述 
该项目是将博物馆中的文物虚拟化，利用AR增强现实技术与到访的游客进行合影，让文物不再只可远观，带来别样体验。有APP和服务端，APP进行AR合影后将图片上传到服务器，游客通过扫描合影图片右下角的二维码从服务器上下载图片保存。

二、开发环境 
win10 
jdk 1.8 
android studio

三、项目体会 
其实做AR的sdk还是非常多的，一开始用的是artoolki...]]></description><category></category></item><item><title><![CDATA[大数据技术之sqoop（二）]]></title><link>https://blog.youkuaiyun.com/a376712116/article/details/81079882</link><guid>https://blog.youkuaiyun.com/a376712116/article/details/81079882</guid><author>a376712116</author><pubDate>Tue, 17 Jul 2018 13:49:09 +0800</pubDate><description><![CDATA[四、Sqoop 的简单使用案例

4.1、导入数据

在 Sqoop 中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，

HBASE）中传输数据，叫做：导入，即使用 import 关键字。

4.1.1、RDBMS 到 HDFS

1)  确定 Mysql 服务开启正常

2)  在 Mysql 中新建一张表并插入一些数据



mysql&amp;gt; create ...]]></description><category></category></item><item><title><![CDATA[大数据技术之sqoop（一）]]></title><link>https://blog.youkuaiyun.com/a376712116/article/details/81079502</link><guid>https://blog.youkuaiyun.com/a376712116/article/details/81079502</guid><author>a376712116</author><pubDate>Tue, 17 Jul 2018 13:19:49 +0800</pubDate><description><![CDATA[一、Sqoop 简介

Apache Sqoop(TM)是一种旨在有效地在 Apache Hadoop 和诸如关系数据库等结构化数据存

储之间传输大量数据的工具。

Sqoop 于 2012 年 3 月孵化出来，现在是一个顶级的 Apache 项目。

最新的稳定版本是 1.4.6。Sqoop2 的最新版本是 1.99.7。请注意，1.99.7 与 1.4.6 不兼容，且

没有特征不完整，它并...]]></description><category></category></item><item><title><![CDATA[大数据技术之Hive实战——Youtube项目（二）]]></title><link>https://blog.youkuaiyun.com/a376712116/article/details/81073241</link><guid>https://blog.youkuaiyun.com/a376712116/article/details/81073241</guid><author>a376712116</author><pubDate>Mon, 16 Jul 2018 23:08:07 +0800</pubDate><description><![CDATA[三、项目

原始数据youtube在此下载：https://pan.baidu.com/s/1we1KPA2IIEAGIJczyr2dMQ

3.1、数据结构

3.1.1、视频表 
 
 
3.1.2、用户表 
        

3.2 原始数据存放地

HDFS 目录：

视频数据集：/youtube/video/2008

用户数据集：/youtube/users/2008

3.3、技术...]]></description><category></category></item><item><title><![CDATA[大数据技术之Hive实战——Youtube项目（一）]]></title><link>https://blog.youkuaiyun.com/a376712116/article/details/81071958</link><guid>https://blog.youkuaiyun.com/a376712116/article/details/81071958</guid><author>a376712116</author><pubDate>Mon, 16 Jul 2018 21:29:50 +0800</pubDate><description><![CDATA[一、需求描述

统计 Youtube 视频网站的常规指标，各种 TopN 指标：

–统计视频观看数 Top10

–统计视频类别热度 Top10

–统计视频观看数 Top20 所属类别包含这 Top20 视频的个数

–统计视频观看数 Top50 所关联视频的所属类别 Rank

–统计每个类别中的视频热度 Top10

–统计每个类别中视频流量 Top10

–统计上传视频最多的用户 Top...]]></description><category></category></item><item><title><![CDATA[大数据技术之Hive（七）]]></title><link>https://blog.youkuaiyun.com/a376712116/article/details/81051298</link><guid>https://blog.youkuaiyun.com/a376712116/article/details/81051298</guid><author>a376712116</author><pubDate>Sun, 15 Jul 2018 11:16:54 +0800</pubDate><description><![CDATA[十一、数据仓库

11.1 什么是数据仓库

数据仓库，英文名称为 Data Warehouse，可简写为 DW 或 DWH。数据仓库，是为企业

所有级别的决策制定过程，提供所有类型数据支持的战略集合。它出于分析性报告和决策

支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质

量以及控制。

11.2 数据仓库能干什么？

1）年度销售目标的指定，需要根据以往的历...]]></description><category></category></item><item><title><![CDATA[大数据技术之Hive（六）]]></title><link>https://blog.youkuaiyun.com/a376712116/article/details/81051026</link><guid>https://blog.youkuaiyun.com/a376712116/article/details/81051026</guid><author>a376712116</author><pubDate>Sun, 15 Jul 2018 10:51:54 +0800</pubDate><description><![CDATA[九、企业级调优

9.1 Fetch 抓取

Fetch 抓取是指，Hive  中对某些情况的查询可以不必使用 MapReduce  计算。例如：

SELECT * FROM employees;在这种情况下，Hive 可以简单地读取 employee 对应的存储目录

下的文件，然后输出查询结果到控制台。

在   hive-default.xml.template 文件中 hive.fetc...]]></description><category></category></item><item><title><![CDATA[大数据技术之Hive（五）]]></title><link>https://blog.youkuaiyun.com/a376712116/article/details/81050638</link><guid>https://blog.youkuaiyun.com/a376712116/article/details/81050638</guid><author>a376712116</author><pubDate>Sun, 15 Jul 2018 10:17:39 +0800</pubDate><description><![CDATA[七 、函数

7.1 系统自带的函数

1）查看系统自带的函数



hive&amp;gt; show functions;

2）显示自带的函数的用法



hive&amp;gt; desc function upper;

3）详细显示自带的函数的用法



hive&amp;gt; desc function extended upper;

7.2 自定义函数

1）Hive 自带了一些函数，比如：max/m...]]></description><category></category></item><item><title><![CDATA[大数据技术之Hive（四）]]></title><link>https://blog.youkuaiyun.com/a376712116/article/details/81045510</link><guid>https://blog.youkuaiyun.com/a376712116/article/details/81045510</guid><author>a376712116</author><pubDate>Sat, 14 Jul 2018 17:11:09 +0800</pubDate><description><![CDATA[五 DML 数据操作

5.1 数据导入

5.1.1 向表中装载数据（Load）

1）语法

hive&amp;amp;gt;load data [local] inpath ‘/opt/module/datas/student.txt’ [overwrite] into table student [partition (partcol1=val1,…)];

（1）load data:表示加载数据

（2...]]></description><category></category></item><item><title><![CDATA[大数据技术之Hive（三）]]></title><link>https://blog.youkuaiyun.com/a376712116/article/details/81045044</link><guid>https://blog.youkuaiyun.com/a376712116/article/details/81045044</guid><author>a376712116</author><pubDate>Sat, 14 Jul 2018 16:36:01 +0800</pubDate><description><![CDATA[三、Hive 数据类型 
3.1 基本数据类型 
 
对于 Hive 的 String 类型相当于数据库的 varchar 类型，该类型是一个可变的字符串， 
不过它不能声明其中最多能存储多少个字符，理论上它可以存储 2GB 的字符数。

3.2 集合数据类型 
 
 
Hive 有三种复杂数据类型 ARRAY、MAP 和 STRUCT。ARRAY 和 MAP 与 Java 中 
的   Arra...]]></description><category></category></item><item><title><![CDATA[大数据技术之Hive（二）]]></title><link>https://blog.youkuaiyun.com/a376712116/article/details/81044527</link><guid>https://blog.youkuaiyun.com/a376712116/article/details/81044527</guid><author>a376712116</author><pubDate>Sat, 14 Jul 2018 16:00:24 +0800</pubDate><description><![CDATA[二 Hive 安装环境准备

2.1 Hive 安装地址

1）Hive 官网地址：

http://hive.apache.org/

2）文档查看地址：

https://cwiki.apache.org/confluence/display/Hive/GettingStarted

3）下载地址：

http://archive.apache.org/dist/hive/

4）github...]]></description><category></category></item><item><title><![CDATA[大数据技术之Hive（一）]]></title><link>https://blog.youkuaiyun.com/a376712116/article/details/81044213</link><guid>https://blog.youkuaiyun.com/a376712116/article/details/81044213</guid><author>a376712116</author><pubDate>Sat, 14 Jul 2018 15:35:02 +0800</pubDate><description><![CDATA[一 、Hive 基本概念

1.1 什么是 Hive

　　Hive：由 Facebook 开源用于解决海量结构化日志的数据统计。

　　Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。

　　本质是：将 HQL 转化成 MapReduce 程序

　　1）Hive 处理的数据存储在 HDFS

　　2）Hive 分析数据底层的实...]]></description><category></category></item><item><title><![CDATA[大数据技术之HDFS文件系统（三）]]></title><link>https://blog.youkuaiyun.com/a376712116/article/details/80908676</link><guid>https://blog.youkuaiyun.com/a376712116/article/details/80908676</guid><author>a376712116</author><pubDate>Wed, 04 Jul 2018 10:34:19 +0800</pubDate><description><![CDATA[四 HDFS 的数据流

4.1 HDFS 写数据流程

4.1.1 剖析文件写入 
 
1）客户端通过 Distributed FileSystem 模块向 namenode 请求上传文件，namenode 检查目标

文件是否已存在，父目录是否存在。

2）namenode 返回是否可以上传。

3）客户端请求第一个 block 上传到哪几个 datanode 服务器上。

4）namenod...]]></description><category></category></item><item><title><![CDATA[大数据技术之HDFS文件系统（二）]]></title><link>https://blog.youkuaiyun.com/a376712116/article/details/80908019</link><guid>https://blog.youkuaiyun.com/a376712116/article/details/80908019</guid><author>a376712116</author><pubDate>Wed, 04 Jul 2018 10:02:45 +0800</pubDate><description><![CDATA[三 HDFS 客户端操作

3.1 HDFS 客户端环境准备

3.1.1 jar 包准备

1）解压 hadoop-2.7.2.tar.gz 到非中文目录

2）进入 share 文件夹，查找所有 jar 包，并把 jar 包拷贝到_lib 文件夹下

3）在全部 jar 包中查找 sources.jar，并剪切到_source 文件夹。

4）在全部 jar 包中查找 tests.jar，并剪...]]></description><category></category></item><item><title><![CDATA[大数据技术之HDFS文件系统（一）]]></title><link>https://blog.youkuaiyun.com/a376712116/article/details/80907705</link><guid>https://blog.youkuaiyun.com/a376712116/article/details/80907705</guid><author>a376712116</author><pubDate>Wed, 04 Jul 2018 09:45:27 +0800</pubDate><description><![CDATA[一 HDFS 概述

1.1 HDFS 产生背景

　　随着数据量越来越大，在一个操作系统管辖的范围内存不下了，那么就分配到更多的操

作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，

这就是分布式文件管理系统。HDFS 只是分布式文件管理系统中的一种。

1.2 HDFS 概念

　　HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分...]]></description><category></category></item><item><title><![CDATA[大数据技术之Hadoop（四）]]></title><link>https://blog.youkuaiyun.com/a376712116/article/details/80765164</link><guid>https://blog.youkuaiyun.com/a376712116/article/details/80765164</guid><author>a376712116</author><pubDate>Thu, 21 Jun 2018 19:38:51 +0800</pubDate><description><![CDATA[4.3 完全分布式部署 Hadoop

分析：

1）准备 3 台客户机（关闭防火墙、静态 ip、主机名称） 
2）安装 jdk 
3）配置环境变量 
4）安装 hadoop 
5）配置环境变量 
6）安装 ssh 
7）配置集群 
8）启动测试集群

4.3.1 虚拟机准备

详见 3.2-3.3 章。

4.3.2 主机名设置

详见 3.4 章。

4.3.3 scp

1）scp 可以实现...]]></description><category></category></item><item><title><![CDATA[大数据技术之Hadoop（三）]]></title><link>https://blog.youkuaiyun.com/a376712116/article/details/80764831</link><guid>https://blog.youkuaiyun.com/a376712116/article/details/80764831</guid><author>a376712116</author><pubDate>Thu, 21 Jun 2018 19:05:00 +0800</pubDate><description><![CDATA[四 、Hadoop 运行模式

1）官方网址

（1）官方网站：

　　　　http://hadoop.apache.org/

（2）各个版本归档库地址

　　　　https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/  
（3）hadoop2.7.2 版本详情介绍

　　　　http://hadoop.apache.org/doc...]]></description><category></category></item><item><title><![CDATA[大数据技术之Hadoop（二）]]></title><link>https://blog.youkuaiyun.com/a376712116/article/details/80721073</link><guid>https://blog.youkuaiyun.com/a376712116/article/details/80721073</guid><author>a376712116</author><pubDate>Sun, 17 Jun 2018 21:26:58 +0800</pubDate><description><![CDATA[三 、Hadoop 运行环境搭建

3.1 虚拟机网络模式设置为 NAT 
 
 
最后，重新启动系统。



[root@hadoop101 ~]# sync

[root@hadoop101 ~]# reboot


3.2 克隆虚拟机 
1）克隆虚拟机 
 
 
 
 
2）启动虚拟机

3.3 修改为静态 ip 
1）在终端命令窗口中输入



[root@hadoop101 /]#vim...]]></description><category></category></item><item><title><![CDATA[大数据技术之Hadoop（一）]]></title><link>https://blog.youkuaiyun.com/a376712116/article/details/80720907</link><guid>https://blog.youkuaiyun.com/a376712116/article/details/80720907</guid><author>a376712116</author><pubDate>Sun, 17 Jun 2018 20:57:43 +0800</pubDate><description><![CDATA[一 大数据概论

1.1 大数据概念 
　　大数据（big data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

　　主要解决，海量数据的存储和海量数据的分析计算问题。

　　按顺序给出数据存储单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、...]]></description><category></category></item></channel></rss>