faith306

聊天平台每天都会有大量的用户在线，会出现大量的聊天数据，通过对聊天数据的统计分析，可以更好的对用户构建精准的用户画像，为用户提供更好的服务以及实现高ROI的平台运营推广，给公司的发展决策提供精确的数据支撑。我们将基于一个社交平台App的用户数据，完成相关指标的统计分析并结合BI工具对指标进行可视化展现。

Hadoop学习笔记

然后再查看SDS表中的数据，会发现SD_ID为14的数据，其对应的LOCATION的值为hdfs://node1:8020/user/hive/warehouse/myhive.db/score3/year=2019/month=10/day=01，通过这两个表实现了分区和HDFS系统中文件夹的对应，同时，也可以看到分区值已经变更了，但是HDFS中的物理存储路径没有变化。创建一个外部表，表名为test_ext1，由2个字段id和name构成，该表的数据分隔符为\t，在HDFS系统中的存储位置为。

命令可以查看，下图test文件夹表示刚才创建的test表（一个hive库就是一个HDFS系统中的文件夹，一个表也是HDFS系统中的一个文件夹，default库下的表直接体现为/user/hive/warehouse下的文件夹，其他自定义库也是/user/hive/warehouse下的文件夹，然后其库内的表，是下一层的文件夹）；6、Hive中数据库和数据的存放路径位于HDFS文件系统的/user/hive/warehouse路径下，该路径下，每个Hive库中的表都是一个文件夹，使用。

Hive的运行依赖于Hadoop（HDFS、MapReduce、YARN都依赖），同时涉及到HDFS文件系统的访问，所以需要配置Hadoop的代理用户，即设置hadoop用户允许代理（模拟）其它用户。javax.jdo.option.ConnectionURL 表示Hive所用到的存储元数据的关系型数据库的连接地址；hive.server2.thrift.bind.host 表示Hive的server 2绑定的主机；javax.jdo.option.ConnectionPassword 表示数据库密码；

hdfs://8020/output/wc 表示参数2，在本程序中是统计结果输出的文件夹，这里写明了hdfs协议头，指明了是HDFS文件系统的路径（经测试，不写也可以，默认读取HDFS文件系统路径），hdfs://node1:8020/input/ 表示参数1，在本程序中是待统计的文件夹，这里写了hdfs协议头，指明了是HDFS文件系统的路径（经测试，不写也可以，默认读取HDFS文件系统路径）；mapreduce.map.env 表示Map HOME的路径，这里设置为HADOOP_HOME相同路径；

nfs.exports.allowed.hosts配置项的值为192.168.88.1 rw，表示NFS允许连接的客户端的IP和权限，rw表示具有读和写的权限，IP部分也可以使用*表示所有IP均可连接（这里的192.168.88.1地址是本地电脑在虚拟机网络中的IP地址，如果这里不是虚拟机，而是真实服务器，则需要使用本机对应的公网IP或局域网IP），同时如果有多个电脑需要连接，也可以写成192.168.88.1 rw;dfs.replication属性用于配置数据块的默认副本数量，该配置默认为3。

3、执行上述步骤之后，我们可以在我们自己的电脑（非虚拟机）上查看 HDFS WEBUI（即HADOOP管理页面），可以通过访问namenode所在服务器的9870端口查看，在本案例中因为namenode处于node1虚拟机上，所以可以访问。PS：因为之前我们已经配置了本机的hosts文件，所以这里可以使用node1访问，其实这个地址对应的就是http://192.168.88.101:9870/。为了保存刚部署好的集群，在后续如果出现无法解决的问题，不至于重新部署一遍，使用虚拟机快照的方式进行备份。

5、之后一直下一步、完成，然后虚拟机开始自己安装，直至安装完成，此过程视个人电脑和网络情况可能需要半小时左右，中间不用任何操作，待系统安装完毕后，虚拟机会自动重启，看到如下界面，代表安装成功。4、重命名虚拟机名称为node1，选择克隆出来的虚拟机存放的路径，然后点击“完成”按钮，VMware就会克隆出一个一摸一样的虚拟机，此过程很快，一般3~5秒的样子；2、在VMware中，在左侧虚拟机上右键，选择“快照”-“拍摄快照”，填写快照名称和备注，创建虚拟机快照；至此，免密登录配置完成。

使用当前（2021年3月）最新的ElasticSearch 8.1.0版本进行学习

目录NoSQL概述Redis入门概述Windows安装Linux安装测试性能基础的知识五大数据类型Redis-KeyString（字符串）List（列表）Set（集合）Hash（哈希）Zset（有序列表）三种特殊数据类型geospatial（地理空间）hyperloglogbitmaps（位图）视频地址：https://www.bilibili.com/video/BV1S54y1R7SB?p=1NoSQL概述Redis入门概述Windows安装1、下载地址：https://github.com

第一章 敏捷原则与思想第二章 价值驱动交付

源文件下载地址链接：https://pan.baidu.com/s/1OC5Myv5qaLVU6j995Vvi2Q提取码：pao8

源文件下载地址链接：https://pan.baidu.com/s/1yslyGYuIEGJX6VVXC8kAlw提取码：6ulh

源文件下载地址链接：https://pan.baidu.com/s/15JAu5OOAy9_d5xbLD53mhw提取码：5xeu

源文件下载地址链接：https://pan.baidu.com/s/1jsvRseNC2wEpN2Li6ZnVAw提取码：zrl5

源文件下载地址链接：https://pan.baidu.com/s/1afe9QR3TE5J3HiOc8-w9JQ提取码：7uxd

源文件下载地址链接：https://pan.baidu.com/s/1RSaILtMEwcaPbtvLmVrKpA提取码：fm73

源文件下载地址链接：https://pan.baidu.com/s/1RSaILtMEwcaPbtvLmVrKpA提取码：fm73

视频地址：https://www.bilibili.com/video/BV1oW41167AV对应代码Git库地址：https://github.com/whh306318848/spring-annotation.git@EnableAspectJAutoProxy注解分析1.1. @EnableAspectJAutoProxy是什么？使用@Import(AspectJAutoProxyRegistrar.class)注解给容器中导入AspectJAutoProxyRegistrar，利用

视频地址：https://www.bilibili.com/video/BV1oW41167AV对应代码Git库地址：https://github.com/whh306318848/spring-annotation.gitAOP【动态代理】：指在程序运行期间，动态的将某段代码切入到指定方法指定位置进行运行的变成方式使用AOP步骤：2.1. 在pom文件中导入AOP模块，String AOP模块做了一些简化，只需要配置几个注解就可以运行起来<!-- https://mvnreposito

视频地址：https://www.bilibili.com/video/BV1oW41167AV对应代码Git库地址：https://github.com/whh306318848/spring-annotation.git自动装配：Spring利用依赖注入（DI），完成对IOC容器中各个组件的依赖关系赋值使用@Autowired注解自动注入2.1. 默认优先按照类型去容器中找对应的组件，使用applicationContext.getBean(BookDao.class);2.2. 如果找到相

视频地址：https://www.bilibili.com/video/BV1oW41167AV对应代码Git库地址：https://github.com/whh306318848/spring-annotation.git使用@Value注解对Bean的属性进行赋值：1.1. 使用基本数值进行赋值1.2. 可以使用Spring表达式SpEL（即#{}）进行赋值1.3. 可以使用${}读取配置文件或环境变量中的值如果是使用xml配置文件为Bean赋值的方式，在xml文件中引用外部配置文件需要先

Bean的生命周期是指Bean的创建–初始化–销毁的过程，Bean的生命周期是由容器来管理的关于构造（对象创建），单实例Bean是在容器启动的时候进行创建的，而多实例Bean是在每次获取的时候才进行创建的关于初始化，初始化代码是在对象创建完成并赋值之后进行调用的关于销毁，单实例Bean是在容器关闭的时候（即容器的close方法被调用时）进行销毁的，而多实例Bean的销毁工作容器不会进行管理我们可以自定义Bean的初始化和销毁方法，容器会在Bean进行到当前生命周期的时候来调用我们自定义的初始化和销.

视频地址：https://www.bilibili.com/video/BV1oW41167AV对应代码Git库地址：https://github.com/whh306318848/spring-annotation.gitSpring中所有的组件都放在IOC容器中，组件之间的关系通过容器进行自动装配（DI）即依赖注入；以前是通过xml方式配置bean标签的方式注册对象<?xml version="1.0" encoding="UTF-8"?><beans xmlns="ht

《数据中台：让数据用起来》读书笔记引言思维导图数据中台总体架构图本文转载自 http://www.softeng.cn/?p=255引言最近三周主要读了两本书，一本是《大数据架构详解：从数据获取到深度学习》，目前只读了三分之一，而另一本就是本文所写的《数据中台：让数据用起来》，已经完全读完了，该书在2020年1月出版，其中系统的介绍了数据中台的调研、设计、实施、运营的方法论，虽然没有涉及到具...