- 博客(36)
- 资源 (3)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 redis 缓存最佳实践
Redis 是目前最火爆的内存数据库之一，通过在内存中读写数据，大大提高了读写速度，可以说 Redis 是实现网站高并发不可或缺的一部分。
2020-07-07 16:35:59
1559
2
原创 Hadoop学习之路（五）Hadoop集群搭建模式和各模式问题
Hadoop组件安装可参考官方网站手册，分为单节点和集群安装两种。单节点安装：https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-common/SingleCluster.html集群安装：https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-common/ClusterSetup.html一、分布式集群的通用问题当前的HDFS和YARN都
2021-03-10 14:13:21
284
1
原创 Hadoop学习之路（四）Hadoop集群搭建和简单应用
一、概念了解主从结构：在一个集群中，会有部分节点充当主服务器的角色，其他服务器都是从服务器的角色，当前这种架构模式叫做主从结构。主从结构分类：1、一主多从2、多主多从Hadoop中的HDFS和YARN都是主从结构，主从结构中的主节点和从节点有多重概念方式：1、主节点 从节点2、master slave3、管理者 工作者4、leader followerHadoop集群中各个角色的名称：服务主节点从节点HDFSNameNodeDataNodeYAR
2021-03-10 13:47:36
414
原创 Hadoop学习之路（三）Hadoop-3.1.1在CentOS-7.6上的编译
一、配置编译环境1、安装基础库配置yum源，通过yum安装如下基础库和依赖，yum源配置可查看CentOS7 yum源配置（1）安装GCCyum -y install gcc.aarch64 gcc-c++.aarch64 gcc-gfortran.aarch64 libgcc.aarch64（2）安装依赖yum install -y wget openssl-devel zlib-devel automake libtool make libstdc++-static glibc-stat
2021-03-09 17:33:10
378
原创 Maven3.5.4 安装
安装Maven前，先安装OpenJDK1、下载并安装到指定目录（此处以指定“/opt/tools/installed/”目录为例）wget https://archive.apache.org/dist/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gztar -zxf apache-maven-3.5.4-bin.tar.gzmv apache-maven-3.5.4 /opt/tools/installed/2、修改Maven
2021-03-09 15:53:56
395
原创 安装OpenJDK
一、压缩包安装1、下载并解压安装到指定目录（此处以指定“/opt/tools/installed/”目录为例）。wget https://github.com/AdoptOpenJDK/openjdk8-binaries/releases/download/jdk8u252-b09/OpenJDK8U-jdk_aarch64_linux_hotspot_8u252b09.tar.gztar -zxf OpenJDK8U-jdk_aarch64_linux_hotspot_8u252b09.tar.gz
2021-03-09 15:39:25
2571
原创 CentOS7 yum源配置
rmp 配置和下载 ：http://mirror.centos.org/altarch/CentOS-Base.repo在/etc/yum.repos.d目录下创建CentOS-Base.repo文件，内容如下# CentOS-Base.repo## The mirror system uses the connecting IP address of the client and the# update status of each mirror to pick mirrors that ar
2021-03-09 14:45:15
573
原创 Hadoop学习之路（二）Hadoop发展背景
Hadoop产生的背景1、 HADOOP最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。2、 2003年开始谷歌陆续发表的三篇论文为该问题提供了可行的解决方案。——分布式文件系统（GFS），可用于处理海量网页的存储 ——分布式计算框架MAPREDUCE，可用于处理海量网页的索引计算问题。 ——BigTable 数据库：OLTP 联机事务
2021-03-09 11:26:20
1600
原创 Hadoop学习之路（一）数据处理理论基础和逻辑思维
一、统计出现最多的IP次数描述统计出当前这个一行一个IP的文件中，到底哪个IP出现的次数最多解决思路//必须要能读取这个内容 BufferedReader br = new BuffedReader(new FileInputStream(new File("c:/big.txt"))); // 每次读取一行 String line = null; while( (line=br.readLine()) != null){
2021-03-09 11:03:54
320
原创 IDEA 创建 spring boot + mybatis + postgresql+redis cluster 项目
<mirror> <id>alimaven</id> <name>aliyun maven</name> <url>http://maven.aliyun.com/nexus/content/groups/public/</url> <mirrorOf>central</mirrorOf> </mirror>
2021-03-09 10:35:41
245
原创 Maven命令安装本地jar包到本地仓库
原则上Maven工程pom.xml中依赖的jar包会自动实现从中央仓库下载到本地仓库。但是碰上第三方开发的中央仓库没有的jar包，我们需要手动安装到本地maven仓库，命令如下mvn install:install-file -Dfile=jar包的位置 -DgroupId=包的groupId -DartifactId=包的artifactId -Dversion=包的version -Dpackaging=jar例如，导入一个本地fastjson.jar包 <dependency>
2021-02-04 11:09:29
284
原创 Linux 网络操作
1 设置整个linux系统所有接口包括回环接口禁用IPv6 ：$ sudo sh -c ‘echo 1 > /proc/sys/net/ipv6/conf/all/disable_ipv6’2特定的网络接口临时禁用IPv6，使用以下命令：1$ sudo sh -c ‘echo 1 > /proc/sys/net/ipv6/conf//disable_ipv6’例如将eth0接口临时禁用IPv6：1$ sudo sh -c ‘echo 1 > /proc/sys/net/ipv
2021-02-04 11:08:29
303
原创 Linux 禁用 ipv6
1 设置整个linux系统所有接口包括回环接口禁用IPv6 ： $ sudo sh -c 'echo 1 > /proc/sys/net/ipv6/conf/all/disable_ipv6' 2特定的网络接口临时禁用IPv6，使用以下命令： 1 $ sudo sh -c 'echo 1 > /proc/sys/net/ipv6/conf/<interface-name>/disable_ipv6' 例如将e...
2020-11-12 17:51:26
825
原创 Hive 计算引擎性能测试
1、运行模式（本地模式/集群模式）1.job的输入数据大小必须小于参数：hive.exec.mode.local.auto.inputbytes.max(默认128MB)2.job的map数必须小于参数：hive.exec.mode.local.auto.tasks.max(默认4)。而Map task个数是有default_num = total_size / block_size计算得出;3.job的reduce数必须为0或者1可用参数hive.mapred.local.mem(默认
2020-11-12 17:05:31
2416
原创 Hive Metastore服务
1、Hive 元数据存储将元数据存储在关系数据库中（MySql、Derby），元数据包括表的属性、表的名称、表的列、分区及其属性以及表数据所在的目录等。2、Metastore服务作用客户端连接metastore服务，metastore再去连接MySQL数据库来存取元数据。有了metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道MySQL数据库的用户名和密码，只需要连接metastore 服务即可。3、Metastore启动方式下列的本地模式是指Metastore启
2020-11-12 16:55:14
4083
原创 Hive 高可用HA搭建
1、使用HiveServer2提供HA的好处1. 在应用端不用部署Hadoop和Hive客户端； 2. 相比hive-cli方式，HiveServer2不用直接将HDFS和Metastore暴漏给用户； 3. 有安全认证机制，并且支持自定义权限校验； 4. 有HA机制，解决应用端的并发和负载均衡问题； 5. JDBC方式，可以使用任何语言，方便与应用进行数据交互； 6. 从2.0开始，HiveServer2提供了WEB UI。Hive从0.14开始，使用Zookeeper实现了Hive.
2020-11-12 16:26:53
2686
原创 Hive 功能特性和组件原理
1、什么是HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive不是：关系数据库 OnLine事务处理（OLTP）的设计 用于实时查询和行级更新的语言Hive的特点：为OLAP设计的。 提供用于查询的SQL类型
2020-11-12 16:23:00
991
原创 Hive 编译打包安装
目录一、配置编译环境1、安装基础库2、安装OpenJDK3、安装Maven4、安装Protoc二、编译移植分析和依赖打包1、移植分析2、编译打包三、Hive rpm包1、安装打包工具2、在root目录下生成rpm打包目录rpmbuild3、添加二进制文件4、编写hive.spec5、执行构建四、安装配置1、rpm包本地安装2、添加Hive到环境变量3、修改Hive配置文件4、安装数据库5、配置数据库驱动6、创建...
2020-11-12 16:14:54
1674
原创 virsh kvm虚拟机管理工具常用命令
1、查看在运行的虚拟机virsh list2、查看创建的所有虚拟机virsh list --all3、启动虚拟机virsh start win10win10是虚拟机的domain名称，下同。4、挂起虚拟机virsh suspend win105、恢复被挂起的虚拟机virsh resume win106、开机启动虚拟机，即在虚拟机服务（libvirt）启动的时候，就启动虚拟机。virsh autostart win107、关闭开机启动虚拟机virsh auto start --di
2020-06-19 17:00:46
250
原创 Hue中通过Oozie调度sqoop1，导入数据到Hive问题
环境：软件版本配置HDP2.6.31 master ,2 coreHue4.4.0Hue server（master）Sqoop1.4.6client（master and 2 core）Hive1.2.1000Hive Metastore 、HiveServer2、WebHCat Server (master) , client(mast...
2019-09-27 14:52:08
1019
原创 Redis:数据结构与对象 （链表）
链表，作为一种常用的数据结构，内置在很多的高级的编程语言里面，提供了高效的节点重排能力，以及顺序性的节点访问方式，并且可以通过增删节点来灵活的调整链表的长度。Redis使用的C语言没有内置这种数据结构，所以Redis构建了自己的链表实现。链表在Redis中的使用非常广泛，比如列表建的底层实现之一就是链表。当一个列表建包含了数量比较多的元素，又或者列表中包含的元素都是比较长的字符串时，Redis就...
2019-09-25 17:06:21
179
原创 Hive 问题合集
HDP kerberos 关闭后出现，hiveServer2 不断的启动和关闭2019-09-20 14:16:12,751 FATAL [main]: server.HiveServer2 (HiveServer2.java:addServerInstanceToZooKeeper(258)) - Unable to create a znode for this server insta...
2019-09-20 14:59:21
1190
2
原创 Redis:数据结构与对象 （简单对象字符串SDS）
Redis 数据库里面的么个键值对（key-value pair） 都是由对象（object）组成，其中数据库键总是一个字符串对象（string object）；数据库值则可以是字符串对象（string object）、列表对象（list object） 、哈希对象（hash object）、集合对象（set object）、有序集合对象（sorted set object） 这五种对象中的...
2019-09-18 16:55:40
126
原创 Android TV中选中放大，添加发光状态的解决方案
在Android tv应用中，不像手机可以通过触摸自由的滑动屏幕，TV应用需要通过焦点的触发，并且在屏蔽中选中的View需要在屏幕中凸显出来，那么一般的处理效果就是，放大View，添加选中发光圈效果，这边提供两个方案在选中的View上面重新绘制一层，原本的view设置成透明这种方案有一个很大的弊端是要计算View的位置，在屏幕复杂度高，卡顿的情况下容易出现位置计算错误，导致重新绘制的Vie...
2018-02-08 10:29:41
4697
原创 Android Studio --自动删除没有用的资源，给APK减减肥和GSON、RX、EventBus混淆注意
Android Studio --自动删除没有用的资源，给APK减减肥和GSON、RX、EventBus混淆注意
2016-06-03 18:42:00
3264
转载 四种生成和解析XML文档的方法详解（介绍+优缺点比较+示例）
众所周知，现在解析XML的方法越来越多，但主流的方法也就四种，即：DOM、SAX、JDOM和DOM4J下面首先给出这四种方法的jar包下载地址DOM：在现在的Java JDK里都自带了，在xml-apis.jar包里SAX：http://sourceforge.net/projects/sax/JDOM：http://jdom.org/downloads/index
2015-05-19 21:08:12
371
转载 Android 基站定位
一、通过手机信号获取基站信息通过TelephonyManager 获取lac:mcc:mnc:cell-id（基站信息）的解释：MCC，Mobile Country Code，移动国家代码（中国的为460）；MNC，Mobile Network Code，移动网络号码（中国移动为0，中国联通为1，中国电信为2）；LAC，Location Area Code，位置区域
2015-05-19 20:59:23
781
ziperello_35981.zip
2020-04-23
Use ' instead of '.' for inner classes
2014-07-26
TA创建的收藏夹 TA关注的收藏夹
TA关注的人