- 博客(70)
- 资源 (19)
- 收藏
- 关注
RSS订阅
原创 Hadoop虚拟机镜像
Hadoop虚拟机镜像前言：大数据、机器学习、深度学习、人工智能，这一IT浪潮不可谓不火。上至国家战略，下到普通老板姓茶余饭后谈资。作为一名IT从业者，我也从传统JAVA投身于这一波技术研发中。在开始学习hadoop大数据时，在搭建机器、搭建集群时花费了太多的时间，甚至有时因为最初的配置错误导致从头再来。左右互看，发现很多一起研究的伙伴，因为环境浪费大量时间，消耗了耐心和热情，导致最后放弃。我一直在
2017-07-02 23:21:37
6083
2
转载 Hadoop：Hive metastore三种配置方式
Hive metastore三种配置方式Hive的meta数据支持以下三种存储方式，其中两种属于本地存储，一种为远端存储。远端存储比较适合生产环境。Hive官方wiki详细介绍了这三种方式，链接为：Hive Metastore。一、本地derby这种方式是最简单的存储方式，只需要在hive-site.xml做如下配置便可[html]view plainc...
2020-01-11 13:41:55
684
原创 Hadoop：namenode访问端口2.x默认50070与3.x默认9870
Hadoop2.x的namenode界面访问端口默认是：50070Hadoop3.x的namenode界面访问端口默认是：9870通过修改hdfs-site.xml中dfs.namenode.http-address参数来修改： cd $HADOOP_HOME vi etc/hadoop/hdfs-site.xml ...
2020-01-10 00:22:05
9044
原创 TERADATA：Teradata中操作JSON数据
##示例字段 JSON_TEXT ，格式化后数据：{ "SurveyResult":[ { "SurveyObjType":"0", "Score":"10" }, { "SurveyObjType":"2", "Score":"10" } ], "SurveyReqID":"20191113XXXXXXXXX123456789"}1、取k...
2020-01-05 21:47:08
1052
转载 Hadoop : datanode运行不起来 报错 Initialization failed for Block pool (Datanode Uuid unassigned)
一、原因是namenode和datanode的clusterID不一致导致datanode无法启动.二、解决：2.1思路：删除data、tmp、namenode 数据后，重新格式化。2.2步骤：查看tmp的物理路劲 core-site.xml <!-- Hadoop文件系统依赖的基础配置 --> <property> <name>ha...
2020-01-02 23:56:17
1464
2
原创 CDH 6.3.x 各组件版本
信息来自官网：https://docs.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cdh_63_packaging.htmlCDH 6.3.2 PackagingComponent Component Version Changes Information Apache Avro ...
2019-12-29 22:46:15
7708
转载 09 智能边缘 初识：智能边缘概念理解
什么是智能边缘智能边缘是描述一个过程的术语，在该过程中，数据在靠近网络捕获位置的位置进行分析和聚合。智能边缘，也被称为“边缘情报”，对包括物联网（IoT）在内的分布式网络具有重要影响。利用智能边缘，系统的远程或分散节点有权执行传统上在系统中心点处理的不同类型的数据处理。特别是在 IoT 中，将来自物联网连接设备的所有多个数据流路由到中央数据仓库或存储库的经典模型具有几个明显的缺点。它可...
2019-12-29 11:36:44
377
转载 06 工程化 04 linux：VMware安装Centos7超详细过程（图文）
本篇文章主要介绍了VMware安装Centos7超详细过程（图文），具有一定的参考价值，感兴趣的小伙伴们可以参考一下1.软硬件准备软件：推荐使用VMwear，我用的是VMwear 12镜像：CentOS7 ,如果没有镜像可以在官网下载 ：http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1804...
2019-12-29 10:33:50
124
转载 08 中台架构 00 入门：什么是中台架构？
传统企业平台都是烟囱式的系统架构，企业内部为了迎合业务发展不停的打造各种系统，导致各系统间的重复功能建设和维护带来的重复投资。重复投资不仅消耗的是人力，财力还有时间。但打通烟囱式系统间交互的集成和协作成本高昂，各大企业不得不借助ESB产品，构建企业服务总线，打通各系统间的交互问题。 但这种借助ESB“中心化”的服务架构缺点也有不少，“中心化”架构的所有服务调用者和服务提供者之间的交互都必...
2019-12-18 18:14:17
380
转载 03 分布式 07 sharding-sphere：ShardingSphere简介
ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈。它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar（计划中）这3款相互独立的产品组成，shardingSphere定位为关系型数据库中间件。1. Sharding-JDBCSharding-JDBC是Sharding-Sphere的第一个产品，也是Sharding-...
2019-12-13 00:09:02
276
转载 03 分布式 08 mangodb：MongoDB 入门篇
1.1 数据库管理系统 在了解MongoDB之前需要先了解先数据库管理系统1.1.1 什么是数据？ 数据（英语：data），是指未经过处理的原始记录。 一般而言，数据缺乏组织及分类，无法明确的表达事物代表的意义，它可能是一堆的杂志、一大叠的报纸、数种的开会记录或是整本病人的病历纪录。数据描述事物的符号记录，是可定义为意义的实体，涉及事物的存在形式。是关于事件之一组...
2019-12-13 00:05:56
500
转载 07 运维 01 HP-Unix：HP UX安装jdk过程全纪录
参考原文，实际操作，成功。操作系统是：B.11.31安装的是Itanium_JDK_8.0.18_June_2019_Z7550-96733_java8_18018_ia.depot 。需要root权限。注意事项：（1）安装包，一定从官网下载，避免有木马，下载前需要注册HP账号（如果能翻墙，速度快不少）。https://h20392.www2.hpe.com/port...
2019-12-11 16:28:53
1395
1
转载 03 分布式 05 消息中间件：RocketMQ和kafka基本认识以及应用场景
文章目录一、rocketMQ二、Kafka三、应用场景对比四、RocketMQ和Kafka对比1. 吞吐量对比五、为什么阿里会自研RocketMQ？六、分布式消息队列RocketMQ与Kafka架构上的巨大差异之1 -- 为什么RocketMQ要去除ZK依赖？参考一、rocketMQRocketMQ联合创始人：选择MQ时，要注意的有哪些？参考URL: https://blog...
2019-12-11 00:15:04
277
原创 03 分布式 05 消息中间件：消息中间件入门
1、是什么1.1. Java Message ServiceJMS即Java消息服务（Java Message Service）应用程序接口，是一个Java平台中关于面向消息中间件（MOM）的API，用于在两个应用程序之间，或分布式系统中发送消息，进行异步通信。Java消息服务是一个与具体平台无关的API，绝大多数MOM提供商都对JMS提供支持。JMS允许应用程序组件基于JavaEE平台...
2019-12-10 23:16:05
250
转载 06 工程化 03 Jenkins：Jenkins详细教程
一、jenkins是什么？ Jenkins是一个开源的、提供友好操作界面的持续集成(CI)工具，起源于Hudson（Hudson是商用的），主要用于持续、自动的构建/测试软件项目、监控外部任务的运行（这个比较抽象，暂且写上，不做解释）。Jenkins用Java语言编写，可在Tomcat等流行的servlet容器中运行，也可独立运行。通常与版本管理工具(SCM)、构建工具结合使用。...
2019-12-10 09:02:41
283
转载 03 分布式 03 Dubbo：Dubbo
一、Dubbo是什么？Dubbo是阿里巴巴开源的基于 Java 的高性能 RPC（一种远程调用） 分布式服务框架（SOA），致力于提供高性能和透明化的RPC远程服务调用方案，以及SOA服务治理方案。二、为什么要用Dubbo？因为是阿里开源项目，国内很多互联网公司都在用，已经经过很多线上考验。内部使用了 Netty、Zookeeper，保证了高性能高可用性。1、使用Dubbo可以将核心业...
2019-12-10 00:05:43
125
转载 03 分布式 00 分布式：分布式系统入门
分布式系统技术概要现在互联网应用，尤其是大型互联网公司的应用已经发展为大规模或超大规模的分布式的，集群化的应用。而中小规模的分布式应用也已广泛出现在各个领域。未来，随着云计算向社会生活的方方面面去渗透，分布式应用将更加地普及。所以，任何一个要从事服务器端应用开发的人员，都有具备对分布式应用的基本认识。本文将简要介绍分布式应用的各基本领域的相关技术。这些技术在一个分布式应用中都会有或多或少的...
2019-12-09 00:01:32
211
转载 03 分布式 02 Zookeeper：Zookeeper可视化WEB工具（zkui）搭建与配置
前提：zookeeper 可视化WEB工具zkui依赖java环境，因此需要安装jdk,同时zkui源码要Maven编译，需要安装apache-maven.JDK下载地址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.htmlApache-maven下载地址：https://m...
2019-12-08 23:50:28
262
转载 03 分布式 02 Zookeeper：Zookeeper入门看这篇就够了
Zookeeper是什么官方文档上这么解释zookeeper，它是一个分布式服务框架，是Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。上面的解释有点抽象，简单来说zookeeper=文件系统+监听通知机制。1、 文件系统Zookeeper维护一个类似文件系统的数据结...
2019-12-08 23:07:23
124
转载 03 分布式 01 Netty：Netty之Reactor模式
Netty、NIO理清NIO与Netty的关系之前，我们必须先要来看看Reactor模式。Netty是一个典型的多线程的Reactor模式的使用，理解了这部分，在宏观上理解Netty的NIO及多线程部分就不会有什么困难了。Reactor模式Reactor的由来Reactor模式究竟是个什么东西呢？这要从事件驱动的开发方式说起。我们知道，对于应用服务器，一个主要规律就是，CPU的处理速...
2019-12-08 17:14:11
176
原创 CDH5集群中修改节点IP
第一步，关闭服务 1. 关闭集群服务，及 Cloudera Management Service， 2. 关闭cm服务：（ cm安装节点 ） 命令 ： service cloudera-scm-server stop service cloudera-scm-agent stop( 没有可忽略 )第二步：修改所有主机IP，测试IP网络互通...
2019-04-14 12:20:19
808
原创 文件下载--Struts2的中文文件下载显示为空格问题
最近公司项目中用到文件下载，根据底层，决定使用struts2的文件下载模式。乱码大多数都解决了，居然出现中文文件下载时，中文文字显示为空格的奇葩现象。在经过近三个小时的查询各种文档和苦思冥想，最终发现了问题。见网上还没有战友发出这个现象的文章，所以就写出来，分享给大家。
2014-08-22 13:38:50
1429
原创 正则表达式--js使用案例
在前端页面使用中，遇到日期格式的验证，开始使用了一款表单控件验证，但是不兼容！！而且使用起来还受到很大约束，所以就决定自己写原生js。为了完成日期格式的验证，第一步，当然是学会使用正则表达式。以前都是直接复制使用，这次理解原理，自己原生写。
2014-07-22 17:25:19
1099
原创 正则表达式--规则
在前端页面使用中，遇到日期格式的验证，开始使用了一款表单控件验证，但是不兼容！！而且使用起来还受到很大约束，所以就决定自己写原生js。为了完成日期格式的验证，第一步，当然是学会使用正则表达式。以前都是直接复制使用，这次理解原理，自己原生写。
2014-07-22 17:16:51
954
原创 正则表达式--定义
在前端页面使用中，遇到日期格式的验证，开始使用了一款表单控件验证，但是不兼容！！而且使用起来还受到很大约束，所以就决定自己写原生js。为了完成日期格式的验证，第一步，当然是学会使用正则表达式。以前都是直接复制使用，这次理解原理，自己原生写。
2014-07-22 17:08:49
1133
转载 html表单提交的几种方法
原文地址：http://www.ijser.cn/?p=34 最普通最常用最一般的方法就是用submit type..看代码： 另外，还有一种常用的方法是使用图片： 第三种是使用链接来提交表单，用到了javascript的DOM模型： 提交这种方法实际
2014-07-22 09:29:11
664
转载 移动开发大调查：2%码农拿走54%的APP收入
开发者经济近日发布的《2014年移动开发经济报告》（请登录下载）调查了约一万名开发者，结果显示50%的iOS开发者和47%的Android开发者处于应用开发贫困线以下，每月收入不到500美元。这意味着移动开发并不是一个能养家糊口的靠谱行当。以下是开发者APP月收入结构：此外，虽然游戏是各大应用商店的绝对主力，但是游戏开发者依然在贫困线上挣扎。只有三分之一的开发者在搞游戏开发，这与游
2014-07-22 07:40:24
825
转载 “数组、堆栈”与“链表、队列”的区别
数据结构：是指相互之间存在一种或多种特定关系的数据元素的集合。听起来是不是很抽象，简单理解：数据结构就是描述对象间逻辑关系的学科。比如：队列就是一种先进先出的逻辑结构，栈是一种先进后出的逻辑结构，家谱是一种树形的逻辑结构！（初学数据结构的时候很不理解为什么有“栈”这个东西；队列很容易理解---无论购物就餐都需要排队；栈可以认为就是个栈道---只允许一个人通过的小道，而且只能从一端进入，然后再从这端
2014-07-19 16:26:18
9626
原创 泛型数组随机排列工具类
最近开发一款简易游戏，要将一个数组中的内容随机排列。考虑到以后可重用性，所以自己写了一款“泛型数组随机排列工具类”，现在分享给大家，希望能给大家带来启发。如果有好的方法类，请发给笔者邮箱，大家互相学习，感激不尽。
2014-07-14 19:39:18
993
原创 数组泛型
大家都知道要定义如“T[]t = new T[10];”这种泛型数组是不行的，自己也找了不少方法。最后在《Thinking InJava》中吸取了一种很好的方法。现在分享给大家。
2014-07-14 19:35:05
1116
原创 开发积累—泛型工具类
前言：使用SSH2中使用的泛型工具类，以前写泛型比较麻烦。今天收集到一个工具类，好东呀！！分享给大家，绝对有用。JAVA版的web应用程序使用。
2014-05-19 22:40:15
2237
1
转载 分析共享Spring配置数据源四种方式（附相应jar包）
分析共享Spring配置数据源四种方式（附相应jar包）分类： 【SSH】2012-08-13 17:27 2245人阅读 评论(32) 收藏 举报springjarhibernatec3p0oracle10gdao使用spring框架时，平常你都使用那种数据源呢？本篇博客将分享spring常用的四种配置数据源方式。以下使用Oracle10g版本作为
2014-04-20 20:48:15
866
原创 Java中main函数认识
Java中main函数认识 前言：今天对Java的main函数进行了简单认识和总结。 public static voidmain(String[] args){ System.out.println(args); System.out.println(args.length);} public:因为权限必须是最大的。static：不需要对象的，
2014-03-08 21:28:18
667
原创 Java中this关键字的整理
Java中this关键字有什么用处，以前很少涉及到需要理解的地方，需要讨论的地方也不多，还真没有好好整理过。本文将简叙this关键字的用处、特点和一个重要知识点。
2014-03-08 21:27:31
724
原创 数组-二维数组（内存分布，相关运用）
平时用的数组机会也不少，但对二维数组的总结较少。对二维数组的内存分布更是没有了解过。今天对二维数组的内存分布和相关运用进行了重新认识和归纳。
2014-03-06 10:58:49
2479
原创 数组-应用（作为关系映射表，作为临时容器）
学习编程也有不短的时间了，不论是C++还是Java，都有着数组的运用。但是数组在什么时候使用，从来没有考虑过，或者说认为使用顺其自然。可实际开发中，常常无法想起数组，而绞尽脑汁另辟蹊径。后来通过了解，获知数组的两个实用方向。让数组作为关系映射表，称为查表法。数据多时，存储起来，让数组作为临时容器。
2014-03-06 08:54:27
1580
原创 Java内存空间划分初识（适合初学者）
在编程中，自己归纳过那些变量会被初始化，可是全靠死记硬背，实际开发中还老犯错。后来在看书中，了解是自己对Java内存空间的认识不足。今天通过看视频，查阅书籍和网上查询，简单归纳了Java内存空间划分，使得自己对Java数据分类和运用有很大的提升。现在分享给大家，希望能有一些帮助和启发。
2014-03-04 21:48:32
1149
抽象工厂模式实例代码
2014-01-15
install-ietester-v0.5.2.exe
2013-08-18
jdom.jar 三大xml解析包之一
2013-08-16
apache-tomcat-7.0.42-windows-x86.zip
2013-07-29
XmlSchema标准参考手册.chm
2013-07-24
xsd.chm（w3cschool.com.cn）
2013-07-24
css20.chm（api文档）
2013-07-21
JavaScript使用手册.chm
2013-07-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人