- 博客(62)
- 收藏
- 关注
RSS订阅原创 3.FISCO BCOS联盟链和控制台安装
正常情况会不停地输出连接信息，从输出可以看出node0与另外3个节点有连接。切换到fisco目录，并下载控制台。#执行下面指令，检查是否在共识。端口被占用，杀掉所有的。正常情况会不停输出带有。的日志，即表示共识正常。如果窗口关不掉可强制性。
2024-06-30 09:19:29
791
原创 2.WeBASE一键部署
一键部署可以在同机快速搭建WeBASE管理台环境，方便用户快速体验WeBASE管理平台。一键部署会搭建：节点（FISCO-BCOS 2.0+）、管理平台（WeBASE-Web）、节点管理子系统（WeBASE-Node-Manager）、节点前置子系统（WeBASE-Front）、签名服务（WeBASE-Sign）。其中，节点的搭建是可选的，可以通过配置来选择使用已有链或者搭建新链。前提条件1.1 添加仓库，回车继续。
2024-06-30 09:09:10
1916
2
原创 1.VMware安装Ubuntu22系统
Ubuntu 22.04 LTS是Canonical于2022年4月21日发布的操作系统，代号为Jammy Jellyfish（果酱水母）。Ubuntu 22.04 LTS采用GNOME电源配置文件和流线型工作空间过渡；提高优化图形驱动程序上的桌面帧速率；使用新的加密算法迁移到OpenSSL v3以提高安全性；提供十种不同的强调色，有深色和浅色变体主题，以及较广泛的社区壁纸选择。
2024-06-30 08:57:57
524
原创 Ambari2.7.4集成Hue4.6.0
一、前言Hue是一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduce Job，执行Hive的SQL语句，浏览HBase数据库等等。二、版本信息Ambari：2.7.4HDP：3.1.4
2021-03-31 11:17:58
2259
原创 Redis Cluster搭建和开机自启设置
一、前言 redis最开始使用主从模式做集群，若master宕机需要手动配置slave转为master；后来为了高可用提出来哨兵模式，该模式下有一个哨兵监视master和slave，若master宕机可自动将slave转为master，但它也有一个问题，就是不能动态扩充；所以在3.x提出cluster集群模式。redis从3.0开始支持集群功能。redis集群采用无中心节点方式实现，无需proxy代理，客户端直接与redis集群的每个节点连接，根据同样的hash算法计算出key对应的s...
2021-03-31 09:35:47
1037
原创 Mysql Cluster 集群搭建和开机自启
一、前言MySQL的集群方案有很多，比如自带的MySQL Replication，官方的MySQL Fabirc、MySQL Cluster，还有三方的MMM、MHA等等，每个方案都是各自的优缺点，选型无非是要考虑高可用性、可伸缩性、负载均衡等等。二、介绍MySQL Cluster 是MySQL 官方集群部署方案，它的历史较久。支持通过自动分片支持读写扩展，通过实时备份冗余数据，是可用性最高的方案，声称可做到99.999%的可用性。MySQL NDB Cluster架构按照节点类型分为.
2020-09-29 10:10:21
1754
原创 MyBatis动态创建SqlSessionFactory
一、前言 云平台上运行了很多项目，根据项目id动态的切换数据库，MyBatis启动的时候只会加载一次，很显然无法满足。每次有新项目上传都需要改配置文件然后重启，太low了，所以需要自己根据项目id手动创建SqlSessionFactory进行数据库连接。 原理：将SqlSessionFactory放入Map集合里，判断对应项目id是否创建SqlSessionFactory，若没创建就创建新的，Map有点话就更加动态切换。 动态创建SqlSessionFactor...
2020-09-04 18:26:47
2876
2
原创 DBeaver连接phoenix、hive
一、DBeaver介绍DBeaver dbeaver是免费和开源（GPL）为开发人员和数据库管理员通用数据库工具，是一个通用的数据库管理工具和 SQL 客户端。支持数据库： MySQL、Oracle、PostgreSQL、IBM DB2、Microsoft SQL Server、clickhouse、phoenix、hive、redis、Sybase、ODBC、Java DB (Derby)、Firebird (Interbase)、HSQLDB、SQLite、Mimer、H2、I...
2020-07-03 09:48:51
882
原创 python mysql API
一、环境准备mysql安装https://mp.youkuaiyun.com/postedit/81771687 下载依赖包 pip3 install pymysql二、接口调用以下罗列两种实现方式，第一种：是原生的；第二种：集成pandas的，原理是ORM对象关系映射技术，即ORM（Object-Relational Mapping）技术，指的是把关系数据库的表结构映射到对象上，通过使...
2019-06-19 17:55:26
552
原创 python phoenix API
一、phoenix Phonix是搜索引擎，n个版本之前是作为独立的产品存在的，现在集成到hbase里面。Phoenix是一个开源的HBASE SQL层。Phoeinx可以用标准的JDBC API替代HBASE client API来创建表，插入和查询查询HBASE中的数据。Phoenix作为应用层和HBASE之间的中间件,以下特性使它在大数据量的简单查询场景有着独有的优势...
2019-06-19 17:36:29
1199
原创 python redis API
一、redis redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支...
2019-06-19 17:20:33
367
原创 python happybase API
一、环境准备下载happybase包 pip3 installhappybase 安装thrift 安装步骤：https://mp.youkuaiyun.com/postedit/82250725二、接口调用使用连接资源池方式configuration.properties[Hbase]hbase_host:172.8.10.xxhbase_port:9090hbase...
2019-06-19 17:00:56
1218
1
原创 Ambari启用HDP服务的自动重启/恢复？
作为群集管理员或群集操作员，您可以启用堆栈中的每个服务以自动重新启动。启用服务的自动启动会导致ambari-agent尝试在停止状态下重新启动服务组件，而无需用户手动操作。作为第一步，您应该为核心Hadoop服务中的工作节点，YARN和HDFS中的DataNode和NameNode组件启用自动启动。您还应该为SmartSense服务中的所有组件启用自动启动。启用自动启动后，在Ambari...
2019-06-17 19:06:53
4406
原创 python hbase API (二) thrift2
一、python hbase API (一) thrift2环境准备python hbase API (一) thrift2环境准备https://mp.youkuaiyun.com/postedit/86501781二、python hbase API (二)1、configuration.properties将configuration.properties放在项目的resour...
2019-01-16 10:02:13
1124
2
原创 python hbase API (一) thrift2环境准备
一、搭建hbase集群，安装thrift服务并启动安装步骤：https://blog.youkuaiyun.com/qq_21153619/article/details/82250725cd /usr/hdp/2.6.2.0-205/hbase/bin/ ./hbase-common.sh start thrift二、Thrift API 在网上很多人说在hbase根目录下存在Hbase.t...
2019-01-16 09:47:46
1248
原创 Ambari 使用 Hive View 异常处理：Service 'userhome' check failed: File does not exist: /user/admin
进入Hive View客户端的时候报这个错误：Service 'userhome' check failed: File does not exist: /user/admin查看目录结构 hdfs dfs -ls /user 发现没有admin目录，自己创建一个 su hdfshdfs dfs -mkdir /user/adminhdfs dfs -chown a...
2018-12-27 19:40:38
1518
原创 redis重启时报vm.overcommit_memory、somaxconn错误
redis莫名其妙的报这个错误，是redis缓存的数据过多，没有提前做好数据过期策略，导致超过物理机的实际内存。需要修改计算机内存策略，然后重启redis，删除redis冗余数据就ok错误信息：内核参数overcommit_memory overcommit_memory是内存分配策略设置内存分配策略（可选，根据服务器的实际情况进行设置）/proc/sys/vm...
2018-12-23 11:35:56
3137
原创 Linux下ntp时间服务器搭建
环境准备系统：CenOS7.5 虚拟机：172.8.10.140-147 主：172.8.10.140 从：172.8.10.141-147一、确认ntp的安装1、确认是否已安装ntprpm -qa|grep -i ntp2、删除已安装ntprpm -ev xxx --nodeps #强制性卸载xx服务rpm -ev fontpackages-filesy...
2018-12-14 10:22:14
1414
1
原创 python 关闭redis连接
python读写redis时，到底需不需要关闭redis连接池连接？import redisdef RedisUtils(): pool = redis.ConnectionPool(host='172.8.10.145', port=6379, password="xxxxxx", decode_responses=True) r = redis.Redis(conne...
2018-12-12 13:36:57
11324
原创 python字符串前面u、r、b含义以及str、bytes互转
u/U:表示unicode字符串 不但是针对中文，也针对任何的字符串，代表是对字符串进行unicode编码。 一般英文字符在使用各种编码下, 基本都可以正常解析, 所以一般不带u；但是中文, 必须表明所需编码, 否则一旦编码转换就会出现乱码。 建议所有编码方式采用utf8。r/R:非转义的原始字符串 与普通字符相比，其他相对特殊的字符，其中可能包含转义字符，即那...
2018-12-05 18:30:45
9093
原创 linux下python2与python3并存
ambari底层的协议是走python2的，但是storm和spark运行python脚本的时候，需要python3的方法，所有这时候就需要python2与python3并存。1、查看Python2的版本ambari默认安装了python2.7.5 因为一些命令要用它比如yum 它使用的是python2.7.5。使用 python -V 查看python版本然使用 which ...
2018-11-29 17:24:48
19550
原创 linux下pip和pip3安装
1、pip#执行wget命令提示 -bash: wget: command not found yum -y install wget#安装pipwget https://bootstrap.pypa.io/get-pip.pypython get-pip.py#查看pip版本pip -V如果出现错误Traceback (most recent cal...
2018-11-29 14:01:10
70342
1
原创 kafka0.10.1 内置性能测试（生产者和消费者吞吐量测试）
1、使用kafka-run-class脚本测试生产者测试：kafka-run-class.sh:是kafka提供的测试Producer性能脚本，通过脚本，可以计算出Producer在一段时间内的平均延时和吞吐量。./kafka-run-class.sh org.apache.kafka.tools.ProducerPerformance --topic siger --num-rec...
2018-11-20 10:40:28
1398
原创 Ambari SmartSense原理
Hortonworks SmartSense工具（HST）用于收集群集诊断数据，用于协助支持案例故障排除和SmartSense分析。HST使用中央服务器守护程序和分布式的被动HST代理集。HST代理进程不是长期服务，仅在需要特定数据捕获任务时启动。一旦HST代理捕获了所请求的数据，该过程就会停止。HST代理捕获的所有数据都将发送到中央HST服务器，以合并为单个可下载的捆绑文件。然后...
2018-11-12 17:04:36
10122
3
原创 Ambari Metrics 原理
Ambari Metrics System 简称为 AMS，它主要为系统管理员提供了集群性能的监察功能。Metrics 一般分为 Cluster、Host 以及 Service 三个层级。Cluster 和 Host 级主要负责监察集群机器相关的性能，而 Service 级别则负责 Host Component 的性能。AMS 涉及的模块如下图所示：图 1. Ambari M...
2018-11-12 16:56:49
1201
原创 ambari心跳丢失Heartbeat Lost或者无法确认主机confirm hosts
第一种情况，心跳丢失：原因1：server或者agent更换ip或域名，导致服务无法检测修改ip或域名：vim /etc/ambari-agent/conf/ambari-agent.ini重启服务：ambari-agent restart原因2：openSSL兼容性有问题解决方法如下。第二种情况：ambari安装时无法确认主机confirm hosts...
2018-11-12 16:07:30
6738
1
原创 Ambari服务邮箱告警
1、登录ambari管理页面，找到Manage Notifications选项2、创建告警3、配置告警4、163邮箱授权码设置5、修改邮件标题（若没特殊需求，可忽略）下载 alert-templates.xml https://raw.githubusercontent.com/apache/ambari/branch-2.5/ambari-serve...
2018-11-05 16:50:41
1201
转载 Zookeeper的CancelledKeyException异常问题
项目中用到storm+kafka+zookeeper，在实际应用中zk和kafka常出问题，这里记录下在使用zk过程中的问题。注：zk版本是3.4.8，kafka是0.8.2.0。zk、storm和kafka都是运行在同一个集群的三台机器上。CancelledKeyException在开发环境测试的时候，一直没有问题，后来原样移植到测试环境下，zk总是出异常，导致kafka和storm...
2018-09-11 09:04:59
4292
1
转载 python访问hbase数据
使用Python调用happybase库。thrift 是facebook开发并开源的一个二进制通讯中间件，通过thrift，我们可以用Python来操作Hbase1、概述Thrift最初由Facebook开发的，后来提交给了Apache基金会将Thrift作为一个开源项目。当时facebook开发使用它是为了解决系统中各系统间大数据量的传输通信以及系统之间语言环境不同需要跨平台的特性问题...
2018-09-11 08:56:29
4753
原创 win10下安装thrift插件
linux下thrift安装和rhbase安装：https://blog.youkuaiyun.com/qq_21153619/article/details/822507251、概述Thrift最初由Facebook开发的，后来提交给了Apache基金会将Thrift作为一个开源项目。当时facebook开发使用它是为了解决系统中各系统间大数据量的传输通信以及系统之间语言环境不同需要跨平台的特...
2018-09-10 10:35:48
2483
1
原创 rhbase的基本方法
rhbase基本方法#执行R脚本/usr/bin/Rscript ./rhbase.R #引入rhbase包library(rhbase)#连接数据库class(hb.init(host='172.8.10.142',port=9090))=='hb.client.connection'#创建表hb.new.table("test_rhbase","info")hb.ne...
2018-09-05 08:48:51
755
原创 CenOS7下安装Thrift和rhbase--源码编译和yum安装
一、源码编译一、先搭建hbase集群和R环境安装hbase集群搭建步骤详见：https://mp.youkuaiyun.com/postedit/81698599R环境安装https://blog.youkuaiyun.com/qq_21153619/article/details/81386166二、rhbase安装安装环境依赖 yum install automake libtool ...
2018-09-03 18:18:31
1241
原创 Kettle闪退问题
kettle Spoon.bat闪退解决办法 1、Java环境配置问题 java_home：D:\Program Files\Java\jdk1.7.0_25（安装jdk路径）classpath：.;%java_home%\lib\dt.jar;%java_home%\lib\tools.jarpath：在path路径中添加%java_home%\bin;%java_home%\...
2018-08-27 08:35:48
4115
2
原创 Hive调用自定义函数
要继承org.apache.hadoop.hive.ql.exec.UDF类实现evaluate自定义函数调用过程：1.添加jar包（在hive命令行里面执行）hive> add jar /root/NUDF.jar;2.创建临时函数hive> create temporary function getNation as 'cn.itcast.hive.udf.Na...
2018-08-24 09:10:02
1116
原创 Hbase主-从集群备份
三种方法实现HBASE主-从集群备份1、Export/Import通过Export导出数据到目标集群的hdfs，再在目标集群执行import导入数据，Export支持指定开始时间和结束时间，因此可以做增量备份，导出时可以指定version，starttime(时间戳)，endtime(时间戳)等参数，并且可以通过-D指定是否压缩，指定caching等属性，比如：hbase org.ap...
2018-08-24 09:03:51
1405
原创 不同集群Hbase数据库数据迁移
不同版本Hbase数据库数据迁移1、迁出hbase # 进入hdfs用户su hdfs #在hdfs上建立test临时目录hadoop fs -mkdir /test#进入hbase的bin目录下cd /usr/hdp/2.6.2.0-205/hbase/bin/ #用MR方法将hbase数据库t_userBehavior里的数据导入/test/t_userBeha...
2018-08-24 08:49:17
680
原创 Hbase均衡Region和权限管理
查询Namespace为AMRCLOUD中名为powerdata的表的数据：scan 'AMRCLOUD:powerdata'查询某一条数据：get 't1', 'r1', {COLUMN => 'c1'}t1为表名，r1为rowkey，c1为column family 列出所有表：list列出所有Namespace：list_namespace创建Namesp...
2018-08-24 08:44:17
896
原创 MapReduce几种运行模式
mr job的几种运行模式1、在eclipse中开发好mr程序（windows或linux下都可以），然后打成jar包(wc.jar)，上传到服务器 执行命令 hadoop jar wc.jar cn.itheima.hadoop.MainClassRunner 这种方式会将这个job提交到yarn集群上去运行 2、在Linux的eclipse中...
2018-08-24 08:36:40
648
原创 Hadoop在eclipse上安装插件
1、下载1、首先从git下载源码https://github.com/winghc/hadoop2x-eclipse-plugin2、编译准备win7编译首先需要安装jdk、ant、Eclipse3、解压插件将插件hadoop2x-eclipse-plugin-master.zip解压到某个的目录。如：D:\ hadoop2x-eclipse-plugin-master...
2018-08-23 09:09:55
1689
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人