kwame211的博客

进入cqlsh命令行模式，可导出、导入数据表。导出copy table_name to '/data/tmp/abc.csv' with header = true可以指定导出某几列：copy table_name (col1, col2) to '/data/tmp/a.csv' with header = true导入COPY table_name FROM '/data/tmp/a.csv' WITH HEADER = true如果csv文件的...

HBase使用场景Hbase是一个通过廉价PC机器集群来存储海量数据的分布式数据库解决方案。它比较适合的场景概括如下： 是巨量大（百T、PB级别） 查询简单（基于rowkey或者rowkey范围查询） 不涉及到复杂的关联 有几个典型的场景特别适合使用Hbase来存储： 海量订单流水数据（长久保存） 交易记录 数据库历史数据 如何使用HBase三种模式：单机模式，伪分布式模式，分布式模式一般生产环境用的是分布式模式，如果是学习的话，可以用单机模式和伪分布式.

HBase的 卡桑德拉 HBase is based on Bigtable (Google) Cassandra基于DynamoDB（Amazon）。它最初是由前亚马逊工程师在Facebook上开发的。这就是Cassandra支持多数据中心的原因之一。 HBase使用Hadoop基础架构（Zookeeper, NameNode, HDFS）。部署Hadoop的组织必须具有Hadoop和HBase的知识 Cassandra与Hadoop分开启动和发展, 其基础架构和操作知识要求与H

NoSQL是什么？NoSQL提供了新的数据管理技术，旨在应对数据数量、速度和种类与日俱增的态势。它可以存储和检索数据，能够以关系数据库中所用的表格式关系之外的方式来建立模型。NoSQL系统又叫“Not only SQL”，强调这一事实：它们还支持类似SQL的查询语言。我们为什么需要NoSQL？关系数据库面临下列挑战： 并不适用于数据类型多样化（比如图像、视频和文本）的大量（P...

随着Splunk越来越被大家熟知和认可，现在市面上也不断涌各种同类产品，作为大数据搜索界的翘楚Splunk和ElasticSearch，绝对值得我们去学习，探索和使用，因此为了造福Splunk的铁粉和新粉们，小编特邀了Splunk的资深架构师，江湖人称“陶指导”的陶刚为大家就架构，功能，产品线，概念等方面将Splunk和ElasticSearch做了一下全方位的对比，希望能够给大家在制定大数据搜索...

1.1    基本状态查看集群状态get _cluster/healthget _cluster/stateget _cluster/settingsget _cluster/pending_tasks 注:get _cluster/health查看分片状态get _cluster/state查看nodes,metadata, indices信息节点状态g...

Elasticsearch作为一个面向文档的存储服务，并没有严格意义上的关联查询能力。但可以通过mapping来指定文档的nested-parent关系，实现关联。下面以学生(student)和班级(clazz)的关系为例，演示这种"关联查询"： 建立一个索引test，有student和clazz两个type，存储班级和学生首先设置班级和学生的mapping：? 1 ...

MongoDB安装在安装时均使用root用户，如果非root用户则在命令前加sudo命令，用来以root身份运行# 1.在usr/local/下创建mongodb文件夹cd /usr/local/mkdir mongodb# 2.解压文件tar -xzvf mongodb-linux-x86_64-rhel70-4.0.1.tgz# 3.将解压后的文件下所有内容移动到m...

如题目所言，SQL模块作为C-Pack的一部分发布于Elasticsearch 6.3。但是官方文档也明确写明下面一段话：大致意思就是：“这个功能是实验性的，以后没准儿改变或者完全移除（人家先打个预防针儿，以后发生什么都没准儿，所以期待不要太高……）”。不过，这个东西已经发布出来了，应该也不会说放弃就放弃吧。今天做了一下实验，简单分享一下。安装因为是简单测试，所以直接在windows下安...

一、使用场景：　　是一款分布式的结构化数据存储方案(NoSql数据库)，存储结构比Key-Value数据库（像Redis）更丰富，但是比Document数据库（如Mongodb）支持度有限；适合做数据分析或数据仓库这类需要迅速查找且数据量大的应用　　相关概念：      　　keyspace -> table –> column，对应关系型数据库 database -&gt...

1. cassandra运行需要java运行环境，首先下载jdk8，地址为:http://www.oracle.com/technetwork/java/javase/downloads/index.html，然后解压放到/opt目录下tar xvzf jdk-8u161-linux-x64.tar.gzmv jdk1.8.0_161 /opt配置jdk的环境变量:vim /etc/p...

本文主要介绍软件层面的性能调优。故，在此之前，请检查硬件状况。硬盘推荐SSD，一般SATA即可。网络千兆以上。可以安装Ganglia等工具，检查各节点的各硬件的运作状态：CPU,Memo,网络等等。 一、调整参数入门级的调优可以从调整参数开始。投入小，回报快。 1. Write Buffer Size快速配置Java代码

针对海量图片存储，已有若干个基于Hadoop的方案被设计出来。这些方案在系统层小文件合并、全局名字空间以及通用性方面存在不足。本文基于HBase提出了一种海量图片存储技术，成功解决了上述问题。本文将介绍基于HBase海量图片存储技术方案，分析其原理及优势，该方案在城市交通监控中得到应用验证。    随着互联网、云计算及大数据等信息技术的发展，越来越多的应用依赖于对海量数据的存储和处理，如智

摘要： 本文中，阿里云高级专家封神带来了主题演讲《大数据时代结构化存储云HBase技术架构及最佳实践》，介绍HBase的应用选择、实战案例、技术平台解读以及后续的规划。在10年，阿里研究HBase，是为了解决阿里容量及并发的实际问题，按照数据库要求，阿里深入HBase技术，并致力于保障稳定性和性能，目前已经有10000台规模，数百个集群，大约1亿的QPS，服务整个集团的业务。17年，把这部

两个月前使用过hbase，现在最基本的命令都淡忘了，留一个备查~ hbase shell命令                            描述 alter修改列族（column family）模式count统计表中行的数量create创建表describe显

0.进入hbase shell./hbase shell help help “get” #查看单独的某个命令的帮助1. 一般命令status 查看状态version 查看版本2.DDL（数据定义语言Data Definition Language）命令1. 创建表create ‘表名称’,’列名称1’，’列名称2’，’列名称3’ 

数据导入有如下几种方式： 1．利用HBase提供的ImportTsv将csv文件导入到HBase 2．利用HBase提供的completebulkload将数据导入到HBase 3．利用HBase提供的Import将数据导入到HBase利用ImportTsv将csv文件导入到HBase命令：格式：hbase [类] [分隔符] [行键，列族] [表] [导入文件]

几个相关类与HBase数据模型之间的对应关系java类HBase数据模型HBaseAdmin数据库（DataBase)HBaseConfigurationHTable表（Table)HTableDescriptor列族（Column Family)Put列修饰

一、几个主要 Hbase API 类和数据模型之间的对应关系：1、 HBaseAdmin关系： org.apache.hadoop.hbase.client.HBaseAdmin作用：提供了一个接口来管理 HBase 数据库的表信息。它提供的方法包括：创建表，删 除表，列出表项，使表有效或无效，以及添加或删除表列族成员等。2、 HBaseConf

一、简介1. Hbase的由来hbase是bigtable的开源山寨版本。是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。