木东的博客

1.基础1.1 时序数据的定义什么是时间序列数据（Time Series Data，TSD，以下简称时序）从定义上来说，就是一串按时间维度索引的数据。用描述性的语言来解释什么是时序数据，简单的说，就是这类数据描述了某个被测量的主体在一个时间范围内的每个时间点上的测量值。它普遍存在于IT基础设施、运维监控系统和物联网中。  对时序数据进行建模的话，会包含三个重要部分，分别是：主体，时间点和测量值。套用这套模型，你会发现你在日常工作生活中，无时无刻不在接触着这类数据。如果你是一个股民，某只股票的股价

简单分享Ubuntu 16.04下安装MySQL的过程。首先执行下面三条命令：sudo apt-get install mysql-serversudo apt isntall mysql-clientsudo apt install libmysqlclient-dev安装成功后可以通过下面的命令测试是否安装成功：sudo netstat -tap | grep mysq...

mysql 记录不存在时插入在 MySQL 中，插入（insert）一条记录很简单，但是一些特殊应用，在插入记录前，需要检查这条记录是否已经存在，只有当记录不存在时才执行插入操作，本文介绍的就是这个问题的解决方案。 问题：我创建了一个表来存放客户信息，我知道可以用 insert 语句插入信息到表中，但是怎么样才能保证不会插入重复的记录呢？ 答案：可以通过使用 EXISTS 条件句防止插入重复记录。...

文章归属：http://feiyan.info/16.html，我想自己去写了，但是发现此君总结的非常详细。直接搬过来了关于MySQL索引的好处，如果正确合理设计并且使用索引的MySQL是一辆兰博基尼的话，那么没有设计和使用索引的MySQL就是一个人力三轮车。对于没有索引的表，单表查询可能几十万数据就是瓶颈，而通常大型网站单日就可能会产生几十万甚至几百万的数据，没有索引查询会变的非常缓

在使用django的websocket的时候，发现web请求和其他当前的django进程的内存是不共享的，猜测django的机制可能是每来一个web请求，就开启一个进程去与web进行交互，一次来达到利用cpu多核的目的。但是这样一来，内存共享的问题就变成了焦点。这周试了一下redis，果然很好用。　　redis是一个key-value存储系统。和Memcached类似，它支持存储的valu

Python标准库系列之Redis模块What is redis?Redis is an open source (BSD licensed), in-memory data structure store, used as database, cache and message broker. It supports data structures such as str

1、in和existsin是把外表和内表作hash连接，而exists是对外表作loop循环，每次loop循环再对内表进行查询，一直以来认为exists比in效率高的说法是不准确的。如果查询的两个表大小相当，那么用in和exists差别不大；如果两个表中一个较小一个较大，则子查询表大的用exists，子查询表小的用in；例如：表A(小表)，表B(大表)select * from A

1.有时按快捷键Ctrl+F搜某条数据的时候搜不到，但是能用sql查出来，这是怎么回事？Ctrl+F只能搜本页数据，不在本页的数据搜不到，navicat每页只显示1000条数据。在数据多的时候navicat是分页显示的，你可以按右下角的左/右箭头翻到上/下一页。这时候如果数据太多的话，这么翻页找这条数据太麻烦，还是用sql查找出来。2.在navicat上对某个字段按照升

两个月前使用过hbase，现在最基本的命令都淡忘了，留一个备查~进入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos认证，需要事先使用相应的keytab进行一下认证（使用kinit命令），认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户hb

1. Impala架构       Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分组成），可以直接从

SQL高级查询技巧1.UNION,EXCEPT,INTERSECT运算符 A,UNION 运算符 UNION 运算符通过组合其他两个结果表（例如 TABLE1 和 TABLE2）并消去表中任何重复行而派生出一个结果表。 当 ALL 随 UNION 一起使用时（即 UNION ALL），不消除重复行。两种情况下，派生表的每一行不是来自 TABLE1 就是来自 TABL

case具有两种格式。简单case函数和case搜索函数。--简单case函数case sex when '1' then '男' when '2' then '女’ else '其他' end--case搜索函数case when sex = '1' then '男' when sex = '2' then '女' else '其他' end

零、用户管理：　　1、新建用户：　　　　>CREATE USER name IDENTIFIED BY 'ssapdrow';　　2、更改密码：　　　　>SET PASSWORD FOR name=PASSWORD('fdddfd');　　3、权限管理　　　　>SHOW GRANTS FOR name;    //查看name用户权限　　　　>GRANT SELECT

一，安装mysql 如果是windows 用户，mysql 的安装非常简单，直接下载安装文件，双击安装文件一步一步进行操作即可。Linux 下的安装可能会更加简单，除了下载安装包进行安装外，一般的linux 仓库中都会有mysql ，我们只需要通过一个命令就可以下载安装：Ubuntu\deepin>>sudo apt-get install mysql-server >>S

安装msyql1. 升级apt-getapt-get update如果出现 说明没有你不是root用户，则需要用sudo命令sudo apt-get update 下面出现权限问题都可以参照这个方法。2. 安装 mysql-client-core-5.7apt-get install MySQL-client-core-5.7

建立表：CREATE TABLE example (name VARCHAR(100),city VARCHAR(100),image BLOB,Phone VARCHAR(100));使用一张图片qqq.jpg存图片的代码：package test;import java.sql.*;import java.io.*;public class SaveI

java.lang.ClassNotFoundException: com.mysql.jdbc.Driverat org.apache.catalina.loader.WebappClassLoader.loadClass(WebappClassLoader.java:1647)at org.apache.catalina.loader.WebappClassLoader.loadCla

BLOB类型的字段用于存储二进制数据MySQL中，BLOB是个类型系列，包括：TinyBlob、Blob、MediumBlob、LongBlob，这几个类型之间的唯一区别是在存储文件的最大大小上不同。MySQL的四种BLOB类型类型 大小(单位：字节)TinyBlob 最大 255Blob 最大 65KMediumBlob 最大 16MLongBlob 最大 4

概述sqoop是Apache顶级项目，主要用来在Hadoop和关系数据库中传递数据。通过sqoop，我们可以方便的将数据从关系数据库导入到HDFS，或者将数据从HDFS导出到关系数据库。sqoop架构：sqoop架构非常简单，其整合了Hive、Hbase和Oozie，通过map-reduce任务来传输数据，从而提供并发特性和容错。sqoop的进一步发展可

1. 两者分别是什么？   Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。    Apache HBase是一种K

在导出的Excel表中，手动的录入一些数据，然后将这个表导入到数据库中。步骤1：运行【导入向导】，选择导入数据的类型步骤2：选择文件数据源步骤3：跳过。步骤4：给源文件定义一些附加选项，前三个选项一定要填写正确，否则将不能完成正确的导入。       [栏位名行]：数据表字段所在的行位置       [第一个数

2015-12-28 11:09:19,403 INFO [Thread-12] org.apache.sqoop.mapreduce.AutoProgressMapper: Auto-progress thread is finished. keepGoing=false2015-12-28 11:09:19,484 ERROR [Thread-11] org.apache.sqoop.map

一简介Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。二特点Sqoop中一大亮点就是可以通过hadoop的mapreduce把数据从关系型数据库中导入数据到HDFS。

原帖地址： http://blog.youkuaiyun.com/nsrainbow/article/details/41575807Sqoop是什么sqoop是用于在传统关系型数据库跟hdfs之间进行数据导入导出的工具。目前sqoop已经出了2，但是截至当前，sqoop2还是个半成品，不支持hbase，功能还很少，所以我还是主要讲sqoop1安装Sqoop1

环境hive 版本hive-0.11.0sqoop 版本 sqoop-1.4.4.bin__hadoop-1.0.0从hive导到mysqlmysql 表：mysql> desc cps_activation;+————+————-+——+—–+———+—————-+| Field | Type | Null | Key | Default | Ex

问题导读：1.导出本地文件系统和hdfs文件系统区别是什么？2.带有local命令是指导出本地还是hdfs文件系统？3.hive中，使用的insert与传统数据库insert的区别是什么？4.导出数据如何自定义分隔符？今天我们再谈谈Hive中的三种不同的数据导出方式。根据导出的地方不一样，将这些方式分为三种：（1）、导出到本地文件系统；（2）、导

3  导入导出数据库   1)列出mysql数据库中的所有数据库命令  #  sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password 123456      2)连接mysql并列出数据库中的表命令   # sqoop list-tables --connect

CommunicationsException: Communications link failureI'm quoting from this answer which also contains a step-by-step MySQL+JDBC tutorial:If you get a SQLException: Connection refused or Conn

问题导读1.sqoop是否支持复杂语句2.sqoop如果存在就更新，不存在就插入，这是什么模式？                      这些内容是从sqoop的官网整理出来的，是1.4.3版本的Document，如果有错误，希望大家指正。      1.使用sqoop导入数据　　sqoop import --connect j

关于如何查看mysql版本：方法一：进入mysql cmd，[cpp] view plaincopystatus;  将显示当前mysql的version的各种信息。 方法二：还是在mysql的cmd下，输入：[cpp] view plaincopy