mathlpz126的博客

批量查询hive数据，通过管道方式快速写入到Redis集群，脚本编写

项目中打算使用Flume把数据直接传到Hive表而不是HDFS上，使用Hive作为Sink，Flume版本为1.9.0。前期启动遇到各种报错：NoClassDefFoundError: org/apache/hadoop/hive/ql/session/SessionStateNoClassDefFoundError: org/apache/hadoop/hive/cli/CliSessionStateNoClassDefFoundError: org/apache/hadoop/hive/

从hive查询数据，使用shell脚本管道方式导入到Redis集群。

1、mysql简介概述：开源的关系型数据库RDBMS，等。。高级MYSQL：mysql内核sql优化工程师mysql服务器的优化各种参数常量设定查询语句优化主从复制软硬件升级容灾备份sql备份2、linux版安装暂用mysql5.5，下载地址：http://mirrors.sohu.com/mysq

Redis的Java客户端Jedis：Jedis所需要的jar包，commons-pool-1.6.jar、jedis-2.1.0.jarJedis常用操作：测试连通性、5+1（一个key、五大数据类型）、事务提交（日常、加锁）主从复制，6379,6380启动，先各自先独立，主写、从读；JedisPool

1、是什么行话：也就是我们所说的主从复制，主机数据更新后根据配置和策略，自动同步到备机的master/slaver机制，Master以写为主，Slave以读为主。2、能干嘛读写分离；容灾恢复；3、怎么玩？配从(库)不配主(库)从库配置：slaveof 主库IP 主库端口每次与master断开之后，都需要重新连接，除非你配置

1、是什么？可以一次执行多个命令，本质是一组命令的集合。一个事务中的所有命令都会序列化，按顺序地串行化执行而不会被其它命令插入，不许加塞。2、能干嘛放入一个队列（QUEUED）中，一次性、顺序性、排他性的执行一系列命令3、怎么玩常用命令：MULTI/ EXEC/ WATCH/ UNWATCH/ DISCARDcase1：正常执行，MU

是什么进程间的一种消息通信模式：发送者(pub)发送消息，订阅者(sub)接收消息。订阅/发布消息图命令psubscribe/ publish/ pubsub/ punsubscribe/ subscribe/ unsubcribe案列先订阅后发布后才能收到消息，1 可以一次性订阅多个，SUBSCRIBE c1 c2 c3

是什么：以日志的形式来记录每个写操作，将Redis执行过的所有写指令记录下来(读操作不记录)，只许追加文件但不可以改写文件。redis启动之初会读取该文件重新构建数据，换言之，redis重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作。Aof保存的是appendonly.aof文件配置位置APPEND ONLY MODE

是什么：在指定的时间间隔内将内存中的数据集快照写入磁盘，Snapshot快照，恢复时是将快照文件直接读到内存里；Redis会单独创建（fork）一个子进程来进行持久化，会先将数据写入到一个临时文件中，待持久化过程都结束了，再用这个临时文件替换上次持久化好的文件。整个过程中，主进程是不进行任何IO操作的，这就确保了极高的性能。如果需要进行大规模数据的恢复，且对于数据恢复的完整

Redis 键(key) keys *；exists key的名字，判断某个key是否存在move key db --->当前库就没有了，被移除了expire key 秒钟：为给定的key设置过期时间ttl key 查看还有多少秒过期，-1表示永不过期，-2表示已过期type key 查看你的key是什么类型Redis字符串(Stri

是什么？redis：remote dictionary server，远程字典服务器；开源的，C编写，遵守BSD协议，高性能分布式内存数据库；支持持久化，支持数据备份，即master-slave模式数据备份；能干什么？内存存储和持久化，异步存硬盘；取最新几条数据；设置过期时间等；发布订阅功能；定时器、计数器；redis

分析对比数据库与非关系型数据库的利弊：以一个电商表设计切入；聚合模型：KV键值，Bson，列族，图形：四大分类：KV键值：文档型数据库：列存储数据库：图关系数据库：分布式数据库中CAP原理：CAP+BASE;传统的ACID：atomicity原子性；consistency一致性；isolation独立性；durability持

NoSQL入门和概述1、互联网时代背景下为啥需要NoSql？2、是什么？NoSQL(NoSQL = Not Only SQL )，意即“不仅仅是SQL”，3、能干吗？易扩展、大数据量高性能、丰富的数据类型RDBMS vs NoSQLRDBMS：- 高度组织化结构化数据- 结构化查询语言（SQL）- 数据和关系都存储在单独的

缓存技术是网站服务端经常用到的一种技术，在读多写少的业务场景中，通过使用缓存可以有效地提高网站的性能，支撑高并发的访问量，对数据库做到很好的保护。我们在使用缓存的时候，如Redis、Memcached，基本上都遇到以下几个问题：缓存穿透、缓存并发、缓存失效（缓存雪崩）、热点key、DB缓存一致性。本案例结合平台开发过程中遇到的问题，简要总结了缓存中常见的问题并提供一些解决方案。案例介绍

Unsafe与CASUnsafe简单讲一下这个类。Java无法直接访问底层操作系统，而是通过本地（native）方法来访问。不过尽管如此，JVM还是开了一个后门，JDK中有一个类Unsafe，它提供了硬件级别的原子操作。这个类尽管里面的方法都是public的，但是并没有办法使用它们，JDK API文档也没有提供任何关于这个类的方法的解释。总而言之，对于Unsafe类的使