meihao5的博客

利用 sqoop 将线上mysql表导入hive的模板代码如下：  source /etc/profile; sudo -uflightdev sqoop import \ --connect jdbc:mysql://127.0.0.1:3306/%(mysql_db)s?tinyInt1isBit=false \ --username XXX \ ...

总结自：https://www.cnblogs.com/xiaodf/p/6055803.html数据倾斜调优 调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。数据倾斜发生时的现象绝大多数task执行得都非常快，但个别t...

      实习期间接触到了Elasticsearch，所以就系统的学习了一下 Elasticsearch。本文是自己在Elasticsearch学习过程中的知识结构总结，这样对Elasticsearch有一个全貌的认识，具体的细节点和开发可参考本文找对应的资料。        一、什么的Elasticsearch？为什么要有它?，原理？        1)以往基本SQL的查询检索...

包括7个方面：入门简介，可存储数据类型，配置文件解读，持久化机制，事务，复制，java操作客户端一、reidis入门    问题：MySQL数据库也经常存储一些大文本字段，导致数据库表非常的大，在做数据库恢复的时候就导致非常的慢，不容易快速恢复数据库。比如1000万4KB大小的文本就接近40GB的大小，如果能把这些数据从MySQL省去，MySQL将变得非常的小。关系数据库很强大，但是它并不能很好...