大数据
关注
分享
扫一扫
秦沙
10 年 互联网软件开发相关经验；
精通 Java 语言，debug过JVM源码；
有大数据处理经验，Hive表100 TB级别、MySQL千万数据级别；
熟悉高并发、网络编程技术、分布式服务，参与过唯品会 OSP 框架以及配置中心的研发和维护，大促峰值调用达数十亿次，参
与过唯品会开源工具集 vjtools研发，github stars 6k+；
展开
-
Hadoop Hive Spark安装配置指南
1 安装Hadoop1.1 下载hadoop-2.7.x压缩包并解压至目标目录，修改$HODOOP_HOME/etc/hadoop下几个文件：hadoop-env.sh，检查JAVA_HOME、HADOOP_CONF_DIR配置是否正确；core-site.xml，加入如下配置：<property> <name>hadoop.tmp.dir<...原创 2019-03-20 15:53:32 · 786 阅读 · 0 评论 -
MySQL / TiDB数据迁移及验证
一、环境准备1.1 工具介绍数据量比较大，使用MySQL官方自带的mysqldump难以满足需求的时候，可以使用mydumper执行数据迁移工作。mydumper 最突出的特性就是可采用多线程并行备份，极大提高了数据导出的速度。mydumper的工作原理可以参考：MyDumper原理简介与其他备份工具一样，mydumper 默认情况下是用 FTWRL (Flush Tables With R...原创 2019-08-01 20:08:22 · 1047 阅读 · 0 评论