
大数据
M_Jack
这个作者很懒,什么都没留下…
展开
-
如何在hadoop中控制map的个数
hadooop提供了一个设置map个数的参数mapred.map.tasks,我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数,并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值,最终map的个数,还取决于其他的因素。 为了方便介绍,先来看几个名词:block_size : hdfs的文件块大小,默认为64M,可以通过参转载 2017-09-10 17:47:36 · 388 阅读 · 0 评论 -
用sqoop导入数据到HIVE和HDFS中
一:sqoop数据的导入 1.使用sqoop将:mysql中的数据导入到HDFS(直接导入) Step1、确定Mysql服务的正常开启 service mysql status Step2、在Mysql中创建一张表 mysql> create databa...转载 2018-10-08 17:58:04 · 2780 阅读 · 0 评论 -
Oracle数据库自连接查询的缺点及解决方法
问题:我们在Oracle数据库中,如果需求要查询出 EMP 表中的所有员工及员工对应的领导时,就需要用到自连接查询:查询语句如下:select e.empno,e.ename,e.mgr from emp e,emp bwhere e.empno = b.mgr;但是,我们知道,自连接至少需要有两张表,并且会进行笛卡尔全集,(笛卡尔积:两张表行数的乘积)所以自连接查询出来...转载 2019-03-19 10:35:31 · 919 阅读 · 0 评论 -
中华石杉老师课程汇总
辛苦整理的中华石杉老师课程!https://pan.baidu.com/s/1QOMRLz6hp6KLRZ_aQM0aQgElasticsearch顶尖高手系列课程(基础篇+高手篇)(从零开始精通分布式搜索ElasticSearch)https://pan.baidu.com/s/17ObOeAUV4_v_ZE3jQAW3BA亿级流量电商详情页系统实战(完整版...原创 2019-03-26 22:42:58 · 12134 阅读 · 9 评论