- 博客(20)
- 收藏
- 关注
RSS订阅原创 es导出hive遇到的问题汇总
首先直接上干货：步骤导入elasticsearch-hadoop-hive-5.5.2.jar包创建hive外部表，数据源设置为es中，添加相应的配置创建内部表拉取数据add jar file:///home/hadoop/liubx/elasticsearch-hadoop-hive-5.5.2.jar;add jar file:///...
2018-04-01 01:10:00
1229
原创 hive读取es数据
参考：hive读写es数据 http://blog.youkuaiyun.com/u013063153/article/details/60757307官方文档 hive集成es https://www.elastic.co/guide/en/elasticsearch/hadoop/current/hive.html#hive-type-convers...
2017-12-14 10:35:00
2296
原创 （二）高斯
转载：高斯说起数学家中最出名的天才,那一定是高斯。天才的大数学家高斯关于高斯的故事,最广为流传的是“5050”。老师本来想用一道难题,让全班的同学安静一节课的时间,却没有想到小高斯只用了一两分钟就说出了答案。他把1、2、3……分别和100、99、98结对子相加,就得到50个101,最后轻易就算出从1加到100的和是5050。你知道吗?小...
2017-12-11 12:43:00
211
原创 （一）拉格朗日
转载：18世纪欧洲最伟大的数学家——拉格朗日拉格朗日（1736—1813），法国著名的数学家、力学家、天文学家，变分法的开拓者和分析力学的奠基人。他曾获得过18世纪“*欧洲最大之希望、欧洲最伟大的数学家”的赞誉。拉格朗日出生在意大利的都灵。由于是长子，父亲一心想让他学习法律，然而，拉格朗日对法律毫无兴趣，偏偏喜爱上文学。１８世纪欧洲最伟大的...
2017-12-11 12:37:00
636
原创 spark无法同时启动thriftserver和spark-sql CLi的解决办法
报错如下：Initial job has not accepted any resources : Investigating the cluster state查看spark的8080页面发现，两个任务资源不够用（借用的图，忘记截屏了，但是意思一样）spark主要是因为spark默认为应用有一个初始分配资源的配置，如果机器配置不合...
2017-07-06 01:36:00
633
原创 DBUtil数据库连接工具类操作excel
DBUtil.javapackage com.util;import java.io.IOException;import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;impo...
2017-07-05 00:30:00
456
原创 20170630
TensorFlow深度学习，一篇文章就够了http://blog.jobbole.com/105602/Tensorflow 自带可视化Tensorboard使用方法 附项目代码http://blog.youkuaiyun.com/jerry81333/article/details/53004903金融圈的科技革命：FinTech到底是什么?http:/...
2017-06-30 19:15:00
129
原创 hive增量抽取方案
一、使用sqoop从mysql中抽取数据到hive，查看sqoop官方文档，有如下两种方案：7.2.9. Incremental ImportsSqoop provides an incremental import mode which can be used to retrieve only rows newer than some previou...
2017-06-27 00:50:00
2610
原创 spark提交过程分析（standalone模式）
一、构造SparkContextPaste_Image.png1.1. 在shell下，通过spark-submit命令将Application提交到集群,此时spark会通过反射的方式，创建和构造一个DriverActor进程出来（scala中的actor类似java的多线程）1.2. Driver进程会执行我们提交的Applicati...
2017-06-21 00:16:00
343
原创 前端js调试
source调试打开要调试的页面，按下F12键，打开调试窗口source标签页，可以查看到网页资源，选择要调试的js文件QQ图片20170618154024.png选择要查看的数组categories，右键选择Evaluate in console选项，查看categories中的值，从而确认后台传递过来的数据是否正确...
2017-06-18 16:50:00
181
原创 html+js+servlet实现echarts图表展示
一、需求：提供登录页面，登录成功后跳转到echarts展示页面，登录失败回到登录页面使用拦截器过滤请求，必须登录后才能够访问echarts展示页面echarts页面读取后台传递过来的json数据，在前台正确显示设置session过期时间为5分钟登录帐号和密码为：admin/123456（项目代码路径在最后）二、简易架构图架构.p...
2017-06-18 16:49:00
916
原创 java并发编程-线程池
参考常用线程池：newSingleThreadExecutor创建一个单线程的线程池。这个线程池只有一个线程在工作，也就是相当于单线程串行执行所有任务。如果这个唯一的线程因为异常结束，那么会有一个新的线程来替代它。此线程池保证所有任务的执行顺序按照任务的提交顺序执行。newFixedThreadPool创建固定大小的线程池。每次提交一个任务就创建...
2017-06-01 16:31:00
112
原创 LOG4J 配置讲解
log4j日志输出格式一览：%c 输出日志信息所属的类的全名%d 输出日志时间点的日期或时间，默认格式为ISO8601，也可以在其后指定格式，比如：%d{yyy-MM-dd HH:mm:ss }，输出类似：2002-10-18- 22：10：28%f 输出日志信息所属的类的类名%l 输出日志事件的发生位置，即输出日志信息的语句处于它所在的类的第几...
2017-05-23 21:55:00
117
原创 Kafka是如何实现高吞吐率的
Kafka是分布式消息系统，需要处理海量的消息，Kafka的设计是把所有的消息都写入速度低容量大的硬盘，以此来换取更强的存储能力，但实际上，使用硬盘并没有带来过多的性能损失kafka主要使用了以下几个方式实现了超高的吞吐率顺序读写kafka的消息是不断追加到文件中的，这个特性使kafka可以充分利用磁盘的顺序读写性能顺序读写不需要硬盘磁头的寻道时间...
2017-05-09 14:30:00
243
原创 hadoop2配置公平调度器
参考：http://blog.youkuaiyun.com/xia562653223/article/details/18811661#公平调度器是由facebook贡献的，适合于多用户共享集群的环境的调度器，其吞吐率高于FIFO，1、公平调度介绍公平调度器按资源池（pool）来组织作业，并把资源公平的分到这些资源池里。默认情况下，每一个用户拥有一个独立的资源...
2017-05-08 11:27:00
666
原创 java深度复制
参考:Java 实现深度复制什么是深度复制？在Java里面，在创建一个对象，我们通常会有一个引用指向该对象，当我们通过引用变量改变对象的值（属性）时，引用是不变的，变的是内存里面的那块内存，即引用所指向的对象。一般情况下，我们将该引用赋给另一个引用变量或者作为参数传递时，传递的也只是引用，即将引用指向“复制”了一份给另一个引用变量，随后该引用变量也指向...
2017-05-06 01:27:00
239
原创 linux时间同步
本文参考文章如下：http://www.cnblogs.com/zhwl/p/3670409.htmlhttp://blog.youkuaiyun.com/bbirdsky/article/details/20445385linux集群时间同步说明：由于hadoop集群对时间要求很高，所以集群内主机要经常同步。本文档适合ubuntu、redhat系列。注
2016-08-27 11:45:30
469
转载 Zookeeper -- 管理分布式环境中的数据
安装和配置详解本文介绍的 Zookeeper 是以 3.2.2 这个稳定版本为基础，最新的版本可以通过官网http://hadoop.apache.org/zookeeper/来获取，Zookeeper 的安装非常简单，下面将从单机模式和集群模式两个方面介绍 Zookeeper 的安装和配置。单机模式单机安装非常简单，只要获取到 Zookeeper 的压缩包并解压到某个
2016-04-28 20:06:08
385
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人