大数据一亩三分地-优快云博客

转载 Spring注解大全

1、@Configuration完全替换spring xml文件功能，可自动装配bean，根据@Bean注解创建bean，实例如下 @Configurationpublic class App01 { @Bean public Person bean1() { Person p2 = new Person(); p2.setName("001"); ret

2017-11-01 20:03:06 326

转载 Sqoop导入关系数据库到Hive

Sqoop 是 apache 下用于 RDBMS 和 HDFS 互相导数据的工具。本文以 mysql 数据库为例，实现关系数据库导入到 hdfs 和 hive。1. 安装 Sqoop使用 rpm 安装即可。yum install sqoop sqoop-metastore -y安装完之后需要下载 mysql jar 包到 sqoop 的 lib 目录。

2017-10-12 19:53:06 1107

原创 Hive部署安装

1.解压安装包 tar -zxvf apache-hive-2.3.0-bin.tar.gz2.添加环境变量，在文件/etc/profile中或者/home/登录用户名/.bash_profile中添加，两者有什么区别请自行查找。导入下面的环境变量 export HIVE_HOME = hive目录路径 export PATH = $HIVE_HOM

2017-10-12 14:10:38 399

转载 Linux-profile、bashrc、bash_profile之间的区别和联系

为使Bash更好地为我们服务，我们需定制bash shell环境。~/.bash_profile、~/.bashrc、和~/.bash_logout上面这三个文件是bash shell的用户环境配置文件，位于用户的主目录下。其中.bash_profile是最重要的一个配置文件，它在用户每次登录系统时被读取，里面的所有命令都会被bash执行。.profile(由B

2017-10-09 17:35:55 308

转载 Sqoop2 Java客户端API指南

原文连接：http://sqoop.apache.org/docs/1.99.6/ClientAPI.htmlSqoop Java客户端API指南这篇文章秒描述了额如何在外部应用中使用sqoop java 客户端API。通过客户端API可以实现sqoop命令的功能。使用Sqoop客户端API需要Sqoop 客户端Jar文件及其依赖。提供了支持sqool操作的封装方法的主

2017-09-29 19:43:35 1144

转载 JAVA操作SQOOP对象

JAVA操作SQOOP对象Posted on 2017-06-06 16:57 J'KYO 阅读(203) 评论(0) 编辑收藏Windows下使用Eclipse工具操作Sqoop1.4.6对象Sqoop是用来在关系型数据库与Hadoop之间进行数据的导入导出，Windows下使用Eclipse工具操作时，需要先搭建好Hadoop的开发环境参照Java操作HDFS

2017-09-28 10:54:37 624

原创 java访问hdfs文件时碰到的一些问题

1.java.io.IOException:No FileSystem for scheme:hdfs解决：在pom.xml中漏添加了依赖。下面3个依赖必不可少 org.apache.hadoophadoop-common2.7.1org.apache.hadoophadoop-hdfs2.7.1org.apache.hadoophad

2017-09-19 17:03:51 1591

转载 JVM内存模型

JVM定义了若干个程序执行期间使用的数据区域。这个区域里的一些数据在JVM启动的时候创建，在JVM退出的时候销毁。而其他的数据依赖于每一个线程，在线程创建时创建，在线程退出时销毁。一、程序计数器程序计数器是一块较小的内存空间，可以看作是当前线程所执行的字节码的行号指示器。分支、循环、跳转、异常处理、线程恢复等基础功能都需要依赖这个计数器来完成。由于Java 虚拟机的多线

2017-09-13 14:59:08 199

转载 kafka集群搭建和使用Java写kafka生产者消费者

http://czj4451.iteye.com/blog/2041096server.properties需要配置broker.id=110host.name=192.168.1.108zookeeper.connect=192.168.1.108:2181log.dirs=/usr/local/kafka_2.10-0

2017-08-31 16:11:04 2368

转载 hadoop中使用MapReduce编程实例

原文链接：http://www.cnblogs.com/xia520pi/archive/2012/06/04/2534533.html从网上搜到的一篇hadoop的编程实例，对于初学者真是帮助太大了，看过以后对MapReduce编程基本有了大概的了解。看了以后受益匪浅啊，赶紧保存起来。 1、数据去重　　 "数据去重"主要是为了掌握和利用并行化思想来对数据进

2017-08-27 22:56:27 485

转载 kafka学习笔记：知识点整理

一、为什么需要消息系统1.解耦：　　允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。2.冗余：　　消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中，在把一个消息从队列中删除之前，需要你的处理系统明确的指出该消息已经被处理完毕，从而确保你的数据被安全的保存直到你使用完毕。3.扩展性

2017-08-25 17:04:15 214

转载 slf4j 和 log4j合用的（Maven)配置

简述：添加logger的日志输出，下面是配置信息供备忘步骤：1. 在Maven的porn.xml 文件中添加dependency如下[html] view plain copydependency> groupId>org.slf4jgroupId> artifactId>slf4j-log4j

2017-08-16 17:21:11 217

原创 scrapy提示DEBUG:Filtered offsite request to

在使用scrapy爬取数据时，只可以执行parse函数中的内容，通过yield scrapy.Request(url,callback=self.detail)方式无法跳转到detail函数，导致显示详细信息的url不能被解析。通过查看log，发现提示如下： DEBUG：Filtered offsite request to 域名通过查资料，发现request

2017-08-07 14:56:39 1924

转载浅谈分布式消息技术:KAFKA

Kafka的基本介绍Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。主要应用场景是：日志收集系统和消息系统。Kafka主要设计目标如下：

2017-08-03 19:53:10 303

转载 golang 线程与通道

golang中的线程和通道

2017-08-02 13:51:42 844

原创 springboot的邮件服务

使用springboot框架实现QQ邮箱之间互相发送邮件

2017-07-31 19:18:29 341

原创 java api操作远程hadoop集群

先给个在集群根目录下建立test目录的例子：String uri="hdfs://ip地址:端口号";Configuration conf = new Configuration();FileSystem fs = FileSystem.get(URI.create(uri),conf);String pathString = "/test";boolean exists =

2017-06-15 19:35:59 4600

原创 php根据新闻id号获取新闻的详细内容，并把图片的相对路径换成绝对路

$username="admin"; $userpass="root"; $dbhost="localhost"; $dbdatabase="huanggangplat"; $id=$_REQUEST['id']; //生成一个连接 $db_connect=mysql_connect($dbhost,$username,$userpass) or die("Un

2014-07-13 10:23:39 1124

原创 php获取新闻图标以及新闻内容中图片的绝对路径

function getImgSrc($content){$flag = preg_match_all("//",$content,$getPicPath);if($flag){return $getPicPath[1][0];}else{return null;}}function replaceImagSrc($content){//获得img src的数组

2014-07-07 16:10:03 1304

原创 php链接mysql数据库并且返回json数据（已每页10条数据显示）

$username="admin"; $userpass="root"; $dbhost="localhost"; $dbdatabase="huanggangplat"; $catid=$_REQUEST['catid']; //生成一个连接 $db_connect=mysql_connect($dbhost,$username,$userpass) or d

2014-07-06 14:32:40 795

原创 PS的一些简单操作

前一段时间需要对图片进行简单的

2014-06-15 16:10:20 495

原创 vs2010 MVC4.0项目中碰到的一些问题

1.MVC4.0需要安装.NET Framework 4.5。如果不安装，会报moming

2014-06-06 14:07:54 553

原创 php连接sqlserver数据库

最近在开发微信，需要连接sqlserver数据库，下面就通过PDO的方式来连接，供大家参考，有不足之处还望指出。 header("Content-type:text/html;charset=utf-8");//设置字符集$serverName="localhost";//本地数据库 $database="Weixindb";//数据库名称$uid="";$p

2013-10-15 16:34:02 609

原创向后台数据库提交表单时碰到的问题

向后台数据库中提交表单时，表单中有一字段名称为“婚姻状况”，此字段为必填，并且是下拉列表的形式，因此写成swbg.HYZK = (formData["HYZK"] != null) ? formData["HYZK"].ToString() : "";填写表单时选择此字段为“未婚”，但是数据库中的值为空。有谁知道这是怎么回事？？？求解救

2013-08-27 15:23:29 631