- 博客(21)
- 收藏
- 关注
RSS订阅原创 java代理设计模式
定义Subject接口public interface Subject { void visit();}定义Subject接口实现类public class RealSubject implements Subject { private String name = "byhieg"; @Override public void visit(...
2018-08-19 14:52:41
189
原创 java工厂模式
普通类//定义接口public interface Lanauage{ public void say();}//定义类Chinesepublic class Chiness{ public void say(){ System.out.println("说的是汉语"); }}//定义类Englishpublic class Engli...
2018-08-19 14:38:26
191
原创 Spark Sql查询案例
package day0613import java.sql.{Connection, DriverManager}import org.apache.spark.rdd.JdbcRDDimport org.apache.spark.{SparkConf, SparkContext}object MyJdbcRDDDemo { val connection = () =>{...
2018-08-19 11:30:43
1166
原创 Spark编写wordcount程序
package demoimport org.apache.spark.{SparkConf, SparkContext}//开发一个scala版本的wordcount/*bin/spark-submit --master spark://bigdata111:7077 --class demo.MyWordCount /root/temp/mywordcount.jar hdfs:/...
2018-08-19 11:25:50
391
原创 Mapreduce编写wordcount程序
Map组件编写package wc;import java.io.IOException;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapredu...
2018-08-19 11:21:24
261
原创 Storm编写wordcount程序
数据采集组件package demo;import java.util.Map;import java.util.Random;import org.apache.storm.spout.SpoutOutputCollector;import org.apache.storm.task.TopologyContext;import org.apache.storm.topol...
2018-08-19 11:16:24
409
1
原创 memcached程序
import java.io.Serializable;import java.net.InetSocketAddress;import java.util.ArrayList;import java.util.List;import java.util.concurrent.Future;import org.junit.Test;import net.spy.memcached...
2018-08-17 18:46:30
114
原创 数据采集引擎
福利：Kettle: http://www.kettle.net.cn/ 一、搭建实验环境：Oracle数据库 测试数据：用户sh 表：sales（订单表） —-> 自带大概92万条订单数据 二、Sqoop: 采集关系型数据库中数据 项目：每天晚上12点，采集Oracle数据库中的数据 （1）写一个sqoop命令脚本: mysqoop.sh sqoop import --c...
2018-08-17 18:39:29
398
原创 Pig相关操作
命令行Pig的常用命令：操作HDFSls、cd、cat、mkdir、pwd、copyFromLocal（上传）、copyToLocal（下载）sh: 调用操作系统的命令register、define -----> 部署pig的自定义函数的jar包使用PigLatin语句分析数据1、需要启动Yarn的HistoryServer：记录所有执行过的任务mr-jo...
2018-08-17 18:17:36
567
原创 Hive相关操作
Hive的数据模型1、内部表： 相当于MySQL的表，对应的HDFS的目录 /user/hive/warehousecreate table emp(empno int,ename string,job string,mgr int,hiredate string,sal int,comm int,deptno int);插入数据 insert、load语句（从某个...
2018-08-17 17:49:13
233
原创 Hbase相关操作
插入数据package hbase.filter;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HColumnDescriptor;import org.apache.hadoop...
2018-08-16 23:24:53
472
原创 MapReduce编程案例
wordcount程序package wc;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.i...
2018-08-16 23:07:36
288
原创 RPC协议
package rpc.client;import java.io.IOException;import java.net.InetSocketAddress;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.ipc.RPC;import rpc.server.MyInterface;pub...
2018-08-16 22:18:48
157
原创 代理对象的实现
package proxy;import java.lang.reflect.InvocationHandler;import java.lang.reflect.Method;import java.lang.reflect.Proxy;public class ProxyTestMain { public static void main(String[] args) { ...
2018-08-16 22:15:09
860
原创 使用代理对象实现数据库的连接池
package datasource;import java.sql.Connection;import java.sql.SQLException;public class TestDataSourceMain { public static void main(String[] args) throws Exception { //从连接池中获取链接 使用完后...
2018-08-16 22:11:17
504
原创 HDFS相关操作
**查看文件信息**package demo;import java.util.Arrays;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.BlockLocation;import org.apache.hadoop.fs.FileStatus;import org.apac...
2018-08-16 21:49:59
491
原创 IO流
File操作：public class Test{ public static void main(String[] args) throws IOException{ File file = new File("d:"+File.separator+"asd"+File.separator+"as"+File.separator
2018-08-16 21:38:25
140
原创 pom.xml文件
Hadoop<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.or
2018-07-19 16:24:07
194
原创 hadoop文件配置
Hadoop一、本地模式： hadoop-env.sh25 export JAVA_HOME=/root/training/jdk1.8.0_144二、伪分布模式： hdfs-site.xml<!--表示数据块的冗余度，默认：3--><property> <name>dfs.replication&am
2018-07-12 14:06:01
283
原创 Ambari环境搭建教程
一、实验环境CentOS-7-x86_64-Minimal-1708.isojdk-8u144-linux-x64.tar.gzambari-2.6.0.0-centos7.tar.gzHDP-2.6.3.0-centos7-rpm.tar.gzHDP-UTILS-1.1.0.21-centos7.tar.gz1、准备工作 （1）关闭防火墙systemctl stop...
2018-07-11 19:44:31
404
1
原创 Linux最小化安装、NAT网络模式下，无法使用yum命令；ping外网失败时解决方案
刚安装的CentOS系统，或者最小化安装时会遇到一些网络问题，现总结如下：1.执行yum相关命令时，出现以下提示信息2.ping 外网失败类似的网络问题可以借鉴以下方案解决方案：步骤一：添加网关信息[root@CentOS1 ~]# vi /etc/sysconfig/network# Created by anacondaNETWORKING=yesHOSTNAME=bigdata G...
2018-05-22 00:07:07
1022
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人