大数据笔记
关注
分享
扫一扫
sinat_41642318
点亮心灯，一个叫用心，一个叫执着。
以同样的使命更新格局，未来以来，时间已到。
展开
-
Storm编写wordcount程序
数据采集组件package demo;import java.util.Map;import java.util.Random;import org.apache.storm.spout.SpoutOutputCollector;import org.apache.storm.task.TopologyContext;import org.apache.storm.topol...原创 2018-08-19 11:16:24 · 412 阅读 · 1 评论 -
memcached程序
import java.io.Serializable;import java.net.InetSocketAddress;import java.util.ArrayList;import java.util.List;import java.util.concurrent.Future;import org.junit.Test;import net.spy.memcached...原创 2018-08-17 18:46:30 · 114 阅读 · 0 评论 -
数据采集引擎
福利：Kettle: http://www.kettle.net.cn/ 一、搭建实验环境：Oracle数据库 测试数据：用户sh 表：sales（订单表） —-> 自带大概92万条订单数据 二、Sqoop: 采集关系型数据库中数据 项目：每天晚上12点，采集Oracle数据库中的数据 （1）写一个sqoop命令脚本: mysqoop.sh sqoop import --c...原创 2018-08-17 18:39:29 · 402 阅读 · 0 评论 -
Pig相关操作
命令行Pig的常用命令：操作HDFSls、cd、cat、mkdir、pwd、copyFromLocal（上传）、copyToLocal（下载）sh: 调用操作系统的命令register、define -----> 部署pig的自定义函数的jar包使用PigLatin语句分析数据1、需要启动Yarn的HistoryServer：记录所有执行过的任务mr-jo...原创 2018-08-17 18:17:36 · 569 阅读 · 0 评论 -
Hive相关操作
Hive的数据模型1、内部表： 相当于MySQL的表，对应的HDFS的目录 /user/hive/warehousecreate table emp(empno int,ename string,job string,mgr int,hiredate string,sal int,comm int,deptno int);插入数据 insert、load语句（从某个...原创 2018-08-17 17:49:13 · 237 阅读 · 0 评论 -
Hbase相关操作
插入数据package hbase.filter;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HColumnDescriptor;import org.apache.hadoop...原创 2018-08-16 23:24:53 · 473 阅读 · 0 评论 -
MapReduce编程案例
wordcount程序package wc;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.i...原创 2018-08-16 23:07:36 · 289 阅读 · 0 评论 -
java代理设计模式
定义Subject接口public interface Subject { void visit();}定义Subject接口实现类public class RealSubject implements Subject { private String name = "byhieg"; @Override public void visit(...原创 2018-08-19 14:52:41 · 190 阅读 · 0 评论 -
java工厂模式
普通类//定义接口public interface Lanauage{ public void say();}//定义类Chinesepublic class Chiness{ public void say(){ System.out.println("说的是汉语"); }}//定义类Englishpublic class Engli...原创 2018-08-19 14:38:26 · 193 阅读 · 0 评论 -
RPC协议
package rpc.client;import java.io.IOException;import java.net.InetSocketAddress;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.ipc.RPC;import rpc.server.MyInterface;pub...原创 2018-08-16 22:18:48 · 159 阅读 · 0 评论 -
代理对象的实现
package proxy;import java.lang.reflect.InvocationHandler;import java.lang.reflect.Method;import java.lang.reflect.Proxy;public class ProxyTestMain { public static void main(String[] args) { ...原创 2018-08-16 22:15:09 · 860 阅读 · 0 评论 -
使用代理对象实现数据库的连接池
package datasource;import java.sql.Connection;import java.sql.SQLException;public class TestDataSourceMain { public static void main(String[] args) throws Exception { //从连接池中获取链接 使用完后...原创 2018-08-16 22:11:17 · 505 阅读 · 0 评论 -
HDFS相关操作
**查看文件信息**package demo;import java.util.Arrays;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.BlockLocation;import org.apache.hadoop.fs.FileStatus;import org.apac...原创 2018-08-16 21:49:59 · 492 阅读 · 0 评论 -
Spark Sql查询案例
package day0613import java.sql.{Connection, DriverManager}import org.apache.spark.rdd.JdbcRDDimport org.apache.spark.{SparkConf, SparkContext}object MyJdbcRDDDemo { val connection = () =>{...原创 2018-08-19 11:30:43 · 1172 阅读 · 0 评论 -
Spark编写wordcount程序
package demoimport org.apache.spark.{SparkConf, SparkContext}//开发一个scala版本的wordcount/*bin/spark-submit --master spark://bigdata111:7077 --class demo.MyWordCount /root/temp/mywordcount.jar hdfs:/...原创 2018-08-19 11:25:50 · 392 阅读 · 0 评论 -
Mapreduce编写wordcount程序
Map组件编写package wc;import java.io.IOException;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapredu...原创 2018-08-19 11:21:24 · 261 阅读 · 0 评论 -
pom.xml文件
Hadoop<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.or原创 2018-07-19 16:24:07 · 196 阅读 · 0 评论