- 博客(24)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 Spark Scala Demo
SparkContext创建val conf = new SparkConf().setAppName("AppName")val sc = new SparkContext(conf)读取Hdfs文件sc.textFile(path)textFile的参数是一个path,这个path可以是：1. 一个文件路径，这时候只装载指定的文件2. 一个目录路径，这时候
2017-04-09 22:22:43
1103
原创 Hadoop集群启动顺序和部分命令整理
Hadoop集群启动顺序zookeepeer->hadoop->hbaseHadoop集群关闭顺序hbase->hadoop->zookeepeerHadoop 主备节点状态查看与手动切换$HADOOP_HOME/bin/hdfs haadmin -getServiceState nn1注意：此处的nn1为在hdfs-site.xml中配置的name
2017-04-09 21:23:25
5630
原创 Java常用的2种阻塞队列ArrayBlockingQueue和LinkedBlockingQueue
ArrayBlockingQueue 基于数组的阻塞队列实现，在ArrayBlockingQueue内部，维护了一个定长数组，以便缓存队列中的数据对象，这是一个常用的阻塞队列，除了一个定长数组外，ArrayBlockingQueue内部还保存着两个整形变量，分别标识着队列的头部和尾部在数组中的位置。 ArrayBlockingQueue在生产者放入数据和消费者获取数据，都是
2017-04-05 19:11:24
1274
原创 Linux 进入单用户模式 修改root密码
本方法只适用于GRUB引导的系统1、开机出现如下画面时，按任意键2、进入如下界面3、按【e】，进入如下界面4、选择kernel5、按【e】进入如下界面(不同系统可能有所差别)6、在末尾添加 “ single” 注意前面有空格7、按下回车，进入前一个界面
2017-04-04 11:24:34
661
原创 VMware 虚拟机克隆或者导入后网络问题处理
1、查看当前网卡的MAC地址ifconfig -a2、修改文件中的MAC地址vim /etc/udev/rules.d/70-persistent-net.rules3、查看网卡UUIDservice NetworkManager startnmcli con4、修改MAC地址和UUIDcd /etc/sysconfig/networ
2017-04-03 20:11:56
678
原创 Oracle sqlload 脚本
#!/bin/bash###################@author: chichuduxing#@date: 20160913###################加载环境变量(需要加载oracle的环境变量,根据安装情况自己调整)if [ -f /etc/profile.d/oraenv.sh ];then source /etc/profile.d/or
2017-04-03 13:18:02
1411
原创 分享一个查看Hdfs目录下文件大小的脚本，支持排序
#!/bin/bash###################@author: chichuduxing#@date: 20161011####################加载Hadoop环境变量##略过function showhelp(){ echo "###################################!!! you must input at le
2017-04-03 13:02:20
6024
1
原创 Linux Shell脚本学习 笔记整理
指定脚本解释器#!/bin/bash注意：1、该声明只能放在脚本的首行，说明该脚本使用bash解释器来解释执行，否则会被当成注释2、bash必须使用绝对路径3、该声明只在脚本作为可执行程序，通过./test.sh调用是才有效，如果通过sh test.sh 则会直接运行sh解释器 test.sh只是作为参数传递而已shell变量1、readon
2017-04-03 11:16:35
393
原创 Java dom4j 读写xml文件 Demo
要生成/读取的文件 hello 111 读写代码package com.basic;import java.io.File;import java.io.FileWriter;import java.io.IOException;import java.util.List;import
2017-04-02 16:46:18
483
原创 Java 序列化与反序列化 工具类 Demo
测试对象package com.basic.serialize;import java.io.Serializable;/** * @author chichuduxing * @date 2017年2月3日 下午12:12:30 */public class DemoObject implements Serializable { /** * */ priva
2017-04-02 16:39:44
694
原创 Hdfs上文件 读写 工具类 Demo
读取HDFS上文件Demopackage com.utils;import java.io.IOException;import java.util.List;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.f
2017-04-02 16:09:05
593
原创 Java读写文件Demo
Java按行读取文件和写文件Demopackage com.basic;import java.io.BufferedReader;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.IOException;import java.io.InputStreamReader;im
2017-04-02 15:22:33
1408
原创 Java单例类 demo
不推荐使用Singleton1和Singleton2，Singleton3基本可以满足需求，Singleton5支持延迟加载，但是实现稍麻烦，Effective Java 作者推荐通过枚举实现单例，自动支持序列化机制，防止反序列化重新创建新的对象，绝对防止多次实例化通过枚举实现单例package com.basic.designpatterns.create.singleton;
2017-04-02 14:31:16
423
原创 MapReduce 笔记 Demo
map过程中获得正在读取的文件名称import org.apache.hadoop.mapreduce.lib.input.FileSplit;//获取 input split 所在的文件名String curFileName = ((FileSplit)context.getInputSplit()).getPath().getName();//获得文件路径String curFil
2017-03-31 13:16:40
373
原创 Java读取Properties配置文件Demo,支持中文
要读取的配置文件config.properties(UTF-8格式)##姓名name=张三#年龄age=31#性别sex=男Java代码package com.demo;import java.io.FileInputStream;import java.io.IOException;import java.io.InputStreamReader;import
2017-03-30 18:59:31
1374
转载 Linux服务器之间建立信任关系，ssh免密码登录
建立信任关系的基本操作基本场景是想从一台Server服务器直接登录另一台，或者将Server服务器的数据不需密码验证直接拷贝至Client服务器，以下我们简称Server服务器为S（待发送的数据文件在这台服务器上），Client服务为C，信任关系的最简单操作方法如下：1 在S服务器上，进入当前用户根目录下的隐藏目录 .ssh，命令如下：cd ~/.ssh（注：目录名前的
2017-03-30 18:17:02
6783
原创 Linux下利用Cron定时执行程序
cron基本知识名词解释cron是服务名称，crond是后台进程，crontab则是定制好的计划任务表。配置文件目录: cd /etc/cron.d日志文件目录: vim /var/log/cron/sbin/service crond start //启动服务 /sbin/service crond stop //关闭服务 /sbin/service crond
2017-03-30 18:06:12
2561
2
原创 oracle表字段去重
单字段去重查看重复数据select * from testrepeat t where t.id in (select id from testrepeat group by id having count(id) > 1);删除重复记录，保留rowid最小的行delete from testrepeat t where t.id in (select id from testrep
2017-03-30 18:00:34
2881
原创 Oracle创建按时间戳分区表
1 建分区表-- Create tablecreate table PARTITION_TABLE( field1 INTEGER, field2 VARCHAR2(32), field3 INTEGER,)partition by range(field3)interval (86400)(partition p1 values less than (14
2017-03-30 17:48:35
3419
原创 Oracle常用sql语句整理
1 创建临时表空间CREATE TEMPORARY TABLESPACE user_tmpTEMPFILE '/oradataa/user_tmp.dbf 'SIZE 32MAUTOEXTEND ONNEXT 32M MAXSIZE 2048MEXTENT MANAGEMENT LOCAL;2 创建用户表空间CREATE TABLESPACE xxuserLOGGING
2017-03-30 17:31:33
591
原创 Oracle导入和导出exp/imp/expdp/impdp
导出exp1 将数据库完全导出,用户名system 密码manager 导出到D:\daochu.dmp中exp system/manager@hostname:1521/ora11g file=exp_export.dmp full=y log=exp_export.log2 将数据库中system用户与sys用户的表导出exp system/manager@hostna
2017-03-30 16:39:06
5626
原创 Oracle 恢复被删除的表/数据
恢复被delete的数据假设表名称为:table_delete 查看系统当前时间--获得系统当前时间select to_char(sysdate,'yyyy-mm-dd hh24:mi:ss')from dual;查看删除数据之前的某个时间点该表里面的数据select * from table_dele
2017-03-30 16:22:25
277
原创 Linux环境下Oracle服务端启停
启停Oracle服务登录Oracle服务所在的服务器[root@localhost ~]# su oracle[oracle@localhost ~]$ sqlplus /nologSQL> connect /as sysdbaSQL> shutdown immediate（关闭数据库实例）SQL> startup (起动数据库实例，一般不需要加参数，只要设置好环境变
2017-03-30 15:48:18
882
原创 Eclipse开发Java前配置
1、字体设置Window->Preferences->General->Apperance->Colors and Fonts->Basic->Text Font->Edit(Consolas)2、编码设置Window->Preferences->General->Workspace->Text file encoding(UTF-8)Window->Preferenc
2017-03-30 15:24:12
386
Java开发手册.zip
2019-06-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人