- 博客(38)
- 收藏
- 关注
RSS订阅转载 sys_context 获取环境上下文的函数
select SYS_CONTEXT('USERENV','IP_ADDRESS') from dual;-------------------------------------------------------...
2019-03-30 17:33:40
194
转载 spark2.2.0 配置spark sql 操作hive
spark可以通过读取hive的元数据来兼容hive，读取hive的表数据，然后在spark引擎中进行sql统计分析，从而，通过spark sql与hive结合实现数据分析将成为一种最佳实践。配置步骤如下：1、...
2018-09-23 12:48:41
533
转载 Scala 类和对象
1.scala中的类不声明为public，一个Scala源文件中可以有多个类。Scala 的类定义可以有参数，称为类参数，如上面的 xc, yc，类参数在整个类中都可以访问。2.继承Sca...
2018-08-30 02:00:35
209
转载 scala(四）集合
List//字符串列表valsite:List[String]=List("Runoob","Google","Baidu")//整型列表valnums:List[Int]=Lis...
2018-08-30 01:46:43
122
转载 scala(三)函数
1.Scala 中使用 val 语句可以定义函数，def 语句定义方法。classTest{defm(x:Int)=x+3valf=(x:In...
2018-08-30 01:22:00
144
转载 scala（二）-for循环
1.for(varx<-Range){statement(s);}Range可以是一个数字区间表示itoj，或者iuntilj。左箭头<-用于为变量x赋值。...
2018-08-30 01:01:02
109
转载 scala（一）
1.Scala 程序是对象的集合，通过调用彼此的方法来实现消息传递。对象 - 对象有属性和行为。类 - 类是对象的抽象，而对象是类的具体实例。...
2018-08-30 00:42:33
108
转载 Hive内部表和外部表的区别
内部表数据由Hive自身管理，外部表数据由HDFS管理； 内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置由自己制...
2018-08-14 00:26:41
119
转载 hive 的架构及知识体系
1、Hive架构与基本组成Hive的体系结构可以分为以下几部分： （1）用户接口主要有三个：CLI，Client 和 WUI。其中最常用的是CLI。Client是Hi...
2018-08-10 07:33:57
905
转载 Yarn的总结
1.YARN架构设计 ResourceManager(RM)： 负责对各NM上的资源进行统一管理和调度。将AM分配空闲的Container运行并监控其运行状态。对AM申...
2018-08-08 23:27:14
166
转载 MapReduce总结
一 MapReduce1.MapReduce1 架构设计Client: 客户端JobTracker: 主要负责资源监控管理和作业调度。...
2018-08-08 22:37:52
175
转载 HDFS常用命令
1.hadoop fs == hdfs dfshadoop fs -ls /hadoop fs -lsrhadoop fs -mkdir /user/hadooph...
2018-08-07 23:10:28
115
转载 HDFS的读写流程
文件读流程1.Client通过FileSystem.open(filePath)方法,去与Namenode进行rpc通信,返回该文件的部分或全部的block列表(也...
2018-08-07 23:05:58
113
转载 HDFS的详解（一）
三个进程1)NameNode (NN): 名称节点 --》client第一个操作的对象NameNode的功能: 文件系统的命名空间 ...
2018-08-07 22:56:29
92
转载 Oracle大表快速建立索引
-- 注意：改动之前请先备份第一步:show parameter workarea_size_policy;alter session set workarea_size_policy=manual; //设置手...
2018-06-10 10:22:43
1939
转载 ORA-00837: Specified value of MEMORY_TARGET greater than MEMORY_MAX_TARGET
解决步骤如下： 1. startup pfile=/u01/app/oracle/product/11.2.0/dbs/initmydb.ora 2. show parameter sga...
2018-06-10 10:21:29
386
转载 ORA-01034: ORACLE not available的解决办法
1.输入：connect/as sysdba; 2.输入：startup 重起数据库就OK了； ...
2018-06-09 11:53:40
1436
转载 mysql常用命令
1 登录命令mysql -u 用户名 -p密码 -P 端口号 -h 主机名2.切换数据库use 数据名3.查看数据库show databases...
2018-05-29 21:43:29
69
转载 docker的卸载
1.yum list installed | grep docker 2.sudo yum -y remove docker-engine.x86_64 3.rm -rf /var/lib/dock...
2018-05-12 18:00:38
144
转载 DOCKER的安装
1.centos 7.x 安装docker Docker RPM包已经包含在centos-Extra仓库中，所以我们可以直接使用yum安装:yum -y install docker 2.cento...
2018-05-12 17:27:07
83
转载 Flume安装及简单部署
环境： 1.flume-ng-1.6.0-cdh5.7.0.tar.gz 2.jdk 1.8 1.下载安装包并解压wget http://archive.cloudera.com/c...
2018-03-25 18:39:01
227
转载 telnet localhost 44444 telnet: connect to address ::1: Connection refused
1.检查memcached是否安装，且已开启memcached服务 rpm -qa memcached 有输出说明已安装 如果没有输出则没有安装 yum install memcache...
2018-03-25 18:15:49
2808
转载 执行hadoop命令时，出现异常
执行hadoop命令时，出现异常解决方法：1.首先jps命令，查看hadoop的进程是否全部启动。我的jps后，发现namenode 进程丢失。2.netstat -nltp|grep 9000 查看端口。我...
2018-02-11 17:30:10
158
转载 hadoop执行./start-all.sh，突然报错
启动时报这个错误[root@hadoop sbin]$ sbin/start-dfs.sh1WARN util.NativeCodeLoader: Unable to load native-hadoop library...
2018-02-11 17:21:16
441
转载 mysql字符集查看与设置
MySQL的字符集问题主要是两个概念，一个是Character Sets，一个是Collations，前者是字符内容及编码，后者是对前者进行比较操作的一些规则。这两个参数集可以在数据库实例、单个数据库、表、列，连接等四个级别指定...
2018-01-03 12:39:20
81
转载 There are 0 datanode(s) running and no node(s) are excluded in this operation
1.在执行bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar pi 5 10报错， Number o...
2017-12-31 09:00:39
221
转载 Spring注解详解
概述 注释配置相对于 XML 配置具有很多的优势： 它可以充分利用 Java 的反射机制获取类结构信息，这些信息可以有效减少配置的工作。如使用 JPA 注释配置 ORM 映射时，我们就不需要指定...
2017-12-22 10:44:22
50
转载 Hadoop伪分布式安装(MapReduce+Yarn)
MapReduce+Yarn部署Yarn:ResourceManagerNodeManager1.Yarn部署[root@hadoop02 hadoop]# cp...
2017-12-20 15:31:17
135
转载 Hadoop伪分布模式(HDFS)
文档地址: http://hadoop.apache.org/docs/r2.8.2/部署方式:1.单机模式standalone 1个java进程2.伪分布...
2017-12-20 15:16:01
384
转载 修改网卡名,报错：Device not managed by NetworkManager or unavailable
解决方法如下：命令：service NetworkManager stop 为了防止下次启动时，该服务重新启动，解决方法：chkconfig NetworkManager off 再重启网卡，ser...
2017-12-15 21:50:42
255
转载 CentOS6.5下Hadoop的编译
Hadoop介绍(1) hadoop.apache.org(2) 狭义: 软件(HDFS、MapReduce、Yarn) 褒义: 以hadoop为主的生态圈(3)Hadoop1.xHDFS ...
2017-12-13 12:54:07
122
转载 CentOS6.5下MySQL5.6的安装
1.切换到/usr/local目录下，上传MySQL的tar包[root@hadoop001 ~]# cd /usr/local[root@hadoopnn001 local]# rz2.检查是否安装过[ro...
2017-12-13 10:46:32
111
转载 CentOS环境变量设置
方法一： 在/etc/profile文件中添加变量【对所有用户生效（永久的）】 用VI在文件/etc/profile文件中增加变量，该变量将会对Linux下所有用户有效，并且是“永久的”。 [root@CentOS ...
2017-12-03 20:54:40
115
转载 oracle常用数据字典.视图
Oracle 常用数据字典表、视图的总结一数据字典的分类1.静态数据字典表的 2.静态数据字典视图 3 动态数据字典表 4 动态数据字典视图二 数据字典的使用1.静态数据字典表的使用静态数据字典表只能由ORA...
2017-12-03 17:52:37
673
转载 CentOS6.6修改主机名
1.编辑/etc/sysconfig/network [root@localhost ~]# vi/etc/sysconfig/network NETWORKING=yes...
2017-12-03 17:38:27
76
转载 SecureCRT+v5.1.3-破解密钥
名字：Windows公司：IC序列号：03-50-008187许可密钥：ACDDHB JQ2D9S 7ZAA5G CVNX41 ADAQB9 6ZVPYK PQ4EF1 84V5JM发布日期：26-07-2006...
2017-12-03 17:16:26
3014
转载 Linux常用命令
1.pwd: 显示当前用户的所在的目录家目录： root: /root 根目录 jepson： /home/jepson 用户的根目录 xxxx: /home/xxxx2.c...
2017-12-02 22:09:21
147
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人