- 博客(163)
- 资源 (14)
- 问答 (4)
- 收藏
- 关注
RSS订阅原创 项目管理的挣值计算，一张思维导图全搞定
最近做项目管理的题，老是碰见挣值计算相关的，糊里糊涂的，楼主一气之下熬夜用思维导图梳理了一遍，如果有谁还看了之后还没学会挣值计算的，楼主就要吐血了，PV,AC,EV,SV,CV,SPI,CPI,BAC.EAC,ETC,这10个参数已经被楼主梳理的清清楚楚了
2017-10-02 11:27:57
6843
1
原创 sqoop与hbase导入导出数据
环境：sqoop1.4.6+hadoop2.6+hbase1.1+mysql5.7 说明： 1.文中的导入导出的表结构借鉴了网上的某篇博客 2.mysql导入hbase可以直接通过sqoop进行 3.hbase导出到mysql无法直接进行，需要经过hive的中间作用来完成 hbase→hive外部表→hive内部表→sqoop导出→mysql一、Sqoop导入hbasea) Mysql创建
2017-08-28 05:58:10
9842
原创 sqoop1.4.6离线部署于hadoop2.6之上与hive导入导出数据
1) .下载最新的sqoop1.4.6安装包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar2) . 解压到/usr/local，跟hadoop同一级别# tar -xzvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /usr/local# mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha
2017-08-28 05:47:37
893
原创 hadoop2.6快速离线部署
1. 关闭防火墙-# firewall-cmd --state-# systemctl stop firewalld.service-# systemctl disable firewalld.service-# vi /etc/selinux/configSELINUX=disabled ，然后重启2) 虚拟机IP配置BOOTPROTO=staticIPADDR=192.168.220.
2017-08-28 05:37:31
798
原创 CDH5.9.0离线部署
部署环境：win7+vmware11+centos7.2+cdh5.9.01) 关闭防火墙–# firewall-cmd –state –# systemctl stop firewalld.service –# systemctl disable firewalld.service –# vi /etc/selinux/config SELINUX=disabled ，然后重启2) 虚拟机
2017-08-21 10:07:37
1218
原创 CDH大数据平台实施经验总结2016
2016年负责实施了一个生产环境的大数据平台，用的CDH平台+docker容器的方式，过了快半年了，现在把总结发出来。1. 平台规划注意事项1.1 业务数据全部存储在datanode上面，所以datanode的存储空间必须足够大，且每个datanode的存储空间尽量保持一致。1.2 管理节点/namenode对存储空间要求不高，主要存储各计算节点datanode的元数据信息，以3个datanode为
2017-05-11 17:27:38
15143
1
原创 mysql笔记整理1——常用知识及问题bug
一.常用知识查看表定义：DESC tablename；show create table empADD/CNAHGE/MODIFY中，都有一个可选项first|after column_name，用来修改字段在表中的位置，ADD 增加的新字段默认是加在表的最后位置，而CHANGE/MODIFY 默认都不会改变字段的位置。alter table [表名] add [字段] [类型] after
2016-11-26 20:59:39
603
转载 同班同学20年后 身家15亿与月薪5000元的区别
同为大学同窗，演绎绝然不同的命运故事。两个的人生之路，曾经多次相交，最终还是分离，性格决定命运。刘立荣，湖南益阳人，金立通讯集团董事长兼总裁，身家15亿，手机月均销量45万部，年销售量超500万部，集团年利润超3亿。李盛，湖南新化人，刘立荣的大学同窗，现为上海一电子公司的技术员，月收入5000元。同窗好友。李盛与刘立荣原本是最要好的大学同窗，也是一对当初同闯广东，同住一间宿舍，没钱时一同挨饿的患难兄
2016-04-12 10:07:58
1837
原创 hadoop学习笔记(11)——hbase shell简单操作示例
1) 表设计2) 建表scores，具有两个列族：grad和course[root@master bin]# hbase shellhbase(main):002:0> create 'scores','grade','course'0 row(s) in 7.6340 seconds=> Hbase::Table - scores3) 查看Hasee中有哪些表hbase(main):003:
2016-01-25 13:50:31
1080
原创 hadoop学习笔记(十)——hadoop + hbase + zookeeper
注：hadoop2.5.2 + hbase1.1.2 + zookeeper3.4.61) hadoop安装参考之前hadoop的安装步骤。 [http://blog.youkuaiyun.com/thinkpadshi/article/details/45720405]2) zookeeper安装a) 下载最新的稳定版本zookeeper-3.4.6.tar
2016-01-21 20:15:48
980
原创 oracle笔记整理16——表空间利用率、锁表、锁包、dbms_job操作
1.表空间使用率查询语句select * from (select a.TABLESPACE_NAME Tablespace_Name, sum(a.bytes / 1024 / 1024) total_size, sum(nvl(b.free_space1 / 1024 /
2016-01-18 18:40:46
1318
原创 oracle笔记整理15——性能调优之trace文件跟踪
1) sql_trace方式a) show parameter sql_trace;–查看trace状态，默认为falseb) alter session set sql_trace=true;–修改为truec) exec sql;–运行sql语句d) alter session set sql_trace=false;–恢复回false状态e) show parameter dump_
2016-01-16 23:09:50
3013
原创 oracle笔记整理14——性能调优之oracle执行计划
1) 优化器(optimizer)a) RBO(rule-based optimizer)方式：基于规划的优化方式 所遵循的是oracle内部预定的一些规则.b) CBO(cost-based optimizer)方式：看语句的执行代价（cost），这里的代价主要指cpu和内存。 优化器在判断是否用这种方式时，主要参照的是表及索引的统计信息。
2016-01-16 22:59:00
3609
原创 oracle笔记整理13——性能调优之SQL优化
1) 3种游标循环性能a) 单条处理declare cursor 游标 isbeginopen 游标;LOOP FETCH 游标 INTO 变量;EXIT WHEN 条件;END LOOP;CLOSE 游标;end;逐条处理，效率之低，不敢想象。b) 批量处理declare cursor 游标 isbeginopen 游标;FETCH 游
2016-01-16 22:47:37
1117
原创 oracle笔记整理12——性能调优之hint标签
提示里不区分大小写, 多个提示用空格分开; 如果表使用了别名, 那么提示里也必须使用别名;1) 优化器相关hinta) /+ALL_ROWS/ 表明对语句块选择基于cost的优化方法,并获得最佳吞吐量,使资源消耗最小化b) /+FIRST_ROWS/ 表明对语句块选择基于cost的优化方法,并获得最佳响应时间,使资源消耗最小化.c) /+CHOOSE/ 表明如果数据字典中有访问表的统
2016-01-16 21:58:23
1010
原创 oracle笔记整理11——性能调优之oracle等待事件与表关联
1. oracle等待事件1) 分类主要分为两大类：空闲(idle)等待事件和非空闲(non-idle)等待事件，在会话级别可以在视图V$SESSION_WAIT中查看当前等待的时间。2) 空闲事件空闲事件指oracle正等待某种工作，不用过多关注。 常见的空闲等待事件：dispatcher timer,pipe get,slave wait, sql net message from/to c
2016-01-16 21:52:13
1092
原创 oracle笔记整理10——性能调优之临时表与物化视图
1. 临时表1) 概念a) 临时表跟永久表最大的区别就是表中的数据不会永远的存在b) Oracle临时表分为会话级临时表和事务级临时表。c) 会话临时表，结束或中断会话时清空数据。create global temporary table XXX()on commit preserve rows;d) 事务临时表，commit之后清空数据。on commit delete rows;
2016-01-14 11:28:41
6255
原创 oracle笔记整理9——性能调优之索引、表分区、索引分区
1. 索引1) 需要建索引的列a) where从句中频繁使用的关键字。 b) sql语句中频繁用于表连接的字段。 c) 可选择性高（重复值少）的字段。2) 索引限制条件a) where条件中索引列上使用了否定操作符（比如：<>,!=,is null,is (not) null）,将不会使用索引，直接全表扫描，此时可以把部分否定操作符换成or形式或者union all的形式来执行。 or
2016-01-14 11:22:54
3093
原创 oracle笔记整理8——生产批量操作语句、oracle系统包、创建用户并授权、变量属性
1) 生成批量操作语句select ‘drop table’||t.table_name||’;’from user_tables t where t.table_name like ‘LC_%’; 或者也可以用for循环来替代实现；2) oracle系统包a) 分析统计表信息dbms_stats.gather_table_stats(‘用户名’,’表名’);b) 停止视图化jobdbms_s
2016-01-02 15:01:24
1004
原创 oracle笔记整理7——with as、case when、merge into、分析函数over()
1) with asa) WITH AS短语，也叫做子查询部分（subquery factoring），可以定义一个SQL片断，该SQL片断会被整个SQL语句所用到。b) 当查询中多次用到某一部分时，可以用Oracle with语句创建一个公共临时表。因为子查询在内存临时表中，避免了重复解析，所以执行效率会提高不少。临时表在一次查询结束自动清除。c) 应用：需多次调用；union all中；d
2016-01-02 14:57:45
5291
原创 oracle笔记整理6——常见函数、scott解锁、length与lengthb、char与varchar
1) 常见函数a) 当月最后一天：last_day(sysdate)b) trunc(sysdate,’yy’):当年第一天 trunc(sysdate,’mm’):当月第一天 trunc(sysdate,’dd’):当前时间，精确到日 trunc(sysdate,’d’):上周末 trunc(sysdate,’hh’):当前时间，精确到小时 trunc(sysdate,’mi’):当
2016-01-02 14:52:39
781
原创 oracle笔记整理5——delete与truncate，rowid与rownum，删除重复记录
1) delete与truncatea) delete一行一行删除，并且记录日志，truncate释放用于存储表数据的数据页（extent）来删除数据，在日志中只记录页的释放，故无法rollback，也无法flashback,从物理结构上来说，truncate之后，表所在的段头信息(segment header)被摧毁，导致段-区-数据块之间的路径被截断，无法查询到数据块上的数据，感觉就跟删除了一
2016-01-02 14:45:09
2874
原创 oracle笔记整理4——创建非视图化job
1) 创建jobdeclare job number;begin sys.dbms_job.submit(job,’pro_name’,sysdate,syadate+1);end;sys.dbms_job.submit(编号，过程块，首次时间，下次时间);2) 查看jobselect * from dba_jobs;
2015-12-29 16:27:57
624
原创 oracle笔记整理3——commit，rollback，flashback
1. commit和rollback1) commit之前a) 困难的工作已经完成，数据已经修改，99%的工作已经完成。 b) 已经在SGA中生成了undo块 c) 已经在SGA中生成了已修改数据块。 d) 已经在SGA中生成了对于前两项的缓存redo。 e) 已经得到了所需的全部锁。
2015-12-29 16:22:59
1379
原创 oracle笔记整理2——redo与undo
1. redo和undo1) redoa) 也就是重新做的意思，当系统发生故障时重新做。 b) oracle日志文件分为重做日志文件(Redo Log File)和归档日志文件。 c) 由于数据库缓冲，对磁盘数据的更新不是实时的，但是对redo日志的更新会在commit之后确切发生。 d) 如果在事务提交之后，磁盘数据更新之前，系统发生故障，比如断电，系统重启之后会将那些已经写入red
2015-12-29 16:19:18
2357
原创 oracle笔记整理1——数据库结构
1. oracle结构1) 体系结构a) oracle实例 实例，instance,是一个非固定，基于内存的进程和内存结构。 b) oracle数据库 数据库，database，固定的，基于磁盘的数据文件、日志文件、控制文件的等。 c) oracle服务器 数据库各软件（如：sqlplus）、数据库实例、数据库3部分。 d) oracle实例启动流程 控制文件存放有数据文件、日
2015-12-29 16:02:30
742
转载 ORA-1555，oracle读一致性
ORA-1555通常是一个偶然出现的错误。有时在发生了该错误以后，重新运行该任务就有可能不再碰到类似的错误。这个错误最麻烦的是它并不会立刻发生，运行时间长的任务在错误失败以前可能已经运行了一段时间了(可能几个小时)。只是简单地重新运行该任务并不能保证它能成功，可能在运行了一段时间以后仍然失败。 1 原因分析 ORA-1555错的根本原因是因为oracle要保证读一致性。读一致性是指当有多个用户对
2015-12-16 20:35:53
1306
原创 数据结构与算法（3）——矩阵的加、乘、转置运算实现
定义：由 m × n 个数aij排成的m行n列的数表称为m行n列的矩阵，简称 m × n矩阵；在编程语言中可以当做二维数组来处理； 加减法：同型矩阵之间 乘法：两个矩阵的乘法仅当第一个矩阵A的列数和另一个矩阵B的行数相等时才能定义。如A是m×n矩阵和B是n×p矩阵，它们的乘积C是一个m×p矩阵 ； 转置：把矩阵A的行换成同序数的列所得到的新矩阵称为A的转置矩阵；
2015-12-07 14:47:26
5298
原创 数据结构与算法（2）——各种方法实现杨辉三角
分别用二维数组、一维数组、递归等三种方法实现杨辉三角； 如下是完整的Java代码：package algorithm;public class YangHui
2015-12-05 14:00:42
3008
原创 数据结构与算法（1）——分解质因数及各种方法求最大公约数
1.分解质因数 2.质因数分解法、辗转相除法求两个数的最大公约数 3.质因数分解法、辗转相除法求n个数的最大公约数完整的Java代码如下：
2015-11-26 14:49:55
4872
翻译 翻译随笔(5)——如何及时补救职业遗憾
Choosing a job based on compensation alone 1.仅根据薪水来选工作 Remedy: Make a budget. If you don’t know how much money you need to live the lifestyle you feel comfortable with, you can’t accurately project w
2015-11-17 10:00:25
647
翻译 翻译随笔(4)——辞职前该考虑的五个问题
Thinking About Quitting Your Job? Ask Yourself These 5 Questions First 考虑辞职？首先问一下自己以下5个问题吧。 The economy is getting better, but good jobs still aren’t exactly growing on trees. Here’s what to consider
2015-11-09 14:43:00
1366
翻译 翻译随笔(3)——你可能会被老板炒鱿鱼的七大原因
Do you keep getting fired? You say you don’t have any idea why this keeps happening to you. It must be that all your ex-bosses were losers or that you just have bad luck, right?
2015-11-09 14:38:24
1081
翻译 翻译随笔(2)——摆脱首份工作综合征
I was on the wrong side of the demand curve: the supply of economics graduates vastly outstrips the number of traineeships for economists. This was my epiphany during my second year reading the dismal science.
2015-11-05 21:26:17
835
翻译 翻译随笔(1)——职场成功不仅需要技术高超
For all the jobs that machines can now do — whether performing surgery, driving cars or serving food — they still lack one distinctly human trait. They have no social skills.
2015-10-28 13:25:20
844
原创 hadoop学习笔记(九)——hadoop日志分析系统
环境：centos7+hadoop2.5.2+hive1.2.1+mysql5.6.22+indigo service 2思路：hive加载日志→hadoop分布式执行→需求数据进入mysql注意：hadoop日志分析系统网上资料很多，但是大多都有写小问题，无法顺利运行，但本文中都是经过亲自验证的，可以一气呵成。另外还包括可能遇到的异常的详细解释及相关解决方案。1) 日志格式分析首先分析 Hadoo
2015-09-23 12:24:24
11115
原创 技术杂谈（2）——centos7安装mysql
安装MySQL（centos7以下版本）a) # lsb_release –a 查看Linux版本号 b) 下载与当前Linux版本相匹配的MySQL版本 由于MySQL网站Linux版本需要用Google的js 代码，无法下载，可以到如下镜像：http://mirror.bit.edu.cn/mysql/Downloads/MySQL-5.6/ MySQL-client-5.6.
2015-09-22 10:46:21
18130
原创 hadoop学习笔记(八)——hadoop整合hive
环境：centos7+hadoop2.5.2+hive1.2.11) 下载hive稳定版本apache-hive-1.2.1-bin.tar2) 在/usr/local目录下解压，与hadoop处于同一级别a) # tar -xzvf apache-hive-1.2.1-bin.tar.gz b) # mv apache-hive-1.2.1-bin hive1.2 c) # cp hiv
2015-09-22 10:41:00
2904
原创 技术杂谈（1）——Vmware网络连接模式简介
1) 三种模式：桥接、nat、host-onlyVMnet0：用于虚拟桥接网络下的虚拟交换机 VMnet1：用于虚拟Host-Only网络下的虚拟交换机 VMnet8：用于虚拟NAT网络下的虚拟交换机
2015-09-22 10:22:02
520
翻译 hadoop权威指南(第四版)要点翻译(8)——Chapter 4. YARN(3)
m) In normal operation, the Capacity Scheduler does not preempt containers by forcibly killing them,so if a queue is under capacity due to lack of demand, and then demand increases, the queue will onl
2015-09-17 17:01:28
1924
物流管理系统升级版(ssh)
2013-05-11
myeclipse9.0破解包
2013-05-11
mysql5.7版本中如何禁止掉SSL功能，默认是开启的
2017-08-22
linux安装mysql时给/var/lib/mysql赋予权限
2017-05-17
oracle中scn号是commit之后产生的，还是commit之前产生的？
2015-12-21
Java int二维数组值的变化
2015-12-07
TA创建的收藏夹 TA关注的收藏夹
TA关注的人