- 博客(10)
- 收藏
- 关注
原创 web框架mvc设计模式
1.MVC 全名是Model View Controller,model是业务模型,view是用户界面即视图,controller是控制器控制请求的走向。2.其核心是将三者解耦设计与开发,通过Controller来连接Model和View,起到控制保持一致的作用。3.Controler从View端读取数据,交给Model处理完成后,将结果数据返给相应的View。mvc运行流程如下: spri...
2018-07-08 10:37:08
529
原创 hadoop 生态圈
HDFS解决底层的存储问题Yarn解决资源调度与任务管理资源调度:有了计算任务请求后,决定分配到哪些机器上去执行任务管理:任务在执行的过程中,进行过程监控、状态反馈、再调度等工作。MapReduce,解决分布式编程门槛高问题,基于其框架对分布式计算的抽象map和reduce,可以轻松写分布式计算程序。Hive解决数据仓库构建问题,与mysql等数据库类同,只是其是基于hadoop平台的存储与计算。...
2018-04-13 17:19:55
368
1
原创 hadoop hive 之 Array,Struct,Map使用
一 Array类型字段的插入与查询:1创建表:hive>create table message_array(id int,namearray array<STRING>) row format delimited fields terminated by "\t" collection items terminated by ':'; (其中表字段之间是 '\t '分隔,arr...
2018-04-09 19:54:20
736
1
原创 python 版WordCount
1新建文件mapper_python.py编辑:#!/usr/bin/python#-*- coding: utf-8 -*-import sysfor line in sys.stdin: line = line.strip() words = line.split(' ') count=int(count) for word in words: print...
2018-03-26 18:05:20
1856
原创 MapReduce之二次排序
二次排序:mapreduce计算过程和输出,都是啊按照key自动排序的,要是想value也要排序输出,即key第一排序,value第二次排序的方式。1 步骤图如下2 主要代码实现:以题为例,集群上某表结构为(学号,姓名,课程名称,成绩)四个属性。用MR框架实现学号第一次排序你相同学号的情况下再成绩倒叙排列。最后输出字段(学号,姓名,课程名称,成绩)。原表如下图:代码:public class Se...
2018-03-04 13:59:36
646
原创 Java下 redis jar包添加以及删除
一 添加jar包1 java 下新建Java工程在2 在其下面,右键Floder,创建lib文件夹3 将提前网上下载好的jedis-2.1.0.jar复制粘贴到lib文件夹下4 右键 Build Path ,Add to Build Path5这样jar包就会自动添加到Referenced Libraries下了
2018-01-20 22:09:36
2347
原创 mysql 用char_length匹配字符串长度
如果简单的字母求长度:mysql> select char_length(“abc“);就会在一个数据表中显示3但当是汉字时,如:mysql> select char_length(“”你好“”);如果输出大于2,如下图:其原因在于mysql的字符集设置保持了默认的latin1,使其不识别中文导致,即将latin1改成utf8模式,请按如下设置:(1)在家目录中
2017-12-30 22:14:49
3216
2
原创 linux 非root用户远程登录,密钥连接
1 本机登录服务器连接# ssh rootname@servername如本机root,则ssh root@tianliangedu2 本机登录服务器连接# ssh anothername@servername如 ssh course_001_group2@tianliangedu二 实现非本机与某服务器密钥连接1 在本机客户端生成公私密钥# s
2017-12-15 18:57:47
4010
2
原创 Linux安装最优方法
提前将Xshell4和Oracle VM VirtualBox安装好,备用。1 打开Oracle VM VirtualBox,新建虚拟电脑2 将虚拟机打开,登录,在左上角控制--设置--网络中,选择桥接网卡模式3 虚拟机上,输入ifconfig,查找本机的ip地址,买个主机的地址都是不同的4 更改协议模式,在虚拟机上输入 service sshd resta
2017-12-06 10:47:48
312
2
原创 Linux安装
一Linux的安装主要分为三部分,(1)vb的安装 (2)os的安装 (3)安装增强工具,使之实现虚拟机和本电脑的交互,报苦熬数据传输,读写等功能。二 详细步骤如下:
2017-12-04 16:26:30
373
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人