
hadoop
文章平均质量分 79
流星谜
本人有以下专业技能:
1. 熟练掌握sql语言,熟练掌握mysql、sql sever、oracle数据库
2. 熟悉unix/linux系统的使用。
3. 熟悉分布式系统的设计及应用,精通多线程及高性能设计与编码。
4. 熟练掌握及spring MVC及AOP模式的开发框架,熟练使用ibatis框架进行持久层开发。
5. 精通面向对象分析设计方法,逻辑能力佳,熟悉编程规范,有过程控制意识。
6. 有nosql开发经验,熟练使用mongodb数据库。
有以下项目经验:
项目名称:企业云网盘
服 务 器:tomcat6.0
项目人数:5人(前端2人,后端3人)
项目描述:项目既可独立部署运营又可以插件的形式集成到其它系统中,项目同时具备web、PC客户端、APP等前端接口调用的能力。项目同时支持mysql和oracle数据库,文件信息和日志表以分表的方式进行存储,表关联同意用程序处理。
项目整体框架采用(HTML + CSS + Javascript + JSON) + 控制器(Spring MVC) + 业务处理(spring + mybatis)+ 分布式文件存储服务。 Web调用采用http+post/json(xml)的方式向服务器发起请求,服务器解析请求的json(xml)数据,逻辑处理后返回json(xml)结构的数据,浏览器通过JS调用直接返回json结构的数据。
项目责任:
1. 编写云网盘概要设计说明文档;
2. 定义与app端、web端、pc端交互的接口文档;
3. 搭建项目开发业务架构。
4. 开发个人、群组、企业盘的上传、下载、移动、复制、删除和历史版本管理功能。
项目名称:日程提醒
服 务 器:tomcat7
项目描述:项目提供用户增、删、改、查日程的功能,使用用户可以新增每天、每周、每年等业务日程。项目同时支撑mysql和oracle数据库。整体框架采用(HTML + CSS + Javascript + JSON) + 控制器(Spring MVC) + 业务处理(spring + mybatis)。 Web调用采用http+post/json(xml)的方式向服务器发起请求,服务器解析请求的json(xml)数据,逻辑处理后返回json(xml)结构的数据,浏览器通过JS调用直接返回json结构的数据。
项目责任:负责整个日程项目的业务编码开发。
1. 新建日程。
2. 定时扫描日程邮件、短信发送提醒。
3. 每日、每周、每年日程业务处理。
4. 日程列表和视图展示。
项目名称:邮箱日志查看
服 务 器:tomcat7
项目描述:项目邮件的发信、收信、删信、代收日志的查看功能。项目同时支撑mysql和oracle数据库,日志采用分库分表的方式存储。整体框架采用(HTML + CSS + Javascript + JSON) + 控制器(Spring MVC) + 业务处理(spring + jdbc)。 Web调用采用http+post/json(xml)的方式向服务器发起请求,服务器解析请求的json(xml)数据,逻辑处理后返回json(xml)结构的数据,浏览器通过JS调用直接返回json结构的数据。
项目责任:负责整个邮箱日志的查询业务。
1. 分库路由表及日志汇总表设计。
2. 日志查询分库分表组件开发。
3. 日志分页查询实现。
项目名称:华为海外物流管理系统(CES)
服 务 器:Web Sphere
使用技术:Struts1.0 + ibatis + EJB + ORACLE
项目描述:华为海外物流管理系统。
项目责任:负责网站数据报表导出导入,香港、廊坊HUB以及其他杂项的需求变更,及以前代码的bug修改。
项目名称:万年康网络健康医院(J2EE)
服 务 器:tomcat6.0/jboss4.2
项目描述:根据公司硬件设备和《卫生部关于规范城乡居民健康档案管理的指导意见》建立网络健康医院数据库。
使用jquery+ struts2.0+spring2.5+hibernate3.2的MVC开发,jquery+jsp负责页面表现,struts负责页面跳转,spring负责hibernate管理和各层的注入,hibernate负责与数据库交互。
项目责任:负责公司商业网站用户健康档案数据库和应用数据库的分析及设计。设计j2ee web底层框架, 使用SSH开源框架配置网站程序架构。
开发用户健康档案模块及策划架构用户生命曲线及数据库存储过程的编写。
展开
-
hadoop 异常
java.io.IOException: File/user/root/input could only be replicated to 0 nodes, instead of 1 at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:12...2012-02-16 12:26:21 · 137 阅读 · 0 评论 -
hadoop 小文件解决方案
基于Hadoop Sequencefile的小文件解决方案 一、 概述 小文件是指文件size小于HDFS上block大小的文件。这样的文件会给hadoop的扩展性和性能带来严重问题。首先,在HDFS中,任何block,文件或者目录在内存中均以对象的形式存储,每个对象约占150byte,如果有1000 0000个小文件,每个文件占用一个block,则namenode大约需要2...原创 2012-02-28 12:36:43 · 165 阅读 · 0 评论 -
hadoop 文件操作
存储文件: import java.io.BufferedInputStream;import java.io.FileInputStream;import java.io.InputStream;import java.io.OutputStream;import java.net.URI; import org.apache.hadoop.conf.Configur...原创 2012-02-29 12:31:08 · 100 阅读 · 0 评论 -
hadoop小文件操作之SequenceFile
存储文件:import java.io.BufferedInputStream;import java.io.FileInputStream;import java.io.IOException;import java.io.InputStream;import java.net.URI; import org.apache.hadoop.conf.Configu...原创 2012-02-29 12:36:57 · 205 阅读 · 0 评论 -
hadoop SecondNamenode详解
本文来源 http://www.oratea.net/?p=827 SecondNamenode名字看起来很象是对第二个Namenode,要么与Namenode一样同时对外提供服务,要么相当于Namenode的HA。真正的了解了SecondNamenode以后,才发现事实并不是这样的。下面这段是Hadoop对SecondNamenode的准确定义:* The Secondary ...原创 2012-03-01 10:57:39 · 448 阅读 · 0 评论 -
Hadoop 应用总结
参考网络众多资料,结合自己的实践,记录了hadoop hdfs应用的一些注意事项和知识点,希望对您有所帮助。 环境配置 1. 安装linux ubuntu系统 2. 安装开启openssh-server:$sudo apt-get install openssh-server 3. 建立ssh 无密码登录$ ssh-keyg...原创 2012-03-01 12:21:34 · 155 阅读 · 0 评论 -
Hadoop 文件追加(断点继传)
hadoop 0.20之前的版本应该不支持文件追加功能,我用的是1.0版本的。要想使用文件追加写入功能,先配置hdfs-site.xml,如下: <property> <name>dfs.support.append</name> <value>true</value> ...2012-03-05 17:46:09 · 384 阅读 · 0 评论