- 博客(27)
- 资源 (3)
- 收藏
- 关注
原创 试试用人话说机器学习(一)
很多年没写技术博客了,本来也不想写的,特别是机器学习这么听起来很高深的问题,再者因为确实会涉及很多专业的数学知识,我怕自己不一定能够解释清楚,因为我发现我之前学的其实都是算术,算不上数学!!数学老师看到这估计会罚站我几个世纪。机器学习的概念可以百度,但是大多数都生涩难懂,一般一看见就好奇看两眼,但是一看到各种模式识别、神经网络什么的估计像我这样的一般人就看不下去了!最近刚好看了一些文章和做了一
2016-05-22 00:17:46
673
转载 3D打印
3D打印原理 3D打印技术的原理与文档打印类似,即软件通过电脑辅助设计技术(CAD)完成一系列数字切片,并将这些切片的信息传送到3D打印机上,后者会将连续的薄型层面堆叠起来,直到一个固态物体成型。3D打印机与传统打印机最大的区别在于它使用的“墨水”是实实在在的原材料。 堆叠薄层的形式有多种多样。有些3D打印机使用“喷墨”的方式。例如,Objet的以色列3D打印机公司
2013-11-19 11:00:30
3565
转载 Java多线程编程详解
Java多线程编程详解博客分类: java多线程编程Javathread数据结构 线程的同步 由于同一进程的多个线程共享同一片存储空间,在带来方便的同时,也带来了访问冲突这个严重的问题。Java语言提供了专门机制以解决这种冲突,有效避免了同一个数据对象被多个线程同时访问。 由于我们可以通过 private 关键字来保证数据对象只能被方法访问,所以我们只需
2013-11-14 09:56:19
1359
转载 java 转义字符
想把一个字符串中所有的"\"转换成"/",即把Windows格式的转换成Unix格式.于是用到String.replaceAll(String regex, String replacement)这个方法.如果用path = path.replaceAll("\\", "/"); 会报错,为什么呢?在字符串里面,\是转义符.在正则表达式里面,\也是转义符.replace
2013-10-22 21:19:38
775
原创 hadoop维护
永久性数据结构 一、namedode的目录结构: ${dfs.name.dir}/current/VERSION /edit /fsiamge
2013-09-09 00:12:06
1090
转载 js ==与===区别(两个等号与三个等号)
1、对于string,number等基础类型,==和===是有区别的1)不同类型间比较,==之比较“转化成同一类型后的值”看“值”是否相等,===如果类型不同,其结果就是不等2)同类型比较,直接进行“值”比较,两者结果一样2、对于Array,Object等高级类型,==和===是没有区别的进行“指针地址”比较3、基础类型与高级类型,=
2013-07-29 11:02:59
559
原创 Mapreduce的类型和格式
1.目的 Mapreduce中关于文件的输入和结果的输出是一个重要的部分,而我们明白文件的类型和格式是很多种的,如:文件、二进制文件、数据库文件等等,通过学习明白Hadoop的Mapreduce如何处理各种类型和格式文件的输入和相应结果的输出。2.内容 1)Maprecude的类型 一般来说,map和reduce函数遵循如下格式: map:(K1,V1
2013-07-28 15:22:41
1478
原创 hadoop,MapReduce的工作机制
一、目的 了解hadoop工作的一些细节和原理,掌握MapReduce工作的特性,这样的了解有助于对hadoop系统正确高效使用。二、内容 1.hadoop,MapReduce的工作机制 首先,jobclien的runjob()创建一个jobclient方法并且调用submitJob()方法,其提交过程如下: 1)向jobtra
2013-07-21 17:29:50
977
原创 hadoop 学习之hadoop基础
一、学习内容1.hadoop 介绍2.mapreduce学习二、学习目的1.通过学习hadoop基础知识,了解hadoop,通过hadoop和其他架构的比较,深入了解hadoop的优缺点,及其适应的场景2.mapreduce是hadoop的核心工能,通过mapreduce的学习掌握hadoop处理分析大数据的基本思路三、详细内容1.为什么不能用关系型数据库批量处理大数据
2013-05-16 23:12:14
760
原创 hadoop mapreduce 学习(-)
一、学习内容1.hadoop map的时候split的方法2.hadoop reduce时候Partition的自定义实现3.eclipse本地化调试二、基础回顾hadoop的mapreduce可以分为两部分,一部分是map,一部分是reduce,map的输出对应的是reduce的输入,以此达到协调工作的目的。Map-Reduce框架的运作完全基于对,即数据的输入是一批对,生成
2013-05-14 23:08:36
954
转载 HIVE RCFile高效存储结构
本文介绍了Facebook公司数据分析系统中的RCFile存储结构,该结构集行存储和列存储的优点于一身,在 MapReduce环境下的大规模数据分析中扮演重要角色。Facebook曾在2010 ICDE(IEEE International Conference on Data Engineering)会议上介绍了数据仓库Hive。Hive存储海量数据在Hadoop系统中,提供了一套类数据
2013-05-12 23:06:56
611
转载 Hbase
HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现,类似Google Bigtable利用GFS作为其文件存储系统,HBase利用Hadoop HDFS作为其文件存储系统;Google运行MapReduce来处理
2013-05-05 22:39:15
687
原创 基于hadoop文件系统以及Hbase的微博系统
一、部署前提1.在Linux环境2.安装部署了hadoop3.安装部署了hbase4.安装了web应用服务器,如tomcat、或者jetty等5.部署struts2二、应用介绍 以基于Hbase的hadoop为数据库,实现用户发布微博和,关注用户及等功能,涉及到Hbase表结构设计,相应实现的Java API等一些内容。使用hbase作为微博系统的数据存储平台有
2013-05-04 22:56:57
1666
1
原创 hadoop hdfs 图片服务器应用部署
一、部署前提1.Linux环境,本人为ubuntu。2.配置部署了hadoop,单击集群皆可。3.安装了apache2和php,并能正常工作。二、应用介绍 通过调用hadoop HDFS的java API,在PHP上传功能上传到服务器的图片能够自动加载到hadoop文件系统,同时可以下载和删除等。三、具体实现1.文件上传功能:index.html,文件上
2013-05-04 22:05:26
3749
转载 Hadoop操作HDFS命令
Hadoop操作HDFS命令如下所示: hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息 hadoop fs –lsr 循环列出目录、子目录及文件信息 hadoop fs –put test.txt /user/sunlightcs 将本地文件系统的test.txt复制到HDFS文件系统的/
2013-05-02 13:38:14
669
转载 Linux apache 安装
#./configure --prefix……检查编辑环境时出现:checking for APR... noconfigure: error: APR not found . Please read the documentation.可以用./configure –help | grep apr 查看帮助。--with-included-apr Use bun
2013-05-01 20:54:33
516
原创 hadoop-1.0.4集群部署
一、安装准备 1.操作系统 ubuntu 2.JDK1.6 3.ssh免登录设置 4.hadoop安装包下载 5.两台主机:192.168.58.141/140,具有相同的用户hadoop,在/etc/sudoers下配置与root具有相同的权限二、安装配置 1.下载安装包到路径(自由选择)/opt/hado
2013-04-06 17:02:25
1470
转载 linux ssh 免登录设置
使用一种被称为"公私钥"认证的方式来进行ssh登录. "公私钥"认证方式简单的解释:首先在客户端上创建一对公私钥 (公钥文件:~/.ssh/id_rsa.pub; 私钥文件:~/.ssh/id_rsa)然后把公钥放到服务器上(~/.ssh/authorized_keys), 自己保留好私钥.在使用ssh登录时,ssh程序会发送私钥去和服务器上的公钥做匹配.如果匹配成功就可以登录了。步骤如下
2013-04-06 14:56:44
742
转载 hadoop1.0.4单击部署
Hadoop快速入门目的这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和Map-Reduce框架有所体会,比如在HDFS上运行示例程序或简单作业等。先决条件支持平台GNU/Linux是产品开发和运行的平台。 Hadoop已在有2000个节点的GNU/Linux主机组成的集
2013-04-03 23:14:39
700
转载 windows server 2008 部署NLB
windows 2008 NLB配置(一)2012-05-1811:04:24 我来说两句 收藏 我要投稿NLB:提供以TCP/IP为基础的服务与应用程序的网络流量负载均衡,用于提升系统的可用性和可扩展性。常见的应用有Terminal Service、Web、VPN与FTP等 服务结构: 主机节点WebApp01---192.168
2013-03-24 15:22:31
1552
原创 WEB3D之X3DOM应用
我没接触过许多的WEB3D东西,而我却一直神往于vrml,从学习他到X3D到X3DOM,我始终坚信再过十年,或者更短的时间里我们的互联网世界是3D的,是丰富多彩的,是更人性化的,当然也不确定是什么技术可以实现这些,但结果都应该一样,如果有志同道合的盆友请联系邮箱:524081959@qq.com,QQ:524081959。 这里简单介绍一下x3dom,如果想深入了解就要到http://ww
2013-03-03 15:40:33
2288
原创 关于单点登录和系统耦合性的一些问题
单点登录应该没有什么很准确的描述,简单点来说就是从一个系统进入另外一个系统,而不需要登录校验,如果更延伸一些也可以把一个系统需要做的事情放到另外一个系统来做,当然这样可能就涉及接口的事宜了,这里就讨论简单的一个系统进入另一个系统的情况。 单点登录的好处,呵呵,不用多说,就像QQ,一个QQ号似乎是腾讯的通行证了。。。。。 至于单点登录的解决方案也许应该有很多,而且应该根据
2013-03-03 15:15:54
915
原创 oracle plsql调用webservice
首先,轻描淡写的解释一下webservice,个人理解,webservice的出现并不是必须的,只是因为各个平台在设计之初只考虑自己的事情,不关注其他周围的可能会发生的事情,当然这种情况的发生和技术,历史有关,现在不是搞云计算了么。。。也许以后就不会用webservice这样的东西了。当然,万事都需要有时间阶段,现在还是有必要掌握,毕竟它是业界交换数据的一种标准。关于webservice还有很多,
2012-11-25 16:45:58
7436
转载 Oracle视图操作教程详解(4)
可更新连接视图 如果创建连接视图的select查询“不包含”如下结构,并且遵守连接视图的“更新准则”,则这样的连接视图是“可更新”的:之一:集合运算符(union,intersect,minus)之二:DISTINCT关键字之三:GROUP BY,ORDER BY,CONNECT BY或START WITH子句之四:子查询之五:分组函数之六:需要更新的列
2012-10-28 22:04:13
571
转载 Oracle Form二次开发实战总结
操作数据无非删除、更新、插入的动作,在Oracle Form依靠下面触发器完成这些操作。Form TriggerKey-commit 保存按钮触发/Ctrl+S 键盘触发/代码触发Block TriggerPre-delete Pre-update Pre-insertOn-delete On-updat
2012-10-28 22:00:08
2663
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人