fansy1990的专栏

软件版本：windows7： Tomcat7、JDK7、Spring4.0.2、Struts2.3、Hibernate4.3、myeclipse10.0、easyui；Linux（centos6.5）：Hadoop2.4、Mahout1.0、JDK7；使用Web工程调用Mahout的相关算法，提供监控，查看任务的执行状态。自建Web项目，项目首页如下：1. 准备 项目可以在http://downl

1. 软件版本和部署maven：3.3.9，jdk：1.7 ，Struts2：2.3.24.1，hibernate：4.3.6，spring：4.2.5，MySQL：5.1.34，Junit：4，Myeclipse：2014；Hadoop2.6.4，HBase1.1.2源码下载：https://github.com/fansy1990/ssh_v3/releases部署参考：http://blog

1. hadoop集群：1.1 系统及硬件配置：     hadoop版本：2.6 ；三台虚拟机：node101(192.168.0.101)、node102(192.168.0.102)、node103(192.168.0.103)； 每台机器2G内存、1个CPU核；     node101: NodeManager、 NameNode、ResourceManager、DataNode；

部署Tomcat，运行java web程序调用Spark，执行Scala开发的Spark程序。并且提交任务到Yarn集群，使用yarn-client（或yarn-cluster）的模式，即Spark on YARN的模式。 部署过程以及遇到问题及解决方法

此项目是在《Hadoop Web项目--Friend Find系统基础》之上整理Mahout0.10版本中MR程序的调用测试而成，重点演示如何调用Mahout0.10的MR算法、如何把MR算法嵌入到Web项目中，附带数据生成及数据查看、MR 任务监控等功能。里面含有了常用工具类、聚类算法、分推荐算法等的MR调用mahout命令以及其对应的实现类。

Friend Find系统是一个寻找相似用户的系统。用户填写自己的信息后就可以在本系统内找到和自己志同道合的朋友。本系统使用的是在http://stackoverflow.com/网站上的用户数据。Stack Overflow是一个程序设计领域的问答网站，隶属Stack Exchange Network。网站允许注册用户提出或回答问题，还允许对已有问题或答案加分、扣分或进行修改，条件是用户达到一定的“声望值”。“声望值”就是用户进行网站交互时能获取的分数。当声望值达到某个程度时，用户的权限就会增加，比如声望

Mahout版本：0.7，hadoop版本：1.0.4，jdk：1.7.0_25 64bit，struts2本次版本更新如下：1）修改了整个目录结构：前台页面的三个模块分开文件夹，一个文件夹只包含一个功能块；前台发送请求给struts，struts调用action，action调用相应的service完成算法调用，service和action全部分开；2）前台调用界面增加了相关验证，同

Mahout版本：0.7，hadoop版本：1.0.4，jdk：1.7.0_25 64bit，structs2；本篇介绍的是一个云算法调用平台，主要的作用是使用前台的参数配置，然后调用hadoop集群来跑mahout的算法程序。工程可以在lz资源页下载，工程下载后需要拷贝WEB-INF/lib/hadoop-fz1.3.jar到hadoop集群的lib下面。此版本只支持text2vector算

开发环境：myeclipse、jdk1.7、mysql；对于mysql数据库中的表来说，可以增加一个自增字段，然后根据这个字段来进行按页的提取数据，这样操作应该比oracle使用rownum来的简单点。数据库表：CREATE TABLE `table_name` ( `id` bigint(20) NOT NULL, `city_no` varchar(255) DEFAU

最近想学着J2EE来着，就学到了Ajax这个东西，就跟着学了点，下面就给个实例，省的自己以后用到了也不知道哪找去。html页面： user_info.html --> String.prototype.trim = function() { return this.replace(/^\s\s*/, '

需要注意的地方：（1）修改C:\Windows\System32\drivers\etc\hosts文件：在最后添加一行 192.168.128.138 hadoop ，（这个视具体情况而定）；（2）hadoop集群的配置出了常规的，在hdfs-site.xml中添加一个property：dfs.permissionsfalse（3）编写的java文件要编译成.

前记各种版本：Mahout版本：0.7，hadoop版本：1.0.4，jdk：1.7.0_25 64bit，struts2本版本是《云算法调用平台--web 工程调用hadoop集群1.4》的升级版，项目源码可以在lz的资源页http://download.youkuaiyun.com/detail/fansy1990/6802083下载。项目继续沿用之前的框架struts2。当使用mahout算

上次使用java工程调用hadoop集群成功后，可以使用web工程来调用hadoop集群，web工程在下面页面下载：http://download.youkuaiyun.com/detail/fansy1990/5361645。今次的例子还是word count程序，实现的思路大概是：1、输入、出路径界面，供用户输入，如下：2、用户点击提交后，程序提交到一个jsp页面，取得参数，并采用Th

本实例代码在lz的资源中有上传，有需要的可以参考(下载后的文件解压后有两个，一个直接导入myeclipse工程，另外的jar放在hadoop的lib下面，只需修改Utils中的ip即可运行该程序)；这里主要讲下设计思路：首先进入页面后是一个frame框，上面是固定页面，下面是一个输入页面。输入页面输入要运行hadoop word count程序的输入和输出路径，然后提交路径到servlet

所用技术：easyUI、jQuery、Spring、Struts、Hibernate参考网上的一篇Spring4.0.2+Struts2.3+Hibernate4.3.5整合的文章，前台使用easyUI和jQuery技术写的小例子。工程可以在下载。1. 工程配置修改：1.1 修改configuration目录中db.properties中数据库配置；1.2 在数据库中运行sql目录下的sql；工程

Java Web提交任务到Spark Standalone集群并监控环境工程下载路径Spark任务提交流程问题及问题解决后记Java Web提交任务到Spark Standalone集群并监控1. 环境 软件 版本 备注 IDEA 14.1.5 JDK 1.8 Spark 1.6.0 工程maven引用 Spark cdh5.7.3