hadoop 2.5.1+zookeeper-3.4.6+hbase-0.98.8-hadoop2 完全安装

本文详细介绍了如何下载并安装 Hadoop, Zookeeper 和 HBase 的步骤,包括考虑版本匹配,系统准备工作如关闭 ipv6 和防火墙,配置 hosts 文件,安装 SSH 并设置无验证连接,以及安装 Java 和相关软件。

由于工作的需要研究 hbase 所以我要去研究这一套系统的安装

我们首先来下载hdoop,zookeeper和 hbase,到了apache hadoop  网站都有的下,不过要考虑版本问题

尤其是hbase, 不知道为啥 我安装hbase-0.99.0 失败,只好选0.98.x 但是0.98.X 分 hadoop1 或者hadoop2 

请看清楚再下载


然后我们开始做一些准备工作

系统的请关闭ipv6

linux检测ipv6 关闭方式

cat /proc/sys/net/ipv6/conf/all/disable_ipv6

如果是0的话就是关闭是1就是开启

防火墙关闭

Ubuntu sudo ufw disable

Linux sudo service iptable

修改/etc/hosts文件

你要加入的主机的ip地址名称加入其中

并在其他主机做同样操作

修改主机名称

Vi /etc/hostsname

安装ssh并设定无验证连接

Ubuntu apt-get install ssh

Linux yum install openssh*

生成秘钥

Ssh-keygen –t rsa –P “”

在你所在权限下会出现

复制 id_rsa.pub  到其他的datanode

Scp authorized_keys Hadoop@datanode1:~/.ssh

 

安装Java

alienrpmdeb

设置/etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_25

exportCLASSPATH=.:$JAVA_HOME/lib:$HADOOP_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin

Hadoop 应用于64位安装

安装 svn

下载 Hadoop源代

Yum install autofaunto make libtool cmake

Yum install ncurses-devel

Yum install opensll-ssl

Yum intall gcc*

安装maven

安装 ant

安装 protobuf

 mvn install-DskipTests

mvn package -Pdist,native -DskipTests -Dtar-Dmaven.javadoc.skip=true

软后到/root/hadoop-2.5.1-src/hadoop-dist/target 找到编译好的压缩包


"C:\Program Files\Java\jdk1.8.0_141\bin\java.exe" "-javaagent:E:\IntelliJ IDEA Community Edition 2025.2.2\lib\idea_rt.jar=53522" -Dfile.encoding=UTF-8 -classpath "C:\Program Files\Java\jdk1.8.0_141\jre\lib\charsets.jar;C:\Program Files\Java\jdk1.8.0_141\jre\lib\deploy.jar;C:\Program Files\Java\jdk1.8.0_141\jre\lib\ext\access-bridge-64.jar;C:\Program Files\Java\jdk1.8.0_141\jre\lib\ext\cldrdata.jar;C:\Program Files\Java\jdk1.8.0_141\jre\lib\ext\dnsns.jar;C:\Program Files\Java\jdk1.8.0_141\jre\lib\ext\jaccess.jar;C:\Program Files\Java\jdk1.8.0_141\jre\lib\ext\jfxrt.jar;C:\Program Files\Java\jdk1.8.0_141\jre\lib\ext\localedata.jar;C:\Program Files\Java\jdk1.8.0_141\jre\lib\ext\nashorn.jar;C:\Program Files\Java\jdk1.8.0_141\jre\lib\ext\sunec.jar;C:\Program Files\Java\jdk1.8.0_141\jre\lib\ext\sunjce_provider.jar;C:\Program Files\Java\jdk1.8.0_141\jre\lib\ext\sunmscapi.jar;C:\Program Files\Java\jdk1.8.0_141\jre\lib\ext\sunpkcs11.jar;C:\Program Files\Java\jdk1.8.0_141\jre\lib\ext\zipfs.jar;C:\Program Files\Java\jdk1.8.0_141\jre\lib\javaws.jar;C:\Program Files\Java\jdk1.8.0_141\jre\lib\jce.jar;C:\Program Files\Java\jdk1.8.0_141\jre\lib\jfr.jar;C:\Program Files\Java\jdk1.8.0_141\jre\lib\jfxswt.jar;C:\Program Files\Java\jdk1.8.0_141\jre\lib\jsse.jar;C:\Program Files\Java\jdk1.8.0_141\jre\lib\management-agent.jar;C:\Program Files\Java\jdk1.8.0_141\jre\lib\plugin.jar;C:\Program Files\Java\jdk1.8.0_141\jre\lib\resources.jar;C:\Program Files\Java\jdk1.8.0_141\jre\lib\rt.jar;E:\hbase-javaapi\target\classes;C:\Users\dell\.m2\repository\org\apache\hbase\hbase-client\1.2.4\hbase-client-1.2.4.jar;C:\Users\dell\.m2\repository\org\apache\hbase\hbase-annotations\1.2.4\hbase-annotations-1.2.4.jar;C:\Users\dell\.m2\repository\org\apache\hbase\hbase-protocol\1.2.4\hbase-protocol-1.2.4.jar;C:\Users\dell\.m2\repository\commons-codec\commons-codec\1.9\commons-codec-1.9.jar;C:\Users\dell\.m2\repository\commons-io\commons-io\2.4\commons-io-2.4.jar;C:\Users\dell\.m2\repository\commons-lang\commons-lang\2.6\commons-lang-2.6.jar;C:\Users\dell\.m2\repository\commons-logging\commons-logging\1.2\commons-logging-1.2.jar;C:\Users\dell\.m2\repository\com\google\guava\guava\12.0.1\guava-12.0.1.jar;C:\Users\dell\.m2\repository\com\google\protobuf\protobuf-java\2.5.0\protobuf-java-2.5.0.jar;C:\Users\dell\.m2\repository\io\netty\netty-all\4.0.23.Final\netty-all-4.0.23.Final.jar;C:\Users\dell\.m2\repository\org\apache\zookeeper\zookeeper\3.4.6\zookeeper-3.4.6.jar;C:\Users\dell\.m2\repository\org\apache\htrace\htrace-core\3.1.0-incubating\htrace-core-3.1.0-incubating.jar;C:\Users\dell\.m2\repository\org\codehaus\jackson\jackson-mapper-asl\1.9.13\jackson-mapper-asl-1.9.13.jar;C:\Users\dell\.m2\repository\org\jruby\jcodings\jcodings\1.0.8\jcodings-1.0.8.jar;C:\Users\dell\.m2\repository\org\jruby\joni\joni\2.1.2\joni-2.1.2.jar;C:\Users\dell\.m2\repository\com\yammer\metrics\metrics-core\2.2.0\metrics-core-2.2.0.jar;C:\Users\dell\.m2\repository\org\apache\hadoop\hadoop-auth\2.5.1\hadoop-auth-2.5.1.jar;C:\Users\dell\.m2\repository\org\apache\httpcomponents\httpclient\4.2.5\httpclient-4.2.5.jar;C:\Users\dell\.m2\repository\org\apache\directory\server\apacheds-kerberos-codec\2.0.0-M15\apacheds-kerberos-codec-2.0.0-M15.jar;C:\Users\dell\.m2\repository\org\apache\directory\server\apacheds-i18n\2.0.0-M15\apacheds-i18n-2.0.0-M15.jar;C:\Users\dell\.m2\repository\org\apache\directory\api\api-asn1-api\1.0.0-M20\api-asn1-api-1.0.0-M20.jar;C:\Users\dell\.m2\repository\org\apache\directory\api\api-util\1.0.0-M20\api-util-1.0.0-M20.jar;C:\Users\dell\.m2\repository\org\apache\hadoop\hadoop-mapreduce-client-core\2.5.1\hadoop-mapreduce-client-core-2.5.1.jar;C:\Users\dell\.m2\repository\org\apache\hadoop\hadoop-yarn-common\2.5.1\hadoop-yarn-common-2.5.1.jar;C:\Users\dell\.m2\repository\javax\xml\bind\jaxb-api\2.2.2\jaxb-api-2.2.2.jar;C:\Users\dell\.m2\repository\javax\xml\stream\stax-api\1.0-2\stax-api-1.0-2.jar;C:\Users\dell\.m2\repository\javax\activation\activation\1.1\activation-1.1.jar;C:\Users\dell\.m2\repository\io\netty\netty\3.6.2.Final\netty-3.6.2.Final.jar;C:\Users\dell\.m2\repository\org\apache\hbase\hbase-common\1.2.4\hbase-common-1.2.4.jar;C:\Users\dell\.m2\repository\commons-collections\commons-collections\3.2.2\commons-collections-3.2.2.jar;C:\Users\dell\.m2\repository\org\mortbay\jetty\jetty-util\6.1.26\jetty-util-6.1.26.jar;C:\Users\dell\.m2\repository\com\github\stephenc\findbugs\findbugs-annotations\1.3.9-1\findbugs-annotations-1.3.9-1.jar;C:\Users\dell\.m2\repository\log4j\log4j\1.2.17\log4j-1.2.17.jar;C:\Users\dell\.m2\repository\org\apache\hbase\hbase-server\1.2.4\hbase-server-1.2.4.jar;C:\Users\dell\.m2\repository\org\apache\hbase\hbase-procedure\1.2.4\hbase-procedure-1.2.4.jar;C:\Users\dell\.m2\repository\org\apache\hbase\hbase-common\1.2.4\hbase-common-1.2.4-tests.jar;C:\Users\dell\.m2\repository\org\apache\hbase\hbase-prefix-tree\1.2.4\hbase-prefix-tree-1.2.4.jar;C:\Users\dell\.m2\repository\commons-httpclient\commons-httpclient\3.1\commons-httpclient-3.1.jar;C:\Users\dell\.m2\repository\org\apache\hbase\hbase-hadoop-compat\1.2.4\hbase-hadoop-compat-1.2.4.jar;C:\Users\dell\.m2\repository\org\apache\hbase\hbase-hadoop2-compat\1.2.4\hbase-hadoop2-compat-1.2.4.jar;C:\Users\dell\.m2\repository\com\sun\jersey\jersey-core\1.9\jersey-core-1.9.jar;C:\Users\dell\.m2\repository\com\sun\jersey\jersey-server\1.9\jersey-server-1.9.jar;C:\Users\dell\.m2\repository\asm\asm\3.1\asm-3.1.jar;C:\Users\dell\.m2\repository\commons-cli\commons-cli\1.2\commons-cli-1.2.jar;C:\Users\dell\.m2\repository\org\apache\commons\commons-math\2.2\commons-math-2.2.jar;C:\Users\dell\.m2\repository\org\mortbay\jetty\jetty\6.1.26\jetty-6.1.26.jar;C:\Users\dell\.m2\repository\org\mortbay\jetty\jetty-sslengine\6.1.26\jetty-sslengine-6.1.26.jar;C:\Users\dell\.m2\repository\org\mortbay\jetty\jsp-2.1\6.1.14\jsp-2.1-6.1.14.jar;C:\Users\dell\.m2\repository\org\mortbay\jetty\jsp-api-2.1\6.1.14\jsp-api-2.1-6.1.14.jar;C:\Users\dell\.m2\repository\org\mortbay\jetty\servlet-api-2.5\6.1.14\servlet-api-2.5-6.1.14.jar;C:\Users\dell\.m2\repository\org\codehaus\jackson\jackson-core-asl\1.9.13\jackson-core-asl-1.9.13.jar;C:\Users\dell\.m2\repository\org\codehaus\jackson\jackson-jaxrs\1.9.13\jackson-jaxrs-1.9.13.jar;C:\Users\dell\.m2\repository\tomcat\jasper-compiler\5.5.23\jasper-compiler-5.5.23.jar;C:\Users\dell\.m2\repository\tomcat\jasper-runtime\5.5.23\jasper-runtime-5.5.23.jar;C:\Users\dell\.m2\repository\commons-el\commons-el\1.0\commons-el-1.0.jar;C:\Users\dell\.m2\repository\org\jamon\jamon-runtime\2.4.1\jamon-runtime-2.4.1.jar;C:\Users\dell\.m2\repository\com\lmax\disruptor\3.3.0\disruptor-3.3.0.jar;C:\Users\dell\.m2\repository\org\apache\hadoop\hadoop-client\2.5.1\hadoop-client-2.5.1.jar;C:\Users\dell\.m2\repository\org\apache\hadoop\hadoop-mapreduce-client-app\2.5.1\hadoop-mapreduce-client-app-2.5.1.jar;C:\Users\dell\.m2\repository\org\apache\hadoop\hadoop-mapreduce-client-common\2.5.1\hadoop-mapreduce-client-common-2.5.1.jar;C:\Users\dell\.m2\repository\org\apache\hadoop\hadoop-yarn-client\2.5.1\hadoop-yarn-client-2.5.1.jar;C:\Users\dell\.m2\repository\com\sun\jersey\jersey-client\1.9\jersey-client-1.9.jar;C:\Users\dell\.m2\repository\org\apache\hadoop\hadoop-yarn-server-common\2.5.1\hadoop-yarn-server-common-2.5.1.jar;C:\Users\dell\.m2\repository\org\apache\hadoop\hadoop-mapreduce-client-shuffle\2.5.1\hadoop-mapreduce-client-shuffle-2.5.1.jar;C:\Users\dell\.m2\repository\org\apache\hadoop\hadoop-yarn-api\2.5.1\hadoop-yarn-api-2.5.1.jar;C:\Users\dell\.m2\repository\org\apache\hadoop\hadoop-mapreduce-client-jobclient\2.5.1\hadoop-mapreduce-client-jobclient-2.5.1.jar;C:\Users\dell\.m2\repository\org\apache\hadoop\hadoop-common\2.7.1\hadoop-common-2.7.1.jar;C:\Users\dell\.m2\repository\org\apache\hadoop\hadoop-annotations\2.7.1\hadoop-annotations-2.7.1.jar;C:\Program Files\Java\jdk1.8.0_141\lib\tools.jar;C:\Users\dell\.m2\repository\org\apache\commons\commons-math3\3.1.1\commons-math3-3.1.1.jar;C:\Users\dell\.m2\repository\xmlenc\xmlenc\0.52\xmlenc-0.52.jar;C:\Users\dell\.m2\repository\commons-net\commons-net\3.1\commons-net-3.1.jar;C:\Users\dell\.m2\repository\javax\servlet\servlet-api\2.5\servlet-api-2.5.jar;C:\Users\dell\.m2\repository\javax\servlet\jsp\jsp-api\2.1\jsp-api-2.1.jar;C:\Users\dell\.m2\repository\com\sun\jersey\jersey-json\1.9\jersey-json-1.9.jar;C:\Users\dell\.m2\repository\org\codehaus\jettison\jettison\1.1\jettison-1.1.jar;C:\Users\dell\.m2\repository\com\sun\xml\bind\jaxb-impl\2.2.3-1\jaxb-impl-2.2.3-1.jar;C:\Users\dell\.m2\repository\org\codehaus\jackson\jackson-xc\1.8.3\jackson-xc-1.8.3.jar;C:\Users\dell\.m2\repository\net\java\dev\jets3t\jets3t\0.9.0\jets3t-0.9.0.jar;C:\Users\dell\.m2\repository\org\apache\httpcomponents\httpcore\4.1.2\httpcore-4.1.2.jar;C:\Users\dell\.m2\repository\com\jamesmurty\utils\java-xmlbuilder\0.4\java-xmlbuilder-0.4.jar;C:\Users\dell\.m2\repository\commons-configuration\commons-configuration\1.6\commons-configuration-1.6.jar;C:\Users\dell\.m2\repository\commons-digester\commons-digester\1.8\commons-digester-1.8.jar;C:\Users\dell\.m2\repository\commons-beanutils\commons-beanutils\1.7.0\commons-beanutils-1.7.0.jar;C:\Users\dell\.m2\repository\commons-beanutils\commons-beanutils-core\1.8.0\commons-beanutils-core-1.8.0.jar;C:\Users\dell\.m2\repository\org\slf4j\slf4j-api\1.7.10\slf4j-api-1.7.10.jar;C:\Users\dell\.m2\repository\org\slf4j\slf4j-log4j12\1.7.10\slf4j-log4j12-1.7.10.jar;C:\Users\dell\.m2\repository\org\apache\avro\avro\1.7.4\avro-1.7.4.jar;C:\Users\dell\.m2\repository\com\thoughtworks\paranamer\paranamer\2.3\paranamer-2.3.jar;C:\Users\dell\.m2\repository\org\xerial\snappy\snappy-java\1.0.4.1\snappy-java-1.0.4.1.jar;C:\Users\dell\.m2\repository\com\google\code\gson\gson\2.2.4\gson-2.2.4.jar;C:\Users\dell\.m2\repository\com\jcraft\jsch\0.1.42\jsch-0.1.42.jar;C:\Users\dell\.m2\repository\org\apache\curator\curator-client\2.7.1\curator-client-2.7.1.jar;C:\Users\dell\.m2\repository\org\apache\curator\curator-recipes\2.7.1\curator-recipes-2.7.1.jar;C:\Users\dell\.m2\repository\org\apache\curator\curator-framework\2.7.1\curator-framework-2.7.1.jar;C:\Users\dell\.m2\repository\com\google\code\findbugs\jsr305\3.0.0\jsr305-3.0.0.jar;C:\Users\dell\.m2\repository\org\apache\commons\commons-compress\1.4.1\commons-compress-1.4.1.jar;C:\Users\dell\.m2\repository\org\tukaani\xz\1.0\xz-1.0.jar;C:\Users\dell\.m2\repository\org\apache\hadoop\hadoop-hdfs\2.7.1\hadoop-hdfs-2.7.1.jar;C:\Users\dell\.m2\repository\commons-daemon\commons-daemon\1.0.13\commons-daemon-1.0.13.jar;C:\Users\dell\.m2\repository\xerces\xercesImpl\2.9.1\xercesImpl-2.9.1.jar;C:\Users\dell\.m2\repository\xml-apis\xml-apis\1.3.04\xml-apis-1.3.04.jar;C:\Users\dell\.m2\repository\org\fusesource\leveldbjni\leveldbjni-all\1.8\leveldbjni-all-1.8.jar;C:\Users\dell\.m2\repository\junit\junit\4.12\junit-4.12.jar;C:\Users\dell\.m2\repository\org\hamcrest\hamcrest-core\1.3\hamcrest-core-1.3.jar" HBaseFilterExample log4j:WARN No appenders could be found for logger (org.apache.hadoop.security.Groups). log4j:WARN Please initialize the log4j system properly. log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
12-11
内容概要:文章以“智能网页数据标注工具”为例,深入探讨了谷歌浏览器扩展在毕业设计中的实战应用。通过开发具备实体识别、情感分类等功能的浏览器扩展,学生能够融合前端开发、自然语言处理(NLP)、本地存储与模型推理等技术,实现高效的网页数据标注系统。文中详细解析了扩展的技术架构,涵盖Manifest V3配置、内容脚本与Service Worker协作、TensorFlow.js模型在浏览器端的轻量化部署与推理流程,并提供了核心代码实现,包括文本选择、标注工具栏动态生成、高亮显示及模型预测功能。同时展望了多模态标注、主动学习与边缘计算协同等未来发展方向。; 适合人群:具备前端开发基础、熟悉JavaScript和浏览器机制,有一定AI模型应用经验的计算机相关专业本科生或研究生,尤其适合将浏览器扩展与人工智能结合进行毕业设计的学生。; 使用场景及目标:①掌握浏览器扩展开发全流程,理解内容脚本、Service Worker与弹出页的通信机制;②实现在浏览器端运行轻量级AI模型(如NER、情感分析)的技术方案;③构建可用于真实场景的数据标注工具,提升标注效率并探索主动学习、协同标注等智能化功能。; 阅读建议:建议结合代码实例搭建开发环境,逐步实现标注功能并集成本地模型推理。重点关注模型轻量化、内存管理与DOM操作的稳定性,在实践中理解浏览器扩展的安全机制与性能优化策略。
基于Gin+GORM+Casbin+Vue.js的权限管理系统是一个采用前后端分离架构的企业级权限管理解决方案,专为软件工程和计算机科学专业的毕业设计项目开发。该系统基于Go语言构建后端服务,结合Vue.js前端框架,实现了完整的权限控制和管理功能,适用于各类需要精细化权限管理的应用场景。 系统后端采用Gin作为Web框架,提供高性能的HTTP服务;使用GORM作为ORM框架,简化数据库操作;集成Casbin实现灵活的权限控制模型。前端基于vue-element-admin模板开发,提供现代化的用户界面和交互体验。系统采用分层架构和模块化设计,确保代码的可维护性和可扩展性。 主要功能包括用户管理、角色管理、权限管理、菜单管理、操作日志等核心模块。用户管理模块支持用户信息的增删改查和状态管理;角色管理模块允许定义不同角色并分配相应权限;权限管理模块基于Casbin实现细粒度的访问控制;菜单管理模块动态生成前端导航菜单;操作日志模块记录系统关键操作,便于审计和追踪。 技术栈方面,后端使用Go语言开发,结合Gin、GORM、Casbin等成熟框架;前端使用Vue.js、Element UI等现代前端技术;数据库支持MySQL、PostgreSQL等主流关系型数据库;采用RESTful API设计规范,确保前后端通信的标准化。系统还应用了单例模式、工厂模式、依赖注入等设计模式,提升代码质量和可测试性。 该权限管理系统适用于企业管理系统、内部办公平台、多租户SaaS应用等需要复杂权限控制的场景。作为毕业设计项目,它提供了完整的源码和论文文档,帮助学生深入理解前后端分离架构、权限控制原理、现代Web开发技术等关键知识点。系统设计规范,代码结构清晰,注释完整,非常适合作为计算机相关专业的毕业设计参考或实际项目开发的基础框架。 资源包含完整的系统源码、数据库设计文档、部署说明和毕
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值