
Hadoop/spark 安装实战
段智华
智华专注于GenAI/LLM大模型技术的研究,参与了7本书籍的写作,拥有5项申请发明专利,10多项软著,以及4篇IEEE国际会议论文。参与Gavin大咖主编,北京航空航天大学出版社2024年5月最新出版的2本图书著作:《Transformer&ChatGpt解密:原理、源码及案例》、《Transformer& Rasa 解密 原理、 源码及案例》,共撰写1996篇原创博客文章,涵盖Transformer、GPT-4、ChatGPT、Llama2/3、Langchain、Mistral、Mixtral、Rasa、AI机器学习、Spark大数据等主题。博客文章的总阅读量为323万次。
展开
-
Hadoop/spark安装实战(系列篇1)准备安装包
下载各安装包,准备安装 CentOS 使用网盘上下载的vmvare虚拟机 centos系统 spark 1.0.0 http://d3kbcqa49mib13.cloudfront.net/spark-1.0.0-bin-hadoop1.tgz scala http://www.scala-lang.org/download/2.10.4.html java jdk jdk-7u7原创 2015-09-02 21:40:35 · 832 阅读 · 0 评论 -
Hadoop/spark安装实战(系列篇4) Hadoop MapReduce词频统计之小试牛刀
Hadoop/spark安装实战(系列篇4) Hadoop MapReduce词频统计之小试牛刀 运行hadoop 自带的例子的MapReduce 计算 1 上传文件到hadoop的hdfs的根目录 [root@localhost hadoop-1.2.1]# hadoop fs -put README.txt / 检验 [root@localhost hadoop-1.2.1]# ha原创 2015-09-12 21:52:51 · 1029 阅读 · 0 评论 -
Hadoop/spark安装实战(系列篇6)迈入SPARK新世界
Hadoop/spark安装实战(系列篇6)迈入SPARK新世界 spark 安装 1/spark 解压缩 [root@localhost setup_tools]# tar -zxvf spark-1.0.0-bin-hadoop1.tgz 2将文件移到/usr/local [root@localhost setup_tools]# mv spark-1.0.0-bin-ha原创 2015-09-12 22:41:53 · 1067 阅读 · 0 评论 -
Hadoop/spark安装实战(系列篇2)安装虚拟机、PieTTY、winscp、JDK、配置DNS、SSH免密码登录
Hadoop/spark安装实战(系列篇2)安装虚拟机、PieTTY、winscp、JDK、配置DNS、SSH免密码登录 1 虚拟机的安装目录 D:\VmvareSpark\CentOS_Spark\CentOS 2 本地物理机地址 VMware Network Adapter VMnet1 192.168.2.1 虚机地址 192.168.2.100 虚拟机设置-网络适配器原创 2015-09-12 21:01:12 · 982 阅读 · 0 评论 -
Hadoop/spark安装实战(系列篇3) Hadoop 伪分布模式安装
Hadoop/spark安装实战(系列篇3) Hadoop 伪分布模式安装 Hadoop 的安装与配置 伪分布模式安装 1/解压缩hadoop tar -zxvf hadoop-1.2.1-bin.tar.gz 2/ 将文件移到/usr/local mv hadoop-1.2.1 /usr/local 3/设置环境变量HADOOP_HOME,修改文件“/etc原创 2015-09-12 21:39:50 · 911 阅读 · 0 评论 -
Hadoop/spark安装实战(系列篇5) scala安装
Hadoop/spark安装实战(系列篇5) scala安装 1/scala 解压缩 [root@localhost setup_tools]# tar -zxvf scala-2.10.4.tgz 2将文件移到/usr/local mv scala-2.10.4 /usr/local 3配置环境变量 [root@localhost local]# vi /et原创 2015-09-12 22:08:40 · 980 阅读 · 0 评论 -
spark 训练营 scala学习
学习掌握Scala的基础概念 Scala交互式命令行 Scala基础语法:值,标识符,运算符,注释等 Scala数据类型,变量 Scala函数与类 Scala的集合 一:设置path root@spark :~/ $ vi ~/.zshrc [17:49:02] root@spark :~/ $ ex原创 2015-12-05 20:00:00 · 722 阅读 · 0 评论 -
windows环境下的socket nc 测试小工具nc -L -p 9999
windows环境下的socket nc 测试小工具nc -L -p 9999 在windows本地 进行测试,发送socket包到是怕人看streaming。少了这个工具还真不方便。 nc.exe网上下载,保存在C:\nc.exe;同时也保存一份放到了百度云盘,我的实验目录里面 操作步骤: 1. cd C:\nc.exe 2 , 启动eclipse的spark原创 2016-09-10 20:32:07 · 12584 阅读 · 0 评论