- 博客(7)
- 收藏
- 关注
RSS订阅原创 Ubuntu系统基于分布式hadoop安装spark
Ubuntu系统基于分布式hadoop安装spark之前的文章中我们已经部署好了hadoop集群首先打开三个虚拟机，现在我们需要安装Scala，因为Spark是基于Scala开发的，所以需要安装Scala。在Ubuntu下安装Scala很简单，我们只需要运行sudo apt-get install scala就可以安装Scala了。安装完成后运行scala -version可以看到安装的Scala的版本，我现在2.11版，安装目录是在/usr/share/scala-2.11 。接下来下载Sp
2022-04-20 15:35:01
2572
原创 云服务器虚拟GPU驱动安装
云服务器虚拟GPU驱动安装最近在利用云服务器的虚拟GPU进行深度学习时会出现英伟达官方提供的驱动安装不了或者安装之后在训练时会出现突然变得特别慢等问题。这是因为这种vgn显卡，，是虚拟化显卡，将一块完整的GPU分割成几块，不能用一般的显卡驱动，需要用grid技术，该驱动需要向英伟达官方申请，但这种方法比较麻烦，更简单的方法就是向云服务器的客服要下载链接，并且一定要记得他们安装license不然会出现显卡驱动能用，但是训练一段时间后就崩溃的情况...
2022-04-18 21:35:09
2506
原创 云服务器搭建Hadoop集群
云服务器搭建Hadoop集群一、配置服务器1. 创建普通用户2. 安装 Java 环境3.安装hadoop4.网络配置5.hadoop配置一、配置服务器1. 创建普通用户说明：由于 root 环境下操作比较危险，所以这里新建一个普通用户来进行 hadoop 的搭建。创建一个普通用户 hadoopsudo useradd -m hadoop -s /bin/bash设置密码并重复一次sudo passwd hadoop给 hadoop 用户增加 sudo 管理员权限sudo addu
2022-04-18 17:54:08
5358
4
原创 Linux常用命令总结
Linux@TOC本文将对我平时常用的Linux命令进行梳理用户名@主机名 当前目录 #系统权限 $普通权限命令格式命令 选项 参数 (三者之间要有空格，区分大小写)上下键切换最近输入的命令command [-options] [args]Ctrl+Z 挂起进程Ctrl+C停止进程jobs显示所有运行的进程fg 后台进程进入前天bg 前台进程进后台并运行man的使用vimDD 删除一行U 返回i 切换输入输出模式:wq w保存
2022-01-03 15:29:25
412
原创 爬虫实战 安装selenium并学习和学习IP相关知识
安装selenium并学习登陆邮箱代码如下from selenium import webdriverfrom selenium.webdriver import ActionChainsimport timebrowser = webdriver.Chrome()try:url = ‘http://mail.163.com/’browser.get(url)time.sleep...
2019-08-10 20:59:39
210
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人