
bigdata
文章平均质量分 71
github_37320188
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Cloudera manager:自动化脚本部署
实验环境笔记本:macbook pro,32G memory虚拟机:VirtualBox,3台 centos7 虚拟机(均最小化安装)node1 默认为 master(或者说是server):2 CPU,5G memory,200G 存储(动态分配),桥接网络(配置静态 IP 192.168.1.155)node1 默认为 agent:1 CPU,2G memory,200G 存储(动态...原创 2019-11-06 18:07:45 · 885 阅读 · 0 评论 -
centos7:nginx创建局域网内镜像站与资源共享
原始需求在局域网内构建一个centos7镜像站资源准备一台centos7 最小化安装的虚拟机编译安装的 nginx 或 tengine(编译安装步骤全网可查)一张centos7 DVD版本的iso操作步骤为虚拟机插入 DVD 的iso如下图,在设置中进行操作,点击分配光驱右侧光碟,选择iso。当前状态为已经选完修改nginx 或者 tengine的配置文件 ngi...原创 2019-04-04 11:54:28 · 464 阅读 · 0 评论 -
centos7:安装配置 virtualbox 增强功能 VBoxGuestAdditions,并实现物理机脚本控制虚拟机
需求来源本地virtualbox 上有四台互联虚拟机,由于物理机是台笔记本,网络可能会发生变化而且,由于某些原因,虚拟机需要设置成静态ip所以,当网络发生变化时,我需要适应性的修改虚拟机的网卡中的ip(IPADDR)和路由(GATEWAY)的配置鉴于手动修改太过于繁琐,所以想实现本地物理机脚本控制虚拟机,主要面临情况以及需要实现的功能如下:(1)虚拟机可能已经无法联网,无法被ssh 登陆...原创 2019-04-07 14:45:45 · 1767 阅读 · 0 评论 -
centos7:本地部署lvs与keepalived
LVS是Linux Virtual Server的简写,意即Linux虚拟服务器,是一个虚拟的服务器集群系统先决条件本地已经在virtualbox中安装了三台centos7虚拟机三节点之间网络已经互联,通常情况下,只有用作LVS服务器的节点能访问外网三节点分别名为bg01,bg02,bg03,其中 bg01 用作LVS接下来按顺序操作下面三步,不要擅自修改顺序Step1 配置...原创 2019-04-02 18:22:29 · 836 阅读 · 0 评论 -
docker:搭建私有仓库
系统环境系统环境:centos 7docker版本:1.13.1实际操作安装docker 后,可以通过官方的 registry 镜像创建本地私有仓库下面是一个测试:docker run -d -p 5000:5000 registry这里将自动下载 并 启动 registry 容器,创建本地的 私有仓库默认情况下,会将仓库创建在容器的 /tmp/registry 目录下。可以通过...原创 2019-07-02 21:52:19 · 161 阅读 · 0 评论 -
conda:pytorch开发环境搭建
安装miniconda上官网下载 miniConda在本地执行 sh 文件,如果想指定安装目录,需要用管理员权限执行配置国内镜像源修改 ~/.condarc 文件channels: - https://mirrors.ustc.edu.cn/anaconda/pkgs/main/ - https://mirrors.ustc.edu.cn/anaconda/cloud/conda...原创 2019-07-18 16:11:34 · 1643 阅读 · 0 评论 -
java:定时任务以及线程池任务投递
需求来源有一套数据计算服务平台,基本架构是分布式文件系统 hdfs 存储原始数据,mysql 数据库存储计算模型路径 以及 任务记录。需要通过 hadoop 、spark等进行分布式任务计算。通过web 进行计算模型组织、任务投递以及结果查询。解决问题当任务投递到分布式计算系统之后,web 如何知道任务何时完成,如何获取任务计算结果(可能成功,也可能失败)基本思想实事上,分布式计算系统进...原创 2019-07-16 14:35:37 · 640 阅读 · 0 评论 -
白皮书:InfiniBand简介
原文链接:Introduction to InfiniBand摘要InfiniBand是一种功能强大的新架构,旨在支持Internet基础设施的 I/O 连接。 所有主要OEM服务器供应商都支持InfiniBand作为扩展服务器以及在服务器中创建下一代 I/O 互连标准的手段。 大批量工业标准 I/O互连首次扩展了传统“盒中”总线的作用。 InfiniBand 独一无二的提供“盒中”背板解决方...翻译 2019-07-30 19:42:59 · 8072 阅读 · 1 评论