- 博客(16)
- 收藏
- 关注
原创 pip 和conda
区别:pip是Python包的通用管理器; conda是一个与语言无关的跨平台环境管理器。pip在任何环境中安装python包;conda需要安装在conda环境中装任何包。Pip代表Pip Installs Packages,是Python的官方认可的包管理器,最常用于安装在Python包索引(PyPI)上发布的包。先上图对比:conda VS pip 简介conda是用来安装conda package,虽然大部分conda包是python的,但它支持了不少非python语言写的依赖项,比如
2022-05-10 22:09:01
5456
原创 打镜像并发布至harbor
制作镜像1.制作Dockerfile文件FROM ascdc/jdk8MAINTAINER huachunEXPOSE 9527 COPY ./delivery-0.0.1-SNAPSHOT.jar /data ADD delivery-0.0.1-SNAPSHOT.jar delivery-0.0.1-SNAPSHOT.jar ENTRYPOINT ["java","-jar","delivery-0.0.1-SNAPSHOT.jar"] ENV TZ=Asia/Shanghai
2022-04-07 20:35:10
944
原创 Harbor镜像仓库的安装使用
首先 先放图,Harbor 的位置如下:官网下载 Harbor官方文档: Harbor docs | Harbor 2.4 Documentation准备: 1.安装好docker和docker-compose 实现了针对NVIDIA GPU和网络优化的多GPU和多节点 通信原语。NCCL提供全收集、全减、广播、减少、减少散射以及点对点发送和接收等例程,这些例程经过优化,通过节点内和NVIDIA Mellanox网络通过PCIe和NVLink高速互连实现高带宽和低延迟。Caffe2、Chainer、MxNet、PyTorch和TensorFlow等领先的深度学习框架集成了NCCL,以加快多GPU多节点系统的深度学习培训。NCCL可作为NVIDIA HPC SDK的一部分以及U
2022-03-30 16:38:58
2854
原创 GPU通信技术-GPUDirect P2P
GPU通信技术(上)-GPUDirect P2P1.背景GPU在高性能计算和深度学习加速中扮演着非常重要的角色, GPU的强大的并行计算能力,大大提升了运算性能。随着运算数据量的不断攀升,GPU间需要大量的交换数据,GPU通信性能成为了非常重要的指标。NVIDIA推出的GPUDirect就是一组提升GPU通信性能的技术。但GPUDirect受限于PCI Expresss总线协议以及拓扑结构的一些限制,无法做到更高的带宽,为了解决这个问题,NVIDIA提出了NVLink总线协议。这个系列文章会对以上G
2022-02-12 22:39:40
2965
原创 数据库与数据仓库
数据库是一种逻辑概念,用来存放数据的仓库,通过数据库软件来实现。数据仓库是数据库概念的升级。从逻辑上理解,数据库和数据仓库没有区别,从数据量来说,数据仓库要比数据库更庞大的多。数据仓库主要用于数据挖掘和数据分析,辅助做决策。数据库 Database (Oracle, Mysql, PostgreSQL)主要用于事务处理,数据仓库 Datawarehouse (Amazon Redshift, Hive)主要用于数据分析。用途上的不同决定了这两种架构的特点不同。各自特点数据库(Database)的特点
2021-12-13 11:36:07
6183
原创 grafana安装使用
Grafana版本:5.3.2一、Grafana介绍Grafana是一个跨平台的开源的度量分析和可视化工具,可以通过将采集的数据查询然后可视化的展示,并及时通知。它主要有以下六大特点:1、展示方式:快速灵活的客户端图表,面板插件有许多不同方式的可视化指标和日志,官方库中具有丰富的仪表盘插件,比如热图、折线图、图表等多种展示方式;2、数据源:Graphite,InfluxDB,OpenTSDB,Prometheus,Elasticsearch,CloudWatch和KairosDB等;3、通知提醒:
2021-11-23 17:09:41
4754
原创 ETL
ETL,Extraction-Transformation-Loading的缩写,中文名为数据抽取、转换和加载。ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。ETL是BI项目最重要的一个环节,通常情况下ETL会花掉整个项目的1/3的时间,ETL设计的好坏直接关接到BI项目的成败。ETL也是一个长期的过程,只有不断的发现问题并解决问题,才能使ETL运行效率更高,为项目后期开发提供准确的数
2021-05-02 22:14:24
95
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人