Miss_Bueno-优快云博客

原创 pytorch多GPU并行DistributedDataParallel应用和踩坑记录（本节-单机多卡实现）持续补充

pytorch多GPU并行DistributedDataParallel应用和踩坑记录（本节-单机多卡实现），会持续补充bug

2024-01-13 21:42:39 748 1

转载 keras中compile方法的 loss 和 metrics 区别

keras中compile方法的 loss 和 metrics 区别

2023-02-21 11:41:11 418

原创全连接网络

1.架构参考链接：深度学习开端｜全连接神经网络 - 知乎基本的结构：输入层(样本数据)；隐藏层(隐藏层的层数和每层的神经元数目需要自己给定)；输出层(预测目标)2.计算神经元是上一层的输入与权重相乘后求和，在经过非线性函数转换。得到下一层的输出。可表述为：其中，非线性函数f是激活函数，加入激活函数，使得模型可以处理非线性问题，常用激活函数包括sigmoid函数；tanh函数和relu函数。（tanh函数和sigmoid函数一样，可将求和的值限制在(0,1)之间）...

2022-03-10 16:18:59 2259

原创 LaTeX介绍及texlive安装

LaTeX – A document preparation systemLaTeX是一个科研界常用的文档排版系统，具有相应的编排语法，在不同的硬件和操作系统上有不同的编译编辑器，如texlive,texstudio等。本文讲述texLive的下载安装与基本使用。...

2022-02-10 20:37:43 2855

原创日本向日葵8号卫星数据下载

1. 账户注册打开注册系统：https://www.eorc.jaxa.jp/ptree/，点击注册，弹出如下页面，提示注册注意事项及数据用途，不能做盈利使用、未经授权不能发布给第三方等。可以近实时地下载Himawari Standard Data 和JAXA's Himawari geophysical Parameter Data。需要注意的是2015年7月7日前的数据质量可能未经保障。例如，若发表文章，需在文后添加："'Research product of XXX (produc...

2021-09-13 16:19:23 2401 1

原创 python :ModuleNotFoundError: No module named ‘scipy‘

原因：运行脚本，报错，错误如下：Traceback (most recent call last): File "read_mat.py", line 1, in <module> import scipy.ioModuleNotFoundError: No module named 'scipy'解决方案：步骤一：$ pip3 install scipy，又出错。Collecting scipy Could not find a version tha...

2020-12-11 19:55:00 5312 1

转载 Linux下安装Python3.6和第三方库

Linux下安装Python3.6和第三方库觉得篇安装文档很详细，转载。转载自https://www.cnblogs.com/kimyeee/p/7250560.html如果本机安装了python2，尽量不要管他，使用python3运行python脚本就好，因为可能有程序依赖目前的python2环境，比如yum！！！！！不要动现有的python2环境！一、安装python3.6...

2020-04-15 11:53:43 265

原创 HDFS NFS数据挂载功能

目的：利用NFS，将HDFS底层文件共享到本地操作系统本篇文章主要介绍HDFS 的NFS网关配置及配置之后读写性能问题，网上有比较多的参考资料，也都很有用。但我在配置过程中，遇到许多其他隐藏的坑，例如，首先我不知道NFS是什么，我就开始配，导致简单的配置出错我都弄了很久。为了让跟我一样的小伙伴们避免踩同样的坑，我从Linux NFS到HDFS NFS配置，再到配置好之后，数据读写性...

2019-12-12 10:51:17 2159

原创 Hadoop NFS启动失败

问题描述：启动Hadoop的NFS失败。查看日志：显示Failed to delete file or dir [/tmp/.hdfs-nfs]: it still exists.原因：说明当前用户对/tmp目录没有权限；解决方法：可以用root用户手动删除该目录；也可以对当前用户赋予对/tmp操作的权限。本人采用暴力方式，手动删除该/tmp/.hdfs-nfs目录，重新启动NFS，成...

2019-11-25 17:46:33 761

转载三种恢复 HDFS 上删除文件的方法

本文转自两篇博文：过往记忆：https://www.iteblog.com/archives/2321.html?from=related https://www.cnblogs.com/cuishuai/p/8288976.html三种恢复 HDFS 上删除文件的方法我们每天都可能会操作 HDFS 上的文件，这就很难避免误操作，比如比较严重的误操作就是删除文件。本文针对这个问题提...

2019-09-21 11:32:37 838

原创 hadoop 集群移除节点，剩余节点空间不够怎么办？急

问题描述：对hadoop 集群移除节点，单次移除的节点太多，而集群已有数据量太大，导致移除节点后，容量不够。集群一直显示Decommission in progress.等待了一天还是这样。由于数据比较关键，怕丢失，不敢操作，网上查询没有相关的资料，最后不得已，强制恢复节点，重新加载配置，步骤如下：1. 查看文件状态，是否被损坏用./hdfs fsck / ...

2019-08-26 16:00:53 637

原创 linux：通过rpm包部署FTP服务

需求：在内部环境中部署FTP服务，供其他人员通过公共路径下载数据由于不能连接外网，不能使用大部分网友介绍的yum安装方法，且未找到一篇完整的介绍FTP服务部署到使用的文章，因此，整理了整个部署流程，希望对大家有帮助。一、前期准备ftp由客户端和服务器端两部分组成。在linux下，服务器端采用vsftpd 。vsftpd 的全名是『Very Secure FTP Daemon 』，它是...

2019-07-24 16:52:27 1932

原创 HADOOP添加与删除节点

一、如何添加节点?大概配置思路:（转载于https://blog.youkuaiyun.com/czz1141979570/article/details/86712881）1、在新节点中进行操作系统的配置，包括主机名配置，防火墙，网络,免密登陆和安装JDK等2、在所有的节点的/etc/hosts文件中增加新节点3、把namenode的有关配置文件复制到该节点4、修改master节点的sl...

2019-07-04 10:41:58 876

转载 linux之特殊字符

linux之特殊字符备注：此文章为转载，转载链接https://www.cnblogs.com/yanhui1995/p/10698388.html特殊字符：与路径和位置有关的特殊字符： ~ 用户的家目录，超级用户为/root _ 用户(-) 代表上一次用户所在路径 .代表当前目录（. 还有很多其他含义） ..代表上一级...

2019-07-02 10:14:30 1290

原创 Docker：（一）简介与安装

一、基础概念 Docker 是 PaaS 提供商 dotCloud 开源的一个基于 LXC 的高级容器引擎，是一个新兴的轻量级虚拟化技术，其主要动力是在不同的机器上创造无差别的应用运行环境。 Docker是以docker容器为资源分割和调度的基本单位，封装整个软件运行时环境，为开发者和系统管理员设计的，用于构建、发布和运行分布式应用的平台。是一个跨平台、可移植且简单易用...

2019-01-22 15:05:43 264

原创 Hbase错误（二）：ServerNotRunningYetException: Server is not running yet

前言：我用的是hbase2.1.0；Hadoop2.7.4；zookeeper3.4.10；分别对以上三个工具进行了容器化。好不容易解决完各种坑，将容器化的hbase运行起来，数据插着插着又出现各种问题，我的内心真的是崩溃的。一、首先出现的第一个问题描述如下：1. 用jps查看hbase、Hadoop、zookeeper相应服务，都正常运行；2. 登录网页也可看到hbase与Had...

2019-01-11 17:41:08 4878 1

原创 Rasdaman一：CentOS下Rasdaman安装与petascope配置

rasdaman安装方式有很多种，源码安装、RPM/DEB包，或者下载预制虚拟机。最简单的安装方式是通过yum安装，自动添加了相应依赖，无需手动下载，见链接。默认安装路径为：/opt/rasdaman/；rasdaman.war和def.war安装在/var/lib/tomcat/webapps下，实例程序在share/rasdaman/examples目录下。硬件和软件需求：推荐...

2019-01-09 09:07:25 688

原创 Hbase-Thrift：Thrift安装及错误集锦

本文主要分为三部分：安装thrift、使用实例程序通过thrift访问hbase及错误集锦。第一部分：安装thrift根据官网文档，thrift安装比较简单，但是在实际过程中仍然遇到不少问题，一般是依赖库的问题；1.首先通过官网下载thrift 安装包，本人安装0.11.tar.gz2.验证依赖：thrift至少需要两个依赖库，boost和libevent，因此需查看系统中是否有这两个库；...

2018-12-19 10:57:42 2347 1

原创 eclipse windows 安装

eclipse安装很简单，本文只是为了记下下载链接，便于以后查找。下载：https://www.eclipse.org/downloads/安装前提，JDK包或JRE：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.htmlJDK介绍：https://docs.oracle....

2018-12-12 17:35:27 144

原创 Hbase错误（一）：Hbase 所有节点regionserver启动成功，Hmaster起不来

Hbase 所有节点regionserver启动成功，Hmaster起不来。查看日志，显示错误：failed on connection:connection refused；首先查看hbase 的配置文件hbase-site.xml，hbase.rootdir属性是否设置正确，路径主机与hadoop namenode主机节点一致，若不一致，则修改。若一致，则再寻找其他原因。若未解决，查看...

2018-11-23 16:02:51 1507

转载 Error response from daemon: Cannot start container ···-i docker0: iptables: No chain/target/match by

方法一：参考：https://blog.youkuaiyun.com/qq_14853889/article/details/79678406通过分析异常信息，发现是因为在进行原地址到目标地址转换的时候没有在docker主机的iptables规则中找到nat表规则，只有filter表规则。在filter表上面增加nat表配置规则信息，需要说明的是docker容器的网段是172.17.0.0/16，...

2018-11-23 15:51:11 983

原创 java.io.IOException:could not find my address:dn0-eth0 in list of zookeeper quorum servers

问题描述：zookeeper、hbase、hadoop都启动正常，也能正常写入数据，但是启动hbase的时候会出现提示信息，但是进入hbase shell 中创表及写入数据都正常：java.io.IOException:could not find my address:dn0-eth0 in list of zookeeper quorum servers。且停止hbase时，出现/...

2018-11-08 15:10:21 1716

转载 Hadoop四：Container is running beyond memory limits

The NodeManager is killing your container. It sounds like you are trying to use hadoop streaming which is running as a child process of the map-reduce task. The NodeManager monitors the entire proce...

2018-11-08 10:14:10 256

原创 Hadoop二：hadoop hbase与最新版本兼容性

总：HBase 2.0+ 最低需要Java 8和Hadoop 2.6，需要ZooKeeper 3.4.x。hbase官网给出的hbase与hadoop兼容表格如下：http://hbase.apache.org/book.html#standalone_dist "S" = supported "X" = not supported "NT" = Not tested ...

2018-11-07 16:44:59 5636

原创 Hadoop三：hadoop运行错误3：yarn执行作业卡死

部署步骤一致，每次错误不一样；错误1： INFO org.apache.hadoop.yarn.server.resourcemanager.amlauncher.AMLauncher: Error launching appattempt_1541382172965_0001_000001. Got exception: java.net.UnknownHostException: I...

2018-11-06 09:38:05 1831

原创 error: KeeperErrorCode = NoNode for /hbase/master

错误2：搭建完集群之后，在hbase shell中查看表，出现error: KeeperErrorCode = NoNode for /hbase/master1. 查看日志，是因为zookeeper启动后又自动关闭了。为什么会出现这个问题呢？是因为原来是因为zoo.cfg里的data目录是配置在/tmp下的，这目录是会定时清空的，因此，需要更改该目录，我的设置为/usr/local/wo...

2018-10-29 16:02:35 26575 5

原创 hbase启动成功，进入hbase shell，list表出现zookeeper.znode.parent

启动hbase，出现HMaster和HRegionServer后台进程，进入hbase shell，执行表操作，出现error：zookeeper.znode.parent；查看日志，出现zookeeper连接失败，不存在的服务名或主机名；刚开始以为是hbase-site.xml属性文件配置错误，查看资料，将zookeeper.znode.parent的属性设置由默认的/hbase改为/hba...

2018-10-24 09:21:23 11385

原创 Hadoop一：Hadoop的NodeManager启动错误，NodeManager from slavenode2 doesn‘t satisfy minimum allocations

启动hadoop，刚解决完datanode未成功启动问题，又出来新问题，在datanode上用jps看不到NodeManager进程；查看日志，出现错误如下：Recieved SHUTDOWN signal from Resourcemanager ,Registration of NodeManager failed, Message from ResourceManager: NodeM...

2018-10-23 19:30:32 1307

转载 Hadoop-2.7.4启动datanode失败

Hadoop-2.7.4启动datanode失败，出现如下错误：WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/opt/hbase/temp/hadoop-root/dfs/data/出错原因：datanode数据目录中还有原来老版本、上次运行后...

2018-10-23 19:20:48 581

转载 docker no space left

此文章为转载加总结；保存镜像tar包，显示设备空间不足，如何解决?参考链接：https://blog.youkuaiyun.com/niu_hao/article/details/788730761. 用df -Th查看磁盘使用情况；2. docker ps -s 查看容器大小，验证数据卷是否设置成功，若容器增长较大，说明没有成功。3.查看docker默认目录有没有改，docker默认目录空...

2018-09-28 20:06:14 612

原创启动zookeeper服务不成功，zkServer.sh status查看状态，显示not running。

在搭建hbase-hadoop-zookeeper集群的过程中，zookeeper总是起不来，遇到各种各样的问题，现在列出来做一个总结：错误1：启动zookeeper服务不成功用/usr/local/work/zookeeper-3.4.10/bin/zkServer.sh start开启zookeeper服务，显示STARTED，但是用zkServer.sh status查看状态，显示n...

2018-09-28 20:02:27 5524

原创 docker-compose安装

1. 下载安装文件docker-compose-Linux-x86_64；链接： https://github.com/docker/compose/releases2. 复制文件到bin路径，并修改文件名cp ./docker-compose-Linux-x86_64 /usr/local/bin/docker-compose3. 修改文件权限chmod + /usr/loc...

2018-09-28 11:35:20 1180

转载如何解决 image has dependent child images 错误

文章为转载：原地址http://www.ibloger.net/article/3217.html 感谢《程序喵》，方法很管用，所以转载供需~~~问题在 Docker 中删除 image 时有时会遇到类似Error response from daemon: conflict: unable to delete 6ec9a5a0fc9f (cannot be forced) - im...

2018-09-26 20:00:40 32611 1

原创 Vertica二：Vertica 的Management Console(MC)架构与安装详解

1.基础知识1.1 MC概念Management Console(MC)是基于浏览器的监控和管理工具，其图形接口为vertica数据库相关操作提供一个统一视图。通过用户友好界面，可以创建、导入和管理数据库及相关集群。使用MC可以查询数据、管理用户，并提供最新的图表，用于监测数据库的健康与性能。MC与Admintools有其相同功能，也有各自特色，相比而言，MC可提供额外的功能包括：提供...

2018-09-10 18:13:14 1513

原创 FVCOM安装

本人以前未接触过FVCOM相关，甚至都不知道FVCOM 是干什么的，但是领导要我安装部署FVCOM ，因此，作为菜鸟程序员，不管FVCOM架构及如何使用，单纯站在程序员角度安装部署FVCOM环境。 FVCOM（An Unstructured Grid, Finite-Volume Coastal Ocean Model，无结构网格有限体积海洋海岸模型），包含多种生态、海洋等模型（...

2018-08-18 11:03:05 11774 14

原创 Vertica一：vertica安装

新人第一次安装有一个偷懒（了解安装流程）的方法，在/etc/hosts中添加主机节点之后，直接执行18,19步骤，根据系统报错提示，一一去官网查找报错信息，根据报错信息，一一修改配置，在这个过程中，可以增加对vertica安装与部署流程的理解。 1. 创建管理账户vdbadmin（系统会默认创建一个，若不清楚操作，尽量不手动配）useradd vdbadmin –u 123 ...

2018-07-20 09:21:46 4798