clever101的专栏

作者：朱金灿来源：http://blog.youkuaiyun.com/clever101          一个分布式计算系统的硬件应该如何配置？个人愚见，应该根据分布式计算的计算类型来配置。分布式并行处理系统从磁盘I/O角度可以分为弱I/O和强I/O两种。一般的互联网大数据分析为弱I/O，这样存储可以采用分布式存储，具体为一个计算节点上挂一个大硬盘，典型例子为阿里云。架构图如下：        上图展示了

作者：朱金灿来源：http://blog.youkuaiyun.com/clever101        一般来说桌面软件以单机单进程的方式运行，在调试程序时可以方便地进行单步调试。而并行处理系统往往以多机多进程的方式运行，一旦出错对于如何定位错误所在成了一件棘手的事情。这时日志调试成为定位错误的有效手段。下面谈谈如何设计日志可以方便地定位错误。         首先是日志文件的命名，最初的命名是采用软件名字

作者：朱金灿来源：http://blog.youkuaiyun.com/clever101         在部署分布式系统之前需要先了解用户单位的硬件情况。同时用户单位领导很多时候也会针对单位硬件情况提出自己的需求。         第一种是用户单位有多台性能不足的服务器。于是他想通过多台服务器堆叠构成更强大的服务器。这种情况下解决方案有：1、类似于IBM x3850的堆叠，可将两台硬件

作者：朱金灿来源：https://blog.youkuaiyun.com/clever101准备材料。编译环境：win10企业版编译工具：vs2013、mingw32。源码：pthread库的头文件（config.h、implement.h、pthread.h、sched.h、semaphore.h）boost_1_63_0dokany-0.7.4ceph-dokan-...

作者：朱金灿来源：https://blog.youkuaiyun.com/clever101为了解决昨天的问题，今天想了一下，换了一个安装包下载地址，改为：http://download.ceph.com/rpm-hammer/el7/noarch/ceph-release-1-1.el7.noarch.rpm1.在3台虚拟机上添加Ceph Giant版本库并更新yum（更新所有的系统库...

作者：朱金灿来源：https://blog.youkuaiyun.com/clever101使用OpenStack开辟3台虚拟机节点。分别将三个虚拟机命名为ceph-node1、ceph-node2和ceph-node3，并修改对应的host文件，具体是在第一台虚拟机上执行命令：# hostnamectl set-hostname ceph-node1# vi /etc/hosts按「o...

作者：朱金灿来源：https://blog.youkuaiyun.com/clever101centos 7环境下：mkdir airflow //创建airflow文件夹git clone https://github.com/puckel/docker-airflow.git /root/airflow //下载源码到airflow文件夹docker run ...