开源
关注
分享
扫一扫
文章平均质量分 85
付江
关注软件开发和互联网业界
展开
-
从头开始学习 Kubernetes 核心原理和术语
前言最近 Kubernetes（k8s）的热度越来越高，正好反映了k8s 已经成为一个领先的自动化容器操作的开源平台。也许，再过两年大部分的服务都会运行在 k8s 集群上面，掌握 k8s 就如同程序员需要掌握基本的 Llinux 操作命令一样基础。在现在这个信息发达的社会下，谁能比别人领先一步掌握新技术，谁就在竞争中赢得了先机。 然而，在了解一个大的系统时，应该尽量先了解其基本概念、术语及核心...原创 2019-03-26 11:22:12 · 786 阅读 · 0 评论 -
基于滴滴云搭建 S3FS 及其实现机制剖析
简介S3FS ( S3 FUSE ) 是基于 FUSE 的文件系统，其使 Linux 或 Mac OS X 有能力通过 FUSE 挂载到 S3 的一个 Bucket ( 桶 ) 上，用户可以像操作本地文件系统一样操作 S3 的 Bucket 。案例使用环境名称描述操作系统CentOS Linux release 7.4.1708S3FSv1.8.3S3...原创 2019-01-02 11:05:42 · 1512 阅读 · 1 评论 -
在滴滴云 DC2 云服务器上使用 LVM 管理磁盘
LVM 是 Logical Volume Manager（逻辑卷管理器）的简写。LVM 将一个或多个硬盘的分区在逻辑上集合，相当于一个大硬盘来使用，当硬盘的空间不够使用的时候，可以继续加入其它的硬盘分区，以此实现磁盘空间的动态管理，相对于普通的磁盘分区具有更大的灵活性。与传统的磁盘与分区相比，LVM 为计算机提供了更高层次的磁盘存储。它使系统管理员可以更方便的为用户分配存储空间。在 LVM 管...原创 2019-01-11 11:10:20 · 361 阅读 · 0 评论 -
在滴滴云 DC2 云服务器上搭建 ZooKeeper 集群实战(一)
ZooKeeper 简介ZooKeeper 是一个高效的分布式协调服务，可以提供配置信息管理、命名、分布式同步、集群管理、数据库切换等服务。ZooKeeper 的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。它不适合用来存储大量信息，可以用来存储一些配置、发布与订阅等少量信息。Hadoop、Storm、消息中间件、RPC 服务框架、分布式数据库同步...原创 2019-01-04 11:05:44 · 251 阅读 · 0 评论 -
在滴滴云上学习 Kubernetes v1.13.0：集群搭建
前言Kubernetes 1.13 在 2018 年 12 初 GA，这是今年的第四次也是最后一次大版本。此版本继续关注 Kubernetes 的稳定性和可扩展性，其中在存储和群集生命周期领域的三个主要功能实现普遍可用（GA）；Kubeadm 简化集群管理、容器存储接口（CSI）和 CoreDNS 作为默认 DNS。我们用最新的版本来学习，通过使用 Kubeadm 来安装 Kubernetes...原创 2018-12-24 10:47:15 · 696 阅读 · 1 评论 -
从零开始搭建 gRPC 服务 - Golang 篇（二）
在从零开始搭建 gRPC 服务 - Golang 篇（一）中介绍了如何搭建 gRPC 环境并构建一个简单的 gRPC 服务，本文将介绍 gRPC 的 streaming 。流式 RPCgRPC 基于标准的 HTTP/2 进行传输，可以方便的实现 streaming 功能。要在 gRPC 中使用 streaming，只需要在 proto 中在请求或响应前加上 stream 即可。服务端流式 R...原创 2018-12-29 10:38:40 · 484 阅读 · 0 评论 -
基于滴滴云搭建 NFS Server
1. NFS 简介NFS 即网络文件系统，用户可以通过网络将自己服务器上的目录共享出来，具有访问权限的服务器就可以将远程服务器上的目录挂载到本地，对本地目录的读写将会映射到远程服务器。在本地机器上看，远程服务器上的目录就好像自己的一个磁盘分区一样。2. NFS Server 安装本次安装环境为：Centos 7.52.1 安装 NFSNFS 服务主要涉及到两个软件：rpcbind 和 n...原创 2018-12-28 11:05:04 · 238 阅读 · 0 评论 -
基于滴滴云 CentOS 服务器搭建 Nexus Maven 私库
本文讲解如何在滴滴云 Centos 服务器上搭建 Maven 私库， 笔者假设读者已经对于 Maven、Java有基本的了解，已经知道如何构建一个基本的 Maven 项目。Maven 私库在公司的协作开发中是必不可少的工具。 借助于私库可以引用公司内部工具包，提高常见 JAR 包下载速度等等。当我们开发一个工具包需要提供给其他业务方需要时，就可以将 JAR 包发布到 Maven 私库， 依赖方在...原创 2018-12-11 12:55:21 · 357 阅读 · 0 评论 -
在滴滴云 DC2 云服务器上搭建本地 DNS 服务
搭建本地 DNS 服务器具有很多用处，例如作为本地 DNS 使用、应对 ISP 的 DNS 劫持、智能 DNS 加快解析速度、屏蔽网页广告、指定域名解析到特定的 IP 上等。一、DNS 查询过程简介DNS 是网络分层里的应用层协议，事实上它是为其他应用层协议工作的，简单说就是把域名转化为 IP 地址（同时也提供反向域名查询的功能），因为机器识别的是拥有固定格式和含义的 IP 地址，而域名则没有...原创 2018-12-27 10:55:12 · 330 阅读 · 0 评论 -
CentOS7.4 部署 Docker
Docker 是 PaaS 提供商 dotCloud 开源的一个基于 LXC 的高级容器引擎，自 2013 年以来非常火热，无论是从 GitHub 上的代码活跃度还是在从各大厂商如 RedHat、Google、Microsoft 等的支持上。在商业领域中，创新的过程意味着是不断试错，而云时代的到来则为应用的创建和迭代效率带来进一步的提升，而 cloud 时代通常是采用标准配置的 x86 硬件来降...原创 2018-12-10 11:13:10 · 273 阅读 · 0 评论 -
如何在滴滴云 DC2 上搭建 MySQL 服务
前言MySQL 是什么MySQL 是一种开放源代码的关系型数据库管理系统（RDBMS），使用最常用的数据库管理语言—结构化查询语言（SQL）进行数据库管理。准备系统硬件滴滴云服务器（DC2）: 安全可靠，拥有极高的性价比高，为开发者的需求而设计。适合大中小型用户购买使用。本文示例采用：通用型 2核CPU 4GB内存 500G的EBS云盘的服务器配置依赖软件系统：CentOS 7....原创 2018-12-10 11:11:30 · 439 阅读 · 0 评论 -
滴滴云使用 DataX 实现 Hive 与 MySQL 数据传输
1. DataX 简介：DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SQLServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。本例中将使用 DataX 实现 Hive 与MySQL之间的数据传输。本例中所使...原创 2018-12-07 11:14:22 · 3587 阅读 · 0 评论 -
基于滴滴云之 Netperf 网络性能测试工具的搭建及使用
1. 介绍 Netperf网络性能是云服务器的重要指标，对网络性能进行准确的测试非常重要。Netperf 是一种可以用来衡量不同类型网络性能的工具，它可以用来测试 PPS（即每秒钟发送数据包的数目）、单向吞吐量和端到端延迟。本文给大家简述如何采用 Netperf 对网络性能进行测试。2. 安装 Netperf2.1 环境准备测试机被压力测试网络 PPS 的 DC2 实例，可以用来作...原创 2018-12-07 11:12:49 · 459 阅读 · 0 评论 -
如何使用 Rancher 创建 Kubernetes 集群并进行可视化管理
写在前面：本文是《Kubernetes Tutorials》系列文章的第一篇，本文的一个重要目的是帮助您如何使用 Rancher 从零开始搭建一个 Kubernetes 集群，并初步了解多集群可视化管理。《Kubernetes Tutorials》系列后续还会陆续推出更多相关系列文章详细介绍更丰富的 Kubernetes 安装部署、集群管理实践与原理解析，尽情期待～天才都会三个神操作 Watch...原创 2018-12-14 11:53:52 · 2202 阅读 · 0 评论 -
基于滴滴云服务器搭建 Consul 集群
前言Consul 是什么Consul 是用 Go 开发的分布式服务协调管理的工具，它提供了服务发现，健康检查，Key／Value 存储等功能，并且支持跨数据中心的功能。Consul 基本概念Agent 组成 Consul 集群的每个成员上都要运行一个 Agent，可以通过 Consul Agent 命令来启动。Agent 可以运行在 Server 状态或者 Client 状态。C...原创 2018-12-14 11:39:29 · 396 阅读 · 0 评论 -
在滴滴云 DC2 云服务器上搭建 ELK 日志采集系统
前段时间大学同学聚会，一个在读的博士同学谈到他们实验室做实验时，物理服务器需要向老师申请且组内同学都共用那些机器。由于运行一些大数据和人工智能的项目比较耗费资源，且对资源环境的隔离要求比较高，因而很多时候用机器还得排队（毕竟学校经费和底层基础设施没有公司充裕），不是很方便。于是我就对他说到，为什么不尝试在公有云上面购买 VM 呢？便宜又好用，实验室每个月经费买虚拟机是绰绰有余的，同时因为公有云可以...原创 2018-12-06 15:38:49 · 633 阅读 · 0 评论 -
使用滴滴云快速搭建 Open-Falcon 监控平台
最近笔者申请了一个开源项目的支持计划，获得了滴滴云的一台免费的服务器一段时间。Open-Falcon 是非常优秀的一款开源监控系统，正好最近想弄一个测试环境尝试下 Open-Falcon，把此次搭建的过程分享给大家。准备滴滴云服务器首先登陆滴滴云，申请一台滴滴云服务器。具体的步骤就不讲了，大家可以参考滴滴云的帮助手册。下面我们看到的，是我已经申请好的一台 2核4G的服务器 啦。安装数...原创 2018-12-06 15:35:52 · 518 阅读 · 0 评论 -
微信公众号开发初探
最近利用空闲时间，申请了个微信公众号，完成一些小功能练练手。本文总结了开发公众号期间的一些步骤，心得和体会，希望能帮助更多想做微信开发的小白开发者。申请微信公众号要体验微信公众号开发，首先得有一个公众号，直接在官网申请即可（记住需要新申请公众号，而不是用你原来的 QQ 或微信登录）。申请过程中，要注意的是，我们申请的是订阅号，用于个人开发。申请成功后，登录到公众号后台，左侧有丰富的菜单供...原创 2018-12-05 15:26:54 · 248 阅读 · 0 评论 -
基于滴滴云搭建轻量文档网站生成工具 Docsify
Docsify 是一个动态生成文档网站的工具。不同于 GitBook、Hexo 的地方是它不会将 .md 转成 .html 文件，所有转换工作都是在运行时进行。这非常实用，如果只是需要快速的搭建一个小型的文档网站，或者不想因为生成的一堆 .html 文件“污染” commit 记录，只需要创建一个 index.html 就可以开始写文档，可以直接部署在 GitHub Pages，也可以部署在云上...原创 2019-01-03 11:25:37 · 763 阅读 · 0 评论 -
使用 OVS-DPDK 加速滴滴云网络
在基于现有 OVS-DPDK 开源软件基础上，滴滴云技术团队通过创新性的改进，实现了 ms 级别的热升级，同时保持现有的高性能转发能力。背景滴滴云初期采⽤学习 OpenStack 的思路，采用内核态的 OVS 实现了 SDN OverLay 网络。这个实践过程中，我们也遇到了一些问题，可以归纳为以下几个⽅面：性能不高⽆法热升级开发难度⼤维护成本高原型设计针对这些问题，经过技术调...原创 2019-01-08 11:24:54 · 1513 阅读 · 0 评论 -
在滴滴云快速搭建自己的简易服务集群（入门版）
引言万物互联的时代，各行各业都或多或少的接入线上，作为开发人员，我们有了小而美的产品或服务方面的想法，就把它她做出来放到线上，让它发展壮大。我以滴滴云为例，教你一步一步的搭建自己的服务器集群，包括负载均衡、Web 应用安全防火墙、构建部署等，当然这些都是可以根据你的服务发展拆分的。以下小节循序渐进，每一节都可以停止，满足你线上服务发展的每一步诉求。名词解释内网互通: 同一账户下的资源互...原创 2019-03-08 13:42:41 · 4228 阅读 · 0 评论 -
基于滴滴云安装 Docker 并上传镜像到滴滴云 Docker 仓库
前言Docker 是一个应用程序，它简化了容器中应用程序进程的管理过程。容器允许您在资源隔离的进程中运行应用程序。容器与虚拟机类似，但容器更便携、更资源友好，并且更依赖于主机操作系统。本文将介绍如何用滴滴云服务器在 Ubuntu 16.04 上安装和使用 Docker Community Edition（CE），我们将安装 Docker、使用镜像和容器，并将镜像上传到 Docker 仓库。目...原创 2019-03-12 13:14:58 · 900 阅读 · 0 评论 -
在滴滴云 DC2 上搭建 Gerrit 代码审查工具
Gerrit 是一个基于 Web 的代码评审工具，它基于 Git版本控制系统。Gerrit 旨在提供一个轻量级框架，用于在代码入库之前对每个提交进行审阅。更改将上传到 Gerrit，但实际上并不成为项目的一部分，直到它们被审阅和接受。Gerrit 是标准开源过程的一个简单工具，用来支持提交补丁程序，然后由项目成员在应用到代码库之前进行评审。Gerrit 事实上是一个临时区域,在提交的代码成为代码...原创 2019-03-11 10:53:09 · 379 阅读 · 0 评论 -
基于滴滴云搭 SeaweedFS 存储系统
简介SeaweedFS 是一个简单的、高扩展性的分布式文件系统，是 Fb 的 Haystack 开源版本，相对于传统的分布式文件系统，它在应对小对象存储场景中具有巨大的优势。SeaweedFS 中每个文件的元信息只有 40 个字节，大大缩减了元信息的存储空间。在磁盘读取内容时也能够在 O(1) 的复杂度内完成。系统搭建环境名称描述操作系统CentOS Linux r...原创 2019-03-19 17:08:47 · 1249 阅读 · 0 评论 -
滴滴云安装并使用 Ansible
一、概述本文主要介绍在滴滴云部署 Ansible，以及通过 2 台服务器演示通过 Ansible 安装 Nginx 服务的过程。二、什么是 AnsibleAnsible 是一款开源的 IT 配置管理、服务部署与编排工具。官方的解释是 “Ansible is Simple IT Automation”——简单的自动化 IT 工具。该工具的目标有以下几项：自动化部署 APP自动化管理配置...原创 2019-03-07 11:54:53 · 286 阅读 · 0 评论 -
在滴滴云 DC2 云服务器上部署 Ghost
Ghost 是一个免费的开源博客平台，旨在简化个人博客和在线出版物的在线发布过程。和静态博客不同，Ghost 是轻量级的动态博客，可以通过管理后台直接写作和管理博客。相比于 WordPress, Ghost 搭建在 Node.js 环境上，轻量，快速，简洁。适配移动端，手机阅读体验很好。总体来说亮点如下：写作简单，可以随时随地写作UI 简洁、美观，主题替换方便响应式布局，移动设备视觉效果...原创 2019-03-14 10:55:50 · 571 阅读 · 0 评论 -
基于滴滴云服务器进行 ZStack 企业版 3.2.0 的单节点搭建
前言ZStack 是下一代开源的云计算 IaaS（基础架构即服务）软件。它主要面向未来的智能数据中心，通过提供灵活完善的 APIs 来管理包括计算、存储和网络在内的数据中心资源。用户可以利用 ZStack 快速构建自己的智能云数据中心，也可以在稳定的 ZStack 之上搭建灵活的云应用场景，例如：VDI（虚拟桌面基础架构）、PaaS（平台即服务）、SaaS（软件即服务）等。本文将介绍如何基于...原创 2019-03-01 16:40:37 · 1138 阅读 · 0 评论 -
在滴滴云 DC2 编译安装最新 GCC 版本
简介使用新的编译特性或者定制化 GCC 功能，需要自己编译安装GCC，不同 GCC 版本可以使用不同方式编译安装。登陆 DC2 并查看 GCC 版本$ ssh dc2-user@117.51.156.87 # ssh key 登陆 这里不需要登陆密码$ which gcc/usr/bin/which: no gcc in (/usr/local/sbin:/sbin:/bin:/usr/...原创 2019-02-01 11:13:17 · 320 阅读 · 0 评论 -
基于滴滴云的网络协议栈性能分析工具使用
概要分析 Linux 网络协议栈性能有多种方式和工具。本文主要通过 Perf 生成 On-CPU 火焰图的方式，分析 Linux 内核网络协议栈在特定场景下的性能瓶颈，从而知晓当前协议栈的网络状况。关于 On/Off-CPU概念定义On-CPU: where threads are spending time running on-CPU.Off-CPU: where time is s...原创 2019-01-22 10:42:00 · 368 阅读 · 0 评论 -
滴滴云微信小程序部署指导
云上部署微信小程序，需要首先购买云主机及 EIP、安全证书等资源，并且完成域名备案。（滴滴云提供免费备案服务，协助用户完成域名备案）相关资源准备妥当以后，即可开始部署相关服务了。部署任务的第一步需要在滴滴云主机上完成 Nginx 等 Web 服务部署。本文以 Nginx 举例，如果需要其他案例或者购买等指导，请登录滴滴云官网帮助与支持查看。登录 DC2，安装 Nginx：sudo su...原创 2019-01-16 11:21:30 · 344 阅读 · 0 评论 -
基于滴滴云搭建 Lustre 分布式文件系统
1. Lustre简介Lustre 是一个具有高可用、高性能、可扩展的分布式文件系统。主要由 Manage Server、Meta Data Server 和 Data Server 组成。详细介绍可以参见 Lustre 官网 。2. Lustre 安装2.1 Server 端安装安装 e2fsprogs :yum --nogpgcheck --disablerepo=* --enab...原创 2019-01-16 11:16:00 · 894 阅读 · 0 评论 -
使用 Kubernetes 和滴滴云 Docker 仓库构建 CI/CD 流水线
写在前面：《Kubernetes Tutorials》 系列文章旨在帮助您从入门到高阶逐步了解并掌握kubernetes技术栈的实操、理论和最佳实践。主题将包括 Docker 基础与实操、Kubernetes 基础与实操、基于 Kubernetes 的应用部署(工作负载版与集群版)、基于 Kubernetes 的 CI/CD、Kubernetes 集群与应用监控、Kubernetes 运维与最佳...原创 2019-01-21 11:28:16 · 683 阅读 · 0 评论 -
基于滴滴云的蚂蚁蛋运维助手的安装和简单使用(一)
MYDan 运维助手 简介MYDan ( 蚂蚁蛋助手 ) 是一个开源的运维工具，它采用自定义协议来管理分布在全球各个地区下隔离网络中的服务器。它具有如下特点：简单： 简单的安装方式，网络结构简单，可以方便的使用上专线资源安全： 密钥可以定时更新快速： 调用机器命令和传输文件非常高效全面： 支持 Linux 和 Window 环境MYDan 在生成环境中已经被广泛使用，可以作为调度系...原创 2019-01-21 11:25:49 · 525 阅读 · 0 评论 -
在滴滴云上搭建 API-Gateway Kong 实践
1. 什么是 API-Gateway ?什么是 Kong ?API-Gateway 是微服务架构体系中一个比较重要的组件，它通常构成所有微服务的入口，它的职责比较多，其较为通用的一些功能是：路由：路由是 API-Gateway 最重要的功能，基于路由 API-Gateway 通常能根据请求的特征，将流量导向不同的服务，或是不同服务的不同版本；或是同一服务的不同单元。协议转换：在 API-G...原创 2019-01-09 11:07:43 · 1060 阅读 · 0 评论 -
云服务器搭建 Prometheus 与实战（上）
1.前言背景衡量一个公司技术成熟与否的重要因素是一个公司的运维系统的水准，运维系统的核心便是监控与报警，诸多初创公司或传统行业区别于成熟大厂的主要方面便是难以建立快速有效的监控与质量体系抑或是他们本身便不够重视。今天我们要讨论的便是一款优秀的监控报警框架。PrometheusPrometheus 是什么？简而言之，Prometheus 是一款基于 Google 内部 Borgmon 监控系...原创 2019-01-14 13:40:55 · 1092 阅读 · 0 评论 -
在滴滴云 DC2 上部署 Manifold 文本收集与阅读平台
简介Manifold 是一个开源 Web 应用程序，能够允许用户发布基于 Web 的书籍以及其他基于文本的媒体，以便用户自由阅读并能为这些文本添加注释。Manifold 可以用于开放式访问（OA）材料和开放式教育资源（OER），可以整合到教室、编写训练营、研讨会、图书馆或其他您新网通过协作阅读交流知识的场景。Manifold 由 Mellon 基金会赞助，最初是以是以学术专著为基础制作，但可以...原创 2019-01-14 13:39:24 · 271 阅读 · 0 评论 -
基于滴滴云搭建 Ceph 开发环境
相关依赖包安装安装依赖包yum install libtool gcc gcc-c++ libuuid-devel keyutils-libs-devel libblkid-devel redhat-lsb libedit-* yum install libatomic_ops-devel snappy-devel leveldb-devel libudev-devel cryptopp-...原创 2019-01-14 13:37:56 · 505 阅读 · 0 评论 -
在滴滴云 DC2 云服务器上搭建 Codis
前言Codis 是什么Codis 是 Wandoujia Infrastructure Team 开发的一个分布式 Redis 服务，用户可以看成是一个无限内存的 Redis 服务, 有动态扩/缩容的能力。Codis 的好处Redis 有获得动态扩容/缩容的能力，增减 Redis 实例对 client 完全透明，不需要重启服务，业务方不需要担心 Redis 内存爆掉的问题和申请太大而造成浪...原创 2018-11-28 11:27:13 · 301 阅读 · 0 评论 -
如何在滴滴云 DC2 上搭建 ETCD 集群
简介ETCD 是一个开源的分布式 Key-Value 存储，它采用 Raft 算法来保证数据的强一致性，故常常用来存取分布式系统中对一致性要求比较苛刻的配置信息，被广泛应用。它具有如下特点：简单：为用户提供了简单而友好的 API 接口（gRPC）安全：客户端认证授权自动支持 TLS快速：基准测试性能可达每秒 10000 写操作可靠：采用 Raft 算法实现的分布式一致ETCD 被很...原创 2018-11-28 11:23:30 · 186 阅读 · 0 评论 -
Linux 内核 IPC 通信源码分析-消息队列
简介目的本文对最新的 Linux-4.19.4 内核源码进行分析，并详细指出内核 IPC 机制中的消息队列的原理。进程间通信IPC（进程间通信，InterProcess Communication）是内核提供的系统中进程间进行通信的一种机制。系统中每个进程的用户地址空间互不干扰，所以需要内核来提供进程之间进行通信机制。进程间通信的七种方式：管道/匿名管道 (PIPE)有名管道 (F...原创 2018-11-28 10:52:53 · 1685 阅读 · 0 评论