- 博客(368)
- 资源 (47)
- 收藏
- 关注
RSS订阅原创 滴滴机器学习平台架构演进之路
现在很多互联网公司都有自己的机器学习平台，冠以之名虽然形形色色，但就平台所要解决的问题和技术选型基本还是大同小异。所谓大同是指大家所要处理的问题都相似，技术价格和选型也差不太多，比如都会使用 GPU 集群、采用 Spark/K8S 平台等。所谓小异是指各家规模不同，各家都在结合自己的情况、所处的阶段并根据自己的特点解决平台化的问题。以下就滴滴的机器学习平台做一些介绍，侧重于介绍机器学习平台不同...
2019-03-28 21:37:57
3388
原创 从头开始学习 Kubernetes 核心原理和术语
前言最近 Kubernetes（k8s）的热度越来越高，正好反映了k8s 已经成为一个领先的自动化容器操作的开源平台。也许，再过两年大部分的服务都会运行在 k8s 集群上面，掌握 k8s 就如同程序员需要掌握基本的 Llinux 操作命令一样基础。在现在这个信息发达的社会下，谁能比别人领先一步掌握新技术，谁就在竞争中赢得了先机。 然而，在了解一个大的系统时，应该尽量先了解其基本概念、术语及核心...
2019-03-26 11:22:12
786
原创 基于滴滴云搭 SeaweedFS 存储系统
简介SeaweedFS 是一个简单的、高扩展性的分布式文件系统，是 Fb 的 Haystack 开源版本，相对于传统的分布式文件系统，它在应对小对象存储场景中具有巨大的优势。SeaweedFS 中每个文件的元信息只有 40 个字节，大大缩减了元信息的存储空间。在磁盘读取内容时也能够在 O(1) 的复杂度内完成。系统搭建环境名称描述操作系统CentOS Linux r...
2019-03-19 17:08:47
1245
原创 使用滴滴云弹性推理服务部署 Inception-v3 模型
滴滴云近期推出了弹性推理服务 EIS（Elastic Inference Service）。借助滴滴云 EIS 可快速将在主流深度学习框架上训练的模型发布为在线推理服务，性能较 TensorFlow Serving 有明显的提高。相比较传统的推理服务发布模式，滴滴云弹性推理服务 EIS 具有如下特点：易用：无需考虑基础架构，仅需关注模型和推理服务。高可用：滴滴云弹性推理服务自带高可用保障和...
2019-03-18 11:27:34
957
原创 在滴滴云 DC2 云服务器上部署 Ghost
Ghost 是一个免费的开源博客平台，旨在简化个人博客和在线出版物的在线发布过程。和静态博客不同，Ghost 是轻量级的动态博客，可以通过管理后台直接写作和管理博客。相比于 WordPress, Ghost 搭建在 Node.js 环境上，轻量，快速，简洁。适配移动端，手机阅读体验很好。总体来说亮点如下：写作简单，可以随时随地写作UI 简洁、美观，主题替换方便响应式布局，移动设备视觉效果...
2019-03-14 10:55:50
570
原创 基于滴滴云安装 Docker 并上传镜像到滴滴云 Docker 仓库
前言Docker 是一个应用程序，它简化了容器中应用程序进程的管理过程。容器允许您在资源隔离的进程中运行应用程序。容器与虚拟机类似，但容器更便携、更资源友好，并且更依赖于主机操作系统。本文将介绍如何用滴滴云服务器在 Ubuntu 16.04 上安装和使用 Docker Community Edition（CE），我们将安装 Docker、使用镜像和容器，并将镜像上传到 Docker 仓库。目...
2019-03-12 13:14:58
900
原创 在滴滴云 DC2 上搭建 Gerrit 代码审查工具
Gerrit 是一个基于 Web 的代码评审工具，它基于 Git版本控制系统。Gerrit 旨在提供一个轻量级框架，用于在代码入库之前对每个提交进行审阅。更改将上传到 Gerrit，但实际上并不成为项目的一部分，直到它们被审阅和接受。Gerrit 是标准开源过程的一个简单工具，用来支持提交补丁程序，然后由项目成员在应用到代码库之前进行评审。Gerrit 事实上是一个临时区域,在提交的代码成为代码...
2019-03-11 10:53:09
378
原创 在滴滴云快速搭建自己的简易服务集群（入门版）
引言万物互联的时代，各行各业都或多或少的接入线上，作为开发人员，我们有了小而美的产品或服务方面的想法，就把它她做出来放到线上，让它发展壮大。我以滴滴云为例，教你一步一步的搭建自己的服务器集群，包括负载均衡、Web 应用安全防火墙、构建部署等，当然这些都是可以根据你的服务发展拆分的。以下小节循序渐进，每一节都可以停止，满足你线上服务发展的每一步诉求。名词解释内网互通: 同一账户下的资源互...
2019-03-08 13:42:41
4226
原创 滴滴云安装并使用 Ansible
一、概述本文主要介绍在滴滴云部署 Ansible，以及通过 2 台服务器演示通过 Ansible 安装 Nginx 服务的过程。二、什么是 AnsibleAnsible 是一款开源的 IT 配置管理、服务部署与编排工具。官方的解释是 “Ansible is Simple IT Automation”——简单的自动化 IT 工具。该工具的目标有以下几项：自动化部署 APP自动化管理配置...
2019-03-07 11:54:53
286
原创 基于滴滴云服务器进行 ZStack 企业版 3.2.0 的单节点搭建
前言ZStack 是下一代开源的云计算 IaaS（基础架构即服务）软件。它主要面向未来的智能数据中心，通过提供灵活完善的 APIs 来管理包括计算、存储和网络在内的数据中心资源。用户可以利用 ZStack 快速构建自己的智能云数据中心，也可以在稳定的 ZStack 之上搭建灵活的云应用场景，例如：VDI（虚拟桌面基础架构）、PaaS（平台即服务）、SaaS（软件即服务）等。本文将介绍如何基于...
2019-03-01 16:40:37
1133
原创 基于滴滴云部署 Elasticsearch + Kibana + Fluentd
一、Elasticsearch + Kibana + Fluentd 简单介绍EFK 架构可用于日志的收集、存储、搜索和分析。组件的功能说明如下：Fluentd 用以收集日志。Elasticsearch 简称 es 主要用以数据的存储并提供索引与搜索功能。Kibana 搜索与分析。二、环境准备在滴滴云官网购买一台 DC2 实例，规格无需太大，需要带 EIP 方便下载和安装。三、E...
2019-02-28 11:29:26
328
原创 在滴滴云上搭建 MongoDB 集群 （一）
1、准备工作我们之前已经介绍过了 MongoDB 在滴滴云上的搭建。参考：<<在滴滴云 DC2 云服务器上搭建 MongoDB 实战>>但是生产环境中，通常需要更高的稳定性要求，单机版的 MongoDB 服务器并不能满足，因此我们需要高可用的 MongoDB 集群。硬件准备我们本次只是模拟集群的搭建。因此直接采用上一次的搭建环境，通过不同的端口模拟集群。2、简介..
2019-02-25 11:40:14
356
原创 在滴滴云 DC2 编译安装最新 GCC 版本
简介使用新的编译特性或者定制化 GCC 功能，需要自己编译安装GCC，不同 GCC 版本可以使用不同方式编译安装。登陆 DC2 并查看 GCC 版本$ ssh dc2-user@117.51.156.87 # ssh key 登陆 这里不需要登陆密码$ which gcc/usr/bin/which: no gcc in (/usr/local/sbin:/sbin:/bin:/usr/...
2019-02-01 11:13:17
320
原创 基于滴滴云 DC2 搭建 VPP 应用实例
滴滴云 DC2 搭建 VPP 环境Cisco 开源了自己的数据包处理框架，并将其纳入 Linux 基金会的 FD.io，开源的内容就是 VPP。这个 VPP 实现了 VSwitch、VRouter 等功能，对于当前的云网络有很大的用处，很多公司也开始使用 VPP 来搭建自己的数据转发面，本文将基于滴滴云的 DC2 云服务器来 搭建 VPP 基本环境。创建 DC2相关购买和创建流程可以查看滴...
2019-01-30 11:07:31
466
原创 基于滴滴云 MySQL 验证索引优化简单查询
1. MySQL 的索引索引用于快速查找具有某一特定列值的行，如果不使用索引，MySQL 必须从表中的第一行开始读取整个表来找到相关的行，表越大，开销越大。如果表中有待查询列的索引，MySQL 可以在数据文件中快速定位所要查找的内容，而不用查询所有数据，速度大大优于顺序读取每一行数据。本文将重点介绍基于滴滴云 MySQL 验证默认引擎 InnoDB 下索引对于简单查询的优化效果。2. B+ ...
2019-01-28 10:47:01
354
基于滴滴云 GPU 实现简单 MINIST 手写识别
1. TensorFlow 与 MNISTTensorFlow 是谷歌于 2015 年 11 月 9 日正式开源的计算框架，可以很好地支持机器学习的各种算法，其灵活的架构可以在多种平台上展开计算，例如CPU或GPU台式机、服务器，移动设备等等。MNIST 是机器学习领域的一个经典入门 Demo，数据集是由 6 万张训练图片和 1 万张测试图片构成，期望效果是让机器识别一系列大小为 28x28 ...
2019-01-25 14:16:00
415
原创 如何在滴滴云上用 Darknet 训练 VOC
准备资源准备登录滴滴云主页创建 GPU 云主机。环境准备使用 SSH 客户端登录云主机。编译 Darknet：sudo yum install -y opencv-core.x86_64 opencv-devel.x86_64 opencv.x86_64#git clone命令将会在当前目录下下载源代码，所以尽量自己选择一个合适的目录运行该命令git clone https...
2019-01-22 10:43:20
419
原创 基于滴滴云的网络协议栈性能分析工具使用
概要分析 Linux 网络协议栈性能有多种方式和工具。本文主要通过 Perf 生成 On-CPU 火焰图的方式，分析 Linux 内核网络协议栈在特定场景下的性能瓶颈，从而知晓当前协议栈的网络状况。关于 On/Off-CPU概念定义On-CPU: where threads are spending time running on-CPU.Off-CPU: where time is s...
2019-01-22 10:42:00
368
原创 使用 Kubernetes 和滴滴云 Docker 仓库构建 CI/CD 流水线
写在前面：《Kubernetes Tutorials》 系列文章旨在帮助您从入门到高阶逐步了解并掌握kubernetes技术栈的实操、理论和最佳实践。主题将包括 Docker 基础与实操、Kubernetes 基础与实操、基于 Kubernetes 的应用部署(工作负载版与集群版)、基于 Kubernetes 的 CI/CD、Kubernetes 集群与应用监控、Kubernetes 运维与最佳...
2019-01-21 11:28:16
682
原创 基于滴滴云的蚂蚁蛋运维助手的安装和简单使用(一)
MYDan 运维助手 简介MYDan ( 蚂蚁蛋助手 ) 是一个开源的运维工具，它采用自定义协议来管理分布在全球各个地区下隔离网络中的服务器。它具有如下特点：简单： 简单的安装方式，网络结构简单，可以方便的使用上专线资源安全： 密钥可以定时更新快速： 调用机器命令和传输文件非常高效全面： 支持 Linux 和 Window 环境MYDan 在生成环境中已经被广泛使用，可以作为调度系...
2019-01-21 11:25:49
521
原创 滴滴云部署 ZooKeeper + Kafka
Kafka 是一种分布式的流处理平台，流处理平台有以下三个特点：发布和订阅流记录，类似于消息队列和企业消息系统。流记录的存储具有容错性。实时处理流记录。Kafka 广泛应用于以下两方面：为系统和应用之间的数据可靠传输建立实时的流式数据通道。为传输或响应数据流建立实时的流式应用。Kafka 以集群的方式运行在一台或跨机房的多台服务器上，储存在 Kafka 集群上的流记录用不同的...
2019-01-18 11:15:17
294
原创 MySQL5.7在滴滴云主机上的主从复制
MySQL5.7.9 主从同步配置环境CentOS 6.9 X86_64MySQL 5.7.9配置本文以在滴滴云主机 DC2 上的操作为例。首先要确定两台机器保证时间同步，然后确保两台机器已经安装好 MySQL5.7。登录账号：root，密码：123123 这里不做赘述。假设：MySQL-master：192.168.2.11MySQL-slave：:192.168.2.12...
2019-01-17 11:28:41
211
原创 滴滴云微信小程序部署指导
云上部署微信小程序，需要首先购买云主机及 EIP、安全证书等资源，并且完成域名备案。（滴滴云提供免费备案服务，协助用户完成域名备案）相关资源准备妥当以后，即可开始部署相关服务了。部署任务的第一步需要在滴滴云主机上完成 Nginx 等 Web 服务部署。本文以 Nginx 举例，如果需要其他案例或者购买等指导，请登录滴滴云官网帮助与支持查看。登录 DC2，安装 Nginx：sudo su...
2019-01-16 11:21:30
342
原创 基于滴滴云搭建 Lustre 分布式文件系统
1. Lustre简介Lustre 是一个具有高可用、高性能、可扩展的分布式文件系统。主要由 Manage Server、Meta Data Server 和 Data Server 组成。详细介绍可以参见 Lustre 官网 。2. Lustre 安装2.1 Server 端安装安装 e2fsprogs :yum --nogpgcheck --disablerepo=* --enab...
2019-01-16 11:16:00
891
原创 网站备案的必要性及如何一次通过备案
什么是备案？为什么要备案？怎么备案？最近经常听到建站朋友备案三连问。今天就来讲讲我们为什么要做网站备案以及如何快速通过备案。一、为什么要备案？爆炸式的网络信息年代，丰富我们生活的同时，也导致了不良信息的泛滥。为了净化网络环境，根据国务院 2000 年颁布的《互联网信息服务管理办法》第四条：“未取得许可或者未履行备案手续的，不得从事互联网信息服务”。通俗讲，只有完成备案我们才能开办网站或提供其他...
2019-01-15 14:27:19
1087
原创 滴滴云上搭建 Gluster 分布式文件系统
Gluster 是什么Gluster 是一个分布式文件系统，与 CephFS, HDFS 等类似。Gluster 架构Volume一块磁盘在 Gluster 里叫一个 brick，多个 brick 组成一个 volume。Volume 是逻辑磁盘，有以下类型：分布式。一个 volume 的多个文件分布在多个 brick 上，一个文件只在一个 brick 上出现，如果这个磁盘坏了，那么文...
2019-01-15 14:26:18
312
原创 云服务器搭建 Prometheus 与实战（上）
1.前言背景衡量一个公司技术成熟与否的重要因素是一个公司的运维系统的水准，运维系统的核心便是监控与报警，诸多初创公司或传统行业区别于成熟大厂的主要方面便是难以建立快速有效的监控与质量体系抑或是他们本身便不够重视。今天我们要讨论的便是一款优秀的监控报警框架。PrometheusPrometheus 是什么？简而言之，Prometheus 是一款基于 Google 内部 Borgmon 监控系...
2019-01-14 13:40:55
1091
原创 在滴滴云 DC2 上部署 Manifold 文本收集与阅读平台
简介Manifold 是一个开源 Web 应用程序，能够允许用户发布基于 Web 的书籍以及其他基于文本的媒体，以便用户自由阅读并能为这些文本添加注释。Manifold 可以用于开放式访问（OA）材料和开放式教育资源（OER），可以整合到教室、编写训练营、研讨会、图书馆或其他您新网通过协作阅读交流知识的场景。Manifold 由 Mellon 基金会赞助，最初是以是以学术专著为基础制作，但可以...
2019-01-14 13:39:24
271
原创 基于滴滴云搭建 Ceph 开发环境
相关依赖包安装安装依赖包yum install libtool gcc gcc-c++ libuuid-devel keyutils-libs-devel libblkid-devel redhat-lsb libedit-* yum install libatomic_ops-devel snappy-devel leveldb-devel libudev-devel cryptopp-...
2019-01-14 13:37:56
505
原创 Router-Based HDFS Federation 在滴滴大数据的应用
一、背景HDFS 的 Master/Slave 架构，使得其具有单点瓶颈，即随着业务数据的大规模膨胀，Master 节点在元数据存储与提供服务上都会存在瓶颈。为了克服 HDFS 单点瓶颈存在的扩展性、性能、隔离问题，社区提出了Federation（https://issues.apache.org/jira/browse/HDFS-1052 ）方案来进行解决。但是使用该方案之后，暴露给客户的问...
2019-01-11 11:11:43
1886
原创 在滴滴云 DC2 云服务器上使用 LVM 管理磁盘
LVM 是 Logical Volume Manager（逻辑卷管理器）的简写。LVM 将一个或多个硬盘的分区在逻辑上集合，相当于一个大硬盘来使用，当硬盘的空间不够使用的时候，可以继续加入其它的硬盘分区，以此实现磁盘空间的动态管理，相对于普通的磁盘分区具有更大的灵活性。与传统的磁盘与分区相比，LVM 为计算机提供了更高层次的磁盘存储。它使系统管理员可以更方便的为用户分配存储空间。在 LVM 管...
2019-01-11 11:10:20
361
原创 运维平台信用分——滴滴内部的数据驱动
在大家的印象中，运维人员更多的是从属业务的角色。在传统的企业 IT 中，没有快速的产品迭代，没有每天成百上千次的服务发布和伸缩容。这样的角色看似没有问题，但在如今的 DevOps 时代，日常的运维工作中每天要应对成百上千次的服务发布与线上操作，如果运维人员（即 SRE）仍然只是被动的去应对这种变化，所造成的结果，必然是疲于应付，最终会对全平台的业务稳定性造成很大隐患。那么在这种量变引起质变的挑战...
2019-01-10 11:13:19
344
原创 滴滴 Elasticsearch 多集群架构实践
Elasticsearch 是基于 Lucene 实现的分布式搜索引擎，提供了海量数据实时检索和分析能力。Elastic 公司开源的一系列产品组成的 Elastic Stack，可以为日志服务、搜索引擎、系统监控等提供简单、易用的解决方案。一、滴滴 Elasticsearch 简介滴滴 2016 年初开始构建 Elasticsearch 平台，如今已经发展到超过 3500+ Elasticse...
2019-01-09 11:14:32
396
原创 在滴滴云上搭建 API-Gateway Kong 实践
1. 什么是 API-Gateway ?什么是 Kong ?API-Gateway 是微服务架构体系中一个比较重要的组件，它通常构成所有微服务的入口，它的职责比较多，其较为通用的一些功能是：路由：路由是 API-Gateway 最重要的功能，基于路由 API-Gateway 通常能根据请求的特征，将流量导向不同的服务，或是不同服务的不同版本；或是同一服务的不同单元。协议转换：在 API-G...
2019-01-09 11:07:43
1057
原创 使用 OVS-DPDK 加速滴滴云网络
在基于现有 OVS-DPDK 开源软件基础上，滴滴云技术团队通过创新性的改进，实现了 ms 级别的热升级，同时保持现有的高性能转发能力。背景滴滴云初期采⽤学习 OpenStack 的思路，采用内核态的 OVS 实现了 SDN OverLay 网络。这个实践过程中，我们也遇到了一些问题，可以归纳为以下几个⽅面：性能不高⽆法热升级开发难度⼤维护成本高原型设计针对这些问题，经过技术调...
2019-01-08 11:24:54
1505
原创 基于滴滴云搭建安全稳定的 Memcached 服务器
介绍Memcached 是一种内存 cache 系统，通过将一些高频使用和最近经常访问的信息储存在内存中，可以明显地优化访问后端数据库的性能。直观上来看，借助于 Memcached 组件，可以大量减少访问数据库的请求数量。但是，如果不合理地配置 Memcached Server，有可能会使得系统受到大量的攻击。基于此，有必要创建安全稳定的 Memcached 服务器，加固 Memcached ...
2019-01-08 11:23:37
261
原创 浅谈 CC 攻击的防护方法
什么是 CC 攻击CC（Challenge Collapsar）原意是挑战黑洞。黑洞是绿盟科技的一款抗分布式拒绝服务攻击产品，因其在抗 WEB 分布式拒绝服务攻击能力较为出色。因此，用向黑洞发起挑战代指 WEB 服务的分布式拒绝服务攻击。该攻击与我们常见的 DDOS（网络层分布式拒绝服务攻击）不同之处在于，CC 攻击只会导致 WEB服务或者只是 WEB 服务中的某一接口或单一页面无法服务，相比...
2019-01-08 11:21:45
1656
怎样在滴滴云 VPC 内搭建内网 DNS 服务
DNS 服务简介DNS 简介DNS（Domain Name System）即域名系统。互联网中计算机之间如何进行通讯、数据怎么走、走向哪里等等，这些都需要根据 IP 地址来指引。再如客户端访问服务器时，客户端必须知道服务器的 IP 地址才能将数据正确地发送过去。IP 地址的重要性显而易见。我们知道 IP 地址都是由 32 位的二进制数组成的，为了便于人们记忆，出现了十进制的表示方法，如 1...
2019-01-07 15:04:32
591
原创 在滴滴云 DC2 云服务器上搭建 ZooKeeper 集群实战(一)
ZooKeeper 简介ZooKeeper 是一个高效的分布式协调服务，可以提供配置信息管理、命名、分布式同步、集群管理、数据库切换等服务。ZooKeeper 的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。它不适合用来存储大量信息，可以用来存储一些配置、发布与订阅等少量信息。Hadoop、Storm、消息中间件、RPC 服务框架、分布式数据库同步...
2019-01-04 11:05:44
251
原创 基于滴滴云搭建轻量文档网站生成工具 Docsify
Docsify 是一个动态生成文档网站的工具。不同于 GitBook、Hexo 的地方是它不会将 .md 转成 .html 文件，所有转换工作都是在运行时进行。这非常实用，如果只是需要快速的搭建一个小型的文档网站，或者不想因为生成的一堆 .html 文件“污染” commit 记录，只需要创建一个 index.html 就可以开始写文档，可以直接部署在 GitHub Pages，也可以部署在云上...
2019-01-03 11:25:37
762
SUSE工程技术副总裁Ralf Flaxa演讲：SUSE的技术未来
2013-12-17
王淮Harry_CTOClub_研发流程
2013-03-21
微信技术总监分享架构设计高清完整PDF版
2012-05-15
优快云 TUP淘宝伏威演讲PPT
2012-02-23
Capgemini发布2010-2011年度敏捷调查报告
2011-05-03
长风联盟软件服务运营推进战略白皮书
2009-04-03
英特尔® Parallel Composer 入门详解
2009-04-02
和英特尔® Parallel Amplifier有关的编译器设置
2009-04-02
在英特尔® Parallel Amplifier 中使用求差功能查找性能下降
2009-04-02
有利于英特尔® Parallel Inspector线程错误分析的编译器设置
2009-04-02
揭秘英特尔® Parallel Amplifier
2009-04-02
优快云软件中国2008提名表格
2008-12-11
将VTune（TM）Performance Analyzer样本采集器应用于MID
2008-04-14
在MID上安装Intel® Vtune™ Performance Analyzer样本采集器
2008-04-14
Mobile & Internet Linux Project的孵化器子项目
2008-04-14
移动互联网设备上的设备驱动程序调试
2008-04-14
支持MID的Intel® C++ Software Development Tool Suite 1.0
2008-04-14
Moblin.org开源项目及解决的主要问题
2008-04-14
双核英特尔® 安腾® 2 架构服务器技术白皮书
2007-06-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人