技术百宝箱

最近出现KUDU查询耗时一段时间非常长，差不多在3-5s左右。1.问题排查看到机器的以下监控数据，在出问题期间，IO量很大，IO占用CPU时间基本打满，明显是存在磁盘IO问题。进一步发现内存占用已到90%以上。使用pidstat -d 1统计进程的磁盘读写情况，发现kudu-tserver均值可到100多M每秒，明显定位到IO问题出现kudu上。性能优化、内存优化、kudu内存调优、LSM、WAL

windows下，每一行的结尾是\n\r，而在linux下文件的结尾是\n，那么你在windows下编辑过的文件在linux下打开看的时候每一行的结尾就会多出来一个字符\r,用。每个以太网帧64bytes-1518bytes，减去帧头（DMAC目的MAC地址48bit=6Bytes+SMAC源MAC地址48bit=6Bytes+Type域2bytes）14Bytes和帧尾CRC校验部分4Bytes，即为MTU。压缩：tar zcvf FileName.tar.gz DirName。

接上篇，基础的虚拟网络技术基本都认识到，本文来看看Docker中是怎么用的。网络虚拟化的运用才是真正开始解决问题。几个核心点1.Docker开箱即用的网络模式只有3种2.允许自己定制网络，制定给Docker容器3.底层技术并没有脱离之前介绍的基础技术范畴4.虽然当前是K8S的天下，但Docker也是发布了第一个容器网络的业界标准。...

networknamespace是虚拟化网络技术和容器化技术中很重要的资源隔离技术，负责网络资源的隔离。但是你会发现通过常规方法查不到容器定义的网络命名空间。在docker中，默认情况下不会将容器networknamespace添加到linux运行时数据中（从/run挂载到/var/run）。...

利用家里淘汰笔记本，0成本搭建NAS，全过程。

接上篇网络虚拟化之虚拟交换机技术Linux Bridge再来看看虚拟局域网技术VXLAN。有了虚拟设备如何组建虚拟局域网？ 几个核心点：1. 在三层网络UDP之上传输二层包以太网帧，可实现跨机房3. 典型的Overlay网络，相对于Underlay(物理网络)以类似下图的形式组一个VXLAN。两台主机，每台主机建一个独立的网络空间，打通这俩网络空间的内网。（先尝试一次组播寻址的方式）使用 eth0的多播组 239.1.1.2 通信。id 1：VNI的值，在1~2的24次方之间dstport： VTE

接上篇网络虚拟化之虚拟网卡技术veth再来看看虚拟交换机技术Linux Bridge。 几个核心点：1.veth只能成对出现，多对多就需要一个交换机2.Linux Bridge覆盖物理交换机所有功能3.Linux Bridge比物理交换机多一个转发本机IP的数据包4.单IP的单机上多个容器的通讯网络，可以NAT转换有了虚拟网卡，很自然也会联想到让网卡接入到交换机里，实现多个容器间的相互连接。Linux Bridge 便是 Linux 系统下的虚拟化交换机，虽然它以“网桥”（Bridge）而不是“交换机”（S

旧文拾起，来自某源搭建本地仓库：1. 下载软件包Ambari 2.7.4：http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.4.0/ambari-2.7.4.0-centos7.tar.gzHDP-3.1.4.0：HDP：http://public-repo-1.hortonworks.com/HDP/centos7/3.x/updates/3.1.4.0/HDP-3.1.4.0-centos7-rpm.tar.gzHD

接上篇网络虚拟化之虚拟网卡技术tun/tap再来看看容器中用到的虚拟网络技术veth。 几个核心点：1.veth是虚拟一对直连的网卡，一端连内核协议栈，本意是解决两个隔离网络空间的通信2.无需tun/tap那种多次经过网络协议栈，性能极大提高3.内核几十行代码实现一个复制即可，简单4.容器中的关键网络技术通过ip link命令添加veth0和veth1，然后配置veth0的IP，并将两个设备都启动起来ifconfig查看结果如下：ping一下试试：通了，再测试一下通过这个网卡能否ping通

接上篇网络虚拟化之内核能力NetFilter再来看看真正的软件定义网络技术tun/tap。 几个核心点：1.一个虚拟以太网设备的二层虚拟网卡tap，只能处理链路层以太网帧2.一个虚拟网络层设备的三层虚拟网卡tun，只能处理网络层IP报文3.通过字符设备与应用层交互4.VPN是tun的典型应用tun/tap可以通过网络接口和字符设备两种方式进行操作。当应用程序使用标准网络接口socket API操作tun/tap设备时，和操作一个真实网卡完全一致。当应用程序使用字符设备操作tun/tap设备时，字符设备即充当

关键点：1.网络层，也就是IP层2.有5个拦截点3.NAT、IPTable Netfilter框架由著名的Linux开发人员Rusty Russell于1998年开发，旨在改进以前实现ipchains（Linux2.2.x）和ipfwadm（Linux2.0.x）。

目录一、背景说明二、访问日志分析三、TCP抓包分析四、结论最近线上服务发布，完成后一切平静，到下午用户量正常起来后，开始频繁收到Nginx状态码是400的告警，初步确认是偶尔出现，还好还好！400通常理解为客户端请求错误，一般原因是请求数据中有不合法字符，请求头缺失host头。但这次案例另有原因。详细回顾下定位过程和方法，供大家参考。服务器的负载均衡LB中状态码正常的日志：LB侧状态码是400的日志： 对比发现一个很明显的规律：request_length在400状态码时偏低，upstream_respon

零拷贝（Zero-Copy）技术是一个思想，是一种 I/O 操作优化技术，可以快速高效地将数据在文件系统移动和网络接口之间传输数据，而不需要将其从内核空间复制到用户空间。但零拷贝并不代表一次数据复制都没有，而是尽最大可能的减少。实际上Zero-Copy中有一项核心技术即DMA，在IO操作中扮演十分重要的角色，具体原理不是本文范围，可自行查阅资料。 先看一个常规的IO操作，需要从磁盘中读取数据，通过网络传输出去。补充一个技术点💡 DMA技术是Direct Memory Access的缩写。..........

安装 用户空间工具，命令用于实时系统分析，其功能与TOP程序类似。但是TOP程序通常显示给定进程或线程使用的 CPU 时间，perf 会显示每个特定函数使用的 CPU 时间。在默认状态下， 将告知您用户空间和内核空间的所有 CPU 所使用的函数。要使用 ，您需要 root 访问权限。启动 监控接口：监控数据如下： 在几个列中显示数据含义："Overhead"列：显示给定函数正在使用的 CPU 百分比。"共享对象"列：显示使用函数的程序或库的名称。"Symbol"列：显示函数名称.....

云盘IO的性能测试

从2019年10月运行至今，因搬家等不可控重启，目前主要备份家庭中手机、Pad的视频照片。几行命令建成私有云盘，无复杂配置。

<br />对大家推荐很好使用的Ubuntu星际译王系统之前，像让大家对StarDict系统有所了解，然后对Ubuntu星际译王系统全面讲解介绍，希望对大家有用日常办公应用中，我们经常会碰到一些陌生的外文单词或文章需要翻译，在Windows平台上，可通过很多翻译工具来帮忙解决。当我们转到Ubuntu系统中办公时，肯定也希望能有一款简单易用、功能强大的翻译工具。 这里给大家推荐Linux平台上最常用的翻译工具——StarDict(星际译王)。Ubuntu星际译王具有全文翻译、屏幕取词及单词朗读功能，支持本地和