「会思考的男人」的博客

前一阵子，某网络公司发起了一个什么建模大赛，有个学员问我，数据建模怎么搞？为了满足他的好学精神，我决定写这一篇文章，来描述一下数据分析必须要掌握的技能：数据建模。本文将尝试来梳理一下数据建模的步骤，以及每一步需要做的工作。01第一步：选择模型或自定义模式这是建模的第一步，我们需要基于业务问题，来决定可以选择哪些可用的模型。比如，如果要预测产品销量，则可以选择数值预测模型（比如回归模型，...

大数据计算通过将可执行的代码分发到大规模的服务器集群上进行分布式计算，以处理大规模的数据，即所谓的移动计算比移动数据更划算。但是这样的计算方式必然不会很快，即使一个规模不太大的数据集上的一次简单计算，MapReduce也可能需要几分钟，Spark快一点，也至少需要数秒的时间。而网站处理用户请求，需要毫秒级的响应，也就是说，要在1秒内完成计算，大数据计算必然不能实现这样的响应要求。但是网站应用又需...

1、导入数据在 Sqoop 中，“导入”概念指：从非大数据集群（RDBMS） 向大数据集群（HDFS， HIVE，HBASE） 中传输数据，叫做：导入，即使用 import 关键字。1、 RDBMS 到 HDFS确定 Mysql 服务开启正常在 Mysql 中新建一张表并插入一些数据mysql -uroot -p000000 mysql> create database co...

本文旨在帮您快速了解 MapReduce 的工作机制和开发方法，解决以下几个问题： MapReduce 基本原理是什么？ MapReduce 的执行过程是怎么样的？ MapReduce 的核心流程细节 如何进行 MapReduce 程序开发？（通过7个实例逐渐掌握） 文章中提供了程序实例中涉及到的测试数据文件，可以直接下载使用。关于实践环境，如果您...

大家肯定都遇到过很难复现的bug，那么针对这样的问题，我们该怎么处理呢？1、录屏有的bug复现的概率比较低，操作10次，可能只会复现一次。针对这种情况可以用录屏的方法记录下来，然后反复回复复现的那一次操作，记清每一个细节。按照组合的细节进行复现，这样出现的概率比较大。2、查看后台日志有的bug报错信息很明显，比如空指针异常（java.lang.NullPointException）。这种...

降级系统将某些不重要的业务或接口的功能降低，可以只提供部分功能，也可以完全停到所有所有不重要的功能。降级的思想是丢车保帅。常见降级方式：系统后门降级：系统预留后门用于降级，比如提供一个降级URL，访问URL时就执行降级指令。缺点：如果服务器数量多，需要一台一台去操作，效率低。独立系统降级：将降级操作独立到一个单独的系统中，可以实现复杂的权限管理、批量操作等功能。熔断降级是应对系统...

Spring Boot简介Spring 诞生时是 Java 企业版（Java Enterprise Edition，JEE，也称 J2EE）的轻量级代替品。无需开发重量级的 Enterprise JavaBean（EJB），Spring 为企业级Java 开发提供了一种相对简单的方法，通过依赖注入和面向切面编程，用简单的Java 对象（Plain Old Java Object，POJO）实...

关于服务拆分的切入点，我们先从MartinL.Abbott所著《架构即未来》中所介绍的AKF扩展立方体出发寻找一些灵感，然后给出本文中关于服务拆分的三大维度。一、AKF拆分原则AKF扩展立方体（Scalability Cube）是一种可扩展模型，这个立方体有三个轴线，每个轴线描述扩展性的一个维度（见下图），分别是：Y轴关注应用中功能划分，基于不同的业务拆分。Z轴关注服务和数据的...

小语一、什么是微服务通常而言，微服务架构是一种架构模式或者说是一种架构风格。它提倡将单一应用划分成一组小的服务，每个服务运行独立的自己的进程中，服务之间互相协调、互相配合，为用户提供最终价值。服务之间采用轻量级的通信机制互相沟通（通常是基于 HTTP 的 RESTful API) 。每个服务都围绕着具体业务进行构建，并且能够被独立地部署到生产环境、类生产环境等。二、微服务的优缺点优势...

云计算通俗点讲就是把以前需要本地处理器计算的任务交到了远程服务器上去做。仔细给您解释云计算的概念可能比较抽象，我给您举几个云计算的应用实例吧。WebQQ你访问webqq的时候就会发现这里面有很多像是图片处理，网页浏览，在线office处理之类的应用，这些应用无论你电脑的性能如何，只要带宽允许都是可以流畅运行的，因为很多数据处理和存储都交给了云端服务器计算。网页游戏这其实也是一种云计算应用，...

IaaS, PaaS和SaaS是云计算的三种服务模式，以下分别从官方和通俗两个角度来理解SaaS、PaaS和IaaS的概念以及它们之间的区别。官方角度IaaS基础设施即服务(IaaS ：Infrastructure as a Service)，IaaS把计算基础(服务器、网络技术、存储和数据中心空间)作为一项服务提供给客户。它也包括提供操作系统和虚拟化技术、来管理资源。消费者通过Intern...

Git下冲突的产生和解决1、git冲突的场景逻辑冲突git自动处理（合并/应用补丁）成功，但是逻辑上是有问题的。比如另外一个人修改了文件名，但我还使用老的文件名，这种情况下自动处理是能成功的，但实际上是有问题的。又比如，函数返回值含义变化，但我还使用老的含义，这种情况自动处理成功，但可能隐藏着重大BUG。这种问题，主要通过自动化测试来保障。所以最好是能够写出比较完备的自动化测试用例。这...