技术笔记

大数据背景 众所周知，当前是一个数据爆炸的时代，大数据背景下的数据治理是每一个企业应该重点考虑的问题。例如金融机构、电信运营商这种“传统”行业每日需要处理的数据量都已经十分巨大了，更不必说掌握着上千万日活的互联网公司。 传统行业的数据治理 以电信运营商为例，一个省级的电信运营商在好多年前一年积累的信息量就已经达到数个PB了，在数据爆炸的时代，我们通过移动互联网随时随地就可以surfing...

从图像特征说起 以人脸识别场景为例，我们通过机器学习算法可以对人脸图片实现降维，即某张图片的尺寸是6464的RGB图像，那么这个图像的维度就是6464*3 = 12288维。直接将这个维度用于图像识别显然是不合适的，这是图像的原始维度，不是图像的特征。 提取图像特征的过程是一个降维过程，常用的维度通常是512维，1024维等，也就是将一个图片进行特征提取。提取到的特征向量的维度，说白了就是这个向量...

前言 ps. 此片博客来源于很久以前的一次gitchat分享，现在搬运到blog中，由于时间久远，里面已经有一些思想和技术已经现在不主流了，供大家参考借鉴。 我们这次 Chat 主要交流的主题是：中小型企业基于大数据技术的项目实践,笔者将就大数据技术栈开始说起，同时，在后面的内容中，将涉及笔者在工程实践中的一些具体经验。 下面，我们将从大数据技术的干货介绍开始，这部分内容对于有基础的童鞋来说，可以...