
BigDataMini
wishchin
CV算法工程师:从事室内场景感知方面工作,完成算法实验和软件开发。
展开
-
BigDataMini导论
Q: BigDataMini从大量数据中挖掘有用的信息,对AI有何意义?A: 随着智能硬件化,DataMini可以作为AI的一种数据筛选方法,简化AI的设计进程。原创 2013-09-04 20:44:41 · 803 阅读 · 0 评论 -
使用Boost_MPI进行并行编程
使用非常流行的 Boost 库进行并发编程非常有意思。Boost 有几个用于并发编程领域的库:Interprocess (IPC) 库用于实现共享内存、内存映射的 I/O 和消息队列;Thread 库用于实现可移植的多线程;Message Passing Interface (MPI) 库用于分布式计算中的消息传递;Asio 库用于使用套接字和其他低层功能实现可移植的连网功能。本文介绍 IPC 和 MPI 库以及它们提供的一些功能。转载 2013-09-14 12:56:52 · 4247 阅读 · 0 评论 -
CBIR--Survey.C/GPU优化.Sys搭建
基于内容的图像检索(英语:Content-based image retrieval,CBIR;或content-based visual information retrieval),属于图像分析的一个研究领域。基于内容的图像检索目的是在给定查询图像的前提下,依据内容信息或指定查询标准,在图像数据库中搜索并查找出符合查询条件的相应图片。原创 2013-10-08 22:23:06 · 1413 阅读 · 0 评论 -
使用Storm实现实时大数据分析!
随着数据体积的越来越大,实时处理成为了许多机构需要面对的首要挑战。Shruthi Kumar和Siddharth Patankar在Dr.Dobb’s上结合了汽车超速监视,为我们演示了使用Storm进行实时大数据分析。优快云在此编译、整理。转载 2014-12-28 18:24:39 · 890 阅读 · 0 评论 -
开发者建站免费.或者.收费空间
2013年十大免费云空间排行榜-给开发者建站用的免费云主机:云空间也可以叫做云平台,是以云计算技术而开发的网络服务平台,云计算平台可以划分为3类:以数据存储为主的存储型云平台,以数据处理为主的计算型云平台以及计算和数据存储处理兼顾的综合云计算平台。转载 2014-12-28 18:20:53 · 1514 阅读 · 0 评论 -
ML的BD框架-Hadoop.Mahout.Strom.Spark/GraphLab
AI发展的方法论进展缓慢,大数据已然崛起,随着存储和计算能力价格的降低,分布式ML框架蓬勃发展,各种繁荣不断出现......GraphLab将数据抽象成Graph结构,将算法的执行过程抽象成Gather、Apply、Scatter三个步骤。其并行的核心思想是对顶点的切分,以下面的例子作为一个说明。原创 2014-12-28 18:23:51 · 1445 阅读 · 1 评论 -
Spark的协同过滤.Vs.Hadoop MR
互联网的发展导致了信息爆炸。面对海量的信息,如何对信息进行刷选和过滤,将用户最关注最感兴趣的信息展现在用户面前,已经成为了一个亟待解决的问题。推荐系统可以通过用户与信息之间的联系,一方面帮助用户获取有用的信息,另一方面又能让信息展现在对其感兴趣的用户面前,实现了信息提供商与用户的双赢。基于物品的协同过滤推荐算法案例在TDW Spark与MapReudce上的实现对比,相比于MapReduce,TDW Spark执行时间减少了66%,计算成本降低了40%。转载 2014-12-28 18:05:25 · 865 阅读 · 0 评论 -
三维重建:SFM中BA的并行化
SFM,运动中结构重建。SFM是一种离线重建方法,SFM未得到原始数据中的帧间关系,因此在前期处理与SLAM有所不同。SLAM方法依据视觉里程算法,构建状态数据序列即图结构,仅需要解决累计误差问题。而SFM需要使用匹配和优化方法,重建数据的图结构,需要优化方法,SFM过程比SLAM过程更加复杂。 BA:光束平差法,利用非线性最小二乘法求取相机位姿,三维点坐标。Bun...转载 2017-03-30 10:25:31 · 3324 阅读 · 2 评论 -
IAAS: IT公司去IOE-Alibaba系统构架解读
摘要:从IOE时代,到Hadoop与飞天并行,再到飞天单集群5000节点的实现,阿里一直摸索在技术衍变的前沿。这里,我们将从架构、性能、运维等多个方面深入了解阿里基础设施。转载 2014-12-28 18:02:59 · 1113 阅读 · 0 评论 -
10个出色的NoSQL数据库
随着大数据的不断发展,现今的计算机体系结构在数据存储方面要有庞大的水平扩展性,而NoSQL也正是致力于改变这一现状。本文介绍了10种出色的NoSQL数据库:1.Cassandra由Facebook开发;2.Lucene是Apache一个子项目;3.Riak是由技术公司basho开发;4.CouchDB用Erlang开发;5.Neo4J的存储对象关系;6.Oracle的NoSQL Database;7.MongoDB;8.HBase转载 2016-05-18 19:28:07 · 4251 阅读 · 1 评论 -
互联网的大数据神话——NoSQL
对强一致性的要求放松,是因为 互联网的分布式特性,使数据一致性的要求水平不得不降低,而对于用户来说是可以接受的。 更重要的一点:知名的互联网企业,除了其业务经营与发展以外,他们同时拥有最强的、最庞大的IT研发支持体系。为了满足其业务的需要,他们都在公共开源的基础上进行了大量的研发工作:开源能满足的,就采用拿来主义,不能满足需求的,就自行研发。互联网企业在基础设施的投入上占有极大的成本份额,致使其不能完全依赖专门IT企业服务,否则会导致成本剧增,与其说互联网企业其实是IT企业也不为过。原创 2014-12-28 18:05:07 · 738 阅读 · 0 评论 -
OnLineML:时序数据挖掘
关于时序分析: 我们跟随时间的脚步,试图解释现在、理解过去、甚至预测未来........时间序列是一种重要的高维数据类型,它是由客观对象的某个物理量在不同时间点的采样值按照时间先后次序排列而组成的序列,在经济管理以及工程领域具有广 泛 应用。 目前重点的研究内容包括时间序列的模式表 示、时间序列 的相似性度量和查询、时间序列的聚类、时间序列的异常检测、时间序列的分类、时间序列的预测等。转载 2014-07-16 19:04:32 · 4209 阅读 · 3 评论 -
链接分析算法系列-机器学习排序
链接分析算法之:HITS算法:HillTop算法:PageRank算法:机器学习排序:人工标注训练数据、文档特征抽取、学习分类函数、在实际搜索系统中采用机器学习模型.文档方法:单文档方法;文档对方法;文档列表方法;转载 2016-05-18 19:22:16 · 1555 阅读 · 0 评论 -
QT线程使用收集示例
Qt和Boost做跨平台的线程封装,OpenMP主要做并行计算,让不精通多线程的人也能高效地利用CPU的计算能力。个人倾向于用boost.thread, boost.mpi.原创 2013-10-20 14:13:12 · 2328 阅读 · 0 评论 -
基于MapReduce的贝叶斯网络算法研究参考文献
关于分布式学习的论文、代码和资源整理。转载 2013-11-04 20:18:08 · 1646 阅读 · 0 评论 -
CUDA5.5入门文章:VS10设置
在开始学习之前,首先要做的就是找到一本好的教材,要知道一本好的教材可以让我们更加轻松地入门。在看了一些个CUDA编程相关的教材之后,我向大家推荐的一本教材叫做《GPU高性能编程CUDA实战》。本教材相比其他的教材而言,它讲得比较细,对于一些我们可能不太明白的知识点做了详细的说明。而且这本教材以层层深入的方式向我们展示了GPU的世界,从而引领我们进入CUDA编程的大门。 其他的教材的转载 2013-12-31 09:59:58 · 2765 阅读 · 0 评论 -
OpenCV中GPU模块使用
CUDA IT168的文章系列:文章有代码CUDA基本使用方法在介绍OpenCV中GPU模块使用之前,先回顾下CUDA的一般使用方法,其基本步骤如下:1.主机代码执行;2.传输数据到GPU;3.确定转载 2013-12-31 16:38:20 · 1252 阅读 · 0 评论 -
CPU+GPU异构计算完全解析
工欲善其事,必先利其器。有一个好的计算工具是必须的!并行计算:让处理的速度变得更快: 相对于串行计算,并行计算可以划分成时间并行和空间并行。时间并行即流水线技术,空间并行使用多个处理器执行并发计算,当前研究的主要是空间的并行问题。以程序和算法设计人员的角度看,并行计算又可分为数据并行和任务并行。数据并行把大的任务化解成若干个相同的子任务,处理起来比任务并行简单。转载 2013-12-31 16:31:08 · 12021 阅读 · 0 评论 -
使用python进行普适计算/通用计算
普适计算的概念由Stephen Wolfram正式提出,更早的概念在近代可以上溯到惠勒、冯诺依曼和图灵,更早的源头则与毕达哥拉斯学派和赫拉克利特。普适计算认为,计算是宇宙的本质。宇宙无时无刻不在进行计算,我们观察到的物理法则,其实是计算过程的信息论约束。所有的改变,包括自然界生物个体和种群的进化,都是在进行计算转载 2017-12-28 10:04:28 · 1309 阅读 · 0 评论