- 博客(13)
- 收藏
- 关注
RSS订阅原创 Dremel的学习与理解
Dremel刚出来的时候还是非常小心翼翼的避免和MapReduce冲突的。从无数的宣传资料和ppt上可以看到，他们出来演讲的时候都会说自己是MapReduce的一个补充，是为少量到中等规模的数据查询服务的，而MapReduce则用来处理更大量的数据。这种宣传在Dremel越来越成功，以及FlumeJava差不多把整个MapReduce的team都要收编了的今天就显得多余了。所以胆肥的Dremel队伍现在已经比较少再提自己是MapReduce的有益补充了。Dremel出来没多久，开源社区，尤其是Hadoo
2022-05-19 23:30:11
397
原创 Dapper的学习与理解
Dapper是.NET下一个micro的ORM，它和Entity Framework或Nhibnate不同，属于轻量级的，并且是半自动的。Dapper只有一个代码文件，完全开源，你可以放在项目里的任何位置，来实现数据到对象的ORM操作，体积小速度快。 使用ORM的好处是增、删、改很快，不用自己写sql，因为这都是重复技术含量低的工作，还有就是程序中大量的从数据库中读数据然后创建model,并为model字段赋值。这些ORM都可以轻松给你搞定。ORM给我们开发带来便利时，性能也是一个让我们不得不考虑的问题。一
2022-05-19 23:28:22
524
原创 Megastore学习与理解
在上个月举行的创新数据系统研讨会上(CIDR)，Google公开了其Megastore分布式存储技术的白皮书。Megastore是谷歌一个内部的存储系统，它的底层数据存储依赖Bigtable，也就是基于NoSql实现的，但是和传统的NoSql不同的 是，它实现了类似RDBMS的数据模型(便捷性)，同时提供数据的强一致性解决方案(同一个datacenter，基于MVCC的事务实现)，并且将数据 进行细颗粒度的分区(这里的分区是指在同一个datacenter，所有datacenter都有相同的分区数据)，然
2022-05-19 23:26:42
637
原创 Paxos算法的学习与理解
paxos算法是基于消息传递且具有高度容错特性的一致性算法。是目前公认的解决分布式一致性问题最有效的算法之一。Paxos的基本思想大致就是上面的过程。让我们来对应一下。Paxos主要用于保证分布式存储中副本（或者状态）的一致性。副本要保持一致，那么，所有副本的更新序列就要保持一致。因为数据的增删改查操作一般都存在多个客户端并发操作，到底哪个客户端先做，哪个客户端后做，这就是更新顺序。如果不是分布式，那么可以利用加锁的方法，谁先申请到锁，谁就先操作。但是在分布式条件下，存在多个副本，如果依赖申请锁+副
2022-05-19 16:30:26
398
原创 Bigtable的学习与理解
Bigtable：一个分布式的结构化数据存储系统摘要Bigtable是一个管理结构化数据的分布式存储系统，它被设计用来处理海量数据：分布在数千台通用服务器上的PB级的数据。Google的很多项目将数据存储在Bigtable中，包括Web索引、Google Earth、Google Finance。这些应用对Bigtable提出的要求差异非常大，无论是在数据规模（从URL到网页到卫星图像）还是在响应速度上（从后端的批量处理到实时数据服务）。尽管应用需求差异很大，但是，针对所有Google这些产品，Bi
2022-05-19 16:22:20
1629
原创 MapReduce的学习与理解
MapReduce是一种编程模型，用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduce(归约)"，和它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map(映射)函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce(归约)函数，用来保证所有映射的键值对中的每一个共享相同的键组。MapReduce擅长处理大数据，它为什么具有这
2022-05-19 16:17:44
383
原创 GFS学习
GFS是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上，并提供容错功能。它可以给大量的用户提供总体性能较高的服务。GFS的新颖之处并不在于它采用了多么令人惊讶的新技术，而在于它采用廉价的商用计算机集群构建分布式文件系统，在降低成本的同时经受了实际应用的考验。GFS 提供了一个原子性的添加操作：record append。在传统的写操作中，client指定被写数据的偏移位置，向同一个区间的并发的写操作是不连续的：区间有可能包含来自多个client的
2022-05-19 16:13:46
463
原创 验证码简介
验证码的作用：1、为了防止机器冒充人类做暴力破解：暴力破解想想就恐怖，这关系每个用户的网络安全，现在很多网站、APP都绑定用户的银行账户，有很多内容还涉及到个人隐私，如果被不法分子暴力破解，那损失可就大了。2、防止大规模在线注册滥用服务：很多机友肯定都很讨厌那些恶意注册灌水的，满满一屏全是恶意评论和广告，瞬间没有好心情；3、防止滥用在线批量化操作：比如在投票的时候，有些恶意刷票软件就可以实现批量化投票功能，想想自己辛苦拉票，人家一键就搞定？4、防止自动发布：比如早些年黑客们写一串代码就肆无忌
2022-05-16 17:03:16
631
原创 嵌入式系统简介
嵌入式系统由硬件和软件组成．是能够独立进行运作的器件。其软件内容只包括软件运行环境及其操作系统。硬件内容包括信号处理器、存储器、通信模块等在内的多方面的内容。相比于一般的计算机处理系统而言，嵌入式系统存在较大的差异性， 它不能实现大容量的存储功能，因为没有与之相匹配的大容量介质，大部分采用的存储介质有E-PROM、EEPROM 等， 软件部分以API编程接口作为开发平台的核心。嵌入式系统介绍对于嵌入式初学者或者是专门做嵌入式软件开发工程师职位的猎头来说，刚入手的时候可能会对嵌入式一头雾水，网上的介.
2022-05-16 16:58:33
3205
原创 启发式搜索简介
启发式搜索(Heuristically Search)又称为有信息搜索(Informed Search)，它是利用问题拥有的启发信息来引导搜索，达到减少搜索范围、降低问题复杂度的目的，这种利用启发信息的搜索过程称为启发式搜索。简而言之，就是你搜索打出前几个字，就会弹出一些可能你想要的东西了。概念释义启发式策略可以通过指导搜索向最有希望的方向前进，降低了复杂性。通过删除某些状态及其延伸，启发式算法可以消除组合爆炸，并得到令人能接受的解(通常并不一定是最佳解)。然而，启发式策略是极易出错的。在解决问
2022-05-16 16:53:57
3929
原创 Axure简介
axure是指AxureRP，是一款快速原型制作软件，能帮助网站需求设计者，快捷而简便的创建基于网站构架图的带注释页面示意图、操作流程图、以及交互设计，并可自动生成用于演示的网页文件和规格文件，以提供演示与开发。...
2022-05-07 15:08:09
3582
原创 Docker 简要并在中安装MySQL
Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux或Windows操作系统的机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口。...
2022-04-26 21:19:48
2403
原创 Apache的分布式系统基础架构Hadoop
Hadoop 2.0:主流开源云架构Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据，适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求，可以以流的形式访问(streaming access)文件系统中的数据。Hadoop的框
2022-04-20 16:21:20
396
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人