朝着光前进

一，简介 最近做一个项目，主要功能是根据一些关键词去百度爬取一些数据，如pv，uv等等有价值的数据，或者对应的URL等百度排名。 我们小组主要负责的是前端的功能，此前端非WEB前端，我们主要将用户导入的数据进行封转，然后转换为protobuf的传输格式对象， 最后保存到redis的队列中。 而另一个小组（由技术总监那边负责的）则是负责爬虫的业务，他会定时扫描redis队列的数据进行数据的抓取

如果数据很庞大的情况，估计没有人会直接使用select * from table的SQL语句，这样的操作别说数据库的操作很慢了，在网络IO传输也是一个很大的问题， 把一千万的数据读取出来在网络进行传输，这样性能消耗也会有瓶颈。 所以，读取大批量的数据一般都是采用分批次的读取方式。 （一）通过测试，一万条数据一次性读取出来所花费的时间要比分十次，每次读1千数据的速度要慢很多。 从上面的两张

前言在 基础入门 中涵盖了基本工具并对它们有足够详细的描述，这让我们能够开始用 Elasticsearch 搜索数据。 用不了多长时间，就会发现我们想要的更多：希望查询匹配更灵活，排名结果更精确，不同问题域下搜索更具体。想要进阶，只知道如何使用 match 查询是不够的，我们需要理解数据以及如何能够搜索到它们。本章会解释如何索引和查询我们的数据让我们能利用词的相似度（word proximity）、

spring-boot整合redis 总结 项目整合redis，如何实现最少写配置代码，从而实现redis客户端实例的注入。Spring提供了一些注解来帮助开发人员减少配置文件的编写。 1，创建RedisConfig类，使用@Configuration 和 @bean来管理 redis的工具类@Configurationpublic class RedisConfig {@Autowired

关于InputStream.read() 在从数据流里读取数据时，为图简单，经常用InputStream.read()方法。这个方法是从流里每次只读取读取一个字节，效率会非常低。 更好的方法是用InputStream.read(byte[] b)或者InputStream.read(byte[] b,int off,int len)方法，一次读取多个字节。关于InputStream类的

数据字典做数据库表设计的时候，有些字段的设计并不是直接写实际的值，比如说用户表的性别字段并不是直接写男或则女。而是用户0代表男，1代表女。为什么这么设计呢？接下来就引出了我们现在要介绍的数据字典了。一，数据字典的特性1，维护项目中的基本数据项，数据项在各个功能模块中有可能体现2，维护项目中的动态数据项，让数据项中的内容可以实现动态变化。根据上面我们给出的实际场景，如果需求是不用

一般在建立工程的时候会根据不同的模块的功能来建包， dao层的代码是用来访问数据库的，它通过操作domain领域层的对象，对数据库进行增删改查的操作。 但是，一般情况下，一个项目有多个表，对应到面向对象的语言就会相应的要创建多个类对象。进而根据对应的对象创建dao层的类，比如，有一个Person对象，如果要操作该对象的话，相应的就要创建PersonDaoImpl这个类来操作person这个对

企业级系统一般都会涉及到权限的问题，系统里面的功能对有一些用户是开放的，对某一些用户是禁止访问的，就好比我们使用PC的时候，某些功能是需要超级管理员才能访问的，而普通的用户是不能访问。就上述，我们便于管理对用户的管理，会对一些具有一定权限的用户抽象为一类对象，我们称之为角色。也就是说一个用户在系统中会被分配一个角色，而这个角色具有一定的权限的集合。 根据上面的分析，我们假设刘备是某系统中最高

解决方案 使用jquery的方法来监听用户输入的内容的改变，然后提交到后台 下面是具体的代码$('searchContent').bind('input propertychange',function(){});上面的方法是用来时时监听用户的输入，然后再调用jquery的异步提交数据(′searchContent′).bind(′inputpropertychange′,function('s

登陆在项目开发中是在普通不过的一个功能了，然而在web端下该功能的实现也并不单单是将用户的账号和密码拿到后台的数据库中进行查询那么的简单。一般的登陆还包括了验证码的验证，保存用户登陆信息（Cookie技术），如果用户的信息验证通过，还要将用户的数据存放到session，返回到前端页面显示。 下面，就登陆模块用代码实现该功能。 1，获取用户信息，查询数据库中是否有这个用户的存在 1.1，将用户输

java处理高并发高负载类网站中数据库的设计方法（java教程,java处理大量数据，java高负载数据） 一：高并发高负载类网站关注点之数据库 没错,首先是数据库,这是大多数应用所面临的首个SPOF。尤其是Web2.0的应用，数据库的响应是首先要解决的。一般来说MySQL是最常用的，可能最初是一个mysql主机，当数据增加到100万以上，那么，MySQL的效能急剧下降。常用的

一，继承 0，extends关键字 1，初始化子类必须初始化父类，也就是说调用子类的构造函数之前要先调用父类的构造方法 2，单继承性 3，构造方法不能被继承 4，关键字super，super可以引用父类的属性和方法二，方法覆盖 0，什么是方法覆盖 1，方法覆盖，调用哪一个方法 规则：编译时看数据类型，运行时看实际的对象类型，new谁就调用谁的方法 2，方法覆盖的规则

今天遇到一个爬虫业务，爬虫每天会定期爬取百度的数据，然后放到一个分表里面，每天爬取到的数据大概有3~4百万的级别。分表的后缀名就是当天的日期， 比如table_name_20170215,table_name_20170216 其中有一个功能，需要我每隔30s去查询爬取数据的总数，原本是极为简单的操作，直接调用count函数统计一下数据就行了，但是我们的数据分布到多张表里面 这个时候就有点蛋疼