Gooooa的博客

数据库做同步，全量+增量

MySQL性能优化的最佳21条经验 ： 文章链接—http://blog.youkuaiyun.com/waferleo/article/details/7179009

一使用SELECT子句进行多表查询SELECT 字段名 FROM 表1，表2 … WHERE 表1.字段 = 表2.字段 AND 其它查询条件SELECT a.id,a.name,a.address,a.date,b.math,b.english,b.chinese FROM tb_demo065_tel AS b,tb_demo065 AS a WHERE a.id=b.id注:在上面的的代码

1、生成思路 利用mysql内存表插入速度快的特点，先利用函数和存储过程在内存表中生成数据，然后再从内存表插入普通表中 2、创建内存表及普通表CREATE TABLE `vote_record_memory` ( `id` INT (11) NOT NULL AUTO_INCREMENT, `user_id` VARCHAR (20) NOT NULL, `vote_id

1.游标Cursor。2.异常。3.存储过程。4.存储函数。5.触发器。

a.触发器。 b.时间戳。c.全表对比。d.日志对比。

数据库的全量同步，多线程增加性能，批处理。数据库一次整体同步。

sql语句中删除表数据drop、truncate和delete的用法

spring的applicationContext.xml的配置信息： <!-- 数据源1 --> <bean id="dataSource" class="org.apache.tomcat.jdbc.pool.DataSource"> <property name="driverClassName" value="com.mysql.jdbc.Driver" />

随机生成User-agent：更改User-agent能够防止一些403或者400的错误，基本上属于每个爬虫都会写的。这里我们可以重写scrapy 里的middleware，让程序每次请求都随机获取一个User-agent，增大隐蔽性。在settings.py中添加以下代码：DOWNLOADER_MIDDLEWARES = { 'guazi2.middlewares.MyCustomDown