wang2028-优快云博客

原创数据库优化查询效率

1、储存引擎选择：如果数据表需要事务处理，应该考虑使用 InnoDB，因为它完全符合 ACID 特性。如果不需要事务处理，使用默认存储引擎 MyISAM 是比较明智的2、分表分库，主从。3、对查询进行优化，要尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引4、应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引...

2018-09-30 11:33:25 261

原创分布式爬虫

三种分布式爬虫策略： 1.Slaver 端从 Master 端拿任务（Request/url/ID）进行数据抓取，在抓取数据的同时也生成新任务，并将任务抛给 Master。Master 端只有一个 Redis 数据库，负责对 Slaver 提交的任务进行去重、加入待爬队列。优点：scrapy-redis 默认使用的就是这种策略，我们实现起来很简单，因为任务调度等工作 scrapy-...

2018-09-30 11:22:16 282

原创什么是分布式存储？

传统定义：分布式存储系统是大量 PC 服务器通过 Internet 互联，对外提供一个整体的服务。分布式存储系统具有以下的几个特性：可扩展：分布式存储系统可以扩展到几百台甚至几千台这样的一个集群规模，系统的整体性能线性增长。低成本：分布式存储系统的自动容错、自动负载均衡的特性，允许分布式存储系统可以构建在低成本的服务器上。另外，线性的扩展能力也使得增加、减少服务器的成本低，实...

2018-09-30 11:14:02 8252

原创 MongoDB

MongoDB 是一个面向文档的数据库系统。使用 C++编写，不支持 SQL，但有自己功能强大的查询语法。MongoDB 使用 BSON 作为数据存储和传输的格式。BSON 是一种类似 JSON 的二进制序列化文档，支持嵌套对象和数组。MongoDB 很像 MySQL，document 对应 MySQL 的 row，collection 对应 MySQL 的 table应用场景：...

2018-09-30 11:06:19 197

原创数据库的负载均衡

负载均衡集群是由一组相互独立的计算机系统构成，通过常规网络或专用网络进行连接，由路由器衔接在一起，各节点相互协作、共同负载、均衡压力，对客户端来说，整个群集可以视为一台具有超高性能的独立服务器。1、实现原理实现数据库的负载均衡技术，首先要有一个可以控制连接数据库的控制端。在这里，它截断了数据库和程序的直接连接，由所有的程序来访问这个中间层，然后再由中间层来访问数据库。这样，我们就...

2018-09-30 10:58:35 6985

原创 python高级变量

字符串切片：切片方法适用于字符串、列表、元组切片使用索引值来限定范围，从一个大的字符串中切出小的字符串列表和元组都是有序的集合，都能够通过索引值获取到对应的数据字典是一个无序的集合，是使用键值对保存数据 ---拆分和连接string.split(str="", num) 以...

2018-09-16 18:05:16 349

原创事务

事务事务：逻辑上的一组操作，要么同时成功，要么同时失 ----1 避免了在执行过程中出现突发情况。 ----2 当前程序在操作数据时，会收到其他程序的干扰事务的四个特征：ACID ----原子性：Atomicity 一组事务，要么成功；要么撤回 ----一致性：有非法数据（外键约束之类），事务撤回 ----隔离性：事...

2018-09-16 18:02:07 123

原创 SQL注入是如何产生的，如何防止？

SQL注入是如何产生的，如何防止？程序开发过程中不注意规范书写sql语句和对特殊字符进行过滤，导致客户端可以通过全局变量POST和GET提交一些sql语句正常执行。产生sql注入。下面是防止方法： a. 过滤掉一些常见的数据库操作关键字，或者通过系统函数来进行过滤。 b. 在PHP配置文件中将register_globals=off；设置为关闭状态 ...

2018-09-16 17:58:22 2026