red-frog的博客

索引优点与缺点优点：用于提高数据读取速度，提高查询效率缺点： 会降低表更新速度占用磁盘空间基本命令唯一索引，实现唯一约束，1（升序），-1（降序） db.集合名.ensureIndex({“name”:1},{“unique”:true})联合索引，对多个属性建立一个索引，按照find()出现的顺序 db.集合名.ensureIndex({name:1,age:1})查看索引

请求与响应请求GETRequest类重要参数 url：目标urlcallback：目标url对应的解析函数meta：传参，，字典形式headers：请求头，模拟伪装dont_filter: 该请求是否被过滤器过滤cookies：cookies参数meta传参原理 Scheduler（调度器）将requests请求实例，（此实例中含有meta参数）给了下载器，Downloader（

目的：为了增加代码可读性，更加简洁，欢迎大家批评补充列表生成式list = [a for a in range(10)]字典生成式将列表转换为字典temp_list = ['a=b', 'c=d'] dict = {i.split("=")[0]:i.split("=")[1] for i in temp_lsit}生成字典简单写法make_dict = dict(a="b", c="d

Scrapy框架结构及各模块功能框架结构模块功能Scrapy Engine（引擎）： 处理整个系统各个模块间信号Spiders（爬虫类）： 发起起始的请求定义如何爬取一个网站，获取数据Scheduler（调度器）： 从此处拿到url接收请求，压入队列Downloader（下载器）： 接收请求，返回响应ItemPipeline（管道）： 数据后续处理Scrapy框架爬虫开发流

nginx/usr/local/nginx查询nginx主进程号：ps -ef | grep nginx关闭：kill -9 进程号- 启动：sudo /usr/local/nginx/nginxmongodb数据实例：/var/lib/mongodb日志：/var/log/mongodb

模拟qq聊天# -*- coding:utf-8 -*-import socketfrom threading import Threaddef read_msg(socket, msg): print(msg) while True: receive_msg, IP = socket.recvfrom(1024) print("from %s:

tcp服务器# -*- coding:utf-8 -*-import socketdef main(): # 创建套接字 service_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM) # 设置属性，可以重复使用IP service_socket.setsockopt(socket.SOL_SO

多线程并发# -*- coding:utf-8 -*-# 实现理由：不让客户端去等待连接import socketfrom multiprocessing import Processdef talk(sock): while True: # 写while True 的原因，可以让客户端多次发消息 msg_IP = sock.getpeername()