- 博客(34)
- 资源 (29)
- 收藏
- 关注
原创 Python:使用Scrapy框架的ImagesPipeline下载图片如何保持原图片名称呢?
默认情况下,使用ImagePipeline组件下载图片的时候,图片名称是以图片URL的SHA1值进行保存的。如:图片URL:http://www.example.com/image.jpgSHA1结果:3afec3b4765f8f0a07b78f98c07b83f013567a0a则图片名称:3afec3b4765f8f0a07b78f98c07b83f013567a0a.jpg
2014-02-22 16:18:28
11603
原创 Python:Scrapy保存控制台信息到文本
在Windows平台下,如果想运行爬虫的话,就需要在cmd中输入:scrapy crawl spider_name这时,爬虫就能启动,并在控制台(cmd)中打印一些信息,如下图所示:但是,cmd中默认只能显示几屏的信息,其他的信息就无法看到。如果我们想查看爬虫在运行过程中的调试信息或错误信息的话,会很不方便。此时,我们就可以将控制台的信息写入的一个文本文件中去,方便我们
2014-02-22 12:01:03
9353
原创 Python:Scrapy框架中Item Pipeline组件(项目管道组件)的使用教程
Item Pipeline简介Item管道的主要责任是负责处理有蜘蛛从网页中抽取的Item,他的主要任务是清晰、验证和存储数据。当页面被蜘蛛解析后,将被发送到Item管道,并经过几个特定的次序处理数据。每个Item管道的组件都是有一个简单的方法组成的Python类。他们获取了Item并执行他们的方法,同时他们还需要确定的是是否需要在Item管道中继续执行下一步或是直接丢弃掉不处理。
2014-02-20 21:01:14
23536
1
原创 Python:Windows7 (64位)系统下安装Scrapy详细教程
环境Windows7 64位Python2.7.6 64位Python的安装:打开http://www.python.org/getit/releases/2.7.6/页面,下载Python-2.7.6.amd64.msi 进行安装,安装完成后,需要配置环境变量,环境变量的配置可以参考该文章测试python是否安装成功,如果python成功安装并且配置好环境变量,那
2014-02-18 00:45:01
10729
转载 Python线程池详细讲解
这段时间一直在做一个爬虫系统,用python和django实现。其中涉及到了多线程的问题,在后端使用一个全局的字典用来保存和识别已经运行的线程。但是觉得这样的实现不是不太舒服。于是想找到一个更好的实现,这就想到了线程池这个概念。线程池的概念是什么?在IBM文档库中这样的一段描写:“在面向对象编程中,创建和销毁对象是很费时间的,因为创建一个对象要获取内存资源或者其它更多资源。在Java中
2014-01-11 23:41:51
1750
转载 关于CInternetSession缓存问题
调用完一次之后,再次调用会出现不发送请求但会返回 HTTP_STATUS_OK 的现象。需要加一句代码。听说是windows mobile 的一个BUG。BOOL b = InternetSetOption (session,INTERNET_OPTION_RESET_URLCACHE_SESSION,NULL,0);一段代码:CInternetSession se
2013-12-28 10:55:25
2157
原创 金山卫士源代码下载
一、在线浏览:https://bitbucket.org/knoss/pcmanager/src二、Hg仓库克隆:hg clone https://bitbucket.org/knoss/pcmanager金山卫士开源代码,VC++完整源码
2013-12-27 21:28:17
1304
1
原创 C++:实现类似MFC的IsKindOf功能
假设需要一个类别库,改类别库共包含以下5个类:GrandFather(祖父类)、Father(父类)、Son(儿子类)、Daughter(女儿类)、GrandSon(孙子类)各个类之间的继承关系为:相应的代码为:class GrandFather{};class Father:public GrandFather{};class Son:pu
2013-12-17 23:57:53
3444
1
原创 最全的libcurl库资源整理
C++ 用libcurl库进行http 网络通讯编程百度登陆协议分析!!!用libcurl来模拟百度登陆C++使用libcurl做HttpClient使用libcurl库进行HTTP的下载libcurl部分总结 libcurl学习笔记(一)Curl Passing data to a simple functionC++ curl模拟登陆
2013-12-06 19:50:32
5296
原创 libcurl之curl_easy_getinfo的使用教程
Code:// getinfo.cpp : 定义控制台应用程序的入口点。//#include "stdafx.h"#include using namespace std;#include "curl/curl.h"#pragma comment(lib, "curllib.lib")//回调函数size_t process_data(void *buffer, size_
2013-12-06 19:22:10
31619
原创 [VC]使用内存映射技术对文件进行倒序
核心代码:BOOL CFileRevDlg::FileReverse(){ bool bIsTextUnicode = FALSE; // Assume text is Unicode // Open the file for reading and writing. HANDLE hFile = CreateFile(m_DirectoryPath + FILENAME , GEN
2013-12-05 17:34:53
1158
转载 虚拟地址空间
当处理器读或写入内存位置时,它会使用虚拟地址。作为读或写操作的一部分,处理器将虚拟地址转换为物理地址。通过虚拟地址访问内存有以下优势:程序可以使用一系列相邻的虚拟地址来访问物理内存中不相邻的大内存缓冲区。程序可以使用一系列虚拟地址来访问大于可用物理内存的内存缓冲区。当物理内存的供应量变小时,内存管理器会将物理内存页(通常大小为 4 KB)保存到磁盘文件。数据或代码页会根
2013-12-04 18:06:27
1448
原创 【VC版】如何获取其他进程中ListView控件中的内容
关键代码 HANDLE hProcess; LVITEM *pointer; HWND hwnd,hListview; int headerhwnd; //listview控件的列头句柄 int rows,cols; //listview控件中的行列数 DWORD ProcessID = NULL; DWORD ThreadID = NULL; hwnd = (HWND)::
2013-12-04 14:14:56
2700
原创 socket的recv非常慢,为什么?
//获取用户信息CString CMySock::GetMemberInfo(char requestUrl[],char Data[]){ char RequestData[1024]; strcpy(RequestData,Data); LPHOSTENT lphost= gethostbyname(requestUrl);
2013-10-04 23:21:48
5018
1
转载 VC模拟输入中文
#include #include 前者是SendInput函数要用到,后者是字符串转换的时候要用到。void SendAscii(wchar_t data, BOOL shift){ INPUT input[2]; memset(input, 0, 2 * sizeof(INPUT)); if (shift) { input[0].type = INPUT
2013-09-08 00:09:39
1711
1
转载 DOM应用---遍历网页中的元素
在我们编写的程序中,如果想要实现对浏览器打开的网页进行监视、模拟操纵、动态提取用户输入、动态修改......等功能,那么请你抽出宝贵的时间,继续往下阅读。本文介绍的知识和示例程序都是围绕如何遍历 HTML 中的表单(form)并枚举出表单域的属性为目标的,对于网页中的其它元素,比如图象、连接、脚本等等,应用同样的方法都可以轻松实现。二、网页的文档层次结构IE 浏览器,采用 DOM(
2013-08-30 21:51:00
919
原创 MFC中使用ADO操作各类数据库的封装类,包括MySql、Access、Oracle、MSSql
演示程序可以在此处下载:http://download.youkuaiyun.com/detail/php_fly/6033883相信这个程序对菜鸟很有帮助!注释:部分注释!开发环境:VS2008数据库:Access和Mysql相关链接:VC++ ADO 连接 mysql:http://www.cppblog.com/current/archive/2009/07/24
2013-08-29 17:11:40
1763
原创 VC获取网页源码的三种方式
//有三种方法'方法一(只适用于MFC工程)://参数URL:网页地址//返回CString就是网页源码//返回的网页源码是UTF8格式,要转成ANSI等编码才能正常显示#include CString GetWebSource(CString URL){ CInternetSession Session(NULL,0); CString PageData;
2013-08-27 17:36:07
2688
原创 SSDT Hook实现内核级的进程保护
SSDT Hook效果图加载驱动并成功Hook NtTerminateProcess函数:当对 指定的进程进行保护后,尝试使用“任务管理器”结束进程的时候,会弹出“拒绝访问”的窗口,说明,我们的目的已经达到:SSDT简介SSDT 的全称是 System Services Descriptor Table,系统服务描述符表。这个表
2013-06-29 17:02:28
8466
1
原创 Ring3转入Ring0跟踪
通过反汇编跟踪一个API函数从Ring3层到Ring0层的具体执行过程,有助于我们加深对相关内核Hook技术的理解。我们可以使用OD打开notepad.exe程序,对CreateFileW下断后,可以发现,有这样一行代码:CALL DWORD PTR DS:[>; ntdll.ZwCreateFile也就是说,CreateFileW(Win32API)实际上是调用了ntdll中的NtC
2013-06-26 16:50:52
3123
原创 NT式驱动加载器
引言设备驱动程序的动态加载主要是由服务控制管理程序(Service Control Manager,SCM)系统组件完成,SCM组件可以提供许多服务,如,启动、停止和控制服务。编写加载驱动程序,主要是操作SCM组件。一般,操作SCM组件的相关API函数有如下几个:SC_HANDLE WINAPI OpenSCManager( __in_opt LPCTSTR lpM
2013-06-25 16:14:45
3132
原创 通过修改CR0寄存器绕过SSDT驱动保护
为了安全起见,Windows XP及其以后的系统将一些重要的内存页设置为只读属性,这样就算有权力访问该表也不能随意对其修改,例如SSDT、IDT等。但这种方法很容易被绕过,我们只要将这些部分修改为可写属性就可以了,不过当我们的事情做完后记得把它们恢复为只读属性,不然会造成一些很难预料到的后果。cr0是系统内的控制寄存器之一。控制寄存器是一些特殊的寄存器,它们可以控制CPU的一些重要特性。
2013-06-18 13:50:52
1628
原创 JMP地址公式推导
以上有个问题:为什么同样的汇编指令JMP 12345678却对应不同的机器码呢?首先,机器码E9表明这是一个近跳转(Near Jmp)这里需要补充下相关知识:JMP分3种:①短跳转(Short Jmp,只能跳转到256字节的范围内),对应机器码:EB②近跳转(Near Jmp,可跳至同一段范围内的地址),对应机器码:E9③远跳转(Far Jmp,可跳至任意地址),对应机器码
2013-06-18 10:13:23
2344
原创 植物大战僵尸辅助之重叠植物
视频教程的地址:植物大战僵尸辅助视频教程付VC/易语言源代码流程:判断植物是否可以被种植,如果可以,则阳光值减少,如果不可以,则返回。分析步骤:1. 找到阳光减少的CALL2. 分析程序开头的关键跳转 种植成功后,阳光值会减少,所以我们必须找出阳光值减少的call(而不是阳光值增加的call)。 首先通过CE找到存储“阳光
2013-05-11 10:13:47
24985
原创 MS-DOS头部
每个PE文件是以一个DOS程序开始的,有了它,一旦程序在DOS下执行,DOS就能识别出这是有效的执行体,然后运行紧随MZ header之后的DOS stub(DOS块)。DOS stub实际上是一个有效的EXE,在不支持PE文件格式的操作系统中,他将简单显示一个错误提示,类似于字符串“This program cannot be run in MS-DOS mode”。程序员也可以根据自己的意
2013-04-27 14:17:47
1439
ADO操作数据库(MySql/Access/Oracle/MSSql)强大封装类
2013-08-29
Python网络编程基础-英文版
2012-04-20
改进后的zencart批量上传插件可以支持上传产品细节图
2012-03-29
zencart二次开发之自动查找产品细节图
2012-03-29
深入浅出之Smarty模板引擎工作机制
2011-12-10
Ajax实时验证用户名邮箱等是否已经存在
2011-11-30
Ajax检测用户名密码等是否存在
2011-11-30
ThinkPHP2.0完全开发手册
2011-11-30
XMLDOM对象方法手册.chm
2011-11-29
标准的Ajax交互流程图
2011-11-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人