- 博客(103)
- 资源 (11)
- 收藏
- 关注
RSS订阅原创 scrapy在Request之间传递参数
我们在写爬虫的时候，经常会遇到这种情况，这里举例说明一下，比如爬一个新闻页面，首先爬的是新闻列表页pageA，从pageA里获取新闻详细页连接，然后爬新闻详情页pageB，新闻详情页pageB里有一个关于这个新闻的解说，在另一个页面pageC。这时候如果用传参的方法可以直接在爬取完成一条新闻的整个信息以后再把信息yield出去。 说明： 1、爬取列表信息的方法funcA 2、爬取新闻详情信息的
2017-06-05 20:45:38
13074
1
转载 Docker创建Mysql容器并通过命令行连接到容器
文章转自http://www.cnblogs.com/baolong/p/5763412.html创建mysql5.6容器 1master+3个slavedocker run --name mysql-master -d -P hub.c.163.com/nce2/mysql:5.6docker run --name mysql-slave1 -d -P hub.c.163.com/nce2/my
2017-05-04 09:22:42
753
转载 SSM框架——详细整合教程（Spring+SpringMVC+MyBatis）
使用SSM（spring、SpringMVC和Mybatis）已经有三个多月了，项目在技术上已经没有什么难点了，基于现有的技术就可以实现想要的功能，当然肯定有很多可以改进的地方。之前没有记录SSM整合的过程，这次刚刚好基于自己的一个小项目重新搭建了一次，而且比项目搭建的要更好一些。以前解决问题的过程和方法并没有及时记录，以后在自己的小项目中遇到我再整理分享一下。这次，先说说三大框架整合过程。个人认为
2017-01-23 11:21:36
928
转载 Spring MVC 教程,快速入门,深入分析
原文地址：http://elf8848.iteye.com/blog/875830/#目录 一、前言二、spring mvc 核心类与接口三、spring mvc 核心流程图四、spring mvc DispatcherServlet说明五、spring mvc 父子上下文的说明六、springMVC-mvc.xml 配置文件片段讲解 七、spring mvc 如何访问到静态的文件，如j
2017-01-23 10:40:51
987
转载 python读取xml文件
关于python读取xml文章很多，但大多文章都是贴一个xml文件，然后再贴个处理文件的代码。这样并不利于初学者的学习，希望这篇文章可以更通俗易懂的教如何使用python 来读取xml 文件。什么是xml？xml即可扩展标记语言，它可以用来标记数据、定义数据类型，是一种允许用户对自己的标记语言进行定义的源语言。abc.xml<?xml version="1.0" encoding="utf-8"?>
2017-01-10 22:31:01
1167
原创 Python图片处理模块Pillow
原文来自Pillow安装警告* Pillow 不能和PIL 同时存在于一个环境中，在安装Pillow之前需要先卸载PIL* Pillow 1.0 版本后已经不支持import Image,请使用from PIL import Image来代替* Pillow 2.1.0版本以后已经不支持import _imaging,请使用from PIL.Image import core as _imagi
2016-12-26 09:23:17
10325
转载 iOS下载历史版本App教程
该文章属于<简书 — Timhbw>原创，转载请注明： <简书社区 — Timhbw>http://www.jianshu.com/p/edfed1b1822c有些时候我们需要下载旧版本的 App 进行研究或者其他用途，然而在 iOS 下，苹果的 App Store 里面默认只能下载最新版本的 App，对滴，就是这么任性，不服不行。然而在 Android 里面任意一个应用商店都可以下载任意版本的 A
2016-12-14 09:36:58
42600
转载 Docker创建Mysql容器并通过命令行连接到容器
原文地址：http://www.cnblogs.com/baolong/p/5763412.html拉取网易蜂巢的mysql-server：5.6docker pull hub.c.163.com/nce2/mysql:5.6创建mysql5.6容器 1master+3个slavedocker run --name mysql-master -d -P hub.c.163.com/nce2/mysq
2016-12-07 14:11:44
4915
转载 elasticsearch 查询（match和term）
原文： http://www.cnblogs.com/yjf512/p/4897294.htmlelasticsearch 查询（match和term）es中的查询请求有两种方式，一种是简易版的查询，另外一种是使用JSON完整的请求体，叫做结构化查询（DSL）。由于DSL查询更为直观也更为简易，所以大都使用这种方式。DSL查询是POST过去一个json，由于post的请求是json格式的，所以存在
2016-12-06 11:11:58
794
原创 elasticsearch不能以root运行的问题
当我们在使用elasticsearch的时候，如果是以root权限来执行elasticsearch./elasticsearch则会有以下报错Exception in thread "main" java.lang.RuntimeException: don't run elasticsearch as root. at org.elasticsearch.bootstrap.Bootstrap.i
2016-11-30 09:03:17
30662
1
转载 如何让你的scrapy爬虫不再被ban
原文地址：前面用scrapy编写爬虫抓取了自己博客的内容并保存成json格式的数据scrapy爬虫成长日记之创建工程-抽取数据-保存为json格式的数据和写入数据库scrapy爬虫成长日记之将抓取内容写入mysql数据库。然而，这个爬虫的功能还是过于弱小，一旦目标网站设置了爬虫的限制，我们的爬虫也就失效了。因此这里重点讲述一下如何避免scrapy爬虫被ban。本门的所有内容都是基于前面两篇文章的基础
2016-11-21 17:29:03
4127
原创 MySQL 连接错误Can't connect to MySQL server on (61)
链接数据库时忽然遇到一个问题。Mac Navicat链接时报错Cant connect to MySQL server on ‘xx.xx.xx.xx’ (61)。PS. win版Navicat 报错Can’t connect to MySQL server on ‘xx.xx.xx.xx’ (10038)其中xx.xx.xx.xx是ip地址。1、查看该用户是否有远程登录的权限===mysql>
2016-11-02 18:50:43
34331
6
原创 Mac 10.11安装MySQLdb-python时报错总结
前言===其实以前遇到过这些坑，费了n久解决了以后，实在是心累，不想总结。当时心想，现在配好这个环境，以后再也不弄这个了！！然鹅，是我图样图森破了，这美好的乌托邦环境在一次电脑抽风，只能重装以后就木有了！心好累~错误===下面开始我们的错误之旅~1、mysql_config not found===按照套路步骤，首先在这https://sourceforge.net/projects/mysql-p
2016-11-01 19:44:53
2279
原创 JQuery 开始关闭按钮禁用属性
启用禁用属性：$("#buttonID").attr({"disabled":"disabled"});或者$("#buttonID").attr('disabled','');两着都会给id为buttonID的按钮添加disabled属性。当按钮有该属性以后无法进行点击关闭禁用属性$("#buttonID").removeAttr("disabled");该代码会移除id为buttonID的按
2016-10-25 17:35:12
2443
原创 Django链接远程数据库并创建model
前言基础知识网上有很多，不再赘述。这里默认你已经对Django有了一定的的了解。 看本文的前提：已经对Django有了基础的认识已经有了远程数据库拥有该数据库的相关权限远程数据库配置修改settings.py中数据库相关代码：DATABASES = {'default': { 'ENGINE': 'django.db.backends.sqlite3', 'NAME':
2016-07-21 10:12:17
3323
转载 正则表达式 linux shell
热身正则表达式(regular expression)描述了一种字符串匹配的模式，可以用来检查一个串是否含有某种子串、将匹配的子串做替换或者从某个串中取出符合某个条件的子串等。例如 grep, expr, sed , awk. 或Vi中经常会使用到正则表达式，为了充分发挥 shell 编程的威力,需要精通正则表达式。下面先举个简单例子来让大家对正则表达式有个直观的感受。ls命令是linux下最常用的
2016-02-20 20:23:11
867
原创 swift与OC混编（方法调用）
原创文章转载请注明出处。背景在上一篇文章中简单讲述了怎么创建Swift和OC的混编工程。本篇讲一下Swift和OC的混编工程中的方法调用。OC调用SwiftOC调用Swift方法比较简单。但是需要注意以下几点：1.需要在当前OC类里导入xxx-Swift.h头文件，其中xxx为项目名称（与你的项目配置相关，具体配置方式见上一篇文章）2.OC类里仅可以调用public的Swift方法和变量3.
2016-01-29 11:48:53
16197
原创 修复iOS模拟器无法启动
今天遇到模拟器无法启动问题，点击模拟器或者Xcode build模拟器就一直跳，跳一会就不跳了。然后查看模拟器状态，显示为无响应。 如果你有类似情况可以尝试执行以下命令：rm -rf ~/Library/Developer/CoreSimulator/Deviceskillall -9 com.apple.CoreSimulator.CoreSimulatorService第一句的意思是删除模拟器
2016-01-29 11:39:17
8973
1
转载 iOS客户端与JAVA服务器之间的RSA加密解密
文章转载自：http://www.cnblogs.com/makemelike/articles/3802518.html 在网上找了许多篇关于RSA加密解密的文章与博客，是很有帮助，但比较零散与不简洁。 (至于RSA的基本原理，大家可以看 阮一峰的网络日志 的 RSA算法原理（一） 和 RSA算法原理（二） ) 这篇文章只是做一个整理，帮大家理清一下步骤的而已（ 英文版本请看 RSA Enc
2016-01-27 09:24:52
11609
1
原创 swift与OC混编（创建混编工程）
原创文章转载请注明出处。背景Swift语言自推出以来苹果官方就开始努力开始推这门新语言。就在15年WWDC上更是把Swift进行了开源，瞬间star就开始不断飙升，截止今天（16年1月25）已经达到26059个star【源码请点击这里】，而且每天还都在不断增长，而且每天都会有Pull Requests。这足以说明全球开发者对这门语言的认可度。虽然现在在有些地方还不够完善，但是相信会在未来的某一天，
2016-01-26 00:17:41
3032
原创 解压静态库.a文件
首先先准备一个静态库.a文件，比如叫staticLibrary.a，放在桌面的test目录里。分离arch首先先file一下staticLibrary.a，看一下该文件包含几种arch。~ cd Desktop/testtest lsstaticLibrary.atest file staticLibrary.a staticLibrary.a: Mach-O universal bi
2015-11-16 20:34:31
31599
1
转载 ReactiveCocoa入门教程——第二部分
本文翻译自RayWenderlich ReactiveCocoa Tutorial – The Definitive Introduction: Part 2/2ReactiveCocoa是一个框架，它能让你在iOS应用中使用函数响应式编程（FRP）技术。在本系列教程的第一部分中，你学到了如何将标准的动作与事件处理逻辑替换为发送事件流的信号。你还学到了如何转换、分割和聚合这些信号。在本系列教程的
2015-11-14 23:54:34
1492
转载 ReactiveCocoa入门教程——第一部分
本文翻译自RayWenderlich ReactiveCocoa Tutorial – The Definitive Introduction: Part 1/2作为一个iOS开发者，你写的每一行代码几乎都是在响应某个事件，例如按钮的点击，收到网络消息，属性的变化（通过KVO）或者用户位置的变化（通过CoreLocation）。但是这些事件都用不同的方式来处理，比如action、delegate
2015-11-13 21:39:15
1341
原创 Mac终端命令远程开启屏幕共享进行远程控制
使用背景开启方法ssh登陆远程主机如果你连ssh都没开启那就没办法了。 具体的登陆命令查看之前的博文：http://blog.youkuaiyun.com/showhilllee/article/details/47102413执行开启命令执行的命令其实就是修改一个系统屏幕分享的配置文件。具体方式如下：开启使用以下命令进行开启共享：sudo /System/Library/CoreServices/Remo
2015-10-21 16:25:12
18864
5
转载 Mac OS X中配置Apache
我使用的Mac OS X版本是10.8.2，Mac自带了Apache环境。启动Apache设置虚拟主机启动Apache打开“终端(terminal)”，输入 sudo apachectl -v，（可能需要输入机器秘密）。如下显示Apache的版本接着输入 sudo apachectl start，这样Apache就启动了。打开Safari浏览器地址栏输入 “http://localhost”，
2015-10-10 15:46:22
812
转载 代码签名探析
“用户会感激代码签名带来的好处” – Apple Developer Library: Code Signing Guide在 iOS 或 OS X 平台上进行应用开发时，你所需要使用的 API 大多设计得简洁明了。你可以轻易地实现酷炫的动画效果，便捷地进行应用发布前测试，或是用 Core Data 将数据安全的存储在本地。但是总有一天，你会碰上代码签名 (code signing) 和配置文件 (
2015-09-16 14:52:43
2310
转载 Mac OS X系统搭建谷歌Go语言开发工具 Sublime Text 环境配置
转载地址：http://www.cr173.com/html/33948_1.htmlGo语言是谷歌自家的编译型语言，旨在不损失性能的前提下降低代码复杂率。其优势是让软件充分发挥多核心处理器同步多工的优点，并可解决面向对象程序设计的麻烦。一、安装Golang的SDK在官网http://golang.org/ 直接下载安装包安装即可。下载pkg格式的最新安装包，直接双击运行，
2015-09-12 22:48:32
8800
转载 iOS9 3DTouch、ShortcutItem、Peek And Pop技术一览
3DTouchUITouch类里API的变化iOS9中添加的属性 altitudeAngle当笔平行于平面时,该值为0当笔垂直于平面时,该值为Pi / 2 estimatedProperties当前触摸对象估计的触摸特性返回值是UITouchPropertyies updatedProperties当前触摸对象已经更新的触摸特性返回值是UITouchPropertyies estim
2015-09-11 18:07:47
22986
原创 xcode快速生成文档
首先是转载内容： 一、自动生成注释代码 添加一个快捷键，生成 注释代码 ThisService 下载连接：http://wafflesoftware.net/thisservice/ Doxygen.rb 下载连接：http://www.brokenrul.es/blog/wp-content/uploads/2011/03/Doxygen.rb_.
2015-08-16 13:04:07
6693
转载 Python之正则表达式
re模块包含对 正则表达式。本章会对re模块主要特征和正则表达式进行介绍。 什么是正则表达式正则表达式是可以匹配文本片段的模式。最简单的正则表达式就是普通字符串，可以匹配其自身。换包话说，正则表达式’python’ 可以匹配字符串’python’ 。你可以用这种匹配行为搜索文本中的模式，并且用计算后有值并发特定模式，或都将文本进行分段。 ** 通配符
2015-08-05 21:27:44
679
原创 Mac服务器服务更新常用的几个shell命令
Mac服务器需要先开启远程登录。开启方式：系统偏好设置->共享 勾选远程登录 常用命令有：拷贝（把本机文件拷贝到远程服务器上）scp -r 本地路径/file userName@192.168.xxx.xx:/tmp #userName为远程服务器用户名称，后面为服务器地址,/tmp为远程服务器的某个目录，有些时候会遇到权限问题，可以考虑先拷贝到/tmp下，登录上远程服务后再进行cp或mv。回车
2015-07-28 11:08:19
4972
原创 Mac解压命令之不解压__MACOSX相关文件
当我们在Mac系统压缩时，系统会给你默认放一个__MACOSX目录，如果你用系统直接解压不会出现这个目录，但是如果你用命令或者在win上解压，这个目录就显现出来了。 所以这里说下用命令解压时不解压__MACOSX目录的方法。解压命令为：unzip shell.zip -x __MACOSX/*这样解压后就不会生成 __MACOSX目录了。博客原文地址：PS.附上zip和unzip相关参数及解释：U
2015-07-26 12:36:48
11643
1
原创 shell自动打包ipa
Xcode自动打包ipa脚本苹果官方给提供了xcodebuild和xrun shelll命令用来自动编译打包ipa功能。在使用之前必须要先安装command line tools才可以执行命令。command line tools的安装方式可以从官网下载，也可以直接用命令行进行安装，在终端输入(默认已经安装了Xcode):xcode-select --install安装完成之后就可以使用脚本命令来打
2015-07-22 11:47:15
6198
转载 shell 脚本教程 入门级
建立一个脚本 Linux中有好多中不同的shell，但是通常我们使用bash (bourne again shell) 进行shell编程，因为bash是免费的并且很容易使用。所以在本文中笔者所提供的脚本都是使用bash（但是在大多数情况下，这些脚本同样可以在 bash的大姐，bourne shell中运行）。 如同其他语言一样，通过我们使用任意一种文字编辑器，比如nedit
2015-05-19 13:49:13
4322
转载 shell脚本----cp (copy)复制文件或目录
在linux中怎样用命令完全拷贝一个目录下的所有文件（包括隐藏文件以及文件夹）到另外一个目录下，并且使得被复制的所有文件的属性等完全保持不变？ 注意，连原来的文件夹中所有的文件的属性、链接等都不能更改。也就是说，要建立原来文件夹的一份一模一样的拷贝！&n在linux中怎样用命令完全拷贝一个目录下的所有文件（包括隐藏文件以及文件夹）到另外一个目录下，并且使得被复制的所有文件的属性等完全保持不
2015-05-18 19:29:20
4696
转载 优秀开源代码解读之JS与iOS Native Code互调的优雅实现方案
简介本篇为大家介绍一个优秀的开源小项目：WebViewJavascriptBridge。它优雅地实现了在使用UIWebView时JS与ios 的ObjC nativecode之间的互调，支持消息发送、接收、消息处理器的注册与调用以及设置消息处理的回调。就像项目的名称一样，它是连接UIWebView和Javascript的bridge。在加入这个项目之后，他们之间的交互处理方
2015-04-11 10:23:03
1279
转载 iOS开发系列--音频播放、录音、视频播放、拍照、视频录制
iOS开发系列–音频播放、录音、视频播放、拍照、视频录制 概览 随着移动互联网的发展，如今的手机早已不是打电话、发短信那么简单了，播放音乐、视频、录音、拍照等都是很常用的功能。在iOS中对于多媒体的支持是非常强大的，无论是音视频播放、录制，还是对麦克风、摄像头的操作都提供了多套API。在今天的文章中将会对这些内容进行一一介绍： 音频 音效 音乐 音频会话 录音 音频队列服务
2015-03-05 15:03:31
4082
转载 对比iOS网络组件：AFNetworking VS ASIHTTPRequest
文章转自：http://www.infoq.com/cn/articles/afn_vs_asi/在开发iOS应用过程中，如何高效的与服务端API进行数据交换，是一个常见问题。一般开发者都会选择一个第三方的网络组件作为服务，以提高开发效率和稳定性。这些组件把复杂的网络底层操作封装成友好的类和方法，并且加入异常处理等。那么，大家最常用的组件是什么？这些组件是如何提升开发效率和稳定性的
2015-03-05 14:07:48
1274
原创 Mac定时关机、重启、休眠命令行
由于一些原因（程序员都懂得），需要在不上班的时间去连公司电脑来做一些事。所以公司电脑很少关机。但是在没多天没有关机以后电脑会变得很卡。所以现在每天早上去公司的第一件事情就是先重启一下电脑。人工重启，太不符合程序员的作风了。于是，就想到了用命令行定时关机重启。命令非常简单：关机：sudo shutdown -h yymmddhhmm重启：sudo shutdown -r yym
2015-03-04 22:32:11
20082
原创 iOS8跳转到系统设置页
大家都知道，在iOS5.0时时可以跳转到系统的设置页的。但是在5.1之后就不可以了。刚才研究了下这个问题，发现只有iOS8可以跳转到系统设置里自己App的页面。目前没有找到iOS7怎么跳转过去。如果你知道请一定要留言告知，Thanks!下面说下iOS8是如何跳转的，以下是代码：NSURL *url = [NSURL URLWithString:UIApplicationOpenSe
2015-03-04 11:04:11
19187
4
android的UI设计
2011-11-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人