- 博客(88)
- 收藏
- 关注
RSS订阅原创 centos6.7安装php论坛
一.安装mysql 1.安装mysql yum install mysql mysql-server 2.启动mysql /etc/init.d/mysqld start 这里不详细讲解mysql的密码修改，远程登录的设置，可以看《RPM方式安装MySQL5.6》，其中有详细的说明。(如果有远程数据库这个可以忽略) ...
2018-02-20 22:38:51
281
原创 Discuz链接远程数据库Can't connect to MySQL server on 'XXX' (13)
但是如果此时还是出现Can't connect to MySQL server on 'XXX' (13)的错误提示，可以尝试如下方法：1. 查看httpd_can_network_connect的值是否为off（例如：httpd_can_network_connect --> off）# getsebool -a | grep httpd2. 修改httpd_can_network...
2018-02-20 22:36:09
657
原创 用Python处理HTML转义字符的5种方式
写爬虫是一个发送请求，提取数据，清洗数据，存储数据的过程。在这个过程中，不同的数据源返回的数据格式各不相同，有 JSON 格式，有 XML 文档，不过大部分还是 HTML 文档，HTML 经常会混杂有转移字符，这些字符我们需要把它转义成真正的字符。什么是转义字符在 HTML 中 <、>、& 等字符有特殊含义（<，> 用于标签中，& 用于转义），他...
2018-02-04 15:55:44
268
原创 查找python项目依赖并生成requirements.txt
1、如果使用virtualenv环境，直接使用 pip freeze > requirements.txt➜ ~ .virtualenvs/xxx/bin/pip freeze > requirements.txt2、如果没有使用virtualenv，使用工具pipreqs 这个工具的好处是可以通过对项目目录的扫描，自动发现使用了那些类库，自...
2018-02-03 11:42:53
236
原创 python后台运行一个命令美滋滋
python的输出有缓冲，导致python.log3并不能够马上看到输出。使用-u参数，使得python不启用缓冲。所以改正命令，就可以正常使用了nohup python -u test.py > out.log 2>&1 &查看输出tail -f out.log ...
2018-02-01 11:13:17
205
原创 Centos6.8通过yum安装mysql5.7
1.安装mysql的yum源a.下载配置mysql的yum源的rpm包 根据上面3张图片中的操作下载下来的rpm文件可以通过如下命令获取：wget https://dev.mysql.com/get/mysql57-community-release-el6-9.noarch.rpm b.安装用来配置mysql的yum源的rpm包...
2018-01-31 19:46:26
143
原创 阿里云python2.6.6 升级到python3.5
CentOS 下将 Python2 升级到Python31. 从Python官网到获取Python3的包， 切换到目录/usr/local/src#wget https://www.python.org/ftp/python/3.5.1/Python-3.5.1.tar.xz2. 使用命令如下命令进行解压缩：xz -d Python-3.5.1.tar.xzt...
2018-01-30 21:00:58
278
原创 requests爬取猫眼电影top100
import requestsfrom requests.exceptions import RequestExceptionimport reimport jsonfrom multiprocessing import Pooldef page_one_html(url): try: response = requests.get(url);...
2018-01-28 21:51:08
235
原创 阿里centos mongodb最完成的攻略
--配置MongoDB的yum源 vim /etc/yum.repos.d/mongodb-org-3.4.repo --添加以下内容： [mongodb-org-3.4] name=MongoDB Repository baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-...
2018-01-24 17:33:07
115
原创 requests爬虎牙频道和主播信息
#!/usr/bin/env python# -*- coding: utf-8 -*-# @Time : 2018/1/23 15:42# @Author : Aries# @Site : # @File : yy.py# @Software: PyCharmimport requestsimport timefrom lxm...
2018-01-23 19:50:08
378
原创 tesseract ai百度 github的代码 发现还是收费的好用
下载windows版本的tesseract安装包，我下载的版本是是http://3.onj.me/tesseract/网站所维护的，安装后有个doc文件夹，里面有英文的使用文档。为了在全局使用方便，比如安装路径为D:\Application\tesseract，将D:\Application\tesseract添加到环境变量的path中。为了进行测试，我们在其他文件夹下，比如在桌...
2018-01-12 17:20:00
678
原创 知乎破解登录爬虫scrapy
之前网络上上多的教程，包括视频教程，都用了很老的方式，老师也说过爬虫和反爬是一场永不停息的战斗。我在这次体会的淋漓尽致，前一天知乎的登录刚刚告破，第二天知乎就改版了，现在知乎的登录方式是通过文件上传的方式，而且每个登录的验证码也是加密的js方式，我这才疏学浅搞不定恨啊。我因为这彻夜难眠搞了3天还是没搞定。平常还得上班，晚上回来都没搞定，最后在不断的深入学习过程中，我发现了一个很牛逼...
2018-01-07 23:12:36
818
原创 python-selenium
from selenium import webdriverfrom scrapy.selector import Selectorfrom time import sleepchrome_opt = webdriver.ChromeOptions();prefs ={"profile.managed_default_content_settings.images":2...
2018-01-07 00:53:12
129
原创 布隆过滤器-用了它牛逼了
在日常生活中，包括在设计计算机软件时，我们经常要判断一个元素是否在一个 集合中。比如在字处理软件中，需要检查一个英语单词是否拼写正确（也就是要判断它是否在已知的字典中）；在 FBI，一个嫌疑人的名字是否已经在嫌疑名单上；在网络爬虫里，一个网址是否被访问过等等。最直接的方法就是将集合中全部的元素存在计算机中，遇到一个新 元素时，将它和集合中的元素直接比较即可。一般来讲，计算机中的集合是用哈希表（h...
2018-01-05 16:03:45
725
2
原创 Web Scraper-牛逼的东西就在身边
使用 Chrome 浏览器插件 Web Scraper 可以轻松实现网页数据的爬取，不写代码，鼠标操作，点哪爬哪，还不用考虑爬虫中的登陆、验证码、异步加载等复杂问题。Web Scraper插件Web Scraper 官网中的简介：Web Scraper Extension (Free!)Using our extension you can create a plan (si...
2018-01-03 16:53:27
3038
原创 在Android Studio 和 Eclipse 的 git 插件操作 "代码提交"以及"代码冲突"
面向对象：曾经使用过SVN的同学。（因为Git 它 可以说是双重的SVN (本地一个服务器，远程一个服务器)），提交代码要有两次步骤，先提交到本地服务器，再把本地服务器在提交到远程服务器。所以连SVN的同学都没有使用过就好好使用一下SVN吧。a1.代码更新。在SVN中操作，我们要提交已经修改过的代码前，一定会记住。"先更新，在提交" (不然你的小伙伴的代码就被你全覆盖了，然后...
2018-01-03 15:20:01
122
原创 scrapy架构及原理
scrapy data flow（流程图）Scrapy使用了Twisted作为框架，Twisted有些特殊的地方是它是事件驱动的，并且比较适合异步的代码。对于会阻塞线程的操作包含访问文件、数据库或者Web、产生新的进程并需要处理新进程的输出(如运行shell命令)、执行系统层次操作的代码(如等待系统队列),Twisted提供了允许执行上面的操作但不会阻塞代码执行的方法。下面的图表显示了S...
2018-01-02 23:59:20
265
原创 Scrapy之crawSpider和BaseSpider的区别
Scrapy中的BaseSpider爬虫类只能抓取start_urls中提供的链接，而利用Scrapy提供的crawlSpider类可以很方便的自动解析网页上符合要求的链接，从而达到爬虫自动抓取的功能。要利用crawSpider和BaseSpider的区别在于crawSpider提供了一组Rule对象列表，这些Rule对象规定了爬虫抓取链接的行为，Rule规定的链接才会被抓取，交给相应的ca...
2018-01-01 17:01:47
1252
原创 postman完成教程-自动生成代码获取代码信息
1.下载 Postman Interceptor2.安装后的postman里面下载Postman Chrome app3.postman chrome app 谷歌账号可以直接登录4.点击下面的图片2个黄色按钮5.在谷歌浏览器登录你要登录的网站 例如：www.baidu.com6.右边的history 就可以到你刚在谷歌浏览器浏览的url7.点击url ，就多一个t...
2017-12-27 00:42:25
1738
原创 oracle-长字符串无法修改
1.长字符串无法修改添加将数据导出sql数据，查看出来唯一的一条通过plsql的命令行窗口-在编辑器中添加set define off;delete from 表名 where sap_trade_id ='7712017121399917' and trans_ido='2017121337795426'; insert into 表名(字段1，字段2) value(字段...
2017-12-14 10:26:08
147
原创 scrapy遇见的坑
0.windows安装scrapy1、安装wheel： 在控制台输入pip install wheel即可自动完成安装2、安装lxml： 到 https://www.lfd.uci.edu/~gohlke/pythonlibs/，往下拉找到 lxml，下载适合自己电脑 操作系统及python版本的.whl文件。cp27、cp35等代表pytho...
2017-12-12 22:25:35
476
原创 python之scrapy(二)
extract_first("") = extract()[0] def parse(self, response): re_selector = response.xpath('//*[@class="entry-header"]/h1/text()').extract_first("") zan = response.xpath('//*[...
2017-12-10 16:32:50
135
原创 python之scrapy(一)
通过workon进入后创建的虚拟环境article_spider虚拟环境只是用来关联项目的环境的例如，pip加载的一些插件也会直接放入你的虚拟环境中在e盘创建一个scrapy 项目：pip install scrapy window10的环境下可能会报错，因为一个需要安装一个window10的本地环境，需要去http://www.lfd.uci.edu/~gohlke...
2017-12-10 13:35:31
125
原创 python虚拟环境搭建
在开发Python应用程序的时候，系统安装的Python3只有一个版本：3.4。所有第三方的包都会被pip安装到Python3的site-packages目录下。如果我们要同时开发多个应用程序，那这些应用程序都会共用一个Python，就是安装在系统的Python 3。如果应用A需要jinja 2.7，而应用B需要jinja 2.6怎么办？这种情况下，每个应用可能需要各自拥有一套“独立”的...
2017-12-05 17:13:44
96
原创 https://github.com/facebook/react-native/issues/4968
1. 摘要 ReactNative在开发的时候，会遇到很多坑。需要我们根据日志来解决。把解决经过记录下来，方便之后的开发人员来搜索解决办法。 2. 日志Loading dependency graph, done.error: bundling: UnableToResolveError: Unable to resolve module `react/li...
2017-11-25 20:32:26
889
原创 什么是 JWT -- JSON WEB TOKEN
什么是JWTJson web token (JWT), 是为了在网络应用环境间传递声明而执行的一种基于JSON的开放标准（(RFC 7519).该token被设计为紧凑且安全的，特别适用于分布式站点的单点登录（SSO）场景。JWT的声明一般被用来在身份提供者和服务提供者间传递被认证的用户身份信息，以便于从资源服务器获取资源，也可以增加一些额外的其它业务逻辑所必须的声明信息，该tok...
2017-10-09 09:48:39
113
原创 Charles抓包获取数据来做开发
安装HTTP抓包HTTPS抓包 1. Charles安装官网下载安装Charles:https://www.charlesproxy.com/download/ 兄弟用的时候根据你的版本一定要破解 我下载的4.1.4 最新版v4.1.4破解文件下载:链接: https://pan.baidu.com/s/1sl5AeTJ 密码...
2017-09-25 00:21:23
272
原创 Android emulator启动模拟器
手机不再身边，准备利用下模拟器调试下代码。输入emulator -avd Nexus_6P_API_O(avd 的名字可以通过命令avdmanager list avd获得），然后出现如下错误：[140736745632704]:ERROR:./android/qt/qt_setup.cpp:28:Qt library not found at ../emulator/lib64/qt/...
2017-09-22 19:58:34
497
原创 React-native 键盘弹出绝对定位上浮
RN中解决键盘问题ios上原生集成IQKeyBoardManager，具体集成方法请另行百度android上RN会自动上浮页面–碰到如下问题感觉整个人都不好了，react-native-tab-navigator,是一个很常用的第三方库，在android上选择一个TextInput，然后会发现在首次渲染的时候，tab navigator这个组件是没问题的，...
2017-09-17 23:41:22
3857
2
原创 你必须要会点FlexBox布局
布局的传统解决方案，基于盒状模型，依赖 display 属性 + position属性 + float属性。它对于那些特殊布局非常不方便，比如，垂直居中就不容易实现。2009年，W3C 提出了一种新的方案----Flex 布局，可以简便、完整、响应式地实现各种页面布局。目前，它已经得到了所有浏览器的支持，这意味着，现在就能很安全地使用这项功能。Flex 布局将成为未来布局的首...
2017-09-16 16:46:54
148
推荐一款GitHub超实用的可视化代码树插件：Octotree
Code tree for GitHub and GitLab先上图不说话！看图就知道了！大家在GitHub查看代码的时候，是不是会经常跳转搜索代码！过一段时间就不知道自己跑到哪里了！有了这款工具，再也不用担心找不到位置了！GitHub开源项目代码https://github.com/buunguyen/octotreeBrowser extension (Chr...
2017-09-11 22:08:35
360
原创 React Native 环境搭建和创建项目(Mac)
(一) 搭建基本环境（必要）使用React Native开发iOS应用需要OSX系统，Xcode，Homebrew，node，npm，也可以有选择的使用watchman 、Flow。1. 安装HomebrewHomebrew, 简称brew, Mac系统的包管理器, 用于安装NodeJS和一些其他必需的工具软件。Home-brew 的使用方式:1)搜索软件：brew sea...
2017-09-11 00:56:41
168
原创 docker的原理
docker - 一个海豚托了很多的集装箱 诠释了docker的原理Build-构建镜像 - [镜像 - 集装箱] Ship-运输镜像（从仓库和我们的主机上运输）- [仓库 - 超级码头] Run- 运行镜像（运行的镜像就是一个容器） - [容器 - 运行程序的地方] Docker运行过程:去仓库把镜像拉倒本地，然后用一条命令把镜像运行起来变成容器！ ...
2017-09-06 09:50:02
136
原创 springmvc 加入swagger2
swagger2：restful管理项目API工具1、pom.xml增加依赖包<dependency> <groupId>io.springfox</groupId> <artifactId>springfox-swagger2</artifactId> ...
2017-08-31 11:26:35
173
原创 微信开发ios端js click 没反应的解决方案
click后面加了touchstart就行了 $(document).on("click touchstart",".numberDiv",function(){console.log($(this).parent().parent().find("div").html()); $('.numberDiv').each(function(){ $(this).remove...
2017-08-14 10:51:06
1199
原创 keepalived +nginx 终于搞定了
keepalived1.是用于容灾的 可以通过shell脚本的方式监听某个服务是否运行2.需要在多台机器我做的实验环境是在2个centos7的环境下进行的3.查看keepalived的日志tail -f /var/log/messages 有可能你的版本上不是叫messages，有的直接叫keepalived4.我在配置上做了4个小时翻阅了很多的资料，2个keepalive...
2017-08-13 19:47:58
439
原创 如何配置VMware客户虚拟机使用NAT模式联网通信
本例中配置客户虚拟机（CentOS）使用NAT(网络地址转换Network Address Translation)模式进行联网到公网（互联网）。客户机网段为192.168.1.0/24网段，经NAT由主机（192.168.0.0/24网段）连接到互联网。1.主机配置如下： IP地址: 192.168.0.125 子网掩码： 255.255.255.0 网关： ...
2017-08-11 23:30:08
236
原创 vm克隆虚拟机centos
克隆完后需要注意的运行：vi /etc/sysconfig/networkHOSTNAME = 新的名称运行：vi /etc/hostsip地址 主机名称解决克隆后eth0不见的问题直接修改 /etc/sysconfig/network-script/ifcfg-eth0删掉UUID HWADDR配置静态地址然后：rm -rf /etc/ud...
2017-08-06 12:31:14
111
原创 linux-centos命令集
linux的命令操作 1、日常操作命令 **查看当前所在的工作目录pwd **查看当前系统的时间 date **查看有谁在线（哪些人登陆到了服务器）who 查看当前在线last 查看最近的登陆历史记录 2、文件系统操作**ls / 查看根目录下的子节点（文件夹和文件）信息ls -al -a是显示隐藏文件...
2017-08-06 11:41:53
93
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人