- 博客(18)
- 收藏
- 关注
RSS订阅原创 scrapyd spiderkeeper docker部署
首先，有参考这边文章：scrapyd spiderkeeper docker部署 by QY_大师兄我这边只是一个很简单的scrapy项目，需要同时启动 scrapyd服务和spiderkeeper服务，启动完了之后，还要上传egg文件部署。1.先修改scrapy.cfg文件，需要添加 [scrapyd]# Automatically created by: scrapy startpro...
2020-04-23 11:53:31
509
原创 mac 读写权限，anaconda环境配置
今天给同事配置anaconda环境变量的时候，bash_profile始终没有权限打开，根本无法进行修改，加上sudo，输入密码也不行。提示：您没有权限来打开文稿“.bash_profile”解决办法1.把所有的文件显示出来# 终端输入，显示隐藏文件夹defaults write com.apple.finder AppleShowAllFiles -boolean true ...
2019-07-29 14:05:28
2423
原创 机器学习 笔记（一）
概念&基础流程：分类任务：二分类：不是0就是1多分类：数字识别、图像识别、风险评级多标签分类：多种类型进行归类回归任务： 结果是一个连续数字的值，而非一个类别。监督学习： 给机器的训练数据拥有“标记”或者“答案”。一般用于分类、回归非监督学习： 给机器的训练数据没有“标记”或者“答案”。一般用于聚类分析、降维、异常检测半监督学习： 一部分数据有答案，另一部分数据没有。先...
2019-07-23 13:53:19
385
原创 Python3数据分析与挖掘建模实战 笔记
省略号的问题import numpy as npimport pandas as pdpd.set_option('display.max_columns',1000)pd.set_option('display.width', 1000)pd.set_option('display.max_colwidth',1000)numpy.set_printoptions(threshol...
2019-07-16 11:24:34
1321
6
转载 python异步编程之asyncio（百万并发）
https://www.cnblogs.com/shenh/p/9090586.htmlimport aiohttpimport asynciofrom aiohttp.client_exceptions import ClientOSErrorfrom typing import *import logginglogger = logging.getLogger(__name__)...
2019-06-21 15:10:04
1222
原创 python之js破解qq邮箱登录
前言请勿用于商业用途，仅供学习该登录方式为账号-密码登录，只能登录经常登录的账号，登录他人账号，只能进行扫码感谢这个博客的帮助 https://blog.youkuaiyun.com/illbehere/article/details/53262033qq邮箱登录地址正文1 找到js文件，打断点输入账号和错误的密码，可以看到有两个请求，一个check，一个login。check会根据账号返...
2019-05-20 15:29:52
12853
15
原创 极验验证滑块破解，canvas
前言请勿用于商务用途哦，仅限于学习，否则后果自负哦有两篇关于极验验证滑块破解的文章，在此分享一下：https://www.jianshu.com/p/c8df1194b514https://www.jianshu.com/p/f12679a63b8d这两篇文章针对不同滑块，有不同的寻找缺口的以及滑动的方法，收益颇多。本博客是基于第一篇文章上写的，寻找缺口的方法和滑动的方法是一模一样的。...
2019-05-07 16:24:54
4553
9
原创 Docker学习进程（二）
以下按照官网教程一步一步操作学习docker常用命令：删除所有容器docker rm `docker ps -a -q`查看所有容器docker container ls --all停止单个容器docker container stop 容器id删除所有镜像docker rmi `docker images -q`删除单个镜像docker rmi 镜像id一 D...
2019-04-28 11:24:44
677
原创 七麦js破解，python爬取app榜单
七麦网app榜单链接：https://www.qimai.cn/rank七麦网analysis参数破解请查看妄为写代码，链接为：https://mp.weixin.qq.com/s/1E_ONUnMwTFozd9-dB70Yw前言在此非常感谢【 妄为写代码】，我一直都没有接触过js混淆这块，想找个简单的js混淆学习，也没有接触过chrome的断点调试，通过作者的讲解，已经了解了chrome的...
2019-04-17 18:52:24
4856
3
原创 MAC apk反编译，解压，查看源码
Apktool 下载安装官网下载地址 apktool下载步骤详解鼠标移到 wrapper script ,右键，保存链接命名为apktool。mac会保存为文本的形式下载apktool-2，下载完之后，修改名字为 apktool.jar之后把两个文件都移到 /usr/local/bin 文件中，我是通过，finder的前往文件夹，移动文件的之后终端进入到 /usr/local/bi...
2019-02-21 14:13:46
3958
转载 从json中取出任意位置的对应的key的value值
{ "headerInfos":{ "code":"0000", "reason":"操作成功" }, "responseData":{ "resultCode":"00
2019-02-20 11:58:33
10078
原创 java爬虫入门：使用webmagic爬虫，并持久性存储（一）
以前用的是Python语言进行爬虫，现在尝试用Java语言爬虫前期准备工作Java语言基础知识 Java 菜鸟教程开发软件IDEA,创建maven项目爬虫的基本流程
2019-01-02 21:05:44
1707
1
转载 MAC安装Charles遇到的问题记录
1. 破解在charles官网上下载下来之后，打开charles->help>registered to ,然后使用注册码2. 中文乱码抓包工具 Charles Response Contents中文乱码解决方法（新）...
2018-12-20 11:13:58
941
2
原创 Docker学习进程（一）
全新小白学习docker,表示很晕。记录我的学习步骤。1. 搜索：docker 菜鸟教程。先不了解docker的原理，没用过这个东西，看原理也是晕晕的，先按照教程一步步来运行，感受下这个到底可以做什么。2.理解docker常用命令原理图Docker常用命令原理图...
2018-12-19 15:50:47
495
原创 scrapy使用item,pipeline爬取数据，并且上传图片到oss
Scrapy原理图首先是要理解scrapy的运作原理是什么。这里不做解释，网上有很多资源可以理解
2018-12-19 10:38:07
2667
1
原创 Mac 安装mysql走过的坑
注意系统版本号！！！我走过的第一个坑，就是版本号的问题，因为这个坑，引申了后面的各种坑。mysql下载官网现在最新的mysql版本号是8.0.12，对应的是macos10.13。但是我的系统版本是10.11。没有注意到这个，下载最新版本后，无法启动mysql服务。查看问题：ERROR 2002 (HY000): Can’t connect to local MySQL server th...
2018-12-14 11:28:18
2546
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人