qq_43405173-优快云博客

原创安装MySQL时的一些坑

MySQL安装包下载并解压后，使用cmd安装MySQL（mysqld --install)时弹出“找不到MSVCR120.dll”或者无法启动程序的错误，到https://cn.dll-files.com/msvcr120.dll.html网站下载dll文件，并复制粘贴到C:\WINDOWS\system32下，至于要下载哪一个版本的dll文件，我是一个一个试的。无法启动MySQL服务，我是没有初始化MySQL，先把原先安装的MySQL卸载，再参考博文 https://blog.youkuaiyun.com/wt46

2021-08-16 16:57:58 157

原创 scrapy_redis的简单使用

scrapy_redis主从机的职责：主机：安装并开启redis服务，从机：运行scrapy爬虫，与主机的redis进行交互以爬取一本小说为例子首先主机需要安装并开启redis服务（确认可以进行远程连接），这里我用Ubuntu虚拟机充当主机并开启了redis服务（虚拟机的ip为192.168.192.130，端口默认6379），查看redis服务是否开启的命令如下：然后从机我选用我的windows本机电脑，并安装好了scrapy包和scrapy_redis包 pip install scrapy

2021-08-09 11:48:24 648 2

原创 Redis安装和配置的一些坑

1、sudo make test出错：You need tcl 8.5 or newer in order to run the Redis test 解决：参考博客https://blog.youkuaiyun.com/zhangshu123321/article/details/51440106 2、对Redis配置文件设置时：sudo vi /etc/redis/redis.conf 发现打开的文件是空的。解决：先把配置文件复制到/etc/redis目录下 sudo cp /usr/local/redis/re

2021-07-23 12:56:23 256

原创 Django+scrapy，scrapy爬取的数据通过Django的模型保存到数据库

首先确认已经安装好Django和scrapy 创建一个Django项目和Django应用 django-admin startproject django_scrapy_test python manage.py startapp novel_test 进入setting进行应用的注册和数据库配置 INSTALLED_APPS = [ 'django.contrib.admin', 'django.contrib.auth', 'django.contrib.contenttype

2021-07-16 12:34:49 1374 1

原创 Appium里的Desired Capabilities设置

要使用Appium控制一个APP，就要事先设置好Desired Capabilities里的内容，一般需要设置的有以下参数： { "platformName": "Android",#控制的APP在哪个平台，比如我的模拟器是安卓的 "platformVersion": "5.1.1",#安卓的版本，可以通过模拟器查看 "deviceName": "127.0.0.1:62027",#要控制的设备名称（模拟器或真实手机） "appPackage": "com.ss.android.ugc.a

2021-06-13 21:21:57 2441 2

原创 mitmproxy（Ubuntu内）在爬取APP方面的应用（一）

查看Ubuntu的ip，在终端输入ifconfig 在安卓模拟器进行代理的设置，服务器主机名是刚刚的Ubuntu的ip，端口这里我填8889，然后保存在Ubuntu开启mitmproxy：在终端输入mitmproxy -p 8889然后回车在安卓模拟器打开浏览器，发现如下错误：在安卓模拟器中安装Xpose和just trust me之后可以解决 ...

2021-06-13 16:50:53 369

原创 mitmproxy的安装

1、Linux平台的安装：基于python进行安装，直接pip install mitmproxy 安装完成后，查看是否已经成功安装在终端输入mitmproxy --version查看版本，有显示即为安装成功启动mitmproxy，直接在终端输入mitmproxy 启动的界面如下（默认监听8080端口）：退出:点击键盘的Q键，再输入y 设置代理（1）查看并复制ip地址，ifconfig （2）在谷歌浏览器的拓展程序SwitchyOmega（需要先安SwitchyOmega）中添加新的情

2021-06-12 20:45:10 451

原创 Ubuntu创建python虚拟环境

1、安装虚拟环境：sudo pip install virtualenv 2、安装虚拟环境扩展包：sudo pip install virtualenvwrapper 3、编辑home目录下的.bashrc文件(没找到这个文件的，需要显示隐藏文件)，添加下面两行 export WORKON_HOME=$HOME/.virtualenvs source /usr/local/bin/virtualenvwrapper.sh 4、在使用source ~/.bashrc使其生效之前，先更改virtual

2021-06-09 17:56:06 775

原创 Ubuntu安装sqliteman遇到的问题

打开终端，按照教程直接输入sudo apt-get install sqliteman时 sudo apt-get install sqliteman 然而遇到了问题： (bj01_py3) huayiwei@huayiwei-virtual-machine:~/mydjango/test1$ sudo apt install sqliteman 正在读取软件包列表... 完成正在分析软件包的依赖关系树正在读取状态信息... 完成 sqliteman 已经是最新版 (1.2

2021-06-05 18:07:21 960

qq_43405173的博客