chasejava的博客

转载 MySQL dpkg: 处理软件包 mysql-server-5.7 (--configure)时出error

因为错误消息指示这是由于上一个问题导致的错误，没有写入 apport 报告。 dpkg: 依赖关系问题使得 mysql-server 的配置工作不能继续：mysql-server 依赖于 mysql-server-5.7；然而： 软件包 mysql-server-5.7 尚未配置。dpkg: 处理软件包 mysql-server (--configure)时出错...

原创 vue 与django 前后端分离解决跨域问题

安装pip install django-cors-headersdjagno settings添加# 跨域访问CORS_ORIGIN_ALLOW_ALL = True然后settins中INSTALLED_APPS配置和settings中MIDDLEWARE配置INSTALLED_APPS = [ 'django.contrib.admin', 'dja...

原创 ububtu install rabiitmq and use it

1、安装所需环境（无权限就使用sudo） apt-get install erlang-nox # 安装erlang erl # 查看relang语言版本，成功执行则说明relang安装成功2、添加公钥 wget -O- https://www.rabbitmq.com/rabbitmq-release-signing-key.asc | su...

原创 rabbitmq 连接失败pika.exceptions.ProbableAccessDeniedError

原创 django 配置swagger 以及登录登出，以及自定义参数

直接贴代码settings.py"""Django settings for dynamic_create_db_table project.Generated by 'django-admin startproject' using Django 2.1.For more information on this file, seehttps://docs.djangopr...

原创 pandas 将两列中对应相同的存放在列表中，形成key:[asd,asd]的结构

csv = pd.read_csv()from collections import defaultdictb = defaultdict(list)for i in range(list(set(csv['FX']))): b.update({i:csv[csv["FX"]==i]['LXDM'].tolist()})

原创 sorted 方法 以及getattr获取属性

sorted(obj, key=lambda x: getattr(x, abc, ''), reverse=False)

转载 numpy 基础 —— np.linalg

https://blog.youkuaiyun.com/lanchunhui/article/details/51004387

转载 PYTHON由于版本问题而出现的几个常见WARNING及解决办法

from sklearn.cross_validation import train_test_splitfrom sklearn.decomposition import RandomizedPCAfrom sklearn.grid_search import GridSearchCV警告信息：D:\python35\lib\site-packages\sklearn\cross_valid...

原创 关于pandas_datareader读取yahoo数据问题

https://blog.youkuaiyun.com/smile_smilling/article/details/79934900  参考1、首先安装  pip install fix_yahoo_finance  2、pip install pandas_datareaderimport pandas_datareader.data as web  import datetime  import fix...

原创 matplotlib使用

# -*- coding: utf-8 -*-"""Created on Sat Jun  2 09:33:53 2018@author: chase"""#import numpy#x = numpy.array([1,8,5,4])#y = numpy.array([[1,4,3],[4,5,10],[7,18,9]])#print(x)#print(y)#print(x.sort())#pr...

原创 字典型列表转化为csv文件格式

以下方法是从谷歌到的一个上学到的，但是忘了网址了，没有及时保存，如果谁知道，希望浏览告诉我import  pandas as pdimport numpy as npimport csvheaders = ['positionName', 'workYear', 'education', 'jobNature', 'financeStage',           'city','salary',...

原创 数据显示拉勾网

import numpy as np import pandas as pdimport osimport matplotlib.pyplot as pltimport matplotlib as mltimport jiebafrom pyecharts import Geofrom wordcloud import WordCloudprint(os.getcwd())import osfro...

原创 django2.0 安装xadmin

1、首次安装git ,这个教程 Baidu2、pip install git+git://github.com/sshwsfc/xadmin.git@django2    

原创 邮箱发送

import smtplibfrom email.mime.text import MIMETextfrom datetime import datetime#SMTP服务器SMPTServer = "smtp.163.com"# 发邮件的地址Sender ="a925782729@163.com"  # 这个自己更改# 发送者邮箱的密码passwd = "8910690com" #这个自己更改#...

原创 部署爬虫项目

第一步 安装scrapyd  在建立的虚拟环境中安装 pip install scrapyd退出虚拟环境中的是deactivate第二部：pip install scrapyd-client  这个不需要进入虚拟环境 第三部 cd 到当前项目目录下         将deploy:test           下面的url打开第四部：scrapyd-deploy              scra...

原创 实现elasticsearch 和scrapy-redis分布式

kibana-5.1.2-windows-x86elasticsearch-rtfelasticsearch-headelasticsearch-rtf的版本最好要和kibana接近 具体操作可以从GitHub上查找使用到npm的话再去下载node.js在项目中建立一个models文件夹类似djangofrom datetime import datetimefrom elasticsearch...

原创 使用fake-useragent 完成随机切换useragent

第一步 :pip install fake-useragent 第二步：在scrapy 中的mimiddlewares.py 中from fake_useragent import UserAgentua = UserAgent()class RandomChangeUserAgentMiddleware(object):    def __init__(self,crawler):   ...

原创 虚拟环境中安装scrapy

windows中安装scrapy1、pip install virtualenv   安装时可以使用豆瓣源镜像下载   例如:    pip install -i https://pypi.douban.com/simple/  django   但是有的可能没有对应的2、pip install virtualenvwrapper 3、workon  默认是c盘的    可以设置为其他的    在...

原创 使用requests模拟登录知乎

# -*- coding:UTF-8 -*-参考 https://github.com/weldon2010/Python/blob/master/login_zhihu.py  import requests, timeimport hmac, json  需要的模块从js中可以看到from hashlib import sha1  这个也是"""打开 抓包工具 使用错误的密码登录查看实际的po...

转载 python中selenium使用chrome无头浏览器执行JavaScript（js）

python中selenium使用chrome无头浏览器执行JavaScript（js）PhantomJSchromechrome headlesspython JavaScript jsSelenium自动化测试3随着越来越多的web数据都是经过js处理的，对于爬虫来说就有这很大的难度，一般情我们使用selenium+phantomjs来去解析执行js，但是自2017 4月份后s...

原创 linux permission deny

PermissionError: [Errno 13] Permission denied: '/usr/local/lib/python3.5/dist-packages/pytesseract-0.2.0.dist-info'如果碰到以上问题，可以使用以下方法解决，亲测有用￥USER后面的根据错误提示修改即可sudo chown -R $USER /usr/local/lib/python3...

转载 linux操作文件基本指令

1.复制剪切粘贴撤销 复制： 复制一行则：yy 复制三行则：3yy，即从当前光标+下两行。 复制当前光标所在的位置到行尾：y$ 复制当前光标所在的位置到行首：y^剪切： 剪切一行：dd 前切三行：3dd,即从当前行+下两行被剪切了。 剪切当前行光标所在的位置到行尾：d$ 剪切当前行光标所在的位置到行首：d^粘贴： 用v选中文本之后可以按y进行复制，如果按d就表示剪切，之后按p进行粘贴。撤销与恢复：...

原创 爬取tencent职位招聘的

import scrapyfrom scrapy.linkextractors import LinkExtractorfrom scrapy.spiders import CrawlSpider, Rulefrom TencentSpider.items import TencentspiderItem,TencentDetailItemclass TencentSpider(CrawlSpid...

原创 爬取斗鱼中用户信息和图片

爬取斗鱼中的内容时，分析页面发现，页面跳转时，url不会发生改变，所以，我们可以通过Fiddler抓取真正的网址import scrapyimport jsonfrom Douyu.items import DouyuItemclass DouyuSpider(scrapy.Spider):    name = 'douyu'    allowed_domains = ['douyu.com'] ...

原创 使用scrapy爬取网站

使用的是 using template 'crawl' in module: 没有使使用basic in module以下是spider.py 中的代码，如果有看不懂的可以直接查看官网中的讲解，使用的是1.5版本的scrapy# -*- coding: utf-8 -*-import scrapyfrom scrapy.linkextractors import LinkExtractorfrom...

原创 基本排序算法

"""冒泡排序"""def Bubble_sort(li): for j in range(len(li)-1, 0, -1): for i in range(j): if li[i] > li[j]: li[i], li[j] = li[j], li[i] pr...

原创 python实现基本算法

class Node(object): """创建节点类""" def __init__(self, elem=-1, lchild=None, rchild=None): self.elem = elem self.lchild = lchild self.rchild = rchild"""就是每次将树中的节点依次取出来，放入队...

原创 Centos7.4安装python3.6.1

花了好几天的时间安装python3.6.1，按照网上说的，把我害惨了，折腾了好几天安装python分为几个步骤:                                    1、下载python3.6.1.tgz,我没有用wget，传到Linux中的                                    2、可以试着查看源码，看看是什么结尾的，之后将可能的依赖

原创 redis的安装和使用

redis是C语言开发，安装redis 需要先将官网下载的源码进行编译，编译依赖gcc环境，如果没有gcc环境，需要安装gccyum install gcc-c++如果有提示是否下载输入y首先将文件上传到Linux中，我使用的是psftp.exe,使用  put  文件路径  Linux的路径/文件名解压文件tar -zxvf redis-3.0.0.tar.gz(这是你使

原创 Linux下jdk,tomcat ,mysql 的安装

rpm 命令：    本地程序安装:rpm -ivh 程序名    本地程序查看:rpm -qa    本地成簇卸载:rpm -e --nodeps 程序名yum 相当于可以联网的rpm命令    相当于先联网下载程序安装包，程序的更新包    自动执行rpm命令安装jdk tomcat MySQL准备工作:  yum install glibc.i686

原创 模拟SSM页面分页的测试

使用pageHelperhttps://github.com/pagehelper/Mybatis-pageHelperhttps://github.com/pagehelper/Mybatis-PageHelper/blob/master/README_zh.md 查看使用方法              com.github.pagehelper     

原创 spring项目的测试

逆向生成的文件测试dao与数据库之间是否连通如果要批量处理首先要在spring-mybatis.xml文件中注册                           这样可以批量处理@RunWith(SpringJUnit4ClassRunner.class)@ContextConfiguration(locations={"classpath:re

原创 mybatis gengerator

首先要先建表之后:maven 创建的项目将mybatis-generator的jar包导入   org.mybatis.generator   mybatis-generator-core   1.3.2    PUBLIC "-//mybatis.org//DTD MyBatis Generator Configuration 1.0//EN"

原创 验证码

今天搞了好长时间的验证码，终于弄好了首先先创建validating.jsp，专门生成图片验证码代码:    pageEncoding="UTF-8"%>     helloint width = 60;int height = 32;//create the imageBufferedImage image = new Buffe

原创 shiro基础知识

什么是权限管理？权限管理是系统的安全范畴，要求必须是合法的用户才可以访问系统（用户认证），且必须具有该资源的访问权限才可以访问该 资源（授权）。认证：对用户合法身份的校验，要求必须是合法的用户才可以访问系统。授权：访问控制，必须具有该资源的访问权限才可以访问该 资源。 权限模型：标准权限数据模型包括：用户、角色、权限（包括资源和权限）、用户角色关系、角色权限关系。

转载 连接池中的maxIdle,MaxActive,maxWait参数

name：表示你的连接池的名称也就是你要访问连接池的地址auth：是连接池管理权属性，Container表示容器管理type：是对象的类型driverClassName：是数据库驱动的名称url：是数据库的地址username：是登陆数据库的用户名password：是登陆数据库的密码maxIdle，最大空闲数，数据库连接的最大空闲时间

原创 maven 创建工程 各个基本jar包的作用

首先列出pom.xml文件中的内容  4.0.0  com.company.ssm  01-test-maven  0.0.1-SNAPSHOT  war                 javax.servlet   servlet-api   2.5   provided               包括spring-bean

原创 maven java resource 报错

创建maven 工程 时 Java resource报错 打开看还是没有错误，原因是 eclipse的jdk默认版本是1.5所以需要在pom.xml中将以下代码放进去 即可这是jdk1.7 org.apache.maven.plugins maven-compiler-plugin 3.0

原创 修改maven的本地仓库

之后将要使用的jar包在pom.xml中配置                org.springframework   spring-webmvc   4.3.7.RELEASE               org.springframework   spring-jdbc   4.3.7.RELEASE