- 博客(26)
- 收藏
- 关注
RSS订阅原创 BeautifulSoup4库
BeautifulSoup4库和 lxml 一样，Beautiful Soup 也是一个HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 数据。lxml 只会局部遍历，而Beautiful Soup 是基于HTML DOM（Document Object Model）的，会载入整个文档，解析整个DOM树，因此时间和内存开销都会大很多，所以性能要低于lxml。Beaut...
2018-12-27 08:48:44
504
原创 XPath语法和lxml模块
XPath语法和lxml模块什么是XPath？xpath（XML Path Language）是一门在XML和HTML文档中查找信息的语言，可用来在XML和HTML文档中对元素和属性进行遍历。XPath开发工具Chrome插件XPath Helper。Firefox插件Try XPath。XPath语法选取节点：XPath 使用路径表达式来选取 XML 文档中的节点或者节点集。...
2018-12-27 08:47:59
527
原创 python requests库
requests库虽然Python的标准库中 urllib模块已经包含了平常我们使用的大多数功能，但是它的 API 使用起来让人感觉不太好，而 Requests宣传是 “HTTP for Humans”，说明使用更简洁方便。安装和文档地址：利用pip可以非常方便的安装：pip install requests中文文档：http://docs.python-requests.org/z...
2018-12-27 08:46:40
342
原创 python urllib库
urllib库urllib库是Python中一个最基本的网络请求库。可以模拟浏览器的行为，向指定的服务器发送一个请求，并可以保存服务器返回的数据。urlopen函数：在Python3的urllib库中，所有和网络请求相关的方法，都被集到urllib.request模块下面了，以先来看下urlopen函数基本的使用：from urllib import requestresp = requ...
2018-12-27 08:45:43
336
原创 爬虫简介
爬虫简介爬虫的实际例子：搜索引擎（百度、谷歌、360搜索等）。伯乐在线。惠惠购物助手。数据分析与研究（数据冰山知乎专栏）。抢票软件等。什么是网络爬虫：通俗理解：爬虫是一个模拟人类请求网站行为的程序。可以自动请求网页、并数据抓取下来，然后使用一定的规则提取有价值的数据。专业介绍：百度百科。通用爬虫和聚焦爬虫：通用爬虫：通用爬虫是搜索引擎抓取系统（百度、谷歌、搜狗等）的...
2018-12-27 08:43:56
2673
原创 Linux常用命令
Linux常用命令* tab 快速补全健 (严格区分大小写) * cd 进入指定的目录 * cd .. 回到上一级目录* ls 查看当前目录下的所有的目录与文件名* touch 文件名 表示创建一个文件* mkdir 目录名 表示创建一个目录* rm 文件名 表示删除一个文件* rm -rf 目录名 表示删除改目录及其...
2018-10-30 14:26:41
200
原创 Linux系统及目录介绍
系统目录* cd /: 进入根目录* 每个Linux版本的根目录可能有细微差别* Linux中有一个概念：将所有的东西当成文件来处理(鼠标，键盘，文件，U盘等会被抽象出一个文件来处理)* bin：可执行的二进制文件，通常放的是系统自带的文件* dev：Device，设备，通常系统的硬件被抽象成一个文件存放在dev中* initrd.img：开机启动时的图片* lost+found：异...
2018-10-30 14:25:14
388
原创 Redis数据库的安装和使用
Ubuntu系统下安装Redis1、准备内容：需要有一个redis在Linux下的安装包2、解压缩安装包解压到某一个常用的软件目录中tar -zxvf redis…gz -C ~/usr/local/redis3、进入到解压完成的路径下执行makecd ~/usr/local/redis/redis-4.0.9sudo make 构建4、make构建指...
2018-10-30 14:22:06
301
原创 MongoDB数据库常用操作
MongoDB数据库常用操作1.查看所有的数据库格式: show databases;简写: show dbs;2.创建或者使用一个数据库格式: use 数据库名;当对应的数据库不存在的时候,表示创建该数据库如果数据库已经存在,表示使用该数据库注意:如果创建了一个新的数据库,而该数据库中没有数据,则使用show dbs查看的时候看不到,插入数据库后,即可查看到...
2018-10-30 14:19:22
233
原创 HTML常用标签
格式：<标签></标签> <标签=“属性“><h1>---<h6> 标题（一般<h1>一个网站只用一次）<div>
2018-09-07 21:07:18
185
原创 MySQL数据库远程连接
Linux下打开终端找到安装的MySQL数据库下的目录例:修改/etc/mysql/mysql.conf.d/mysqld.cnf 文件。 找到bind-address = 127.0.0.1这一行 改为bind-address = 0.0.0.0即可操作mysql系统数据库 ...
2018-09-04 17:53:13
221
原创 MySQL的基本使用(库,表,数据的操作)
打开MySQL:windows中启动服务 net start mysql 关闭: net stop mysql.linux启动服务, 默认开启的 service mysql start 关闭: service mysql stop查看数据库版本:select version();查看当前时间...
2018-09-03 21:04:48
254
原创 linux安装git及使用
准备:需要一个全球最大同性交友网站github账号 打开终端,安装git: sudo apt install git配置git账号 git config --global user.name "git的用户名" git config --global user.email "git的邮箱"根据用户名及邮箱生成密钥(该密钥会用在该...
2018-09-02 21:04:33
85621
11
原创 Linux下安装服务器vsftpd
Pc上安装xftp6安装服务器,打开终端输入sudo apt install vsftpd2.默认的ftp服务器端只支持下载，不支持上传，如果想要支持上传，需要设置配置文件 /etc/vsftpd.conf 更改配置文件 sudo vim + /etc/vsftpd.conf write_enable=YES...
2018-09-02 17:31:12
630
原创 把闲置ipad当win10的扩展屏
利用ipad当win10的扩展屏准备工具:ipad上下载splashtop(app store免费下载)同一个wifi下 Win10s上下载splashtop(https://www.splashtop.com/cn/support)Ipad打开splashtop注册完成之后,会显示一个空白的列表然后安装win10下的splashtop,打开之后登陆刚注...
2018-09-02 16:47:44
104021
17
原创 Linux下nginx 服务器安装
nginx 服务器安装:去nginx管网点击安装nginx点击package.查看版本打开终端,进入桌面目录下载认证密钥wget http://nginx.org/keys/nginx_signing.key查看密钥安装sudo apt-key add nginx_signing.key配置源vim /etc/apt/sources...
2018-09-02 12:03:33
231
原创 Linux下安装运行redis
安装redis准备内容：需要有一个redis在Linux下的安装包解压至常用软件目录进入到解压完成的路径下执行make sudo make 构建make构建指令结束后，执行以下命令sudo make testmake test 执行结束后安装redis，执行以下命令 sudo make install启动redis服务器端进入软件...
2018-09-01 16:10:07
217
原创 Linux下安装使用mongodb
安装MongoDB:准备内容：需要有一个MongoDB在Linux下的安装包解压至常用软件目录进入mongod-3.6.5目录,创建data目录,在data目录下创建log和db目录进入mongodb-3.6.5/bin目录下执行./mongod -dbpath=/usr/local/mongodb-3.6.5/data/db见到port 27017表示启动成功...
2018-09-01 15:47:48
261
原创 Linux下安装MySQL
安装MySQL注：安装过程中，会提示输入root用户的密码，输入结束后回车；会再次提示一个确认密码，输入后回车，等待安装。注：密码不要忘记。安装结束后进入mysql的指令：mysql -u root -p会提示输入密码（输入root用户的密码，成功后进入mysql）当出现 mysql> 代表成功进入mysql服务器...
2018-09-01 15:30:43
178
原创 Ubuntu下Jdk源码安装
下载jdk,并copy到linux系统中,解压到安装目录配置环境变量vim ~/.bashrc在末尾处加上(第一排为软件的解压地址)注意版本号export JAVA_HOME=/usr/local/java/jdk-10.0.1export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${...
2018-09-01 15:23:36
631
原创 Ubuntu下Python3.6安装
Python3.6安装: 准备一个linux下的python3.6的源码安装包 解压至常用软件目录中(一般安装都有说明文档,没有就去官网找)安装文档安装,进入解压目录执行命令(失败的话加sudo权限)sudo apt install zlib*sudo apt install gcc构建sudo make安装sudo make insta...
2018-09-01 14:39:58
741
原创 Linux安装虚拟环境
虚拟环境: 虚拟环境为python特有的一套软件环境, 可以创建多套不同的python版本，用于运行不同状态的python项目 优点：不同环境之间完全隔离安装虚拟环境: 使用虚拟环境需要安装pip默认为python2的安装:Python3安装pip:pip list查看当前python环境下的安装包,如果pip版本过低需要升级pip install –up...
2018-09-01 11:38:13
3460
原创 Ubuntu源码安装pycharm
安装PyCharm:解压缩安装包: 解压到某一个常用的软件目录中cd 软件安装目录cd bin运行软件 ./pycharm.sh (软件的运行文件为...sh)或者:配置pycharm的环境变量 vim ~/.bashrc刷新配置文件source ~/.bashrc启动:pycharm.sh选择License server激活，然后填入：...
2018-09-01 11:18:03
777
原创 Ubuntu安装ssh远程连接:
Ubuntu安装ssh远程连接:打开终端输入sudo apt install ssh启动ssh服务,输入密码查看ssh的状态:查看ip地址:Windows下打开xshell:输入名称和ip地址(端口号默认为22):点击链接:输入用户名和密码:就成功了...
2018-09-01 11:01:07
244
原创 安装VMware tools
安装VMWare Tools:打开虚拟机将文件复制到Ubuntu桌面的文件夹下见到enjoy结束,然后重启终端中进入文件夹并解压该文件进入解压后的文件夹并运行.pl文件给管理员权限否则重新输入之后第一个输入yes之后一直输入回车好处--- 1.方便鼠标的切换 2.方便从宿主机与虚拟机之间文件的复制 ...
2018-09-01 10:58:36
217
原创 VMware workstation虚拟机安装Ubuntu
虚拟机安装Ubuntu:准备工具:Windows下安装Vmware workstationUbuntu.iso镜像文件打开Vmware workstation找到下载的Ubuntu.iso文件这里就随便输入了这里位置最好放到大一点的硬盘中这里选哪个都行这个配置根据自己机器来网络适配器第一个第二个都行然后点击完成系统自动...
2018-09-01 10:17:36
340
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人