- 博客(80)
- 收藏
- 关注
原创 Arrays.asList()的大坑
Arrays.asList()的大坑前段时间用Arrays.asList()时发现一个大坑,废话不多说,直接上代码。Stringstr = "1,3";List<String> strings = Arrays.asList(str.split(","));strings.add("0");看着没啥问题啊,但是运行起来跑出了个异常,java.lang.UnsupportedOperationException,于是就查看源码 @SafeVarargs @Suppres
2020-08-21 09:18:32
840
原创 Linux下的快捷键
进程控制Ctrl + c 向当前进程发送一个SIGINT信号,通知进程退出。具体效果要看进程的程序如何处理SIGINT信号,有可能会有延迟,有可能甚至会被忽略。比如scrapy程序,按下Ctrl + c需要等当前的请求处理完毕后才会结束进程,如果想要强制立即退出,需要按下两次Ctrl + cCtrl + z 向当前进程发送一个SIGTSTP信号,让进程转到后台执行,如果想恢复前台执行,可以
2018-01-09 18:06:27
1517
原创 用lxml跑一个简单的流程 3.0版本
多进程抓取页面导入第三方thread包,定义一个进程池将抓取的一级页面放进进程池里启动进程池,自定义用几个进程来执行函数在进程池中引入函数,定义download函数,执行二级抓取数据退出线程# import 先导入内置的库,再导入第三方库import timeimport threadingfrom queue import Queueimport lxml.etr
2018-01-05 16:07:50
435
原创 用lxml跑一个简单的流程 2.0版本
用函数将代码优化 将代码划分为三个函数(模块),第一个函数请求根路径第二个函数,请求二级页面,遍历出大学的详细信息第三个函数,主函数,控制整个程序的运行,在主函数里,先获取请求页面的路径,然后link出一级页面,最后,把这个一级页面的路径用parse_university循环出他的子信息。 需要注意的是,不能把路径直接传入fetch函数,因为在主函数里,每一次循环二级页面都需
2018-01-05 12:32:29
351
原创 用lxml跑一个简单的流程 1.0版本
思路用request请求需要访问的路径选择器选择,用什么形式打印请求的路径,找到需要打印东西(标签)循环打印如果级联,在第一次打印的基础上进行再次请求,获取页面,继续访问请求import lxml.etreeimport requests# 获取地址IPSTART_URL= 'http://qianmu.iguye.com/2018USNEWS世界大学排名'#
2018-01-05 12:31:10
338
原创 cookie/session
产生背景:一次连接,从浏览器的一个request开始,到服务器返回response结束,多个页面需要传递参数,将要传递的数据存储到一个指定的位置,另外的页面去制定位置读取。
2017-12-15 10:21:18
266
原创 Linux创建用户/文件权限
组和用户组有两种 主组 在被删除的时候,需要内部一个用户都没有附加组 可以在任何时候删除,当附加组被删除的时候,用户属于附加组的关系会自己解除
2017-11-30 14:39:52
2648
原创 linux 安装Java
安装java1,建一个新的文件夹放软件(好管理)2,把压缩包解压到这个文件夹里3,打开这个文件夹的bin目录,4,环境配置5,检测完成在桌面上建一个文件夹专门放软件
2017-11-30 14:05:26
580
原创 linux vi/vim
可以执行输出,删除,查找,替换等众多文本操作,而且用户可以跟据自己的需求对其进行定制,Vi不是一个排版程序,不想Word,WPS那样可以对字体,格式,段落等其它属性进行编排,它只是一个文本编辑程序。Vim是Vi的一个强化升级版,可以提供代码补全等方便编程的功能
2017-11-30 14:03:56
220
原创 Linux 装虚拟机
虚拟机两个虚拟环境不能在一个文件夹中如果上次安装异常退出,或者出现问题输入: chu@root:~/Desktop$ sudo rm /var/cache/apt/archives/lock chu@root:~/Desktop$ sudo rm /var/lib/dpkg/lock1,安装python相关的pip chu@root:~/Desktop$
2017-11-30 14:01:11
237
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人