- 博客(18)
- 收藏
- 关注
RSS订阅原创 centos7安装mysql，并配置远程访问
1.下载并安装MySQL官方的 Yum Repository[root@iZuf62qojdpdfmeohedn2jZ software]# wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm # 下载完成之后安装[root@iZuf62qojdpdfmeohedn2jZ software]# yum -y install mysql57-community-release-el7-10..
2020-11-13 17:48:45
973
2
原创 centos7安装python3，并配置虚拟环境（超级详细教程）
安装python3 1. centos7自带python2环境[root@iZuf62qojdpdfmeohedn2jZ ~]# python -VPython 2.7.5[root@iZuf62qojdpdfmeohedn2jZ ~]# pip -Vpip 19.1.1 from /usr/lib/python2.7/site-packages/pip (python 2.7) 2. 安装可能用到的依赖yum install openssl-devel bzip2-...
2020-11-13 12:09:07
9943
5
原创 centos7搭建JupyterLab平台，并开启远程访问
1. jupyterlab介绍 1.1 用来取代Jupyter Notebook的一个基于Web的用户交互式用户界面。相当于增强版的Jupyter Notebook。 1.2 相较于Jupyter Notebook，在JupyterLab里除了建立传统的Jupyter笔记(Jupyter Notebook)，还文本编辑器、终端(terminal)、方便易用的文件浏览器。 1.3 作为文本编辑器，除了编辑文本文件外，还可预览excel文件、csv文件、图片文件、json文件等。...
2020-11-06 11:53:46
1869
原创 docker打包scrapy项目
好长时间没来写博客了，闲来无事，更新一波scrapy对接docker的博客1. 准备工作 1.本地服务器确保安装docker和scrapy的环境 2. 准备一个scrapy的小项目，能在本地正常运行就可以2. 打包项目所用到的模块pipreqs C:\Users\user\Desktop\lawyer --encoding=utf8 打包出来的结果为：Scrapy==2.0.1Twisted==20.3.0PyMySQL==0.9.23. 编写...
2020-10-29 16:07:16
1293
原创 多线程爬取镖局网商标信息
1、目标网站：https://www.biaoju01.com/2、选择搜索条件，这里我们选择相同查询，如下图所示： 3、经过分析该网站，发现，数据全部包含在网页源代码里，只不过需要我们自己取把那段数据取出来，然后给拼接成可以解析的json数据串4、网站反爬措施：封禁IP 解决办法：在请求头里带上一个伪IP，使每次发请求的IP都不一样（注：适用于个别网站）5、思路和解决...
2019-09-29 15:34:52
1622
原创 Python中异步存储数据
在Python中，数据存储方式分为同步存储和异步存储。同步写入速度比较慢，而爬虫速度比较快，有可能导致数据保存不完整，一部分数据没有入库。而异步可以将爬虫和写入数据库操作分开执行，互不影响，所以写入速度比较快，能够保证数据的完整性。异步存储数据库大致看分为以下步骤：1. 在settings中配置Mysql链接需要的参数(主机地址、用户账号、密码、需要操作的表名、编码格式等)2. 自定义P...
2018-09-12 20:42:21
2359
原创 程序中的异常捕获（try.....except.......）
try....except.... 用于捕获python中的代码异常，当一段程序出现异常错误时，整个程序结束运行，异常错误之后的代码，也不会执行。当异常被捕获之后，可以进行自定义处理，可以保证程序可以继续正常执行。1.try：要检测异常的代码，如果try中没有异常，不执行except之后的代码。 Exception 是所有错误类型的基类。如：list = [1,2,3,4...
2018-07-24 19:57:54
3494
2
原创 Python中的各种函数
1.map() 函数，将可迭代对象中每一条数据都执行一次函数，并且将函数执行的返回结果放入另一个可迭代对象中。2.filter() 函数，会将列表中每一条数据执行一次函数，并将条件为真的数据放入结果中（None、''/、False、0这些都是条件为假的 数据），如：result = filter(a, [1, 2, 0, False, '', True, '', 0, 3])...
2018-07-24 19:24:30
1758
原创 Python中的内存管理
今天上课的时候，老师讲了好多重要的知识点，说是到时候面试的时候可能会问到，所以我就上传了 首先，先说一下内存管理：1.Python是自动管理内存的。在程序运行期间会产生很多的对象，对象是占用空间内存的，如果不再使用的对象没有及时得到释放，可能导致内存占用过高，程序卡顿或者程序崩溃的情况，这就是为什么要管理内存的原因。2.通过引用计数管理内存，当一个对象被创建的时候，引用计数为1...
2018-07-23 16:46:54
286
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人