- 博客(13)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 jupyterthemes个人配置
Jupyter Notebook的jupyterthemes个人配置jt -t grade3 -fs 95 -altp -fs 14 -tfs 14 -nfs 14 -dfs 10 -cellw 88% -T 亮色jt -t onedork -fs 95 -altp -fs 14 -tfs 14 -nfs 14 -dfs 10 -cellw 88% -T 暗色jupyterthemes的git地址https://github.com/dunovank/jupyter-themes插件安装.
2021-03-30 15:37:17
289
原创 win10下anaconda学习环境的安装记录
本文需要解决的个人问题记录：需要安装anaconda/tensorflow/keras/matplotlibtensorflow/keras和python的版本对应：https://docs.floydhub.com/guides/environments/最后选择Anaconda3-5.2.0（python3.6） +tensorflow2.0.0 +keras2.3.1记录点1：Anaconda3自带的python版本是有对应的，虽然可以切换，但是比较费时，建议直接对应好，https..
2021-02-20 14:04:51
282
原创 python脚本部署为Windows服务
python脚本部署为Windows服务基础需求环境：python环境（不会安装建议ctrl+w, 你已经退出接下来的教程了）windows环境（需要了解环境变量的配置和服务位置）好了，开始吧。首先需要在你的python环境里安装一个pywin32包（https://pypi.org/project/pywin32/），使用命令pip install pywin32(或者本地文件路径)。这是一个调用windows组件的一个第三方包（python并不集成） 改下面这个脚本（我起的名字是pytho
2020-08-07 13:22:10
4242
原创 python证件识别与加密打包
环境说明：python版本3.5.3（3.6经测试出现pre-safe-import-module hook failed, needs fixing，寻求解决无法降级为3.5.3成功，不代表其他版本不行）由于不知道使用对象机器类型，所以安装32位的python,兼容64位，但是不支持xp(官方说明)包版本说明：对于opencv来说，由于SIFT和SURF专利原因最新版已经不继承，所以...
2020-05-07 16:49:08
763
原创 关于spiderKeeper参数传参问题
以下为SpiderKeeper的源码解析SpiderKeeper/app/spider/controller.py中的job_add()添加任务到sqlite库 1.if request.form['daemon'] != 'auto': 2. spider_args = [] 3. if request.form['spider_arguments']...
2019-12-20 16:11:57
313
原创 spiderKeeper汉化
由于网上找不到spiderkeeper的汉化文件，就只好自己汉化了静态页面使用方法，找到spiderkeeper的静态页面html，使用我汉化的html来替换将/SpiderKeeper/app/templates/下的html文件替换git地址：https://github.com/duxiao666/SpiderKeeperCh.git...
2019-12-16 10:14:38
368
原创 无账号体系下爬虫和发爬虫的策略问题
先借用一张图下面是不设定账号体系下可用策略策略1：ip限制： 原理：如果编写的爬虫的ip是固定的，那么对于某个请求过于频繁并短时间访问大量网页，有爬虫的嫌疑，应该封禁。 弊端：但会造成误伤，所以封ip策略是最low的策略之一。 爬虫端：爬虫可以直接利用网络免费ip来调用爬虫来抓取策略2：useragent： 原理：User-Agent是用户访...
2018-12-13 09:47:42
318
原创 python遇到单双引号SQL脚本无法入库的解决办法
1.将字符串中的引号全加上转义符将data变为下面的形式,再插入数据库就正确了Hello\'World\"!具体在python中的转义函数如下：def transferContent(self, content): if content is None: return None else: stri...
2018-11-01 10:35:29
579
原创 selenium抓取weibo（移动版） Other element would receive the click
ID的获取：将网页版F12用手机版模拟打开并刷新链接会变成如下1的链接格式，最后的一长串即为ID编号js = "var q=document.documentElement.scrollTop=6600"driver.execute_script(js)控制滚动条向下滑动，基于最顶端的距离driver.execute_script("arguments[0].scroll...
2018-10-19 15:14:13
1949
原创 xpath定位后打印xml字符串
etree.HTML():构造了一个XPath解析对象并对HTML文本进行自动修正。etree.HTML模块可以自动修正HTML文本etree.tostring()：输出修正后的结果，类型是bytestostring()方法即可输出修正后的HTML代码，但是结果是bytes类型。这里利用decode()方法将其转成str类型代码如下content = html.xpath(...
2018-10-15 17:30:38
1644
转载 乱码生成原因（转）18.10.15
编码：把字符转换成计算机能够识别的01序列。解码：把01序列转换为人类认知的字符。不同的编码方式最本质的不同就是各种编码方式都有自己独特的字符和字节的对照表。Java用unicode编码，也就是用16位来编写一个字符。utf8:用三个字节来编码一个中文字符。.Java源文件(含有中文的话）是用：GBK编码。.class文件用UTF8编码。例如汉字“中文”被编译成.class文件后，“...
2018-10-15 17:26:54
1442
原创 git创建操作
初始创建仓库命令Command line instructionsGit global setupgit config --global user.name "XXX" git config --global user.email "XXXXX@email.com"配置个人的用户名称和电子邮件地址。这两条配置很重要，每次 Git 提交时都会引用这两条信息，说明是谁提交了更新，所...
2018-10-09 14:21:37
177
转载 scrapy的logging设置
个人代码spider代码（见else）layNum = 0 for lay in info: layNum += 1 layoutID = self.newspaperID + publishDate + '{:0>2}'.format(layNum) itemLay...
2018-10-09 09:29:08
1954
1
identification.exe
2020-05-07
使用opencv3.4.2主体提取（python+opencv）
2020-04-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人