python学习者Joy.xiong的博客

在第一次执行这串代码时，无任何反应。之后尝试发现：遇到这个问题时，本地的python环境我用的是annaconda配置的，在重新更改配置了本地python环境（从python官网下载并配置好的环境、安装相应的库）后，就能正常调用scrapy，得到想要的效果。import java.io.*;public class StartSpider { private static String path = "F:\\Pychram\\Treefrog\\mySpider"; public

eclipse中 alt+/ 效果如下

结合在网上找到的解决办法，成功解决了在使用urlretrieve下载文件的过程中所遇到了一些问题：urlretrieve下载文件不完全且下载时长过长陷入死循环参考地址1、参考地址2# -*- coding: utf-8 -*-import pathlibimport reimport socketimport timeimport urllib.requesturl = "ht...

from pathlib import Pathp = Path()# WindowsPath('.')p.resolve() # 文档显示是absolute path, 这里感觉只能用在获取当前绝对路径上# WindowsPath('C:/Users/Cabby').常用操作p = Path(r'd:\test\tt.txt.bk')p....

连接本地redis时报错：最后发现排错时发现配置文件中bind绑定的只有bind127.0.0.1，而在配置文件redis.conf中加上 bind 192.168.xx.xxx之后就能够正常连接了

1、查看所有分支git branch -a2、查看当前所在分支git branch3、删除本地的bug_xzx分支git branch -d bug_xzx4、删除远程的bug_xzx分支git push origin --delete bug_xzx

爬虫结束是一个很模糊的概念，在爬虫爬取过程中，爬取队列是一个不断动态变化的过程，随着request的爬取，又会有新的request进入爬取队列。进进出出。爬取速度高于填充速度，就会有队列空窗期（爬取队列中，某一段时间会出现没有request的情况），爬取速度低于填充速度，就不会出现空窗期。所以对于爬虫结束这件事来说，只能模糊定义，没有一个精确的标准。利用scrapy的关闭spider扩展功能#...

scrapy pipeline中自定义的spider_opened和spider_closed没有被调用，如何解决无法调用问题1.问题我想要的信息正在从网站上正确地爬出，并且process_item方法能够正确调用。但是，不会调用spider_opened和spider_closed方法。我尝试在spider_closed中添加端点，但debug过程没有运行到端点，一直没办法实现spider...

期间还遇到了另一个问题：[08001] Could not create connection to database server. Attempted reconnect 3 times. Giving up.原因：出现问题的原因是MySQL驱动jar中的默认时区是UTC。UTC代表的是全球标准时间 ，但是我们使用的时间是北京时区也就是东八区，领先UTC八个小时。时区不一致，导致出现...

1、把vscode的bin文件夹路径加到环境变量PATH里2、用git bash进入已经进行过git init初始化的文件夹3、输入code .之后就能够从git bash中直接打开vscode并且编辑当前文件夹。注意：code后面要加个空格在加一个点。...

实现创建一个py文件，自带以下内容在setting中找到Editor下的File and Code Tempelate或直接搜索 File and Code Tempelate然后找到 python script在里面编辑就能实现个人配置：#!/usr/bin/python3# -*- coding: utf-8 -*- """@author: JY@project: ${...

创建一个新的提交记录： git commit创建一个新的分支： git branch (分支名） 查看所有分支： git branch -v切换到新的分支上 git checkout (分支名）快捷操作：创建新的分支并且切换到改分支上： git checkout -b （分支名）第一种合并分支的方式 git merge： git checkout master 切换...

两个jsontest_data = {'profile_img': 'https://fmdataba.com/images/p/4592.png', 'name': 'Son Heung-Min ', 'birth_date': '8/7/1992', 'nation': 'South Korea KOR', 'position': 'M (R), AM (RL), ST (C)',...

使用键盘上的三个键：shift、Page Up、Page Down有些键盘后两个键是缩写 PgUp 和 PgDnShift+ Page Up #往上翻页Shift+ Page Down #往下翻页

今天刚好在Ubuntu 18.04里面装了pycharm，记录一下过程：Ubuntu 它里面的快捷方式文件放在了/usr/share/applications文件夹下面，然后在里面添加一个pycharm的快捷方式文件就可以了。在/usr/share/applications文件夹里面添加了一个pycharm.desktop的文件，用文本编辑器打开这个文件，然后在里面添加如下代码，就可以生成一个p...