新手 python3 使用别人的代码跑爬虫项目

最新推荐文章于 2025-04-03 15:29:07 发布

兜里

最新推荐文章于 2025-04-03 15:29:07 发布

阅读量5.9k

点赞数 3

分类专栏： python3

本文链接：https://blog.youkuaiyun.com/m0_37246552/article/details/54948267

版权

python3 专栏收录该内容

0 篇文章

订阅专栏

别人的项目，自己 http://blog.youkuaiyun.com/bone_ace/article/details/50903178

环境：

Python3 ,Scrapy1.3.1,MongoDB v3.4.2

安装：Scrapy1.3.1（直接被搞死）

1.打开cmd
pip install lxml-3.7.2-cp36-cp36m-win_amd64.whl(网上下载到本地)

2.
pip install Twisted-16.6.0-cp36-cp36m-win_amd64.whl(网上下载到本地)

如果报错UnicodeDecodeError: 'utf-8' codec can't decode byte 0xa1 in position 72: invalid start byte

直接在pychram --->setting

3 pip install scrapy
中间如果，要vs c++什么的异常（找了半天，，）到vs官网下载vs最新版本，安装c++就好了

把缺少的其他模板安装上去

安装pymongo 同上方法

如果出现很多文件存在还是报错。

下面运行还是出问题（此时已经快疯掉了）

ModuleNotFoundError: No module named 'win32api'

结果要python3环境变量声明的

import sys

from winreg import *

# tweak as necessary
version = sys.version[:3]
installpath = sys.prefix

regpath = "SOFTWARE\\Python\\Pythoncore\\%s\\" % (version)
installkey = "InstallPath"
pythonkey = "PythonPath"
pythonpath = "%s;%s\\Lib\\;%s\\DLLs\\" % (
    installpath, installpath, installpath
)


def RegisterPy():
    try:
        reg = OpenKey(HKEY_CURRENT_USER, regpath)
    except EnvironmentError as e:
        try:
            reg = CreateKey(HKEY_CURRENT_USER, regpath)
            SetValue(reg, installkey, REG_SZ, installpath)
            SetValue(reg, pythonkey, REG_SZ, pythonpath)
            CloseKey(reg)
        except:
            print("*** Unable to register!")
            return
        print("--- Python", version, "is now registered!")
        return
    if (QueryValue(reg, installkey) == installpath and
                QueryValue(reg, pythonkey) == pythonpath):
        CloseKey(reg)
        print("=== Python", version, "is already registered!")
        return
    CloseKey(reg)
    print("*** Unable to register!")
    print("*** You probably have another Python installation!")


if __name__ == "__main__":
    RegisterPy()