爬虫杂记

最新推荐文章于 2023-04-24 16:17:55 发布

qq_42553568

最新推荐文章于 2023-04-24 16:17:55 发布

阅读量203

点赞数

分类专栏：爬虫笔记文章标签：爬虫杂记

本文链接：https://blog.youkuaiyun.com/qq_42553568/article/details/90042534

版权

爬虫笔记专栏收录该内容

1 篇文章

订阅专栏

本文记录了在Python爬虫开发中如何使用fake_useragent生成随机UserAgent，解决pycrypto安装时依赖Microsoft Visual C++ 14.0的问题，以及介绍如何用pycryptodemo作为pycrypto的替代库进行安装和使用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.用faks_useragent生成随机UserAgent,
这样就不用写一个useragent列表了

先下载fake-useragent
pip install fake-useragent

然后导入UserAgent
from fake_useragent import UserAgent
ua = UserAgent()
usere_agent = ua.random

如果出现 fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached 错误
就禁用缓存
 ua = UserAgent(use_cache_server=False)

写爬虫要用到pycropto
pip install pycrypto报错:
error: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++ Build Tools”: http://landinghub.visualstudio.com/visual-cpp-build-tools
网上百度说要安装Microsoft Visual C++
在github上看到pycryptodemo可以替代pycrypto
试了下果真可以
只要 pip install pycryptodemo 就可以了…

3.在字符串中插入其他字符串

方法一
def insert_str():
    # 有一个字符串
    str_1 = '月圆星疏夜,/n'
    # 把字符串转为 list
    str_list = list(str_1)
    # 字符数， 可以利用这个在某个位置插入字符
    #count = len(str_list)
    # 找到 斜杠的位置
    nPos = str_list.index('/')
    # 在斜杠位置之前 插入要插入的字符
    str_list.insert(nPos, '佳人何处在!')
    # 将 list 转为 str
    str_2 = "".join(str_list)
    print(str_2)
   
 方法二
	 def insert_str(string,index,string_):
	 	# string整个字符串, index要插入的位置, string_要插入的字符串
	    return '{}{}{}'.format(string[:index],string_,string[index:])