全栈川川

八爪鱼数据库导出

低代码平台，无需代码即可数据抓取

原油股票预测

2021我的年度总结与展望，与一份变成功的优秀秘籍。

效果：什么？看不清？准备发车模块下载：pip install requestspip install re第一部分：定义要爬取的标签和正在爬取的页数def UserUrl(theme,pagenum): url = "https://tuchong.com/rest/tags/%(theme)s/posts?page=%(pagenum)s&count=20&order=weekly" % {'theme': urllib.parse.quote(theme),

下载安装包：pip install you_get与代码同级目录新建一个mp4文件夹。源代码如下：import sysfrom you_get import common as you_get# 导入you-get库# 设置下载目录directory=r'mp4\\'# 要下载的视频地址url='https://music.163.com/#/mv?id=14306186'# 传参数sys.argv=['you-get','-o',directory,'--format=f

#coding=gbk"""描述:传参id即可下载音乐。本脚本仅提供单个音乐下载。留下一个问题：如何批量下载？作者：川川时间：2021/8/11群：970353786"""import requests#导入requests库url_api='http://music.163.com/song/media/outer/url?id={}.mp3'id='461347998'#歌曲的idurl=url_api.format(id)#合成下载地址headers={#加入请求头模拟浏览器浏览

不喜欢太多废话，直接上分析。过程：（第一步找总体）第二步看单个：（找规律）可遍历：#coding=utf-8"""作者：川川时间：2021/6/26"""from lxml import etreeimport requestsif __name__ == '__main__': headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.3

川川已经很久没发文章了，为了锻炼出八块腹肌也是忍了，不说废话了，学了下selenium，我再发布总结下，还有如何用selenium制作一个自动填体温，emm…没办法，我学校天天都叫我们填体温，上午一次下午一次，烦死了。自动填体温代码由于透露到个人信息，我实在不方便透露了，大家可以群里找我，再教你也可以，或者看我下面几个教程，自己摸索下就做出来了，我也才学了一小部分，学完再发后面的提供一个这个模块学习的好网址，我才看了不到半就搞了个自动填体温，太简单了：http://www.testclass.net/s

写入：import csvwith open('data.csv','w',encoding='gbk') as f: #如果是csv一定要用gbk编译方式，utf-8乱码 writer=csv.writer(f)#writer方法初始化写入对象 writer.writerow(['id','name','age'])#writerow写入每一行数据 writer.writerow(['1','川川','20']) writer.writerow(['3','笨笨','

没啥说的，就记录一下：读取json文件import jsonwith open('data.json','r') as f: str=f.read() data=json.loads(str) print(data)输出json格式文件:import jsondata=[{"name":"chuan","age":"20","interest":"game"}]with open('result.json','w',encoding='utf-8') as f

昨天学完了BeautifulSoup,爬取了诗词网，今天学了PyQuery，于是我选择爬取坑爹网学啥用啥嘛，嘿嘿！插个小曲：这是我qq群970353786，同在学习python，希望更多大神小白能跟我一起交流，我很多源代码也放到群里的，但是你进群问题回答print(“hello world”)结果是啥都回答不上还是不允许进。效果：（都是动态的）代码：（代码仅供学习参考，如果爬取内容有所侵权请联系我删除）import requestsfrom fake_useragent import User

效果：缺陷：有些部分文本不换行，暂时没找到解决办法，凑合下由于我是正在自学爬虫，不是很能找到非常优化的办法，还请大神指点,这是我扣扣群：970353786，希望更多喜欢学习python的可以跟我一起学习交流。上代码：import requestsfrom bs4 import BeautifulSoupheaders = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTM

看看效果：上代码：import requestsfrom lxml import etreeimport timeurl='https://www.huya.com/g/4079/'header={ 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36'}respons

暂时我就没有发xpath基础知识了，编辑太浪费时间了，需要了解或者有问题的可以加我群问我就好了，我也正在努力学习中，不废话了，上代码，解释都在注释.先看效果：开始的时候下载的还不是那么高清，后来我琢磨半天才下载到高清的模板视频：import requests#发送请求from lxml import etree#处理数据header={ 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/5

效果：代码可以直接用，不用修改，但是希望大家能通过这个例子能够学到正则的使用：import requestsimport reimport urllib.requestimport timeimport osheader={ 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/5

正则表达式万能**.?**别的我就就不说了，就用万能.?打字太麻烦了，刚好录了一个屏幕 正则表达式

**（1）**基本用法了解前面讲了urlib中的urlopen，就是通过get方式获取。这里就直接使用requests模块的get函数直接来获取（get和urlopen是相同的），主要是这个更方便：import requestsu=requests.get('https://mp.youkuaiyun.com/console/article')print(u.status_code)#打印状态码print(u.text)#打印文本print(u.cookies)#打印cookie再举例子：impor

还是以解析优快云为例子吧，哈哈！1.urlparsefrom urllib.parse import urlparses=urlparse('https://www.youkuaiyun.com/?spm=1011.2124.3001.5359')#解析的网址print(type(s),s)#打印类型和解析结果看看打印结果：<class 'urllib.parse.ParseResult'> ParseResult(scheme='https', netloc='www.youkuaiyun.com

贴代码：#异常处理from urllib import request,errortry: response=request.urlopen('http://42.192.180.200:8888/loginl')except error.HTTPError as e: print(e.reason,e.code,e.headers)#分别打印reason,code,headers结果看一下：首先要导入request模块，还有异常处理模块error.用try和except搭配

先贴代码，还是以爬取优快云的cookie为例子：import http.cookiejar,urllib.request #导入要用到的cookiejar，request coikie=http.cookiejar.CookieJar()#声明CookieJar这个对象hanlder=urllib.request.HTTPCookieProcessor(coikie)#利用HTTPCookieProcessor创建handler opener=urllib.request.build_op

hh先强力推荐下python推出的kite神器，安装好后，写代码都有提示，超级帮，解决忘记完整代码步入正题： request，老规矩，不讲原理，讲方法，不喜欢废话还是以爬取优快云为例子import urllib.requestrequest = urllib.request.Request("https://www.youkuaiyun.com/?spm=1011.2124.3001.5359")response=urllib.request.urlopen(request)print(response

以爬取优快云为例子：第一步：导入请求库第二步：打开请求网址第三步：打印源码import urllib.requestresponse=urllib.request.urlopen("https://www.youkuaiyun.com/?spm=1011.2124.3001.5359")print(response.read().decode('utf-8'))结果大概就是这个样子：好的，继续，看看打印的是什么类型的：import urllib.requestresponse=urllib.r

遇到的问题是这样的：我的代码部分：解决方案：成功：

首先，我们直接用的是icrawler这个爬取的模块，简直是太方便了，用不着再去分析网页，用不着再去写正则。。都不用，一个循环遍历就行，模块给我们封装好了。解释下，我注释掉的部分分别是百度和谷歌的这个搜索引擎模块（我这这么叫的）吧，看那个英文单词crawler就是爬虫的意思，我在这里用的是bing的爬虫。你们要用别的爬虫也可以的。第一步代码：我定义的这个列表。列表的话，我们可以任意添加多少，添加你任何想要爬取的图片。举个例子，我想要爬取张杰，林俊杰，周杰伦他们的图片，那我们就在列表里面分别添加这三个人的，

来，想看一张图片！！深夜不能没有美女！哈哈！上代码，分析都在注释！干！！如果你要是复制直接运行的话，会给你报错没有这个文件夹，你j就在自己建立一个文件夹，然后在path哪里把文件夹地址复制过去！！哈哈哈，先跑一跑找找感觉再仔细看看代码，好好分析下哈！！！帅哥美女，点个赞加个关注再走呗import requestsimport re# 设置保存路径path = './girl'# 目标urlurl = "http://pic.netbian.com/4kmeinv/index.html

不说太多废话，就简单一句：你们你要爬哪里可以把地点改一下，还有时间改一下，爬取数量自己修改参数和代码，变化不大。有问题请留言，我不再次废话分析（这里我爬取的上海最近的酒店信息）# coding=utf-8import csv#用来储存文件的模块import timeimport requestsimport jsonimport pandas as pd#excel出处理# 区域店铺id ct_Poi cateName抓取，传入参数为区域iddef crow_id(city): u