aosky的专栏

说明利用flask搭建了一个会员中心，需要添加一个实名认证的模块，现在的实名认证一般是银行卡+身份证+姓名或电话号码+身份证+姓名或者支付宝扫脸认证。选用相对不那么要求隐私的，手机号+身份证+姓名三要素认证。使用在阿里云API市场选了一个三要素认证的服务，购买了试用套餐，10条请求的进行测试。python的给了一个接口的代码，如下：import urllib, urllib2, syshost = 'http://sjsys.market.alicloudapi.com'path = '/c

最近使用typecho搭建了一个博客,想着可以使用python采集文章自动发布。原本打算是采集之后直接写入数据库，但是发现了一个好用的库pytypecho，直接对接typecho的xmlrpc，可以管理文章、标签、分类、评论。你可以写个爬虫然后自动入库，可选择对应的分类及标签等。from pytypecho import Typecho,Post,Commentte = Typecho('http://blog.com/action/xmlrpc',username='admin',password

使用的库bs4requestspymongofastapiuvicorn爬取ip网络上搜索一下有很多提供HTTP代理的网站，直接使用BeautifulSoup将IP爬下来。html =requests.get(url).textbs =BeautifulSoup(html,'html.perser')#findAll()#select()验证ipres = requests.get(url,headers=headers,proxies=proxies)#判断res.st

爬取即时线报，通过vue.js和axios.js调用fastapi相关数据到html页面进行展示。效果展示：最新线报Heroku注册heroku安装heroku climkdir haoyangmao && cd haoyangmaogit initheroku git:remote -a haoyangmao线报采集用python写一个简单的爬虫，大致代码如下，四个目标网站，利用requests+lxml库获取目标网站线报的url和title并写入数据库，如果采集频

说明最近需要用到一些HTTP的代理，用于爬虫去爬取信息，搜索了一些网站，貌似现在这类提供免费代理IP的网站很多，刚好最近看了点vue的视频，弄个网站练练。部署到heroku，预览地址：点击这里FastAPI安装相关依赖pip install uvicorn fastapi requests bs4 jinja2 aiofiles一个简单的函数爬取代理def Spider(cat): url = '目标网站' headers = {"User-Agent":"Mozill

说明临近双旦及春节网络上各种推广送钱的活动愈来愈多，平常有时候也能薅个早晨钱，但是很多时候碰到红包与你擦肩而过也有些许淡淡的忧伤。所以用python写了一个小爬虫，爬取线报推送到微信群或电报群，最近学flask就写个简单的展示页面练练手。最终效果及演示效果图演示地址https://skystudy.herokuapp.com/由于只是需要提醒就没有写采集内容，看内容还是...

取cookies值import requestsfrom selenium import webdriverimport timefrom selenium.webdriver.common.by import By# 準備弄一個def main(): # ! /usr/bin/env python # coding=utf-8 from seleni...