mooc大学,python3+beautifulsoup4+requests库 爬取大学排名的数据,按照一定格式输出

#coding=utf8
#本次学习爬取中国大学排名
from bs4 import BeautifulSoup  #导入beautifulsoup方法
import requests
import bs4 #导入bs4库,知否判断对象是否是这个类型可以用到

def getHTMLText(url):
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()#检查返回值是否是200
        r.encoding=r.apparent_encoding#将编码等于内容编码
        return r.text#返回text
    except:
        return ""#错误返回空

def fillUnivList(ulist,html):
    soup=BeautifulSoup(html,'html.parser')#使用html.parser解析html
    for tr in soup.find('tbody').children:#查找tbody下的子节点(因为tr可能在其他地方也有,所以不能单独只定位tr)
        if isinstance(tr,bs4.element.Tag):#isinstance() 函数来判断一个对象tr是否是一个已知的类型bs4的tag类型,类似 type()。
            tds=tr('td')#tr标签下的td
            ulist.append([tds[0].string,tds[1].string,tds[4].string])#将td的第0,1,4个值写入列表
            


def printUnivList(ulist,num):
    print("{:^15}\t{:^15}\t{:^20}".format("排名","学校名称","总分"))#打印一个头部,每一个约束宽度为指定的数字,\t表示空四个字符
    for i in range(num):
        u=ulist[i]#从list中取i值
        print("{:^10}\t{:^10}\t{:^10}".format(u[0],u[1],u[2]))#因为list中只写入了3个,所以最多取三个

    
def main():
    uinfo=[]
    url='http://zuihaodaxue.com/zuihaodaxuepaiming2020.html'
    html=getHTMLText(url)
    fillUnivList(uinfo, html)#uinfo是为了替换占位的ulist,是一个列表类型
    printUnivList(uinfo, 20)#给num赋予20个值,uinfo同上
main()
    

结果:

这个错误是由于无法连接到本地主机的10248端口导致的。这个端口通常是kubelet进程监听的端口,用于健康检查。出现这个错误可能是由于kubelet进程没有正确启动或者配置错误导致的。 解决这个问题的方法是检查kubelet进程的状态和配置。你可以按照以下步骤进行操作: 1. 检查kubelet进程是否正在运行。你可以使用以下命令检查kubelet进程的状态: ```shell systemctl status kubelet ``` 如果kubelet进程没有运行,你可以使用以下命令启动它: ```shell systemctl start kubelet ``` 2. 检查kubelet的配置文件。你可以使用以下命令查看kubelet的配置文件路径: ```shell kubelet --kubeconfig /etc/kubernetes/kubelet.conf --config /var/lib/kubelet/config.yaml --bootstrap-kubeconfig /etc/kubernetes/bootstrap-kubelet.conf config view ``` 确保配置文件中的端口号和地址正确,并且与你的环境相匹配。 3. 检查网络连接。你可以使用以下命令检查是否可以连接到localhost10248端口: ```shell curl -sSL http://localhost:10248/healthz ``` 如果无法连接,请确保端口没有被防火墙或其他网络配置阻止。 4. 检查docker的配置。有时候,kubelet进程依赖于docker进程。你可以按照以下步骤检查docker的配置: - 创建/etc/docker目录: ```shell sudo mkdir /etc/docker ``` - 编辑/etc/docker/daemon.json文件,并添加以下内容: ```json { "exec-opts": ["native.cgroupdriver=systemd"], "log-driver": "json-file", "log-opts": { "max-size": "100m" }, "storage-driver": "overlay2", "storage-opts": [ "overlay2.override_kernel_check=true" ], "registry-mirrors": ["https://tdhp06eh.mirror.aliyuncs.com"] } ``` - 重启docker进程: ```shell systemctl restart docker ``` 请注意,以上步骤是一种常见的解决方法,但具体解决方法可能因环境而异。如果以上步骤无法解决问题,请提供更多的错误信息和环境配置,以便我们能够更好地帮助你。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值