爬虫

from urllib import request
from urllib import error
import socket

url= 'http://www.xuetangx.com/courses?cid=117'
try:
    resp = request.urlopen(url)
    html_data = resp.read().decode('utf-8')
except error.URLError as ex:
    html_data = None
except socket.timeout as ex:
    html_data = None
    
if html_data:
    #print(html_data);
    #输出为xuetang.html文件
    file = open('xuetang.html','w',encoding='utf-8')
    file.write(html)
    file.close()


    from urllib.request import urlopen#在urllib库里面,查找python的request模块,只导入一个urlopen函数
from bs4 import BeautifulSoup#导入BeautifulSoup对象

data = []
f = open('xuetang.html', 'r',encoding="utf-8")
html = f.read()
f.close()

file = open('xuetang.txt','w',encoding='utf-8')#文件操作

num = 16
for num in range(1,16):
    html = urlopen('http://www.xuetangx.com/courses?credential=0&page_type=0&cid=117&process=0&org=0&course_mode=0&page='+str(num))
    bs_obj = BeautifulSoup(html.read(),'html.parser')#把html内容传到BeautifulSoup对象
    course_list = bs_obj.find_all("h2","coursetitle")#找到所有class = "coursetitle"的h2标签
    subject_list = bs_obj.find_all("span","subject")#找到所有class = "subject"的span标签
    teacher_list = bs_obj.find_all("div","fl name")#找到所有class = "fl name"的div标签
    introduction_list = bs_obj.find_all("p","txt")
    for course,subject,teacher,introduction in zip(course_list,subject_list,teacher_list,introduction_list):
        #把将对象中对应的元素打包成一个个元组,然后返回由这些元组组成的列表
        info = {
            'course':course.get_text().strip(),#strip()去掉左右两边的空格
            'subject':subject.get_text().strip(),
            'teacher':teacher.li.get_text().replace("\n"," "),#替换函数
            "introduction":introduction.get_text()
        }
        data.append(info)#把信息放入data列表
    
    for i in data:#打印data
        file = open('xuetang.txt','a',encoding='utf-8')
        file.write("?")
        file.write("".join(i['course']))
        file.write(" ".join(i['subject']))
        file.write(" ".join(i['teacher']))
        file.write("".join(i['introduction']))
        print(i['course'],"\t",i['subject'],"\t",i['teacher'],"\n",i['introduction'],"\n")
    data.clear()
    file.clearBlankLine()
    file.close()
html.close()#关闭文件


def clearBlankLine():
    file1 = open('text1.txt', 'r', encoding='utf-8') # 要去掉空行的文件 
    file2 = open('text2.txt', 'w', encoding='utf-8') # 生成没有空行的文件
    try:
        for line in file1.readlines():
            if line == '\n':
                line = line.strip("\n")
            if line == '\t':
                line = line.strip("\t")
            file2.write(line)
    finally:
        file1.close()
        file2.close()


if __name__ == '__main__':
    clearBlankLine()

翻页——记录页数

from lxml import etree
f = open('xuetang.html', 'r',encoding="utf-8")
html = f.read()
f.close()

selector = etree.HTML(html)
#link =  selector.xpath('//*[@id="list_pager"]/ul/li[12]/a[last()]/@href') 
#link =  selector.xpath('//*[@id="list_style"]/li[10]/div/div[2]/div/a/h2/text()') #这句可以实现
link =  selector.xpath('//*[@id="list_pager"]/ul/li[12]/a/text()')#F12模式下右键Xpath直接复制
for each in link:
    print (each)
#我觉得其实已经可以了就是网页有问题!!!!

 

资源下载链接为: https://pan.quark.cn/s/1bfadf00ae14 “STC单片机电压测量”是一个以STC系列单片机为基础的电压检测应用案例,它涵盖了硬件电路设计、软件编程以及数据处理等核心知识点。STC单片机凭借其低功耗、高性价比和丰富的I/O接口,在电子工程领域得到了广泛应用。 STC是Specialized Technology Corporation的缩写,该公司的单片机基于8051内核,具备内部振荡器、高速运算能力、ISP(在系统编程)和IAP(在应用编程)功能,非常适合用于各种嵌入式控制系统。 在源代码方面,“浅雪”风格的代码通常简洁易懂,非常适合初学者学习。其中,“main.c”文件是程序的入口,包含了电压测量的核心逻辑;“STARTUP.A51”是启动代码,负责初始化单片机的硬件环境;“电压测量_uvopt.bak”和“电压测量_uvproj.bak”可能是Keil编译器的配置文件备份,用于设置编译选项和项目配置。 对于3S锂电池电压测量,3S锂电池由三节锂离子电池串联而成,标称电压为11.1V。测量时需要考虑电池的串联特性,通过分压电路将高电压转换为单片机可接受的范围,并实时监控,防止过充或过放,以确保电池的安全和寿命。 在电压测量电路设计中,“电压测量.lnp”文件可能包含电路布局信息,而“.hex”文件是编译后的机器码,用于烧录到单片机中。电路中通常会使用ADC(模拟数字转换器)将模拟电压信号转换为数字信号供单片机处理。 在软件编程方面,“StringData.h”文件可能包含程序中使用的字符串常量和数据结构定义。处理电压数据时,可能涉及浮点数运算,需要了解STC单片机对浮点数的支持情况,以及如何高效地存储和显示电压值。 用户界面方面,“电压测量.uvgui.kidd”可能是用户界面的配置文件,用于显示测量结果。在嵌入式系统中,用
资源下载链接为: https://pan.quark.cn/s/abbae039bf2a 在 Android 开发中,Fragment 是界面的一个模块化组件,可用于在 Activity 中灵活地添加、删除或替换。将 ListView 集成到 Fragment 中,能够实现数据的动态加载与列表形式展示,对于构建复杂且交互丰富的界面非常有帮助。本文将详细介绍如何在 Fragment 中使用 ListView。 首先,需要在 Fragment 的布局文件中添加 ListView 的 XML 定义。一个基本的 ListView 元素代码如下: 接着,创建适配器来填充 ListView 的数据。通常会使用 BaseAdapter 的子类,如 ArrayAdapter 或自定义适配器。例如,创建一个简单的 MyListAdapter,继承自 ArrayAdapter,并在构造函数中传入数据集: 在 Fragment 的 onCreateView 或 onActivityCreated 方法中,实例化 ListView 和适配器,并将适配器设置到 ListView 上: 为了提升用户体验,可以为 ListView 设置点击事件监听器: 性能优化也是关键。设置 ListView 的 android:cacheColorHint 属性可提升滚动流畅度。在 getView 方法中复用 convertView,可减少视图创建,提升性能。对于复杂需求,如异步加载数据,可使用 LoaderManager 和 CursorLoader,这能更好地管理数据加载,避免内存泄漏,支持数据变更时自动刷新。 总结来说,Fragment 中的 ListView 使用涉及布局设计、适配器创建与定制、数据绑定及事件监听。掌握这些步骤,可构建功能强大的应用。实际开发中,还需优化 ListView 性能,确保应用流畅运
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值