Python学习笔记（二）

Python Web数据抓取与网页数据获取技术详解

最新推荐文章于 2025-09-11 21:03:21 发布

转载最新推荐文章于 2025-09-11 21:03:21 发布 · 91 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/ddblog/p/3933362.html

文章标签：

#python #c/c++

本文详细介绍了Python中BeautifulSoup库的安装与使用方法，用于从网页中快速抓取数据。同时，文章还介绍了如何利用Firebug进行网页数据获取，并通过实例演示了如何使用列表解析进行高效的数据处理。

一、列表解析

　　对列表中的元素进行访问或处理。

　　1.简单的访问列表中的元素。

var = [i for i in my_list]

var = [i*2 for i in my_list]

var = [function(i) for i in my_list]

　　2.带有循环嵌套的

  >>>x y =  [(x,y) for x in range(5) if x % 2==0 for y in range(5) if y % 2 ==1]  
 [(0, 1), (0, 3), (2, 1), (2, 3), (4, 1), (4, 3)]

二、BeautifulSoup和Firebug安装和使用（网页数据获取）

安装BeautifulSoup可以从www.crummy.com/software/BeautifulSoup/ 下载。在window上安装步骤：1.解压缩 2.在命令行下cd 到解压缩的路径 3.运行 python setup.py install 4.在python命令提示窗口执行 from bs4 import BeautifulSoup。若没有错误，则安装成功。

BeautifuSoup是用Python写的一个HTML/XML的解析器，它可以很好的处理不规范标记并生成剖析树(parse tree)。它提供简单又常用的导航（navigating），搜索以及修改剖析树的操作。它可以大大节省你的编程时间。最主要的功能是从网页抓取数据(on quick-turnaround screen scraping projects)。
安装 http://kevinkelly.blog.163.com/blog/static/21390809320133185748442/
学习：http://rsj217.diandian.com/post/2012-11-01/40041235132
中文文档：http://www.crummy.com/software/BeautifulSoup/bs3/documentation.zh.html

安装Firefox和Firebug Firebug为Firefox中的一个插件，下载安装好Firefox浏览器后。访问 http://getfirebug.com/，再点击按钮 Install Firebug安装该插件。

三、类

　　和c++类比，有如下语法差别：

　　1.构造函数 __init__(self, data_member1, data_memer2, ...)：

　　2.成员函数声明前用 def 关键字

　　3.用self代替this

转载于:https://www.cnblogs.com/ddblog/p/3933362.html