【python爬虫】爬取疾病资料库

最新推荐文章于 2024-05-01 22:57:52 发布
最新推荐文章于 2024-05-01 22:57:52 发布
阅读量2.6k 收藏 10
点赞数 1
CC 4.0 BY-SA版权
文章标签： python爬虫 疾病资料库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_40124134/article/details/83118911
本文介绍如何使用Python爬虫从疾病资料库http://web.tfrd.org.tw/genehelp/diseaseDatabase.html?selectedIndex=0获取疾病名称。尽管网页源代码中未直接显示数据，但通过F12开发者工具可以找到请求URL。解析该URL的内容，发现大部分文字即为疾病名称。代码实现中，简单地将中文字符识别为疾病名称。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

资料库地址：http://web.tfrd.org.tw/genehelp/diseaseDatabase.html?selectedIndex=0

资料库它长这样：

这次主要爬取其中的疾病名称，难点在于网页源代码是看不到数据的，但是可以通过F12开发者工具查看网页请求数据的源网址

 

可以看到requestURL的地址，打开这个地址可以看到：

 

 其中的大部分文字就是疾病名称，爬取这个就不难了。

首先将源码中的中文字符看作疾病名称！

import requests
import bs4
from bs4 import BeautifulSoup

url= 'http://web.tfrd.org.tw/genehelpDB/GeneHelp/DiseaseDBIndex/'
path= r'C:\Users\谢迎超\Deskt
最低0.47元/天 解锁文章

200万优质内容无限畅学
Renyan20
关注
Python爬虫-----疾病信息爬取
LIVEAD的博客
08-16 4340
一、爬取内容及网站 1.本次爬取的网站是99健康网中的疾病信息，包括疾病名称，所属科室及体态特征信息 2.网站中具体疾病的搜索路径有两种方式：按科室搜索、按部位搜索 （1）按科室搜索：科室–小科室–所含疾病 （2）按部位搜索：部位—所含疾病 可以看出，按部位搜索的路径更短些，因此本次使用按部位搜索的过程，进行疾病信息的爬取。 3.整体爬取思路：爬取所含部位----按部位爬取每一部位包含的疾病名称...
爬取”药智数据”网站下疾病分类与代码的所有疾病名称
qq_38057718的博客
01-12 2440
先分析页面的url规律，发现url里的参数p为1~7，此时只需使用format函数逐一遍历即可获得每个页面的url。 url_start = ["https://db.yaozh.com/icd?p={}&pageSize=30".format(str(i)) for i in range(1,7)] 再构造allurl()函数解析每个url. 分析页面的疾病名称的xpath路径，
使用scrapy框架爬取一些医疗疾病数据
08-10
使用scrapy框架爬取了问医网上的一些医疗疾病数据，里面涉及到了分页，分块，多级嵌套爬取
毕业设计：医疗数据分析可视化实时监控系统 Python 疾病数据 智慧医疗 机器学习算法 随机森林分类算法模型（源码+讲解视频） ✅
十多年程序猿资深互联网人，目前专注于Python/Java/大数据项目解决方案制定，提供各行业各编程语言的全套开发服务，喜爱code，喜爱分享，生命不止，编码不息！
05-01 1968
毕业设计：医疗数据分析可视化实时监控系统 Python 疾病数据 智慧医疗 机器学习算法 随机森林分类算法模型（源码+讲解视频） ✅
python爬取”药智数据”网站下疾病分类与代码的所有疾病名称
Today_2018的博客
04-29 1485
整体代码如下： import requests import lxml.html import chardet import pymongo # MongoDB数据库初始化，小批量插入数据 def mongodb(content_list): connection = pymongo.MongoClient() db = connection.Disease_classifica...
利于python爬虫爬取淘宝司法拍卖和京东司法拍卖土地的每日信息.zip
09-02
对于淘宝司法拍卖和京东司法拍卖土地信息的爬取，可以设计一套Python爬虫程序，通过模拟正常用户的浏览行为，获取网页上的数据。这些数据包括但不限于拍卖物品的名称、位置、起拍价、保证金、拍卖时间等关键信息。有...
python爬虫爬取58网站数据_Python爬虫，爬取58租房数据 字体反爬
weixin_39867212的博客
11-30 1403
Python爬虫，爬取58租房数据这俩天项目主管给了个爬虫任务，要爬取58同城上福州区域的租房房源信息。因为58的前端页面做了base64字体加密所以爬取比较费力，前前后后花了俩天才搞完。项目演示与分析使用python的request库和字体反爬文件，通过替换来实现爬取，最后保存 为excel文件演示：分析：1.首先 直接从58爬取数据可以很明显的看到所有的数字都被替换成了乱码2.我们打开页面右键...
python爬虫爬取pdf_Python 爬虫：爬取教程生成 PDF
weixin_39935092的博客
12-03 2281
作为一名程序员，经常要搜一些教程，有的教程是在线的，不提供离线版本，这就有些局限了。那么同样作为一名程序员，遇到问题就应该解决它，今天就来将在线教程保存为PDF以供查阅。1、网站介绍之前再搜资料的时候经常会跳转到如下图所示的在线教程：01.教程样式包括一些github的项目也纷纷将教程链接指向这个网站。经过一番查找，该网站是一个可以创建、托管和浏览文档的网站，其网址为：https://readth...
python爬虫爬取某博评论区用于数据分析
04-30
**Python爬虫爬取微博评论区进行数据分析** Python爬虫技术是数据挖掘和数据分析领域中的一个强大工具，尤其在处理网络数据时。本教程将引导你如何使用Python爬虫技术来抓取微博评论区的数据，并对其进行分析。对于...
python 数据分析库_使用python写疾病数据分析用到的所有东西
weixin_39610678的博客
11-24 413
fuck_illness公众号：超级王登科概述为了写一篇关于疾病的数据分析，我爬取了150万疾病问答数据，并使用python做了数据分析，在这里记录整个过程，并给出代码和数据爬虫爬虫文件为：health.py 和 m.py 爬虫没什么好说的，基本的看代码就行，不过有一点，加入多线程后，爬虫隔一段时间效率会下降，甚至卡死，研究了半天也没什么好办法，所以又写了一个监控程序，也就是m.py ，它会每隔五...
大数据癌症疾病预测算法python版（含数据）
04-22
大数据癌症疾病预测算法python版（含数据），建议使用pycharm运行。
deidentify:一个Python库，可通过最新的NLP方法对病历进行身份识别
05-10
取消识别 一个Python库，用于使用最新的NLP方法对病历进行身份识别。 提供了针对荷兰语的预训练模型。 该存储库共享以下论文中开发的资源： J. Trienes，D。Trieschnigg，C。Seifert和D.Hiemstra。 比较基于规则，基于特征和深度神经方法的荷兰病历识别。 在：2020年第一届ACM WSDM健康搜索和数据挖掘研讨会（HSDM）的会议记录中。 您可以从以下链接获得论文的作者版本： 。 博客文章： : 。 快速开始 安装 使用您选择的环境管理器创建一个新的虚拟环境。 然后，安装deidentify ： pip install deidentify 我们使用spaCy标记器。 为了与预先训练的模型具有良好的兼容性，我们建议使用与训练去识别模型相同的spaCy版本。 pip install -U " spacy<3 " https://git
医疗问答数据爬取
11-20
通过BeautifulSoup库的ask120爬虫代码，分为科室链接爬取，问答链接爬取，问答详情爬取、医生信息爬取三个部分。
简要代码：python爬取医疗网站病例症状
baidu_41778202的博客
03-25 2322
话不多说，放上代码 import re import requests as req source_link = 'http://jbk.39.net/bw/t1/' my_num = 52 my_link = re.sub('t1/', 't1_p%s/' % my_num, source_link, re.S) # 反爬虫策略 agent = { 'User-agent': 'Moz...
python爬去百度搜索结果_利用python爬取海量疾病名称百度搜索词条目数的爬虫实现...
weixin_39854867的博客
11-24 461
实验原因：目前有一个医疗百科检索项目，该项目中对关键词进行检索后，返回的结果很多，可惜结果的排序很不好，影响用户体验。简单来说，搜索出来的所有符合疾病中，有可能是最不常见的疾病是排在第一个的，而最有可能的疾病可能需要翻很多页才能找到。实验目的：为了优化对搜索结果的排序，想到了利用百度搜索后有显示搜索到多少词条，利用这个词条数，可以有效的对疾病排名进行一个优化。从一方面看，某一个疾病在百度的搜索词条...
python预测疾病_吴裕雄--天生自然python机器学习：使用Logistic回归从疝气病症预测病马的死亡率...
weixin_28989055的博客
12-28 476
，除了部分指标主观和难以测量外，该数据还存在一个问题，数据集中有30%的值是缺失的。下面将首先介绍如何处理数据集中的数据缺失问题，然 后 再 利 用 Logistic回 归和随机梯度上升算法来预测病马的生死。准备数据：处理被据中的缺失值因为有时候数据相当昂贵，扔掉和重新获取都是不可取的，所以必须采用一些方法来解决这个问题。下面给出了一些可选的做法：这里选择实数0来替换所有缺失值，恰好能适用于Log...
Python数据爬虫教程（非常详细）从零基础入门到精通，看完这一篇就够了
xx16755498986的博客
08-10 1万+
Scrapy 是用 Python 实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架。Scrapy 常应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。通常我们可以很简单的通过Scrapy 框架实现一个爬虫，抓取指定网站的内容或图片。: 负责Spider、ItemPipeline、Downloader、Scheduler 中间的通讯，信号、数据传递等。: 它负责接受引擎发送过来的Request请求，并按照一定的 方式进行整理排 列，入队，当引擎需要时，交还给引擎。
Python爬虫实战：获取健康和医疗数据、医学文献和疾病信息
sybh的博客
10-23 2219
爬虫是一种自动化程序，用于从互联网上的网页中提取信息。爬虫可以访问网页、抓取数据，并将其保存到本地计算机或数据库中。这些数据可以用于各种用途，包括医学研究、疾病监测、健康数据分析等。在本文中，我们探讨了如何使用Python编写一个爬虫，用于获取医学文献、健康数据和疾病信息。我们了解了爬虫的基础知识，选择了合适的库和工具，编写了实际的代码示例。通过这个项目，你可以获取并存储你感兴趣的健康和医疗信息，以便将来使用。这只是爬虫应用的一个例子，爬虫技术可以用于各种用途，如医学研究、疾病监测、健康数据分析等。
【Python爬虫】之 抓取“微医”上的医生信息
热门推荐
一定要站在自己热爱的生活里闪闪发光
04-27 4万+
1.爬虫设计 本文用Python语言实现网络爬虫抓取特定数据，使用Beautiful Soup进行HTML的解析。Beautiful Soup是一个HTML/XML解析器，主要功能是解析和提取HTML/XML中的数据，提取数据时，类似于正则表达式的功能。Beautiful Soup将整个文档载入，解析整个DOM树，其时空开销都比较大，性能不如lxml。Beautiful Soup为不同的解析器提...
python爬虫爬取资料
最新发布
08-12
### Python 网络爬虫教程 编写 Python 网络爬虫程序涉及多个步骤，从设计环境搭建到数据爬取和解析，再到数据存储和可视化。以下是一个完整的流程指南，帮助您构建一个基本的爬虫程序。 #### 设计环境和目标分析 在开始编写爬虫之前，需要明确设计环境和目标。推荐使用以下工具和环境： - **IDE**：PyCharm - **Python 版本**：Python 3 目标可以是爬取特定网站的数据，例如天气信息或电影数据。例如，初始 URL 可以是 `www.tianqihoubao.com/aqi`，用于获取天气数据 [^1]。 #### 爬虫运行流程分析 爬虫的基本流程包括以下几个步骤： 1. **发起请求**：向目标网站发送请求。 2. **获取响应内容**：接收服务器返回的响应数据。 3. **解析数据**：从响应数据中提取所需信息。 4. **保存数据**：将提取的数据存储到文件或数据库中 [^1]。 #### 请求方式 常见的 HTTP 请求方式包括 GET 和 POST： - **GET**：用于从服务器获取数据。 - **POST**：用于向服务器提交数据。 在 GET 请求中，参数通常包含在 URL 中，而在 POST 请求中，参数通常包含在请求体中 [^1]。 #### 示例代码 以下是一个简单的 Python 爬虫示例，使用 `requests` 库发送 GET 请求并解析 HTML 内容： ```python import requests from bs4 import BeautifulSoup def fetch_weather_data(url): response = requests.get(url) if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser') # 解析数据，例如提取所有链接 links = [a['href'] for a in soup.find_all('a', href=True)] return links else: return None # 示例URL url = 'http://www.tianqihoubao.com/aqi' weather_data = fetch_weather_data(url) print(weather_data) ``` #### 数据可视化 爬取数据后，可以使用 `pyecharts` 或其他可视化库对数据进行展示。例如，以下代码展示如何使用 `pyecharts` 创建一个饼图： ```python from pyecharts import charts, options as opts # 假设map_data_title和map_data已经定义 map_data_title = ['USA', 'China', 'Japan'] map_data = [100, 200, 150] result = [[map_data_title[i], map_data[i]] for i in range(len(map_data_title))] # 创建Pie实例 chart = charts.Pie() # 添加标题和数据 chart.add("电影上映数饼图（单位：个）", result, radius=["50%", "60%"]) # 显示 chart.set_global_opts(title_opts=opts.TitleOpts(title="电影上映数饼图")) chart.render("movie_pie_chart.html") ``` ###
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值