机器学习项目（六）医疗知识图谱构建（一）

NLP中的两大流派

知识图谱

用三元组来表示知识：对领域的特定知识进行结构化存储和表示
模型算法：利用图谱关系进行推导，进行实现自主学习

深度学习

利用机器提取的特征来表述数据：自动提取内在特征
模型算法：优化特征的权重进行非线性映射

深度学习对比知识图谱能够实现端到端的模型，中间减少人为的参与，知识图谱通过三元组的关系表示，可以最大限度的获得自然世界中的相互联系

发展方向

Pretrain+finetune

预训练：大语料、无监督、深模型获得语义表示
微调：在下游任务中添加具体语义信息实现任务
强化学习
训练：自动获得更深的语义信息
测试：可面对复杂语境自动找到合适的表达

爬虫获取

利用正则和结构化处理公开数据集、人工整理数据、爬虫获得数据
什么是爬虫：通过解析网页资源自动化的获得网页数据的手段
在各个子领域内的专业网站内，获得网页内容、解析网页内容、保存获得资源

爬虫相关的类库

urilib:网络获得html文件
re:正则表达式
bs4:简单边界的处理html
selenium:自动化测试

import urllib
import urllib.request
response = urllib.request.urlopen('http://www.baidu.com')  # 返回HTML5文件
print(response.read().decode('utf-8'))

# 修改头文件，打开网页
from urllib import request, parse
url = 'http://httpbin.org/post'
headers = {
   
    'User-Agent': 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)',
    'Host': 'httpbin.org'
}
dict = {
   
    'name': 'zhaofan'