构建共线矩阵的两种惊艳操作

已于 2022-03-23 18:50:41 修改
阅读量2.1k 收藏 12
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 吉鹿 文章标签： 矩阵 python 线性代数
于 2022-03-12 11:28:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yefan_001/article/details/123397730
本文介绍了如何使用Python高效地构建IPC共线网络的矩阵，并通过简洁的代码实现上三角矩阵的提取，展示了Python在矩阵操作中的语法糖优势。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

笔者要做的事情是利用专利的IPC信息构建IPC的共线网络，然后提取IPC的节点特征
原本我构建IPC共线矩阵的函数代码是

def ipcCoocureMetrix(patentsIpc):
    '''构建ipc共线矩阵'''
    coIPCs = []    #所有专利的共线IPC(二维)
    IpcUnique = []    #所有IPC(一维)
    for i, IPCs in patentsIpc.items():
        onePatentIPC = IPCs.split(', ')
        coIPCs = coIPCs.append(onePatentIPC)
        IpcUnique.extend(onePatentIPC)
    
    IpcUnique = list(set(IpcUnique))    #去重后的IPC
    #IPC共现矩阵
    ipcCoMatirx = pd.DataFrame(np.zeros((len(IpcUnique
最低0.47元/天 解锁文章

200万优质内容无限畅学
[Python知识图谱] 四.Python和Gephi实现中国知网合作关系知识图谱
杨秀璋的专栏
09-02 2万+
该系列文章主要讲解知识图谱或关系图谱的构建方法，前文介绍了Neo4j图数据库和Jieba、PyLTP的基本用法。本篇文章主要采用Python和Gephi构建中国知网某个领域的作者合作关系和主题词共现的知识图谱，重点阐述了一种可操作的关系图谱构建方法，可用于论文发表、课程或企业可视化展示等。其基本步骤如下：1.在中国知网搜索“清水江”关键词，并导出论文Excel格式。2.使用Python处理文本，获取作者合作的共现矩阵及三元组。3.Gephi导入CSV节点及边文件，并构建关系图谱。
上手大模型，武装到牙齿，惊艳所有人！：一些惊艳的大模型应用和边缘端推理实现方案
shiter编写程序的艺术
12-27 864
如果我们想让模型做智能问答，我们可以使用一些包含问题和答案对的数据集来微调模型，使它能够根据给定的问题生成合适的答案。编码器-解码器架构：编码器-解码器架构由编码器（encoder）和解码器（decoder）两部分组成，编码器负责将输入文本转换为一个固定长度的向量表示，解码器负责根据这个向量表示生成输出文本。这是因为增加的编译器步骤允许优化，包括代码的高级表示(例如，循环展开)和低级执行(例如，强制操作对象与硬件处理器原生支持的类型之间的转换) ，这使得代码的执行速度更快，快了一个数量级。
「Python数据分析」 社交网络：共现/合作网络（无向有权图） 生成邻接矩阵、共现矩阵
Parzival_的博客
07-19 1万+
使用从数据库中导出的论文、专利数据，做作者/专利权人合作网络，实际上也就是共现网络。 使用的数据形式示例： 其中F列是作者信息，其他列包含其他信息。 合作网络构建 生成合作网络代码主函数： if __name__ =='__main__' : co_list = [ ["AA | BB | CC | DD",2019], ["EE | BB | FF ",2018], ["AA | GG | FF | HH | KK",2019],
共现矩阵生成
11-02
可生成基于词频共现的对称MDS矩阵,然后输入SPSS进行聚类。
《知识图谱从入门到实践》04 构建共现矩阵和三元组
当回首往事的时候，不会因虚度年华而悔恨，也不会因碌碌无为而羞愧。
11-15 1517
书山有路勤为径，学海无涯苦作舟 一、构建共现矩阵和三元组矩阵 主要参考杨老师的文章,原文链接,支持老师的原文。老师写的时候还是老版本的Python，所以运行报错，按照现在python的版本修改了下。用作学习用 import pandas as pd import numpy as np import codecs import networkx as nx import matplotlib.pyplot as plt import csv #---------------------------第一步
python 共现矩阵构建
qq_28840013的博客
04-26 1万+
1.什么是共词矩阵： 共词矩阵：共词矩阵能表明两个词之间的关系程度 2.构建过程： 数据准备： 假设有10篇文本，我们将从这10篇文本中，提取每一篇的分词结果，并存入Single_text_list中。再将由10篇文章的关键词列表合为一个列表Full_text_list， Full_text_list=[ [文章1切词结果]，[文章2切词结果] ...] 构建： 1.对每篇文章作词频统计，选出其...
深度学习中合作网络
小蜗牛的博客
07-04 893
1.数据预处理，进行深度学习预测 将数据进一步处理成可以输入模型中的数据：先将文本填充成固定长度；将标签转化为one-hot编码表示。 2.合作网络 定义：论文、作者等等的网络，实际上共现网络 存储：节点列表、边列表可以作为G.add_nodes_from()、G.add_edges_from()的输入，带权重的边列表可以作为networkx中G.add_weighted_edges_from()方法的输入。节点列表、合作矩阵（邻接矩阵）、边列表、邻接表还可以作为各种网络绘制软件的输入数据，比如Uc
文档词频矩阵_Word Mover's Distance(WMD)的文档相似度计算解析
weixin_39822629的博客
11-20 605
1. 文档相似度文档相似度计算在自然语言处理的工业界有较多的应用，尤其应用在文本检索以及文本召回的场景当中。目前比较流行的算法都是在使用神经网络的表征作为文本特征，然后通过faiss快速检索来召回，或者直接通过计算BM25，编辑距离，proximity等文本特征的融合来作为文本召回的方式。但是使用神经网络的表征会带来许多超参数，而使用传统文本表征的方式，F1 score会偏低。今天带来的一个基于词...
ShaderGraph中的向量运算与矩阵计算应用
它们在图形渲染中起着至关重要的作用，可以描述物体的位置、旋转、缩放和投影等操作。 ## 向量和矩阵的基本概念 **向量**是由一组有序数值组成的量，通常用来表示空间中的位置、方向或其他物理量。在二维空间中，...
没有GPU Poor，只有卷得不够多：DeepSeek-V3的横空出世，用一组惊人的数据完美诠释了
AI天才研究院
01-02 1341
打个比方，如果把注意力机制比作图书检索系统，传统方法相当于为每本书都建立完整的索引卡片（Key）和内容摘要（Value），而DeepSeek的方法则像是建立了一个智能的分类系统，不记具体信息，而是记一个简单的"标签"(压缩的Key/Value)，需要时再从标签还原出详细信息。在推理阶段，MTP的优势更加明显。大部分数据传输时间被"隐藏"在了计算过程中，就像在无缝衔接的装配线上，零件的运送时间对整体生产效率几乎没有影响。这种严格的数据清洗流程不仅提高了训练数据的质量，也为模型的最终表现奠定了良好基础。
Bibexcel提取出现次数/共现关系/矩阵
weixin_62740842的博客
01-24 959
用于提取专利数据库中下载的专利信息，可统计
[关系图谱] 二.Gephi导入共线矩阵构建作者关系图谱
杨秀璋的专栏
12-17 1万+
本文主要讲解Gephi绘制作者间的关系图谱，该软件可以广泛应用于社交网络、知识图谱分析，推荐读者使用。这是非常基础的一篇文章，重点讲解Gephi使用方法，希望对大家有所帮助。
随机样本一致性：一种用于图像分析和自动制图的模型拟合模型（6）--（计算共线矩阵T）
Jensen Lee的博客
10-28 427
（一）计算共线矩阵T （注意：转置就是行变列） 例子： 具体可参考原论文：Martin A. Fischler & Robert C. Bolles (June 1981). "Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automa...
共现矩阵
Mr__666的博客
05-22 1853
想法 希望将共现矩阵加入到查重算法中； 共现矩阵：主要用于发现主题，解决词向量相近关系的表示。 这个特性并不能很好地被查重方法利用，至少在处理代码时作用不大； 或许可以考虑处理正文。 做法 这里给出一种共现矩阵的实现： 可以遍历一个文件夹下的文件，给出词频的共现矩阵（中文）。 code： # coding:utf-8 import numpy as np import pandas as pd import jieba.analyse import os # 获取关键词 def Get_file_keyw
Python实现共现语义网络
热门推荐
m0_45827246的博客
11-10 2万+
一、共现语义网络原理 共现语义网络是用于表示词与词之间的语义关系的一种网络理论，由美国人工智能专家司马贺在1973年提出的。其原理就是以词语为网络的结点，以沟通结点的共现次数表示词语之间的语义关系，构成一个彼此相互联系的网络，以达到理解自然语言句子的语义关系。 二、中文分词 构建共现语义网络首先要进行分词，通常可以使用Jieba和Snownlp做中文分词。笔者使用的数据是自己在招聘网站采集的岗位招聘要求信息数据，使用Jieba分词后保存到源数据，并使用pandas库把整个文件保存为csv文件，方便后续使用。
Python实现共现矩阵及networkx可视化结果
TonyHsuM的博客
01-15 6893
Python实现共现矩阵及networkx可视化结果共现矩阵代码实现networkx可视化代码实现参考文章 共现矩阵 共现矩阵：也称为共词矩阵，能表明两个词之间的关系程度 首先假设我们有两句话，如下图所示，通过jieba分词和停用词词表过滤，我们可以得到以下结果： test = ["E的B的C", "B的C的D"] 接着我们可以通过关键词来构建共现矩阵，可以看到，BE同时出现一次，则其权重为1，BC同时出现两次，则其权重为2，以此类推 由此可以看出，共现矩阵是一个对角矩阵。 共现矩阵的[0][0
共现矩阵的一种实现方法，比较笨重，时间复杂度较高
wei_bo_cai的博客
05-22 1594
共现矩阵 为了以某一个词为中心预测周围词，提供一定的概率分布 def distinct_words(corpus): """ 去重 :param corpus: 句子 :return: 去重后的列表，长度 """ corpus_words = sorted(list(set(corpus))) num_corpus_words = len(c...
共现矩阵之一 gensim实现方法
weixin_42272768的博客
06-16 2686
所谓的共现矩阵，就是词表示矩阵。不过目前有2种不同的共现矩阵。一种是词在文章中的出现次数。比如下面两篇“文章”： 1）我爱北京天安门 2）我爱吃北京烤鸭 北京就在两篇文章中各出现一次。而天安门只在第一篇文章中出现，第二篇文章中没有出现。烤鸭则相反。 gensim实现了统计词在文章的出现次数。后面的例子会说明。 还要一种是统计词与词之间相互关系的。比如，北京和天安门是挨着的，北京和烤鸭也挨着。Glove算法就利用了这种词的统计方法来评估词与词之间的关联。这也是一种共现矩阵。不过gensim中没有实现。下一篇我
ipc分类号共现矩阵
最新发布
06-24
<think>我们正在处理用户关于构建IPC分类号共现矩阵的问题。根据引用[1]和[2]，我们可以提供两种构建共现矩阵的方法，并进一步解释其应用。用户需求：构建或使用IPC分类号的共现矩阵根据引用[1]中的代码，构建共现矩阵的一种方法是：1.将每个专利的IPC分类号分割成列表。2.使用pandas的get_dummies函数进行独热编码，然后按行求和（每个专利的IPC出现情况）。3.通过矩阵转置和相乘得到共现矩阵（即任意两个IPC同时出现在同一专利的次数）。4.将矩阵的下三角部分置零（保留上三角矩阵以避免重复）。5.将上三角矩阵转换为边列表（包含source,target,weight），用于构建网络图。引用[2]提到另一种方法：构建共现矩阵（IPC共同出现在同一专利为1，否则为0），然后利用图卷积网络(GCN)提取特征。下面我们将详细说明第一种方法（引用[1]的代码）的步骤，并给出第二种方法的简要说明。###方法1：构建共现矩阵并转换为网络图（引用[1]）假设我们有一个专利数据集，其中每项专利有一个或多个IPC分类号，存储为逗号分隔的字符串。例如：专利1:"A01B,A01C,A01D"专利2:"A01B,A01C"步骤：1.将每个专利的IPC字符串分割成列表，得到所有专利的IPC列表（二维列表）。2.使用`pd.get_dummies`将每个专利的IPC列表转换为二进制向量（出现为1，否则为0）。注意，这里使用`prefix=''`和`prefix_sep=''`来保持列名为IPC代码本身。3.按行（每个专利）对相同的IPC列进行求和（实际上，由于每个专利中每个IPC只出现一次，求和结果也是0或1，但如果有重复，则可能大于1。通常一个专利中同一IPC不会重复，所以求和后还是0或1）。4.计算共现矩阵：将上一步得到的矩阵转置后与自身相乘（即`u.T.dot(u)`），得到一个对称矩阵，其中每个元素表示两个IPC共同出现的次数。5.将矩阵的下三角（包括对角线）置零，只保留上三角部分（避免重复的边）。6.使用`stack`方法将上三角矩阵转换为长格式，即每一行是一个边（source,target,weight），其中weight是共现次数。7.使用`networkx`从边列表构建图。代码示例（基于引用[1]并稍作调整）：```pythonimportpandasaspdimportnumpyasnpimportnetworkxasnxdefbuild_cooccurrence_matrix(patentsIpc):"""专利IPC共现矩阵构建与网络图生成:parampatentsIpc:一个Series或字典，key为专利ID，value为IPC字符串（多个IPC用逗号分隔）:return:网络图G"""coIPCs=[]#所有专利的IPC列表（二维）foripcsinpatentsIpc:#假设每个专利的IPC字符串用逗号分隔，去除可能的多余空格onePatentIPC=[ipc.strip()foripcinipcs.split(',')]coIPCs.append(onePatentIPC)#构建独热编码矩阵，每个IPC作为一列，每行是一个专利的IPC出现情况#使用get_dummies，然后按行（每个专利）对相同的列（IPC）进行合并（求和）#注意：这里使用prefix=''和prefix_sep=''，使得列名就是IPC代码df_dummies=pd.get_dummies(pd.DataFrame(coIPCs),prefix='',prefix_sep='').sum(level=0,axis=1)#计算共现矩阵：转置后点乘自身v=df_dummies.T.dot(df_dummies)#将下三角矩阵（包括对角线）置0，只保留上三角部分#这样避免无向图中的重复边v.values[np.tril_indices_from(v,k=0)]=0#将上三角矩阵转换为边列表edges=v.stack().reset_index()edges.columns=['source','target','weight']#去掉weight为0的边edges=edges[edges['weight']>0]#构建图G=nx.from_pandas_edgelist(edges,source='source',target='target',edge_attr='weight')#添加孤立的IPC节点（那些只出现在一个专利中且没有与其他IPC共现的）#注意：上面的共现矩阵只统计了共现关系，所以没有共现的IPC不会出现在边列表中#遍历所有专利的第一个IPC（主IPC）作为节点，如果不在图中则添加#注意：这里也可以考虑添加所有出现过的IPC，但引用[1]只添加了主IPC。根据实际需求调整。all_ipcs=set([ipcforipc_listincoIPCsforipcinipc_list])foripcinall_ipcs:ifipcnotinG:G.add_node(ipc)returnG```注意：引用[1]中只添加了每个专利的第一个IPC（主IPC）作为孤立节点。这里我们修改为添加所有出现过的IPC（因为共现矩阵中已经包含了所有IPC作为列，但在构建图时，只有有边的节点才会被加入，所以需要单独添加没有边的节点）。###方法2：构建二元共现矩阵（引用[2]）二元共现矩阵是指，如果两个IPC出现在同一专利中，则矩阵对应位置为1，否则为0。这种矩阵通常用于后续的图神经网络（如GCN）特征提取。构建步骤：1.与方法1类似，得到每个专利的IPC列表。2.构建一个空矩阵，行和列都是所有IPC代码（索引）。3.对于每个专利，将其包含的所有IPC两两配对（不重复），在矩阵对应位置加1（或者直接设为1，如果只关心是否共现而不关心次数）。4.注意，这里得到的矩阵是对称矩阵，对角线通常设为0（IPC不与自身共现）或者保留（表示该IPC出现的次数）。二元共现矩阵的构建代码（简化）：```pythonfromitertoolsimportcombinationsdefbuild_binary_cooccurrence(ipc_lists):#获取所有IPCall_ipcs=sorted(set(ipcforipc_listinipc_listsforipcinipc_list))#创建空矩阵co_matrix=pd.DataFrame(0,index=all_ipcs,columns=all_ipcs)#遍历每个专利的IPC列表foripc_listinipc_lists:#生成两两组合（不重复）foripc1,ipc2incombinations(ipc_list,2):#因为组合是无序的，所以我们需要在矩阵的两个位置都加1？但矩阵是对称的，所以只需要加一次。#注意：这里我们使用二元共现，所以直接设为1（如果已经为1则不变）#但为了记录共现次数，也可以累加。这里根据需求，如果只关心是否共现，则设为1；否则累加。co_matrix.loc[ipc1,ipc2]=1co_matrix.loc[ipc2,ipc1]=1#对称矩阵#或者我们也可以不设置对称，只使用上三角，但通常整个矩阵都会用。returnco_matrix```但是，如果使用累加的方式，则与方法1得到的共现矩阵（次数）类似，只是方法1是通过矩阵乘法得到的，效率更高。###使用场景（引用[3]）引用[3]提到，通过分析IPC分类号及其技术主题的专利申请数量，可以了解技术发展方向。共现矩阵可以用于：-构建IPC共现网络，分析IPC之间的技术关联。-识别技术热点（高频IPC）和技术集群（共现密切的IPC组）。-通过图算法（如社区检测）发现技术子领域。###相关问题§§相关问题§§1.如何利用IPC共现矩阵进行技术主题分析？2.除了networkx，还有哪些工具可以分析共现矩阵？3.如何优化共现矩阵的构建效率（特别是当专利数量很大时）？4.共现矩阵在专利分析中有哪些具体应用案例？</think>### IPC分类号共现矩阵的构建方法 #### 1. 数据预处理 首先需要整理专利数据中的IPC分类号。假设原始数据格式为： ```python patentsIpc = { "专利1": "H01L 27/00, H01L 29/00, G06F 15/00", "专利2": "H01L 29/00, G06F 15/00", ... } ``` 将每个专利的IPC分类号转换为列表格式： ```python coIPCs = [] for IPCs in patentsIpc.values(): onePatentIPC = IPCs.split(', ') # 分割字符串 coIPCs.append(onePatentIPC) # 得到二维列表 ``` #### 2. 构建共现矩阵（核心步骤） 使用独热编码和矩阵乘法： ```python import pandas as pd import numpy as np # 创建独热编码矩阵 u = pd.get_dummies( pd.DataFrame(coIPCs), # 转换为DataFrame prefix='', prefix_sep='' ).sum(level=0, axis=1) # 合并相同IPC列 # 计算共现矩阵 (核心公式) v = u.T.dot(u) # 矩阵乘法: Uᵀ × U ``` 此时`v`是对称矩阵，其中`v[i,j]`表示IPC_i和IPC_j共同出现的专利数量。 #### 3. 矩阵优化处理 ```python # 保留上三角矩阵 (避免重复) v.values[np.tril_indices_from(v, k=0)] = 0 # 转换为边列表 edges = v.stack().reset_index() edges.columns = ['source', 'target', 'weight'] edges = edges[edges['weight'] > 0] # 过滤零值 ``` #### 4. 可视化与应用 ```python import networkx as nx # 构建共现网络图 G = nx.from_pandas_edgelist(edges, source='source', target='target', edge_attr='weight') # 添加孤立节点 (未共现的IPC) all_ipcs = set(ipc for sublist in coIPCs for ipc in sublist) G.add_nodes_from(all_ipcs - set(G.nodes)) ``` ### 应用场景 1. **技术关联分析** 共现矩阵可识别技术领域的关联性，例如`H01L 29/00`和`G06F 15/00`频繁共现表明半导体与计算技术的交叉创新[^3]。 2. **技术路线图绘制** 通过共现网络中心性分析，可识别核心IPC分类号（如燃料电池、固态电池等新能源汽车关键技术[^3]）。 3. **专利布局优化** 矩阵中的密集区块反映技术热点，稀疏区域指示创新机会点（如`B60L 53/00`电动汽车充电技术）。 4. **GCN特征提取** 共现矩阵可作为图卷积网络(GCN)的输入，预测技术融合趋势[^2]。 ### 示例输出 共现矩阵片段： ``` H01L27/00 H01L29/00 G06F15/00 H01L27/00 0 2 1 H01L29/00 0 0 3 G06F15/00 0 0 0 ``` 对应网络图包含： - 边：`(H01L29/00, G06F15/00, weight=3)` - 节点：所有IPC分类号 ### 注意事项 1. IPC清洗：需统一格式（如去除`/`后多余空格） 2. 矩阵对称性：上三角处理避免重复计数 3. 权重阈值：过滤低频共现（如`weight<2`） 4. 多层级分析：可针对IPC主组（前4位）或小组（完整代码）分别构建
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值