python 的 javalang 库【1】

告别字符串匹配!用Python的javalang库精准提取Java代码结构(附完整代码) 本文介绍了如何使用Python的javalang库精准提取Java代码结构,告别传统的字符串匹配方法。通过详细的代码示例和实战案例,展示了如何利用javalang解析Java语法树,实现类结构、方法签名和变量声明的精准提取,适用于代码分析、自动化工具开发等场景。 阅读详情
AI摘要

本文介绍了javalang库,这是一个用于处理Java源码的纯Python库,支持Java8的词法分析和解析。通过示例展示了如何使用javalang.parse.parse方法解析Java源文件,生成并遍历抽象语法树(AST),以及如何单独使用Tokenizer和Parser组件。此外,还提及了如何根据节点类型过滤AST。

javalang 是用于处理 Java 源码的纯 Python 库,目前提供了针对 Java 8 的词法分析器和解析器。
PyPI 0.13.0 | Github 0.13.0 | Java 8 语言规范

开始

import javalang
tree = javalang.parse.parse("package javalang.brewtab.com; class Test {}; class Test2 {}")

将返回一个 CompilationUnit 实例,它是树的根,可以通过遍历提取不同信息。

print(tree.package.name)
print(tree.types[0])
print(tree.types[1].name)
javalang.brewtab.com
ClassDeclaration(annotations=[], body=[], documentation=None, extends=None, implements=None, modifiers=set(), name=Test, type_parameters=None)
Test2

传递给 javalang.parse.parse() 的字符串必须代表一个完整有效的 Java 源文件。javalang.parse 模块中有其他方法可以在不提供整个编译单元的情况下解析一些较小的代码片段。

语法树

CompilationUnit 是 javalang.ast.Node 的子类,它在树中的后代也一样。javalang.tree 模块定义了不同类型的 Node 子类,每个都代表你都能在Java代码中找到的不同的语法成分。关于节点类型的更多信息,可参阅 javalang/tree.py 文件。

部分 Node 子类示例attrs
CompilationUnit(Node)“package”, “imports”, “types”
Import(Node)“path”, “static”, “wildcard”
Documented(Node)“documentation”
Declaration(Node)“modifiers”, “annotations”
TypeDeclaration(Declaration, Documented)“name”, “body”
ClassDeclaration(TypeDeclaration)“type_parameters”, “extends”, “implements”
Statement(Node)“label”
IfStatement(Statement)“condition”, “then_statement”, “else_statement”

Node 实例支持迭代 Iteration。

for path, node in tree:
    print(path, node)
() CompilationUnit(imports=[], package=PackageDeclaration(annotations=None, documentation=None, modifiers=None, name=javalang.brewtab.com), types=[ClassDeclaration(annotations=[], body=[], documentation=None, extends=None, implements=None, modifiers=set(), name=Test, type_parameters=None), ClassDeclaration(annotations=[], body=[], documentation=None, extends=None, implements=None, modifiers=set(), name=Test2, type_parameters=None)])
(CompilationUnit(imports=[], package=PackageDeclaration(annotations=None, documentation=None, modifiers=None, name=javalang.brewtab.com), types=[ClassDeclaration(annotations=[], body=[], documentation=None, extends=None, implements=None, modifiers=set(), name=Test, type_parameters=None), ClassDeclaration(annotations=[], body=[], documentation=None, extends=None, implements=None, modifiers=set(), name=Test2, type_parameters=None)]),) PackageDeclaration(annotations=None, documentation=None, modifiers=None, name=javalang.brewtab.com)
(CompilationUnit(imports=[], package=PackageDeclaration(annotations=None, documentation=None, modifiers=None, name=javalang.brewtab.com), types=[ClassDeclaration(annotations=[], body=[], documentation=None, extends=None, implements=None, modifiers=set(), name=Test, type_parameters=None), ClassDeclaration(annotations=[], body=[], documentation=None, extends=None, implements=None, modifiers=set(), name=Test2, type_parameters=None)]), [ClassDeclaration(annotations=[], body=[], documentation=None, extends=None, implements=None, modifiers=set(), name=Test, type_parameters=None), ClassDeclaration(annotations=[], body=[], documentation=None, extends=None, implements=None, modifiers=set(), name=Test2, type_parameters=None)]) ClassDeclaration(annotations=[], body=[], documentation=None, extends=None, implements=None, modifiers=set(), name=Test, type_parameters=None)
(CompilationUnit(imports=[], package=PackageDeclaration(annotations=None, documentation=None, modifiers=None, name=javalang.brewtab.com), types=[ClassDeclaration(annotations=[], body=[], documentation=None, extends=None, implements=None, modifiers=set(), name=Test, type_parameters=None), ClassDeclaration(annotations=[], body=[], documentation=None, extends=None, implements=None, modifiers=set(), name=Test2, type_parameters=None)]), [ClassDeclaration(annotations=[], body=[], documentation=None, extends=None, implements=None, modifiers=set(), name=Test, type_parameters=None), ClassDeclaration(annotations=[], body=[], documentation=None, extends=None, implements=None, modifiers=set(), name=Test2, type_parameters=None)]) ClassDeclaration(annotations=[], body=[], documentation=None, extends=None, implements=None, modifiers=set(), name=Test2, type_parameters=None)

迭代也可以按类型过滤

for path, node in tree.filter(javalang.tree.ClassDeclaration):
    print(path, node)
(CompilationUnit(imports=[], package=PackageDeclaration(annotations=None, documentation=None, modifiers=None, name=javalang.brewtab.com), types=[ClassDeclaration(annotations=[], body=[], documentation=None, extends=None, implements=None, modifiers=set(), name=Test, type_parameters=None), ClassDeclaration(annotations=[], body=[], documentation=None, extends=None, implements=None, modifiers=set(), name=Test2, type_parameters=None)]), [ClassDeclaration(annotations=[], body=[], documentation=None, extends=None, implements=None, modifiers=set(), name=Test, type_parameters=None), ClassDeclaration(annotations=[], body=[], documentation=None, extends=None, implements=None, modifiers=set(), name=Test2, type_parameters=None)]) ClassDeclaration(annotations=[], body=[], documentation=None, extends=None, implements=None, modifiers=set(), name=Test, type_parameters=None)
(CompilationUnit(imports=[], package=PackageDeclaration(annotations=None, documentation=None, modifiers=None, name=javalang.brewtab.com), types=[ClassDeclaration(annotations=[], body=[], documentation=None, extends=None, implements=None, modifiers=set(), name=Test, type_parameters=None), ClassDeclaration(annotations=[], body=[], documentation=None, extends=None, implements=None, modifiers=set(), name=Test2, type_parameters=None)]), [ClassDeclaration(annotations=[], body=[], documentation=None, extends=None, implements=None, modifiers=set(), name=Test, type_parameters=None), ClassDeclaration(annotations=[], body=[], documentation=None, extends=None, implements=None, modifiers=set(), name=Test2, type_parameters=None)]) ClassDeclaration(annotations=[], body=[], documentation=None, extends=None, implements=None, modifiers=set(), name=Test2, type_parameters=None)

组件

javalang.parse.parse 是个简单的方法,它为输入创建一个 token 令牌流,用给定的令牌流初始化一个新的 javalang.parser.Parser 实例,然后调用解析器的 parse() 方法,返回 CompilationUnit 。

def parse(s):
    tokens = tokenize(s)
    parser = Parser(tokens)
    return parser.parse()

这些组件也可以单独使用。

Tokenizer
标记解析器/词法分析器可以通过调用 javalang.tokenizer.tokenize 直接 invoked。

print(javalang.tokenizer.tokenize('System.out.println("Hello " + "world");'))
<generator object JavaTokenizer.tokenize at 0x000001DF22FFF4C0>

这将返回一个提供 JavaToken 对象流的 generator。其中每个令牌携带行列位置信息和值信息。令牌不是 JavaToken 的直接实例,而是标识其一般类型的子类的实例。

tokens = list(javalang.tokenizer.tokenize('System.out.println("Hello " + "world");'))
print(tokens[6].value)
print(tokens[6].position)
print(type(tokens[6]))
print(type(tokens[7]))
"Hello "
Position(line=1, column=20)
<class 'javalang.tokenizer.String'>
<class 'javalang.tokenizer.Operator'>

Parser
可以直接使用解析器解析代码片段。

tokens = javalang.tokenizer.tokenize('System.out.println("Hello " + "world");')
parser = javalang.parser.Parser(tokens)
print(parser.parse_expression())
MethodInvocation(arguments=[BinaryOperation(operandl=Literal(postfix_operators=[], prefix_operators=[], qualifier=None, selectors=[], value="Hello "), operandr=Literal(postfix_operators=[], prefix_operators=[], qualifier=None, selectors=[], value="world"), operator=+)], member=println, postfix_operators=[], prefix_operators=[], qualifier=System.out, selectors=[], type_arguments=None)

解析方法是针对增量解析而设计,因此不会在令牌流开头地方重新启动。多次调用一个解析方法将导致 JavaSyntaxError 异常,调用不正确的解析方法也会导致该异常。

tokens = javalang.tokenizer.tokenize('System.out.println("Hello " + "world");')
parser = javalang.parser.Parser(tokens)
parser.parse_type_declaration()
Traceback (most recent call last):
  File "F:/PyCharmProjects/untitled/Javalang_test03.py", line 4, in <module>
    parser.parse_type_declaration()
  File "E:\anaconda3\envs\untitled\lib\site-packages\javalang\parser.py", line 347, in parse_type_declaration
    return self.parse_class_or_interface_declaration()
  File "E:\anaconda3\envs\untitled\lib\site-packages\javalang\parser.py", line 364, in parse_class_or_interface_declaration
    self.illegal("Expected type declaration")
  File "E:\anaconda3\envs\untitled\lib\site-packages\javalang\parser.py", line 119, in illegal
    raise JavaSyntaxError(description, at)
javalang.parser.JavaSyntaxError

javalang.parse 模块为解析更常见类型的代码片段提供了简便方法。

【python pip】利用pip命令给pycharm项目装javalang包 0. 需求 给指定的pycharm项目装javalang包 网址:javalang网址 github上的源代码 1. 成功案例【pip命令】 点击pycharm左下角的终端 输入以下命令 activate env (这里的env是你自己项目的环境名称) pip install javalang 2. 失败案例 参考:安装python的javalang包 先下载源码包, 在powershell中源代码的安装目录下激活环境, 然后输入了python setup.py install 显示在anacon 阅读详情

相关推荐

python使用javalang检索代码

业务背景:使用aop读写分离的时候,dao开启事务,导致在mapper中切换数据源不起作用,所以只能在dao方法中切换数据源, 为避免存在读方法中的存在写数据库的逻辑,检索下java 类中的方法是否同时存在读写数据库的行为,if not fragment: # 如果fragment为空的时候,此处就为真,执行break语句。# 判断是否是MethodDeclaration对象。# print("成员变量:")# # 声明变量修饰符。# # 声明变量类型。# # 声明变量名。

码农养家 884

python解析Java文件三方库javalang用法简介

书接上文,在我一顿操作猛如虎的土鳖扫描后,发现仅仅只是扫描出关键字的话,有些封装后的调用或者将关键字声明称常量后的调用都没法识别出来。这种关键字扫描怎么说呢?有点鸡肋,误报太多,无法聚焦重点。所以我们需要一个识别关键字是否为变量或者封装在那个函数中的能力。这个相当于解析整个Java文件,按照基础的Java文件结构进行归类查询。这种功能其实就是IDE的实现跳转功能,想着这么成熟的技术一定有库的,又去搜索了一波,总算发现了这个宝藏库——javalang。

kiba_zwei的博客 5457

VMware Converter 6.2.0保姆级教程:从物理机到ESXi主机的完整迁移指南(含常见错误排查)

本文提供VMware Converter 6.2.0从物理机迁移至ESXi主机的完整保姆级教程。详细解析了迁移前的环境规划、核心转换过程步骤、版本差异对比,并重点针对代理安装失败、任务卡顿、虚拟机无法启动等常见错误提供了实战排查与解决方案,确保P2V迁移顺利进行。

sam99的博客 381

python 的 javalang 库【2】

在 前文 的基础上,继续分析以及 Demo 演示 ast.py class MetaNode(type) class Node(object) def walk_tree(root) def dump(ast, file) def load(file) Node 中包括 __ init__(self, **kwargs) filter(self, pattern) 过滤器 __ equals__(self, other) 比较 child

attribute47的博客 1991

不止是打字机效果:手把手教你用SpannableStringBuilder打造Android富文本AI对话界面

本文详细介绍了如何使用SpannableStringBuilder在Android平台上构建专业级AI对话界面,涵盖流式文本处理、富文本解析、交互优化等核心技术。通过实战代码示例,帮助开发者实现类似DeepSeek的AI产品交互效果,提升用户体验和应用专业度。

weixin_28358083的博客 199

ARM架构下的SLAM部署避坑指南:香橙派AIpro与D435i深度相机的实战解析

本文详细解析了在ARM架构的香橙派AIpro开发板上部署SLAM算法并与Intel D435i深度相机配合的实战经验。内容涵盖系统配置、ROS编译、驱动安装、算法优化等关键步骤,提供了具体的避坑指南和性能调优技巧,帮助开发者在嵌入式平台上高效实现实时SLAM应用。

f0g1h2的博客 983

python 解析 java文件 --- javalang 模块

提示:javalang包分两段理解:一段是代码片段解析成语法树的过程 一段是语法树节点操作 参考文档:https://github.com/c2nes/javalang 语法树 获取语法树 >>> import javalang >>> tree = javalang.parse.parse("package javalang.brewtab....

qq_21319187的博客 1万+

从数据到图片:手把手构建FMCW雷达人体行为识别数据集(行走、跌倒、喝水等6类动作)

本文详细解析了如何利用FMCW雷达构建人体行为识别数据集,涵盖行走、跌倒、喝水等6类动作。通过多普勒特征可视化、图像标准化处理和自动化流水线设计,将原始雷达信号转化为高质量时频图像数据集,为智能家居和健康监护等应用提供可靠数据支持。

weixin_30706691的博客 388

python-javalang抽象语法树

javalang

问题很多的小明 1545

炼丹-Pyecharts: JupyterLab无法render_notebook

炼丹-Pyecharts: JupyterLab无法render_notebook问题描述Jupyter-Lab 环境下render_notebook显示空白 问题描述Jupyter-Lab 环境下render_notebook显示空白 首先需要使用pyecharts自带的config来申明一下使用pyecharts的运行环境 from pyecharts.globals import Curre...

MichaelZzzzz的博客 4689

Adobe Acrobat Pro(Adobe PDF) - 使用技巧

Adobe Acrobat Pro为Adobe出品的PDF查看和编辑软件,下文简称Adobe PDF,该软件功能强大,拥有查看PDF、编辑PDF、打印PDF、导出PDF、合并文件、组织页面、文本标注、注释、动作向导、等功能。本文介绍Adobe PDF的一些使用技巧,最后介绍软件设置。

NSJim的博客 4万+

为什么选择javalang?Python开发者必备的Java代码分析工具

javalang是一款纯Python实现的Java解析器与工具集,专为Python开发者处理Java代码分析任务而设计。作为轻量级且高效的解决方案,它提供了完整的词法分析器和解析器,能够轻松处理Java 8语法,帮助开发者快速构建代码分析、转换和理解工具。 ## 纯Python实现:无缝集成Python生态系统 javalang的核心优势在于其**纯Python实现**,这意味着开发者无需依赖

gitblog_00499的博客 652

优快云专栏限时活动!福利公告必读!

本人优快云付费专栏周排名27名专业博主,每周文章平均阅读量约7w以上!

FJN110的博客 3157

如何用javalang在Python中轻松解析Java源代码:快速入门教程

在Python生态中解析Java源代码从未如此简单!javalang是一个纯Python实现的Java解析器库,专门为需要在Python环境中处理Java代码的开发者设计。这个强大的工具让Python开发者能够轻松解析、分析和操作Java源代码,无需依赖Java运行环境。无论是进行代码分析、静态检查,还是构建代码转换工具,javalang都能为您提供完整的Java语法解析支持。🎯 ## 🔍

gitblog_01095的博客 966

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

javalang社区贡献指南:参与开源Java解析器开发

javalang是一个纯Python实现的Java解析器和工具库,致力于提供Java 8语法的词法分析和解析功能。作为开源项目,社区贡献是推动其发展的核心动力。本文将为新手开发者提供完整的贡献指南,帮助你快速参与到这个强大工具的开发中。 ## 为什么选择贡献javalang? 参与javalang项目贡献不仅能提升你的Python和Java语法分析技能,还能为开源社区提供实际价值。该项目采用M

gitblog_00650的博客 697

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

javalang实战:构建自定义Java代码质量检查工具

javalang是一个纯Python实现的Java解析器和工具库,它允许开发者轻松解析Java代码并构建自定义工具。本文将详细介绍如何利用javalang构建一个功能强大的Java代码质量检查工具,帮助开发团队提升代码质量和开发效率。 ## 快速入门:javalang核心功能与安装 javalang提供了完整的Java语法解析能力,包括词法分析、语法分析和抽象语法树(AST)构建。通过解析Ja

gitblog_00200的博客 738

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

javalang解析器:5个实用技巧教你高效分析Java代码结构

javalang是一款纯Python实现的Java解析器工具,能够帮助开发者轻松分析Java代码结构。无论是理解大型项目架构,还是提取代码关键信息,掌握javalang的使用技巧都能让你事半功倍。下面为你介绍5个实用技巧,助你快速上手并高效运用javalang解析器。 ## 技巧一:快速安装与基础配置 要开始使用javalang解析器,首先需要进行安装。你可以通过以下命令克隆仓库并安装依赖:

gitblog_00161的博客 886

javalang集成指南:在Django、Flask等Web框架中使用Java解析器

想要在Python Web应用中解析和分析Java源代码吗?javalang是一个纯Python实现的Java解析器库,支持Java 8语法规范,无需安装Java运行时环境即可在Django、Flask等Web框架中直接使用。这篇完整指南将教你如何快速集成javalang到你的Python Web项目中。 ## 🔍 什么是javalang? **javalang**是一个纯Python编写的

gitblog_00071的博客 839

javalang在代码分析中的应用:构建智能代码审查系统

javalang是一个纯Python Java解析器和工具库,提供了针对Java 8的词法分析器和解析器,能够将Java源代码转换为抽象语法树(AST),为代码分析和智能代码审查系统提供强大支持。 ## 什么是javalang? javalang是一个轻量级但功能强大的库,它允许开发者在Python环境中处理Java源代码。通过其提供的`javalang.parse`模块和`javalang.

gitblog_00069的博客 781

javalang深度解析:理解Java语法树(AST)的完整指南

javalang是一个纯Python库,专为处理Java源代码而设计,提供了针对Java 8的词法分析器和解析器,能够将Java代码转换为抽象语法树(AST),是Java语法分析的强大工具。 ## 一、javalang核心功能解析 ### 1.1 词法分析与语法解析 javalang的核心功能通过[javalang/parse.py](https://link.gitcode.com/i/b1

gitblog_01048的博客 340

javalang测试策略:如何确保Java语法解析的准确性和兼容性

javalang作为一款纯Python实现的Java解析工具,其核心价值在于能够精准解析Java代码结构并提供可靠的语法分析能力。为了保证这一能力的稳定性和兼容性,项目采用了系统化的测试策略,通过多维度验证机制确保解析器在处理各种Java语法结构时的准确性。 ## 多层次测试架构设计 🧪 javalang的测试体系采用金字塔结构设计,从基础单元测试到综合场景验证形成完整闭环。测试代码集中在[

gitblog_00115的博客 1015

javalang 项目常见问题解决方案

javalang 项目常见问题解决方案 1. 项目基础介绍和主要编程语言 javalang 是一个纯 Python 库,用于处理 Java 源代码。它提供了一个针对 Java 8 的词法分析器(lexer)和解析器(parser)。该项目的实现基于 Java 语言规范,可以在 Oracle 官方文档 中找到详细信息。 2. 新手在使用这个项目时需要特别注意的3个问题和详细解决步骤 问题1:如何安装...

gitblog_09303的博客 597

javalang性能优化:如何高效处理大型Java项目代码库

javalang作为一款纯Python实现的Java解析器工具,在处理大型Java项目代码库时,性能优化至关重要。本文将为您揭示javalang性能优化的关键技巧,帮助您高效处理复杂的Java代码分析任务。无论您是代码分析工具开发者、静态分析工程师,还是需要批量处理Java源代码的研究人员,这些优化策略都将显著提升您的工作效率。🚀 ## 📊 为什么需要javalang性能优化? 当处理大型

gitblog_00820的博客 673

javalang错误处理与调试:解决常见Java语法解析问题

javalang是一个纯Python实现的Java解析器和工具集,专为需要处理Java代码的开发者提供高效的语法解析能力。本文将详细介绍如何使用javalang处理常见的Java语法解析错误,掌握实用的调试技巧,帮助开发者快速定位并解决问题。 ## 常见错误类型及解决方案 ### JavaSyntaxError:语法结构问题 `JavaSyntaxError`是javalang中最常见的错误

gitblog_00189的博客 860

javalang高级用法:10个实用技巧实现Java代码重构与自动化重构

javalang是一个纯Python实现的Java语法解析库,专门用于解析和分析Java源代码。这个强大的工具可以帮助开发者实现Java代码的自动化重构、代码质量检查和静态分析。通过javalang,你可以轻松构建自定义的Java代码处理工具,无需依赖复杂的Java开发环境。 ## 🔍 javalang核心功能解析 javalang提供了完整的Java 8语法解析能力,能够将Java源代码转

gitblog_00321的博客 403
下一篇: python 的 javalang 库【2】
Attribute47
博客等级 码龄11年 26粉丝 9原创
评论 5
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值