Astronomaly:利用 CNN 和主动学习识别 400 万张星系图像中的异常

「文智助手」全场景办公AI助理AI+OPC全流程实践方案(大赛作品) 阅读详情

星系中的异常现象是我们了解宇宙的关键。然而,随着天文观测技术的发展,天文数据正以指数级别增长,超出了天文工作者的分析能力。
尽管志愿者可以在线上参与对天文数据的处理,但他们只能进行一些简单的分类,还可能会遗漏一些关键数据。
为此,研究者基于卷积神经网络和无监督学习开发了 Astronomaly 算法。近日,西开普大学的研究人员首次将 Astronomaly
用于大规模的数据分析,尝试从 400 万张星系照片中探寻宇宙的异常。

作者 | 雪菜
编辑 | 三羊、铁塔

星系中的异常现象 (Anomaly) 是我们了解宇宙的关键。通过对巡天望远镜 (Survey Telescope) 记录到的图像进行分析,研究人员能够找出星系中的异常现象,进而对宇宙的起源和演化做出推断。

然而,这一过程正面临着严峻的挑战,因为天文观测数据量正以指数级别在增长。以即将投入使用的薇拉·鲁宾天文台为例,这一天文台有着世界上最大的数码相机,预计每晚将记录 20 TB 的数据,十年间记录 60 PB 的数据,对约 200 亿个星系进行 32 万亿次观察,远超研究人员人力所能分析的极限。
在这里插入图片描述

图 1:正在建设的薇拉·鲁宾天文台

2007 年 7 月,一些研究者启动了 Galaxy Zoo 项目,通过线上招募志愿者的方式推进天文观测图像分类。这一项目吸引了约 15 万名志愿者,共对斯隆数字巡天项目 (SDSS) 记录到的 100 万个星系图像进行了超过 4,000 万次分类。

在这里插入图片描述

图 2:Galaxy Zoo 项目首页

但志愿者只能做一些基础的工作,而且很容易忽视掉图像中的细节。而机器学习长于图像分析和数据归类,在天文分析中大有可为。监督学习已被广泛用于天文数据分析,但这些算法需要大量的训练数据和预定义,在寻找异常现象中表现不佳。

为此,2021 年研究人员基于卷积神经网络 (CNN) 开发了无监督机器学习算法 Astronomaly,并在不同任务中有着优异的表现。近日,西开普大学的研究者利用 Astronomaly 对约 400 万张星系图像进行分析,首次将这一算法应用于大规模的数据分析,并找到了之前为人忽视的异常现象。这一成果已在 arXiv 发表预印版。

在这里插入图片描述

这一成果已发表于 arXiv

论文链接:

https://arxiv.org/abs/2309.08660

实验过程

数据集:暗能量巡天相机

本研究的数据集主要为暗能量巡天相机 (DECaLS) 的第八批公开数据 (DR8) 中 g、r、z 波段中记录的图像。

随后,对数据集中的图像进行筛选。去除被伪迹和恒星遮盖的图像,同时排除与标准星系模型不符的图像,最后留下了 3,884,404 张星系图像。

特征提取:CNN + PCA

为了提高 Astronomaly 的计算效率,需要对高维的图像进行特征提取,将其转变为低维向量。

本研究通过预训练的 CNN 对图像进行特征提取。CNN 的每一层会对输入图像进行不同变换,生成一个可以代表图像特征的向量。

CNN 最终输出了包含 1,280 个图像特征的向量。随后,研究人员利用主成分分析 (PCA) 进一步降低数据维度。PCA 是一种常用的统计方法,能够基于数据的方差将一组相关的变量转换为不相关的主成分。通过 PCA,图像的维度进一步降低至 26,提高了 Astronomaly 的处理效率。

异常监测:iForest + 主动学习

Astronomaly 结合孤立森林 (iForest) 和局部离群因子 (LOF) 算法进行异常监测。在数据测试中,LOF 算法很难应用于大规模的数据,而 iForest 算法能够通过决策树迅速找到图像中的异常。因此,在后续分析中均使用 iForest 算法。

随后, Astronomaly 通过 K-近邻算法 (NS) 和直接回归算法 (DR) 进行主动学习,不断更新数据集中图像的异常评分。

NS 算法可以基于少量人工标注的评分,通过随机森林回归算法预测用户对所有图像的评分。而 DR 算法会直接尝试「模拟」用户对图像的评分。

最终,两种算法的评分结果将与人工标注的数据进行结果对比,进行评估。

在这里插入图片描述

图 3:部分被标注的图像。Label 0 结果中自左向右分别为伪迹、遮罩和低信噪比。

Label 5 结果自左向右分别对应星系融合、引力透镜和尚未归类。

引力透镜是指强引力天体使得附近的光不再沿直线传播的效应,与透镜对光线的折射作用类似。

对比验证:Recall 曲线 + UMAP

研究人员利用 iForest、NS 和 DR 算法对验证集中的数据进行了预测。评价集包含 184 个异常现象。iForest 算法在 500 个异常评分最高的图像中仅发现了 15 处异常,而 DR 和 NS 算法均找到了 84 处异常。

在这里插入图片描述

图 4:不同算法的预测结果

进一步,研究人员将 iForest 和 NS 算法的预测结果按照伪迹、引力透镜和星系融合进行了分类,发现了 iForest 算法表现不佳的原因。
在这里插入图片描述

图 5:iForest(虚线)和 NS(实线)算法的结果归类

如图所示,iForest 算法发现的异常大多是伪迹。这些技术异常虽然也是异常,但没有什么科学价值。上述结果说明,NS 和 DR 算法可以帮助 Astronomaly 迅速排除伪迹的干扰,找到宇宙中的异常现象。

同时,研究人员利用统一流形逼近投影法 (UMAP, Uniform Manifold Approximation and Projection) 对验证集中的图像进行了分类。

在这里插入图片描述

图 6:评估集的 UMAP 结果
UMAP 根据图像的异常分数进行分类。1 分的图像为普通的星系图像,即没有任何特殊情况的星系。各类图像周围均存在大量的 1 分普通图像,为 iForest 算法的预测提供了障碍。

可以看到,0 分的伪迹和 5 分的异常现象在图中被分为紧密的团簇,说明两类图像都有很明显的特征。但同时,两类图像的分布很近,很容易让 iForest 算法产生误判。

大规模应用:标注与探索

在对不同算法的性能进行评估后,研究人员将 NS 算法用于整个数据集中。

图中可以看到,当不对数据进行任何标注时,即无主动学习的 iForest 算法,结果中几乎看不到曲线,因为 iForest 算法在 2,000 个异常评分最高数据中只找到了一处异常。

在这里插入图片描述

图 7:NS 算法在不同标注数量下的预测结果

然而,对数据集中 2,000 个数据进行标注后,Astronomaly 能够通过主动学习迅速找到图像中的异常。当标注数为 4,000 时,Astronomaly 新找到的异常现象最多,随后开始下降,说明此时不需要额外的标注,可以增大数据集。

后续调查:1635/2000

在对数据集中所有图像进行分析后, Astronomaly 从异常评分最高的 2,000 张图像中找到了 1,635 处异常,其中 8 处引力透镜、18 处未被归类的现象、1609 处星系融合。
在这里插入图片描述

图 8:Astronomaly 发现的引力透镜

在这里插入图片描述

图 9:Astronomaly 发现的未被归类的异常

在这里插入图片描述

图 10:Astronomaly 发现的星系融合
# 迈向宇宙的 AI 随着天文观测数据量不断增加,善于数据分析的 AI 在天文学中的地位也逐渐提高。**早在 2020 年,英国华威大学的研究者就利用 AI 从 NASA 的旧数据中找到了 50 个新行星。**

同时,被称为「中国天眼」的 500 米口径球面射电望远镜 (FAST) 也面临着数据量过大的问题,而 AI 为他们提供了解决方案。2021 年,FAST 与腾讯优图实验室合作,对 FAST 数据进行分析,很快就找到了 5 颗脉冲星。

AI 在其他方面也发挥着自己的作用。2019 年,视界面望远镜 (ETH) 团队发布了世界上第一张黑洞照片。四年后,美国的研究人员利用 AI 对这张照片进行了图像处理,得到了更高清的黑洞照片,为黑洞「美颜」。

在这里插入图片描述

图 11:原始黑洞照片(左)和处理后的黑洞照片(右)
也许同人类一样,AI 也有着星辰大海的雄心。如今它将步伐迈向了宇宙,在浩如烟海的数据中寻找宇宙演化的蛛丝马迹。从新的行星,到新的脉冲星,再到新的宇宙异常现象,AI 正在开启天文学新的未来。

参考链接:

[1]https://zoo4.galaxyzoo.org/?lang=zh_cn#/classify

[2]https://www.cas.cn/kj/202009/t20200901_4757754.shtml

[3]https://www.thepaper.cn/newsDetail_

船载 OpenHarmony AIS 航海工作台:告警与防碰撞预警系统 船载OpenHarmony AIS航海工作台的告警与防碰撞系统,集成十余类告警(超速、偏航、会遇、SOS等),通过网格空间索引实现高效邻近判定,保障实时性。告警管理器统一调度规则、去重、通知与日志,支持悬浮球、语音、跑马灯、弹窗多渠道触达,确保航行安全。SOS紧急通道独立运行,避免干扰。系统设计强调性能优化与多场景适配,为航海安全提供核心支撑。 阅读详情

相关推荐

AI 应用开发:四维架构落地实战——以 HR Agent 为例拆解感知·推理·记忆·执行【意图路由、规划编排、长期记忆、工具执行、面试题】

本文基于四维架构(感知·推理·记忆·执行),以HR Agent为例,系统拆解大模型应用从“聊天”到“生产可用”的落地路径。通过Spring AI实现意图路由、规划编排、RAG检索与工具调用,结合真实踩坑复盘,揭示架构化设计对安全、成本与可维护性的关键价值,为AI Agent工程化提供可复用的实战框架。

王大师企业官方博客 1319

AI 问数真的能替代 BI 报表吗?

AI问数赋能自然语言查询,提升临时分析效率,但无法替代传统报表。报表适用于稳定输出与持续监控,AI则擅长探索性提问。企业用好AI问数,关键在于夯实数据模型、统一指标口径、健全权限体系与结果校验机制。合理组合报表、仪表板与AI,才能实现高效、准确的业务洞察。

葡萄城技术团队博客 338

Python多进程实战:用BaoStock高效下载股票历史数据的5个优化技巧

本文详细介绍了使用Python多进程技术通过BaoStock高效下载股票历史数据的5个优化技巧。从理解BaoStock的数据获取机制到进程池配置、智能任务分片、异常处理及性能监控,帮助开发者显著提升数据下载效率,特别适合量化交易领域的数据采集需求。

weixin_30369041的博客 463

【从零理解 Spring AI · 12】MCP 的两种角色:做客户端还是做服务端

上一篇讲了 MCP 的概念:标准协议、三大角色、M+N 替代 M×N。

nice_lcj520的博客 614

盘点那些好用的SAP FIORI App(二) -上传凭证Upload Journal Entry

SAP FICO运维问题及解决方案分享

lijinbao171022的博客 1545

std::map看来可以被淘汰了?可以用vector来替代,而且更好

vector的优势在于内存连续,可以先std::sort,然后std::lower_bound,或者std::binary_search。而std::map,insert的时候,需要new出内存。

tumu_C的博客 1021

ChatGPT、Perplexity、Gemini 与 AI Overviews 引用对比:谁的引用更可信

AI 引擎的引用机制差异很大:ChatGPT 以行内引用加 Sources 列表呈现来源,Perplexity 几乎逐句可溯源,Gemini 在回答中内嵌相关来源链接,AI Overviews 则把多源聚合答案与来源列表一起放在搜索结果顶部。本文从引用透明度、来源偏好、可干预性 3 个维度对比这 4 个引擎,并给出 GEO 的 3 点启示,帮企业在多引擎环境下提升被引用的概率。

淡然一笑 的专栏 275

硬件测试入门--环路响应(Bode)测试

环路分析的一个重要作用就是分析开关电源的稳定性。扫频测试原理主要是给开关电源电路注入一个频率变化的正弦信号,测量开关电源在频域上的特性,通过分析穿越频率、增益裕度和相位裕度来判断环路是否稳定,可以为电子工程师设计稳定的控制电路提供直观的数据。开关电源的稳定性关系到整个应用系统的可靠性,利用伯德图可以看出在不同频率下系统增益的大小和相位。通过伯德图来对开关电源的环路稳定性进行判断和分析已经成为评估开关电源可靠性必不可少的方法。

songninging的博客 1万+

抽象主义人工智能和生命体AI的内在联系

彭军辉提出“抽象主义人工智能”作为第四大AI范式,批判符号主义、连接主义、行为主义剥离生命本体的误区,确立“智能是现象,生命是本体”的核心公理。主张原生智能必须依附具备存续诉求的生命本体,提出“生命体AI理论”,构建七层演化阶梯与自闭环工程框架,强调智能不可跳过底层存续机制直接模拟语言。该体系为生成式AI提供科学边界,推动从“仿真表象”向“原生智能”的范式跃迁,开辟硅基人工生命新赛道。

抽象主义人工智能和生命体AI 206

台达PLC使用RS485Modbus指令通信

台达PLC,RS485,Modbus RTU,从站梯形图,0X01,0X02,0X05,CRC校验

lilililimu的博客 1万+

Unity 热更新技术 | (二) AssetBundle - 完整系列教程学习

开始学习热更新方面系列知识,就从这一篇开始吧! 本系列教程 会从热更新基本概念出发,详细介绍热更新相关的全套知识点。 如热更新技术基本原理、热更新主流方案、AssetBundle系列教程、Lua语言编程、Lua与Unity交互教程、Xlua框架使用、热更新实战教程等方面。 热更新作为一个开发者必备技能,如果想学习的话,可以从现在开始了哦~ 接下来从 AssetBundle - 完整系列教程学习 开始学习吧!

努力前行,总会成为自己心中的那道光 1万+

OpenAI Control Room 架构拆解:给企业 AI Agent 加一套可审计的急停系统

OpenAI 公开了用于追踪和停止研究模型工作负载的 Control Room。本文拆解 job_id、推理前鉴权、35 秒撤销窗口与 Fail Closed 设计,并给出企业 AI Agent 急停控制面的数据模型、FastAPI 参考实现、缓存撤销策略和故障演练清单。

jerry764的博客 340

Java全栈开发:充电桩管理系统项目实战

技术收获深入理解分布式系统架构掌握高并发场景解决方案提升系统设计能力经验教训前期需求分析的重要性技术选型需要考虑长期维护测试覆盖率的重要性未来展望引入AI预测故障支持更多支付方式优化用户体验通过此项目的开发,不仅实现了充电桩的智能化管理,也积累了宝贵的全栈开发经验。项目中的很多技术方案和架构设计都具有普遍适用性,可以在其他类似项目中借鉴使用。@Componentstatic {// 初始化状态转换规则。

exlink2012的专栏 1253

OpenClaw 深度调查:把 AI 助手做成你自己的控制平面

对 openclaw/openclaw 的完整技术尽调:Gateway 架构、Agent 运行时、工具与沙箱、30 个消息通道、181 个插件、安全信任边界、工程代价与采用建议。17 章 / 10 张图,全部数字标注口径,数据截至 2026-10-31。

厚积薄发 349

LearningToRank(LTR)排序算法LGBMRanker的原理和使用

1. 写在前面 在最近新闻推荐的比赛中, 接触到了一个排序模型LGBMRanker, 该模型与普通的分类模型LGBMClassifier不太一样, 普通的分类模型在进行推荐的时候, 往往是先预测某个商品或者文章用户会不会点击, 也就是它的目标是预测用户点击某篇文章或者某个商品的概率, 然后根据这个概率值进行排序, 排完之后,把最靠前的几个返回回来给用户进行推荐。 而LGBRanker模型, 它不关心用户点击某篇文章的概率, 而是根据用户点击或者不点击的这个行为, 直接去预测最后商品或者文章的一个相对顺序,

Miracle8070 1万+

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

AI赋能智慧港口建设|造形家快速生成港口全要素三维场景

随着智慧港口、港口数字孪生项目的持续推进,港口三维场景的需求日益旺盛。传统港口三维建模,往往需要航拍倾斜摄影采集数据,再人工搭建吊机、岸桥、船舶、集装箱等大量工业设施模型,项目周期长、人力成本高,修改迭代繁琐,制约港口可视化项目落地效率。国产AI三维建模工具,依托卫星影像 AI 识别能力,无需航拍作业,一键快速搭建港口完整三维场景,为港口数字孪生、方案汇报、投标演示提供高效的场景解决方案。

m0_69539167的博客 84

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

从设备增点到治理闭环:老旧小区物业数智化落地实践

系统连接合同审批、银行流水、收费记录与项目台账,执行到期提醒、收入核验、异常标色和月度对账,让每一笔资金来源明确、去向可查。针对设施老旧、诉求响应慢、公共收益不透明等问题,津南以6类小区为试点场景,统一建设物业数字化底座,关联楼栋、单元、房屋、业主、空间、设施设备、工单、公共收益等核心数据。系统采用统一编码管理,将摄像头、路灯、井盖、道路、绿化等设施纳入资产台账,解决纸质记录更新滞后、故障责任难追溯的问题。基于历史工单建立分类模型和知识库,辅助识别照明、给排水、电梯、环境秩序、秩序维护等问题;

wuyeshuzhihua的博客 159

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

企业微信iPad协议详解:接口接入、实时消息同步与语音转码实践

深入解析企业微信iPad协议的技术架构与开发思路,涵盖API接口接入、长连接通信、实时消息同步、Silk语音转码、异常重连及高并发优化,帮助开发者了解企业微信自动化系统的设计与实现。

欢迎来到祖安! 511

Product Hunt 热榜 2026-11-13:Plurai Simulation、YouArt Desktop App、Omnigraph

2026-11-13 Product Hunt 新产品精选:Plurai Simulation、YouArt Desktop App、Omnigraph。汇总 15 款产品的中文介绍、功能关键词和产品链接。

LaughingZhu的博客 614

【AI Agent面试系列】AI Agent可观测、评测、安全相关的知识点

之前的文章介绍了和,本文主要介绍AI Agent的测评、可观测等知识。

405

Docling 原理解读:是什么、为什么、怎么样

从论文视角拆解 Docling 的整体架构、DoclingDocument 数据模型、PDF 预处理、版面分析、OCR、TableFormer 双解码器、阅读顺序与装配流程,并解释版面框与 OCR 框的区别。

PLANTTHESON的博客 401

WorkBuddy 实战:一句话需求 → 七屏可交互原型,户外徒步 App 的 AI 设计全流程

WorkBuddy 实战:一句话需求 → 七屏可交互原型,户外徒步 App 的 AI 设计全流程,跟着博主一起来还原整个过程。

夜郎King的博客 5156

从认识人工智能到理解机器学习:我的 AI 入门第一课

正式开始学习人工智能之前,我对 AI 的认识其实比较模糊:知道 ChatGPT、知道大模型,也知道现在很多岗位都在谈 AI,但如果有人问我“人工智能到底是什么”“机器是怎么学会识别一只猫的”,我未必能从头到尾讲清楚。上午的课程更偏向行业全景:人工智能的发展、研究方向、NLP、岗位分工、学习路线和 AI Coding 工具。下午的课程更偏向技术基础:机器学习的原理、有监督学习、深度学习、模型训练和评估方法。

chh563的博客 564

企业宣传片发前如何批量排查并遮挡视频里的敏感信息

做企业视频的人都会碰到一个具体问题:实拍画面里混进了不该出现的信息。办公室背景里有贴着客户信息的白板,采访对象的授权书边缘露出一串身份证号码,街采素材里路人面孔和车牌号直接入镜。人眼在时间线上扫视,会漏掉快速闪过的帧、画面边缘的小字、以及暗光区域里的证件号码。用抹影AI完成车牌、人脸和证件区域批量检测后,又手动补充了两个时间段的屏幕遮罩,最终导出时画面已无合规隐患。重点关注快速运动、遮挡、低光照条件下的目标,这些是漏检的高发区域。导入视频后选择要检测的目标类型(人脸、车牌、证件号、二维码等)。

Mysssone的博客 181
上一篇: ScienceAI 案例汇总 | 医学研究最新动向
下一篇: OBIA:900+ 患者、193w+ 影像,中科院基因组所发布我国首个生物影像共享数据库
HyperAI超神经
博客等级 码龄7年 8873粉丝 1753原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值