如何用机器学习从Ariel太空望远镜数据中提取系外行星信号?2024挑战赛实战指南

损失函数与优化器:从「梯度是怎么被造出来的」到「梯度是怎么被用掉的」 本文揭示损失函数与优化器本质一体:优化器仅依赖损失产生的梯度,而损失决定梯度的方向、尺度与噪声特性。错误的损失选择(如分类用MSE)会导致梯度失衡,使优化器失效;不同损失(如Huber、Focal)通过调控梯度分布影响优化过程。实测表明,归约方式、标签结构与损失配对直接决定梯度行为,进而影响收敛性与泛化。核心观点:选对损失,才是让优化器“看得懂”的前提。 阅读详情

从噪声中聆听宇宙:机器学习解码Ariel望远镜系外行星信号的实战解析

想象一下,你正试图在摇滚音乐会的现场,听清远处一根针落地的声音。这听起来几乎不可能,对吧?这正是天文学家们利用Ariel太空望远镜研究系外行星大气时面临的挑战。系外行星——那些围绕其他恒星运行的世界——其大气信号微弱到仅有背景噪声的百万分之几十,而望远镜自身在太空中的微小振动(抖动噪声)则像一场永不停歇的“宇宙摇滚乐”,将本就微弱的信号彻底淹没。这不仅仅是数据处理,这是一场在数据海洋中寻找特定涟漪的精密狩猎。

Ariel数据挑战赛,这个由欧洲空间局(ESA)与NeurIPS顶级机器学习会议联合发起的竞赛,正是为了解决这个“不可能”的任务。它向全球的数据科学家和机器学习工程师抛出了一个诱人又艰巨的难题:如何从充满复杂噪声的模拟观测数据中,精准地提取出那颗遥远行星的“化学指纹”?对于热衷于交叉领域探索的开发者而言,这不仅是算法能力的试金石,更是一次直接参与未来太空科学任务、用代码触摸星辰的难得机会。本文将带你深入这场挑战的核心,从数据特性理解到实战代码,拆解如何用Python工具链,将三维光谱立方体转化为揭示行星秘密的二维光谱,并分享那些在Kaggle排行榜上脱颖而出的关键思路。

1. 理解战场:Ariel数据挑战的本质与数据解剖

要打赢一场仗,首先要了解战场。Ariel数据挑战并非一个标准的图像分类或回归问题,它是一个典型的高维、低信噪比、多模态时间序列信号提取问题。Ariel任务计划于2029年发射,旨在对约1000颗系外行星进行大气普查。而挑战赛提供的数据,正是基于最真实的物理模型和已在轨运行的詹姆斯·韦伯太空望远镜(JWST)的噪声特性模拟生成的。

核心挑战在于“抖动噪声”。这种噪声源于航天器在太空中的姿态控制微振动,导致星光在探测器上的位置发生微小但快速的偏移。这种偏移不是随机的白噪声,而是具有复杂时空相关性的结构化噪声。它会让行星凌星时(行星从恒星前方经过)产生的、本已极其微弱的光度变化信号,变得几乎无法辨识。

数据集本身是一个精心设计的“黑盒”测试场。它主要包含来自两个仪器的信号文件:

  • AIRS-CH0:红外光谱仪数据,这是我们提取行星大气化学成分信息的主力。数据被组织成一系列时间切片上的二维图像(32x356像素),每个像素对应一个特定的波长通道。因此,原始数据是一个三维立方体:时间 × 空间Y轴 × 波长X轴。
  • FGS1:可见光导星相机数据,主要用于监测恒星的整体亮度变化和航天器指向稳定性,为去噪提供辅助信息。

此外,配套的元数据文件至关重要:

  • *_adc_info.csv:包含恢复数据原始物理单位(动态范围)所需的增益和偏移参数。忽略这一步,你的所有后续分析都将在错误的数值尺度上进行。
  • train_labels.csv:训练集的“标准答案”——即我们希望提取的、去除了所有噪声的系外行星大气透射光谱。
  • axis_info.parquet 与 wavelength.csv:提供了时间和波长网格的精确信息。

评估指标是高斯负对数似然(Gaussian Negative Log-Likelihood, GNLL或GLL)。这不仅仅要求你预测出光谱,还要求你为每个预测点提供一个不确定性估计(σ)。公式如下:

GLL = -log( P(y_true | μ_pred, σ_pred) )

其中,y_true是真实光谱,μ_pred是你的预测值,σ_pred是你预测的不确定性。得分最终会归一化到0到1之间。这个指标聪明地惩罚了两种错误:预测值不准,以及对自己的预测过于自信或过于不自信。一个校准良好的不确定性估计,与准确的预测值同等重要。

2. 数据预处理:从原始字节到可分析的特征

拿到原始数据后,第一步不是急着套用复杂的模型,而是进行细致的数据清洗和特征工程。这就像厨师处理食材,预处理的好坏直接决定了最终菜肴的档次。

2.1 动态范围恢复与数据重塑

Parquet文件中的信号值是经过模数转换(ADC)和压缩的整数。我们必须利用adc_info.csv中的增益(gain)和偏移(offset)将其恢复为真实的物理通量值。同时,将展平的一维数组重塑回其本来的三维(时间, Y像素, X波长)或二维(时间, 波长)结构。

import pandas as pd
import numpy as np
import pyarrow.parquet as pq

# 加载信号和元数据
signal_df = pq.read_table('AIRS-CH0_signal.parquet').to_pandas()
meta_df = pd.read_csv('train_adc_info.csv')

# 假设我们处理第一个样本(index=0)
sample_id = 0
gain = meta_df.loc[sample_id, 'gain_ch0']
offset = meta_df.loc[sample_id, 'offset_ch0']

# 提取该样本的所有行(时间序列),并恢复动态范围
# 假设每张图像有 32*356=11392 个像素,展平存储
raw_data = signal_df.iloc[sample_id*samples_per_planet:(sample_id+1)*samples_per_planet].values  # 形状: (N_times, 11392)
physical_flux = raw_data * gain + offset  # 恢复为物理通量

# 重塑为3D立方体 (N_times, 32, 356)
cube_3d = physical_flux.reshape(-1, 32, 356)
print(f"3D数据立方体形状: {cube_3d.shape}")

2.2 降维策略:从3D到2D的关键一步

直接在全3D立方体上训练模型计算量巨大,且容易过拟合。2024年挑战赛中,许多优秀方案都采用了降维策略。最主流且有效的方法是沿空间Y轴(像素行方向)求和,将3D立方体压缩为2D图像(时间 × 波长)。

# 将3D立方体压缩为2D图像 (时间 × 波长)
# 对每个时间点、每个波长通道,将其对应的32个像素值求和(或中值聚合)
image_2d = np.sum(cube_3d, axis=1)  # 形状: (N_times, 356)
# 或者使用中值,对异常值更鲁棒
# image_2d = np.median(cube_3d, axis=1)

这个操作的天文学意义在于,它假设同一波长下的所有像素接收到的星光信息是相似的,求和可以增加信噪比。然而,这也丢失了空间维度上可能存在的、与抖动噪声相关的信息。一些进阶方案会先对每个波长通道的图像进行背景建模和去噪,然后再求和。

2.3 特征工程与可视化

在2D图像上,我们可以构造更有物理意义的特征。例如,计算每个时间点所有波长的总通量,得到一条“白光”光变曲线,用于初步定位行星凌星事件(凌星时总亮度会轻微下降)。

import matplotlib.pyplot as plt

# 计算白光光变曲线:对所有波长求和
white_light_curve = np.sum(image_2d, axis=1)

# 绘制光变曲线
plt.figure(figsize=(12, 4))
plt.plot(white_light_curve, 'k-', linewidth=0.5)
plt.xlabel('时间序列索引')
plt.ylabel('总通量 (任意单位)')
plt.title('样本白光光变曲线 - 寻找凌星凹陷')
plt.grid(True, alpha=0.3)
plt.show()

通过观察光变曲线,我们可以大致判断凌星中心的时间,这对于后续建模时选择对齐和拟合的窗口非常有帮助。另一个有用的特征是计算每个波长通道随时间变化的标准差,噪声大的通道其标准差也会异常高,可能需要特殊处理或赋予较低权重。

3. 核心去噪与建模:多项式拟合与贝叶斯框架

预处理后的2D图像(时间×波长)中,每个波长通道都可以看作一条独立的时间序列光变曲线。我们的目标是拟合出每条光变曲线中的凌星信号(一个“U”形凹陷),并剔除所有系统噪声。

3.1 经典而强大:多项式拟合去趋势

在2024年挑战赛中,排名靠前的方案中,多项式拟合展现了惊人的竞争力。其核心思想是,将观测到的光变曲线分解为凌星物理模型 + 系统噪声趋势。噪声趋势可以用一个关于时间(甚至包括恒星位置、温度等辅助数据)的多项式来建模。

from scipy.optimize import curve_fit
import batman  # 用于生成凌星模型的光变曲线库

def transit_model(time, t0, rp, a, inc, u1, u2):
    """使用batman生成凌星模型光变曲线"""
    params = batman.TransitParams()
    params.t0 = t0               # 凌星中心时间
    params.rp = rp               # 行星/恒星半径比
    params.a = a                 # 轨道半长轴/恒星半径
    params.inc = inc             # 轨道倾角
    params.u = [u1, u2]          # 恒星临边昏暗系数
    params.ecc = 0.              # 偏心率(通常设为0)
    params.w = 90.               # 近星点幅角
    params.limb_dark = "quadratic" # 二次临边昏暗模型
    params.per = 1.0             # 轨道周期(已知或可拟合)

    m = batman.TransitModel(params, time)
    flux = m.light_curve(params)
    return flux

def combined_model(time, t0, rp, a, inc, u1, u2, c0, c1, c2):
    """组合模型:凌星信号 + 二次多项式趋势"""
    transit = transit_model(time, t0, rp, a, inc, u1, u2)
    trend = c0 + c1*time + c2*(time**2)  # 二次多项式趋势项
    return transit * trend  # 通常认为趋势是乘性的

# 假设我们有一条单波长通道的光变曲线 `flux` 和对应时间 `time`
initial_guess = [0.5, 0.01, 10.0, 89.0, 0.3, 0.2, 1.0, 0.0, 0.0]  # 参数初始猜测
bounds = ([0, 0, 5, 80, 0, 0, -np.inf, -np.inf, -np.inf],
          [1, 0.1, 50, 90, 1, 1, np.inf, np.inf, np.inf])

try:
    popt, pcov = curve_fit(combined_model, time, flux,
                           p0=initial_guess, bounds=bounds, maxfev=5000)
    fitted_flux = combined_model(time, *popt)
    # 提取纯净的凌星深度(即透射光谱在该波长的值)
    # 凌星深度 ≈ (1 - 凌星最深处的最小值) * 趋势项基准
    transit_depth = 1 - transit_model(popt[0], popt[0], popt[1], popt[2], popt[3], popt[4], popt[5]).min()
except RuntimeError:
    # 拟合失败,使用备用方案
    print("曲线拟合失败,可能使用更简单的模型或先验信息")

这种方法的美妙之处在于其可解释性。多项式系数 c0, c1, c2... 直接描述了由抖动、恒星活动等引起的缓慢漂移。而 rp(行星半径比)在不同波长下的变化,就构成了我们最终想要的大气透射光谱。然而,多项式阶数的选择是个艺术,阶数太低无法捕捉复杂噪声,阶数太高又会拟合掉真实的凌星信号。

3.2 概率化视角:贝叶斯建模

获得亚军和季军的方案大量采用了贝叶斯方法,这尤其适合处理不确定性量化。贝叶斯框架不寻求单一的“最佳”参数,而是给出所有参数的概率分布(后验分布)。这对于评估预测的置信度至关重要。

我们可以使用像PyMC3或PyMC这样的概率编程库来实现。以下是一个简化的概念示例:

import pymc as pm
import arviz as az

# 假设我们有先验知识或从其他渠道得到了凌星参数的大致范围
basic_model = pm.Model()

with basic_model:
    # 先验分布
    t0 = pm.Normal('t0', mu=0.5, sigma=0.05)  # 凌星中心时间
    log_rp = pm.Normal('log_rp', mu=np.log(0.01), sigma=1) # 对数半径比
    rp = pm.Deterministic('rp', pm.math.exp(log_rp))
    # ... 其他凌星参数先验

    # 趋势项参数(例如用高斯过程GP来建模更复杂的噪声)
    # 这里简化为一个多项式系数
    coeffs = pm.Normal('coeffs', mu=0, sigma=1, shape=3) # 3个系数

    # 确定性模型:凌星模型 * 趋势
    trend = coeffs[0] + coeffs[1]*time + coeffs[2]*(time**2)
    transit = transit_model(time, t0, rp, ...) # 调用batman模型
    mu = pm.Deterministic('mu', transit * trend)

    # 观测噪声的先验
    sigma = pm.HalfNormal('sigma', sigma=0.001)

    # 似然函数
    observed = pm.Normal('obs', mu=mu, sigma=sigma, observed=flux)

# 进行MCMC采样
with basic_model:
    trace = pm.sample(2000, tune=1000, cores=2, return_inferencedata=True)

# 分析结果
az.summary(trace, var_names=['rp', 'sigma']) # 查看参数的后验统计
# 光谱值(凌星深度)的预测分布可以从 `trace.posterior['rp']` 推导
# 不确定性σ可以直接从 `trace.posterior['sigma']` 获得

贝叶斯方法的优势在于,它自然地提供了参数和预测的完整概率分布,完美契合比赛的不确定性评估要求。但其计算成本通常远高于最大似然拟合。

3.3 方法对比与选择

为了更清晰地展示不同策略的权衡,我们可以用一个表格来概括:

方法核心思想优点缺点适用场景
全局多项式拟合用多项式建模系统噪声趋势,与凌星物理模型联合拟合。实现简单,计算快,物理可解释性强,在2024赛中表现优异。多项式形式可能无法捕捉所有复杂噪声,阶数选择敏感,易过拟合。数据噪声相对平滑,趋势变化较慢的情况。
贝叶斯建模为所有参数赋予先验分布,通过MCMC采样得到后验分布。天然提供不确定性估计,模型灵活,能融入丰富先验知识。计算开销巨大,采样可能不收敛,模型设定复杂。对不确定性校准要求极高,且有较强先验信息时。
分波长独立拟合对每个波长通道单独进行去噪和拟合。简单直接,可并行化,能处理波长相关的噪声。忽略了波长间的相关性,可能损失信息,结果可能不平滑。初期探索,或噪声在不同波长间独立性较强时。
全局联合拟合构建一个统一模型同时拟合所有波长,并引入波长间的平滑约束。利用全波段信息,光谱结果更平滑物理,抗噪声能力强。模型极其复杂,优化困难,计算资源需求高。追求极致性能,且有充足计算资源和建模能力时。

提示:在实际比赛中,混合策略往往更有效。例如,可以先使用快速的多项式拟合方法得到基线解和光谱形状,再利用贝叶斯方法对关键参数或不确定区间进行精细化推断和校准。

4. 进阶技巧与实战经验:来自顶级方案的启示

仅仅实现基础模型远远不够。从2024年冠军方案“Leveraging Knowledge of the Physical Model”以及其他优秀方案中,我们可以提炼出一些提升性能的关键技巧。

4.1 利用物理先验约束模型

凌星现象本身受物理定律严格约束。例如,行星半径比 rp 必须为正数;凌星深度在不同波长下应该平滑变化(因为大气吸收特征通常是宽谱带的);二次临边昏暗系数 u1, u2 有合理的取值范围。在拟合时强制加入这些约束,可以极大地稳定优化过程,防止模型陷入不物理的局部最优解。

# 示例:在scipy的curve_fit中加入边界约束
# 假设rp(行星半径比)不可能大于0.1,且凌星中心时间t0应在观测窗口中部附近
bounds_lower = [0.4, 1e-4, 5, 85, 0, 0, -np.inf, -np.inf, -np.inf]
bounds_upper = [0.6, 0.1,  20, 90, 1, 1,  np.inf,  np.inf,  np.inf]
popt, pcov = curve_fit(combined_model, time, flux, bounds=(bounds_lower, bounds_upper))

4.2 不确定性校准:从“猜测”到“度量”

比赛评估指标GLL对不确定性估计 σ 的校准非常敏感。很多队伍发现,简单地用模型拟合的残差标准差作为 σ 并不够好。更好的做法是:

  1. 异方差建模:认识到噪声水平可能随时间或信号强度变化。可以拟合一个额外的模型来预测每个数据点的 σ。
  2. 后验预测检验:在贝叶斯框架下,可以从后验分布中抽取大量样本,生成模拟数据,然后比较模拟数据与实际数据的分布,来校准不确定性。
  3. 经验缩放:在交叉验证集上,观察预测误差的分布,对预测的 σ 进行全局或局部的缩放因子调整,使其更符合实际误差。

4.3 特征工程的想象力

除了原始通量,还可以从数据中挖掘更多特征:

  • 差分光变曲线:计算相邻时间点或相邻波长通道的差值,有时能增强信号或暴露特定噪声模式。
  • 主成分分析(PCA):对2D图像(时间×波长)进行PCA,前几个主成分往往捕获了主要的系统噪声模式。将这些主成分作为额外的回归因子加入模型,可以有效去除公共噪声。
  • 外部回归量:FGS1导星数据提供了恒星质心位置等信息,这些是抖动噪声的直接反映,是极其强大的去噪辅助特征。如何将FGS1的时间序列与AIRS-CH0的数据在时间上精确对齐并融合,是高手过招的关键。

4.4 代码优化与管道构建

处理数百颗行星、每个行星数万个时间点的数据,效率至关重要。

  • 向量化操作:尽可能使用NumPy/Pandas的向量化函数,避免Python层级的循环。
  • 并行化:不同波长通道的拟合是独立的,可以使用joblib或multiprocessing进行并行处理。
  • 流水线化:使用scikit-learn的Pipeline或自定义类,将数据加载、预处理、拟合、预测、后处理等步骤封装起来,确保训练和推理过程一致,也便于交叉验证。
from sklearn.base import BaseEstimator, RegressorMixin
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler

class PolynomialTransitFitter(BaseEstimator, RegressorMixin):
    """自定义拟合器,封装多项式+凌星模型拟合"""
    def __init__(self, poly_order=2):
        self.poly_order = poly_order
        self.coeffs_ = None
        self.transit_params_ = None

    def fit(self, X, y):
        # X 包含时间和其他辅助特征
        # y 是单波长光变曲线
        # ... 实现拟合逻辑,存储系数和参数到 self.coeffs_, self.transit_params_
        return self

    def predict(self, X, return_std=False):
        # 基于拟合参数进行预测
        # 如果 return_std=True,还需返回估计的不确定性
        # ...
        pass

# 构建处理流水线
pipeline = Pipeline([
    ('scaler', StandardScaler()), # 标准化特征
    ('fitter', PolynomialTransitFitter(poly_order=3))
])

这场挑战远不止于一个Kaggle比赛。它是一次前沿科学问题与尖端机器学习技术的碰撞。当你成功地从一片混沌的噪声中勾勒出那颗遥远行星的大气轮廓时,你所做的,与那些设计Ariel望远镜的科学家一样,都是在扩展人类认知的边界。处理这些数据时,我常常感到一种奇特的连接感——我们写的每一行代码,优化的每一个损失函数,最终都是在解读一个真实存在的、可能拥有云层、风暴甚至潜在生命迹象的遥远世界所发出的、穿越了数十甚至数百光年的微弱光芒。这种将抽象数学与真实宇宙连接起来的体验,正是交叉学科研究最迷人的地方。

UE4_UE5 自定义简单水材质(UE材质图表大全1) 首先是材质的颜色节点、粗糙度节点、透明度节点。(1/2/3/4键+右键空白处,可创建一/二/三/四维节点)接着是两个法线波动节点的叠加。最后是折射节点,将fresnel菲涅尔节点连接到材质结果节点的折射输入端。到这里,你基本已经实现了一个波纹流动的水材质。后续我会更新加上海面浪花的水面材质,可以到我的专栏中寻找。有问题随时私信沟通,加油❤。 阅读详情

相关推荐

别再让地图加载慢吞吞!GeoServer + GeoWebCache 缓存配置实战(附性能对比)

本文详细介绍了如何通过GeoServer和GeoWebCache优化地图服务性能,实现地图加载速度的显著提升。从缓存机制解析到实战配置流程,再到高级性能调优技巧,帮助开发者构建高效地图缓存系统,解决地图加载慢的问题。

weixin_42525369的博客 407

NeurIPS - Ariel Data Challenge 2024: Decoding Exoplanet Atmospheres with Machine Learning

本文深入解读了NeurIPS - Ariel Data Challenge 2024的核心任务:利用机器学习从ESA Ariel太空望远镜的模拟数据中解码系外行星大气信号。挑战赛要求参赛者处理包含严重抖动噪声的多维光谱数据,通过数据预处理、噪声建模(如利用FGS1仪器数据)及贝叶斯推断等方法,精确提取行星大气透射光谱并量化其不确定性。获胜算法有望应用于未来真实的天文数据处理,推动系外行星科学研究。

weixin_29214199的博客 294

Claude skill-creator插件深度解析:从创建到优化的完整技能工程化体系

摘要:skill-creator是Anthropic推出的Claude技能开发插件,提供从创建到优化的全流程工程化支持。其核心架构采用渐进式披露机制和多Agent协作模式,包含Grader、Analyzer等专业评估组件。该插件支持自动化评测系统,通过测试用例管理、并行执行和结果聚合实现技能验证;提供迭代优化算法,基于数据驱动改进技能性能。典型应用场景包括标准化技能开发、自动化测试验证和触发优化,显著降低开发门槛并提升技能质量。

虚心若愚 990

低温ECR-MOCVD生长(002)GaN:椭偏仪测厚与电学性能

本研究用ECR-MOCVD在Si(111)和蓝宝石衬底上低温生长GaN薄膜,蓝宝石1.0SCCM、2h样品呈完全(002)择优取向,椭偏仪测厚32.81nm,迁移率10.42cm²/(V·s)。文章梳理了生长温度、TMGa流量与生长时间对结晶取向、膜厚、粗糙度、光学带隙和电学性能的影响。

Flexfilm_的博客 403

【寄存器模型】一、一个简单的寄存器模型

在描述寄存器模型之前,首先来了解一下实际寄存器的组成结构:如下图所示的DUT内部真实的寄存器寄存器中最小的一个单位是域(field),域是由一个或多个bit拼接而成的。一个或多个域就构成了一个寄存器(reg)。一个或多个寄存器就构成了一个块(block)。将DUT中的寄存器抽象出来,建立寄存器模型,如下图所示:uvm library已经定义好了field、reg、block等相关的概念,构建寄存器模型时,只需要继承这些类即可。:构建寄存器模型中的域段。uvm_reg。...

carrotbanana的博客 5371

软考高级系统架构设计师系列论文四十九:论微服务架构及其应用

软考高级系统架构设计师系列论文四十九:论微服务架构及其应用

zhengzaifeidelushang的博客 3194

【第84期】过拟合欠拟合与复杂度对照的实验与排查

系列:《从小白到 AI 大模型开发工程师的进阶之路》 技术点:AI-0306 过拟合与欠拟合 主人公:小蓝伞 前置:AI-0302 本期产出:学习曲线小蓝伞用越来越高次的多项式拟合一条带噪曲线,训练误差继续下降,但这不能说明他更接近真实关系。本期固定训练样本与噪声,只改变多项式次数,比较对训练点和无噪参考曲线的误差,并区分验证曲线与学习曲线。教学情境用来组织问题,下面的执行数据来自构造实验。

qq_36085846的博客 204

STM32实战开发(66):STM32图像处理开发教程

随着物联网、人工智能和嵌入式技术的不断发展,图像处理技术在嵌入式系统中的应用越来越广泛。图像处理不仅在视觉识别、安防监控、智能家居等领域中发挥着重要作用,也在工业自动化、医疗成像、无人驾驶等高科技领域中占据重要地位。而STM32凭借其强大的硬件性能和丰富的外设支持,成为了许多图像处理应用的理想平台。

2201_76125393的博客 1450

小批量训练的JAX机器学习

本文介绍基于BFGS的小批量训练算法,针对全批量方法在高样本量下计算复杂度高的问题,结合JAX的自动微分与高效计算,实现快速收敛。通过optimtool库中的改进的bfgs优化器与小批量策略,支持分类与回归任务,具备早停机制与灵活监控选项,显著提升大规模机器学习训练效率。

林景的博客 144

【学习系列】SAP RAP 20:Unmanaged场景开发示例-调用BAPI、BAPI包装类、BO接口创建标准采购订单

本文介绍了在SAP RAP(Restful ABAP Programming)框架下,通过三种方式实现采购订单创建的方案。首先分析了RAP框架对传统BAPI调用的限制,特别是禁止显式COMMIT语句的要求。随后详细阐述了三种实现方式:1)直接调用传统BAPI(仅支持OP环境);2)使用BAPI包装类(仅支持OP环境);3)调用标准业务对象接口(支持所有环境)。 文章重点说明了在unmanaged场景下的技术实现细节,包括字段控制、缓冲区管理、测试运行与实际调用的分离处理等。针对每种方式都提供了完整的实施步骤

DeveloperMrMeng的博客 601

【系统分析师】2025年上半年真题:案例分析-答案及详解(回忆版)

摘要: 试题一考查面向对象分析,涉及用例模型构建的四个阶段(识别参与者、合并需求、细化描述、调整模型),分析CRM系统的参与者与用例,并说明用例间的包含、扩展和泛化关系。 试题二探讨嵌入式Docker,包括容器的轻量性、可移植性及隔离性含义,10项措施与7个规范方面的对应关系,以及优化容器切换时间的三种方法(如无状态连接优化)。 试题三聚焦数据库设计,分析订单表的函数依赖与范式分解(BCNF),讨论分解后是否保持函数依赖及无损性,并针对触发器的性能缺陷提出优化方案。 试题四解析Web开发中的MVC架构与SS

数据知道的博客 6613

新品快讯 | ROHM支持GaN高频开关的TP-PFC控制器IC

另一方面,传统的TP-PFC控制技术广泛使用MCU,但对于小型电源设备而言,除了功耗、电路规模和成本方面的挑战外,如何实现针对GaN HEMT高频开关的控制也成为亟需解决的难题。全球知名半导体制造商ROHM(总部位于日本京都市)宣布,开发出有助于实现小型高效率AC-DC电源的Totem Pole PFC*1(图腾柱PFC,以下简称“TP-PFC”)控制器IC“BM85060FV”,其特点是可在支持GaN HEMT*2高频开关的MHz频段工作。GaN(氮化镓)是一种用于新一代功率元器件的化合物半导体材料。

ONEYAC唯样的博客 236

55、宇宙微波背景辐射望远镜及其光学系统解析

本文详细解析了宇宙微波背景辐射(CMB)望远镜及其光学系统的设计与优化。内容涵盖折射与反射光学系统的特性、旁瓣控制技术、气球与地面观测系统的对比、探测器阵列的发展、光学系统设计流程以及不同观测场景下的光学系统选择。同时,文章展望了CMB望远镜光学系统的未来发展趋势,包括技术创新、多频段观测、国际合作与大型项目等。通过系统性的分析与对比,为CMB研究提供了全面的技术支持与理论基础。

f9g0h的博客 145

从认识人工智能到理解机器学习:我的 AI 入门第一课

正式开始学习人工智能之前,我对 AI 的认识其实比较模糊:知道 ChatGPT、知道大模型,也知道现在很多岗位都在谈 AI,但如果有人问我“人工智能到底是什么”“机器是怎么学会识别一只猫的”,我未必能从头到尾讲清楚。上午的课程更偏向行业全景:人工智能的发展、研究方向、NLP、岗位分工、学习路线和 AI Coding 工具。下午的课程更偏向技术基础:机器学习的原理、有监督学习、深度学习、模型训练和评估方法。

chh563的博客 580

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

机器学习基础|监督学习、标签、回归

网约车预估等待时长依赖监督学习中的回归任务。平台利用历史订单数据,以司机实际到达耗时为标签,通过上车点、时间、运力、路况等特征训练模型。模型不断优化预测值与真实耗时的误差,最终对新订单输出连续的预估等待时间,实现精准预测。

weixin_43971465的博客 281

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

Hugging Face:成为机器学习界的“Github”

以下文章来源于OneFlow,作者OneFlow社区五年前,AI领域的知名研究者Andrej Karpathy发文称,传统人工编程属于“软件1.0”,“软件2

2601_96798011的博客 156

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

机器学习——混淆矩阵(待更新)

二元: true表示真实==预测,positive表示预测值=1.

m0_61175448的博客 179

Spark06_MLlib机器学习

本文是《PySpark 从入门到实战》系列收官篇,带你用 Spark MLlib 走通机器学习全流程:从三要素与 7 步标准流程讲起,剖析 KNN、朴素贝叶斯、决策树三大算法原理,再以 KNN 手写、垃圾短信分类、决策树分类、逻辑回归鸢尾花(准确率 96.67%)、K-Means 聚类(轮廓系数 0.7345)五个案例落地,最后详解 TF-IDF 文本特征与余弦相似度。全文代码可直接运行,适合有 RDD 与 Spark SQL 基础的开发者快速上手。

2301_80420058的博客 485

LoRA的低秩数学与QLoRA实现

本文系统解析了LoRA及其进阶版QLoRA在十亿参数模型微调中的高效机制。通过低秩假设,将权重更新量ΔW近似为低秩矩阵积,显著压缩可训练参数与显存占用;QLoRA进一步将基座模型量化至4比特(NF4),结合双重量化与分页优化器,实现65B模型单卡微调。文章详解了B初始化为零、缩放系数α/r设计、挂载位置选择等关键实操细节,并给出可运行代码。实践表明:4比特基座+高精度LoRA在多数任务上媲美全参微调,且训练效率极高。超参方面,r不宜过大,学习率需上调,数据质量重于数量。最后强调:LoRA适用于风格适配与领域

2601_96733043的博客 344

AI小白入门|无监督学习到底是什么?

很多新手看完无监督学习的定义只会死记硬背。本文避开复杂公式,从真实业务场景切入,对比监督学习,讲清楚无监督学习的核心价值、适用场景、底层逻辑和容易踩坑的认知误区,帮你理解它在机器学习链路里的定位。

weixin_43971465的博客 206

SVM支持向量机通俗解析:找到机器学习的“最优分界线”

一、爆款钩子:同样是画分界线,为何SVM能成为机器学习的“王者选手”?做机器学习的人,几乎都绕不开一个问题:如何给混乱的数据“分家”?有人用逻辑回归,有人用KNN,但有一个算法

2601_96798737的博客 172

机器学习03,端到端02

个人笔记

qq_59247073的博客 296

GaN 动态导通电阻测试专题:电流崩塌从哪来,测量窗口怎么选

但器件装到实际电路上跑一段时间,或者用双脉冲台架模拟开关工况再测导通压降,数值往往明显高于手册静态值,而且关断应力越强(母线电压越高、应力保持越久),抬升越明显;:使用钳位电压探头,把示波器通道的工作区间限制在低电压区(常见做法是钳位在 1.5V 附近的导通压降区),应力高压段由钳位电路吸收,导通段以高分辨率采样。台架搭建相对简单,是器件表征最常用的方案。双脉冲台的难点不在发脉冲,而在采样:漏源电压要从几百伏的应力电平瞬间跌落到毫伏至伏级的导通压降,示波器单一量程难以兼顾"扛住高压"和"分辨毫伏"。

Namisooft的博客 278

《机器学习sklearn实战教程》02|Python机器学习开发环境搭建

2.1 为什么要先搭环境很多人学机器学习,卡住的第一步不是算法,而是环境。代码明明照着教程敲了,却一运行就报错。不是缺包,就是版本冲突。最常见的情况是,昨天还能跑,今天装了个新库

2601_96798011的博客 250

CAGR 21.8%:GaN功率器件封装材料市场从3.23亿美元迈向12.77亿美元

随着氮化镓(GaN)功率半导体在消费快充、AI服务器电源及车载电源领域的加速渗透,GaN功率器件封装材料作为实现芯片贴装、电气互连、热量传导和长期可靠性保障的核心功能性材料,正迎来爆发式增长期。根据LP Information(路亿市场策略)初步调研,2025年全球GaN功率器件封装材料市场规模约为3.23亿美元,2026年预计约3.91亿美元,2032年将达到12.77亿美元,2026—2032年复合增长率(CAGR)高达21.8%。

LPIHelen的博客 208

《机器学习》笔记

知道特征工程是什么:利用专业背景知识和技巧处理数据,让机器学习算法效果最好。这个过程就是特征工程。数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。理解特征提取的作用:原始数据中提取与任务相关的特征,构成特征向量。新数据 = 特征提取(原数据)理解特征预处理的作用:特征对模型产生影响,因量纲(单位)问题,有些特征对模型影响大,有些影响小。有两种思路,归一化和标准化(重点),归一化公式为:(当前值-最小值)/(最大值-最小值),使映射的值域在(0~1)之间。

weixin_51781852的博客 239
上一篇: 【Unity】YooAsset与HybridCLR:高效资源管理与代码热更的黄金组合
下一篇: OpenDayLight流表实战:从YANG UI界面到Mininet测试的完整避坑指南
随身带U盘
博客等级 码龄4年 31粉丝 1526原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值