临床试验数据分析实战:SAS多重填补处理重复测量缺失值的完整流程

重复测量数据多重填补 SAS code sas code 对多次访视数据进行多重填补 阅读详情

临床试验数据分析实战:SAS多重填补处理重复测量缺失值的完整流程

在临床研究的漫长旅途中,数据就像一位时而沉默的伙伴。你精心设计了访视计划,记录了基线信息,却在某个关键的时间点,发现本该填满数据的单元格里,是一片令人心焦的空白。这种重复测量数据中的缺失,绝非简单的“数据丢失”,它背后可能隐藏着受试者的脱落、依从性问题,或是数据收集流程中的偶然疏漏。对于生物统计师和临床数据分析师而言,如何妥善处理这些缺失值,直接关系到疗效评估的准确性与研究结论的可信度。

传统的“直接删除”或“简单填补”早已被证明风险极高,可能引入难以察觉的偏倚。多重填补,作为一种更为稳健的统计策略,正成为处理这类复杂缺失模式,尤其是进行敏感性分析时的利器。它不满足于给出一个单一的、“看似完美”的填补值,而是通过构建多个可能的数据集,诚实地反映数据本身的不确定性,并将这种不确定性最终融入到统计推断中。本文将抛开繁复的理论推导,直接切入实战,手把手带你走完一个在SAS环境中,针对重复测量数据实施多重填补,并进行后续分析的完整闭环。我们会从模拟一个贴近现实的临床试验数据集开始,一步步完成数据准备、缺失模式诊断、基于FCS和delta调整的填补、模型分析,直至结果合并与解读。

1. 构建与理解你的战场:模拟临床试验数据集

在真正处理现实数据之前,创建一个结构清晰、特征已知的模拟数据集是绝佳的练兵场。这能让我们完全掌控数据的“前世今生”,从而更清晰地评估后续处理方法的效果。

1.1 生成一个“理想世界”的完整数据集

我们模拟一项为期约14周的临床试验,设有活性药组和安慰剂组。关键疗效指标是一个连续变量(例如,某种生物标志物的水平)。每位受试者将在基线及之后的5个特定时间点接受访视测量。

/* 定义访视时点标签 */
PROC FORMAT;
    VALUE visitfmt 1 = ‘基线 (第0天)’
                   7 = ‘第7天访视’
                   14 = ‘治疗结束 (第14天)’
                   28 = ‘随访第28天’
                   42 = ‘随访第42天’
                   98 = ‘随访第98天’;
RUN;

/* 核心数据模拟步骤 */
DATA simulated_full;
    LENGTH subject_id $8 treatment $10 gender $1;
    ARRAY visit_points[6] _TEMPORARY_ (1, 7, 14, 28, 42, 98); /* 6个访视时点 */
    CALL STREAMINIT(20231001); /* 设定随机种子,确保结果可重现 */

    DO subject_num = 1 TO 150; /* 模拟150名受试者 */
        /* 生成受试者ID */
        subject_id = ‘STUDY-’ || PUT(subject_num, Z3.);

        /* 随机分配性别 */
        gender = IFC(RAND(‘BERNOULLI’, 0.52), ‘M’, ‘F’);

        /* 随机分配治疗组 */
        treatment = IFNC(RAND(‘BERNOULLI’, 0.5), ‘活性药组’, ‘安慰剂组’);

        /* 模拟年龄,近似正态分布 */
        age = ROUND(RAND(‘NORMAL’, 52, 12));
        IF age < 18 THEN age = 18; /* 设置下限 */
        IF age > 85 THEN age = 85; /* 设置上限 */

        /* 模拟基线值 */
        baseline_value = ROUND(RAND(‘NORMAL’, 100, 15));

        /* 为每个访视时点生成测量值 */
        DO i = 1 TO DIM(visit_points);
            visit_number = visit_points[i];
            visit_label = PUT(visit_number, visitfmt.);

            /* 模拟疗效趋势:活性药组随时间有改善,安慰剂组基本稳定 */
            IF treatment = ‘活性药组’ THEN DO;
                time_effect = (visit_number / 10); /* 简单的线性时间效应 */
                measurement = ROUND(baseline_value + time_effect + RAND(‘NORMAL’, 0, 8));
            END;
            ELSE DO; /* 安慰剂组 */
                measurement = ROUND(baseline_value + RAND(‘NORMAL’, 0, 8));
            END;

            OUTPUT;
        END;
    END;

    DROP subject_num i time_effect; /* 删除临时变量 */
    FORMAT visit_label visitfmt.;
RUN;

提示:使用 CALL STREAMINIT() 固定随机数种子至关重要,它保证了每次运行模拟程序都能得到完全相同的数据,这对于调试和结果复现是不可或缺的。

现在,我们得到了一个 长格式 的数据集 simulated_full。每个受试者-访视组合占一行,关键变量包括:

  • subject_id: 受试者唯一标识
  • treatment, gender, age: 基线协变量
  • visit_number, visit_label: 访视信息
  • baseline_value: 基线测量值(每个受试者相同)
  • measurement: 该访视点的实际测量值

这个数据集是完整的,没有缺失值,代表了理论上的“完美情况”。

1.2 引入现实的“残缺”:模拟缺失数据机制

真实的临床试验中,缺失总会以某种模式出现。我们根据常见的缺失机制来模拟:

  1. 完全随机缺失 (MCAR):缺失与任何观测或未观测数据无关。例如,实验室设备随机故障。
  2. 随机缺失 (MAR):缺失概率与观测到的数据有关,但与未观测到的缺失值本身无关。例如,年长受试者更容易失访,而年龄是观测到的。
  3. 非随机缺失 (MNAR):缺失概率与未观测到的缺失值本身有关。例如,病情加重的患者更可能退出研究,而“病情加重”这个信息恰恰缺失了。

下面的代码主要模拟了 MAR 和一点 MNAR 的混合模式:

DATA simulated_with_missing;
    SET simulated_full;
    BY subject_id;
    RETAIN last_observed_visit .;

    CALL STREAMINIT(20231002); /* 使用新种子模拟缺失 */

    /* 基线数据不应缺失 */
    IF visit_number = 1 THEN DO;
        last_observed_visit = 1;
        OUTPUT;
        RETURN;
    END;

    /* 模拟MAR:年龄较大的受试者更容易发生缺失 */
    mar_probability = 0.02 + (age / 1000); /* 年龄越大,缺失风险略增 */
    IF RAND(‘BERNOULLI’, mar_probability) THEN DO;
        DELETE; /* 删除该行,模拟此次访视数据缺失 */
        RETURN;
    END;

    /* 模拟MNAR:如果当前测量值“异常低”(可能提示不良反应),则缺失风险更高 */
    /* 注意:这是一个简化的、用于演示的假设 */
    IF measurement < (baseline_value - 20) THEN DO;
        IF RAND(‘BERNOULLI’, 0.3) THEN DO; /* 有30%概率缺失 */
            DELETE;
            RETURN;
        END;
    END;

    /* 模拟访视依从性:一旦发生一次缺失,后续访视缺失概率增加(单调缺失模式的一部分) */
    IF last_observed_visit < visit_number - 7 THEN DO;
        IF RAND(‘BERNOULLI’, 0.15) THEN DO;
            DELETE;
            RETURN;
        END;
    END;

    /* 如果通过所有“缺失考验”,则保留该观测,并更新最后观测到的访视 */
    last_observed_visit = visit_number;
    OUTPUT;
    DROP mar_probability last_observed_visit;
RUN;

现在,simulated_with_missing 数据集更贴近现实,包含了不同机制和模式产生的缺失值。我们的分析目标通常是评估 第98天访视 的测量值相比基线的变化 (chg = measurement_98 - baseline_value),但 measurement_98 存在缺失。

2. 数据重塑与缺失模式诊断:为填补做准备

SAS中的多重填补过程,尤其是处理重复测量数据时,通常更便于在 宽格式 数据上进行。宽格式下,每个受试者占一行,不同时间点的测量值作为不同的变量。

2.1 从长格式到宽格式转换

PROC TRANSPOSE DATA=simulated_with_missing OUT=wide_format (DROP=_NAME_) PREFIX=meas_;
    BY subject_id treatment gender age baseline_value;
    ID visit_number;
    VAR measurement;
RUN;

转换后,数据集 wide_format 的变量结构如下表所示:

变量名描述类型
subject_id受试者ID字符
treatment治疗组字符
gender性别字符
age年龄数值
baseline_value基线值数值
meas_1基线测量值数值
meas_7第7天测量值数值
meas_14第14天测量值数值
meas_28第28天测量值数值
meas_42第42天测量值数值
meas_98第98天测量值(存在缺失)数值

2.2 系统性诊断缺失模式

在盲目开始填补之前,我们必须像医生一样先进行“诊断”。PROC MI 的 NIMPUTE=0 选项是一个强大的诊断工具。

PROC MI DATA=wide_format NIMPUTE=0;
    CLASS treatment gender; /* 声明分类变量 */
    VAR gender treatment age baseline_value meas_7 meas_14 meas_28 meas_42 meas_98;
RUN;

运行这段代码,SAS会在输出窗口生成关键的诊断信息:

  1. 缺失数据模式表:清晰地展示每个变量组合下的缺失情况。它能帮你快速判断是 单调缺失(一旦缺失,后续全部缺失)还是 任意缺失(缺失点随机分布)。临床试验中后访视缺失常导致单调模式,但中途脱落也可能产生任意缺失。
  2. 缺失数据汇总:给出每个变量的缺失数量和百分比。这是我们评估问题严重性的第一手资料。

    注意:通常,如果主要终点变量缺失率超过一定阈值(例如,监管机构可能关注的>20%),研究结果的解释力将受到严重挑战,此时敏感性分析(如多重填补)的价值就更加凸显。

假设诊断结果显示,meas_98 的缺失率约为12%,且缺失模式为任意缺失。协变量 age、baseline_value 以及早期访视点 meas_28、meas_42 也与 meas_98 的缺失存在一定关联,这支持了 MAR 的假设,即利用观测到的数据来预测缺失值是合理的。

3. 执行多重填补:FCS方法与Delta调整

基于诊断,我们选择 完全条件设定法 (FCS),也称为链式方程法。它非常灵活,能同时处理连续变量和分类变量,且适用于任意缺失模式。其核心思想是:依次为每个含缺失值的变量建立回归模型(如线性回归、逻辑回归),用其他所有变量来预测它,并进行迭代,直到结果稳定。

3.1 基础FCS多重填补

我们先进行一个标准的、基于MAR假设的FCS填补。

PROC MI DATA=wide_format OUT=mi_mar SEED=54321 NIMPUTE=50;
    CLASS treatment gender;
    FCS REG; /* 使用FCS方法,对连续变量采用回归 */
    VAR gender treatment age baseline_value meas_7 meas_14 meas_28 meas_42 meas_98;
RUN;
  • NIMPUTE=50:生成50个填补后的数据集。数量越多,估计通常越稳定,但计算成本也增加。20-100是常见范围,50是一个折中的稳健选择。
  • SEED=54321:固定随机种子,确保填补过程可重现。
  • OUT=mi_mar:输出数据集,其中包含一个额外的变量 _Imputation_,取值从1到50,用于区分不同的填补数据集。

3.2 应对非随机缺失:Delta调整模式填补

然而,我们最初的模拟包含了一点MNAR的假设(测量值过低时更易缺失)。在敏感性分析中,我们需要检验如果缺失机制不是MAR(即MNAR),结论是否会改变。Delta调整 是一种相对直观的MNAR敏感性分析方法。

它的思路是:假设在某个治疗组(例如活性药组)中,缺失的测量值系统地比我们基于MAR假设预测的值要差(或好)一个固定量(delta)。我们在填补过程中,对指定组的指定变量加上这个 delta 偏移量。

PROC MI DATA=wide_format OUT=mi_mnar_delta SEED=54321 NIMPUTE=50;
    CLASS treatment gender;
    VAR gender treatment age baseline_value meas_7 meas_14 meas_28 meas_42 meas_98;
    FCS REG;
    MNAR ADJUST(meas_98 / SHIFT = -5 ADJUSTOBS = (treatment = ‘活性药组’));
RUN;

这段代码的含义是:在填补 meas_98 时,对于那些在 活性药组 且该值缺失的受试者,在基于MAR模型生成的填补值上,再统一 减去5个单位(SHIFT = -5)。这模拟了一种最坏情况——活性药组中退出的患者,其真实结果比我们乐观估计的要差5个单位。

提示:delta 值的设定需要临床合理性。可以参考该指标的临床重要差值、历史数据中的变异程度,或与临床专家共同商定。通常我们会尝试一系列 delta 值(例如 -3, -5, -8)来进行全面的敏感性分析。

4. 在填补后的数据集上进行统计分析

填补步骤产生了多个完整的数据集(mi_mar 和 mi_mnar_delta)。接下来,我们需要在每个数据集上独立执行我们计划好的统计分析模型。

4.1 准备分析数据集

首先,在每个填补数据集中创建我们关心的终点变量——相对于基线的变化值。

DATA mi_mar_analysis;
    SET mi_mar;
    chg_98 = meas_98 - baseline_value; /* 主要终点:98天较基线的变化 */
RUN;

DATA mi_mnar_delta_analysis;
    SET mi_mnar_delta;
    chg_98 = meas_98 - baseline_value;
RUN;

4.2 拟合ANCOVA模型

我们计划使用协方差分析 (ANCOVA) 模型来比较两组间 chg_98 的差异,以基线值、年龄和性别作为协变量。使用 PROC MIXED 并配合 BY _Imputation_; 语句,可以自动在50个数据集上分别运行模型。

/* 在MAR填补数据集上分析 */
PROC MIXED DATA=mi_mar_analysis;
    BY _Imputation_;
    CLASS treatment gender;
    MODEL chg_98 = baseline_value age gender treatment / SOLUTION DDFM=KR;
    LSMEANS treatment / DIFF CL;
    ODS OUTPUT LSMEANS=lsmeans_mar DIFFS=diffs_mar;
RUN;

/* 在MNAR Delta调整填补数据集上分析 */
PROC MIXED DATA=mi_mnar_delta_analysis;
    BY _Imputation_;
    CLASS treatment gender;
    MODEL chg_98 = baseline_value age gender treatment / SOLUTION DDFM=KR;
    LSMEANS treatment / DIFF CL;
    ODS OUTPUT LSMEANS=lsmeans_mnar DIFFS=diffs_mnar;
RUN;

现在,我们得到了四组结果数据集:lsmeans_mar、diffs_mar、lsmeans_mnar、diffs_mnar。每个数据集中都包含50行(对应50次填补)的估计值 (Estimate) 和标准误 (StdErr) 等信息。

5. 合并结果:Rubin法则

最后一步,也是多重填补的精髓所在,就是使用 Rubin法则 将50次分析的结果合并为一个总的点估计和标准误(进而计算置信区间和p值)。SAS的 PROC MIANALYZE 专为此设计。

5.1 合并组间差异估计(主要关注点)

我们最关心的是治疗组与安慰剂组在 chg_98 上的最小二乘均值差。

/* 合并MAR分析下的组间差异结果 */
PROC MIANALYZE DATA=diffs_mar;
    ODS OUTPUT PARAMETERESTIMATES=pooled_diffs_mar;
    MODELEFFECTS Estimate;
    STDERR StdErr;
RUN;

/* 合并MNAR Delta分析下的组间差异结果 */
PROC MIANALYZE DATA=diffs_mnar;
    ODS OUTPUT PARAMETERESTIMATES=pooled_diffs_mnar;
    MODELEFFECTS Estimate;
    STDERR StdErr;
RUN;

5.2 解读合并后结果

运行 PROC MIANALYZE 后,查看输出或 pooled_diffs_mar 数据集,你会得到类似下表的结构:

分析场景均值差估计合并后标准误95% 置信下限95% 置信上限p值
MAR填补 (主分析)-8.422.15-12.66-4.180.0002
MNAR Delta调整 (敏感性分析)-6.912.31-11.44-2.380.0035

解读要点:

  1. 主分析 (MAR):结果显示活性药组相比安慰剂组,平均多降低了约8.42个单位,且具有高度统计学意义(p=0.0002)。这支持了活性药的有效性。
  2. 敏感性分析 (MNAR):在假设活性药组缺失者结果更差(delta = -5)的悲观情境下,组间差异缩小至-6.91,但置信区间仍完全位于零的左侧,且p值依然显著(0.0035)。
  3. 结论稳健性:尽管点估计值有所衰减,但治疗效应的统计学显著性在两种不同的缺失数据假设下都得以保持。这极大地增强了我们对于“活性药有效”这一结论的信心,表明该结论不太可能仅仅是由我们对缺失数据的特定处理方式所驱动的。

整个流程走下来,感觉最关键的其实不是SAS代码本身,而是对缺失机制的理解和临床情境的把握。代码只是工具,PROC MI 和 PROC MIANALYZE 的语法相对固定。真正的功夫在事前:和临床团队深入讨论缺失的可能原因,确定合理的 delta 值范围,并设计一套从主分析到一系列敏感性分析的完整策略。在实际项目中,我通常会同时运行MMRM模型(它本身是一种处理MAR的模型)和多重填补下的ANCOVA,并将结果放在一起比较,如果结论一致,那份踏实感是任何单一方法都无法给予的。记住,处理缺失数据的目标不是“消除”缺失,而是“量化”缺失带来的不确定性,并证明你的核心结论能够经受住这种不确定性的考验。

临床试验数据分析实战:用SAS搞定重复测量数据的多重填补(附完整代码) 本文详细介绍了如何使用SAS进行临床试验中重复测量数据的多重填补分析。通过完整的代码示例和实战指南,帮助研究人员处理缺失数据,确保统计结果的可靠性。重点讲解了FCS方法在重复测量数据中的应用,包括数据准备、缺失机制判断、填补模型构建及结果合并等关键步骤。 阅读详情

相关推荐

SAS小白必看:从零开始学多重填补,处理临床试验缺失数据不再难

本文为SAS初学者提供了处理临床试验重复测量数据中缺失值的多重填补完整指南。通过理解缺失机制、数据转换、使用PROC MI进行FCS填补及Delta调整,并结合PROC MIANALYZE合并结果,帮助研究者稳健处理缺失数据,提升分析可靠性。

gamma的博客 559

多重填补

数据缺失机制的分类 完全随机缺失 数据的缺失不依赖任何测量值。 如受试者因为工作原因从一个地方搬到另外一个地方,远离了原来的研究中心而无法继续试验。 随机缺失 数据的缺失依赖于已经观测到的测量值,而不依赖于未观测到的测量值。 如受试者在临床试验中因为疗效不好从而退出试验。 非随机缺失 数据的缺失依赖于未观测到的测量值。 如受试者在之前的访视中一切良好,然而在某次访视后疾病恶化从而退出试验。 当数据缺失是完全随机缺失或者随机缺失的时候,根据现有的试验数据做出的统计推断依然是有效的(尽管不会像完整的数据那么有效

luckydog529的博客 1万+

临床试验重复测量数据的多重填补:SAS实现与MMRM模型对比

本文详细探讨了在临床试验中处理重复测量数据缺失问题的两种核心方法:多重填补与混合效应模型重复测量。通过SAS软件逐步演示了从数据模拟、缺失值生成到MMRM模型拟合与多重填补实现的完整流程,并重点对比了两种方法的核心思想、统计假设、SAS操作及适用场景,为临床研究者选择稳健的数据分析策略提供了实用指南。

weixin_29237635的博客 192

缺失值处理之——多重插补法

点估计的合并是直接把上面每次迭代的参数进行取均值,比如X1的最终汇总回归参数就是在迭代中估计X1缺失值时得到的回归系数的均值。X2X3同理,最后得到一组汇总的参数,然后利用汇总后的参数计算最终的插补值。首先对缺失值进行初始化插补,初始化插补的方法可以很简单,比如,均值插值,回归插值,等等。最近遇到一个项目,我主要负责的部分是对数据进行预处理,最主要的便是对缺失值进行处理,这里我先学习一下多重插补法。这一步骤包括点估计的合并和方差的合并,为了便于操作,我们这里只进行讲解点估计的合并。依次迭代,直至结果收敛。

qq_66960383的博客 7583

缺失数据填补基础方法(3)——Multiple Imputation by Chained Equations (MICE)

MICE(链式方程多重填补)是一种多重填补,由于其易于实施,并且能够保持无偏效应估计和有效推断,被公认为填补缺失流行病学数据的主要策略。因此,MICE进行多重回归填补。MICE是一种多重填补方法,其中缺失值被多次填充以创建完整的数据集。...

Wendy的博客 2万+

《用 R 探索医药数据科学》目录(持续更新,已超 250 万字)|订阅前说明

我们重磅推出《用 R 探索医药数据科学》专栏!本文作为专栏【订阅后首读】的核心内容,堪称开启学习之旅的 “入门钥匙”,也是整个专栏最关键的一篇指引文。文中不仅完整呈现了专栏 9 大核心篇章 + 问答板块的详细目录,更囊括了订阅后必知的核心要点 —— 从阅读设备、实操工具的使用建议,到学习路径、更新规则的清晰说明,再到问题反馈、感悟记录的实用方法,一站式帮你摸清专栏框架、找准学习方向。建议各位订阅者务必认真阅读、吃透内容,这能让你后续的学习更高效、少走弯!

MD Code 1万+

如SPSS、SAS、Stata、Minitab等产生的数据文件,再使用R的read.table()或read.csv()函数将数据读入R中

foreign包提供了一套函数,用于直接读取和写入其他统计软件的数据文件,包括SPSS、SAS、Stata等。该包极大地方便了不同软件之间的数据交互,减少了数据转换的麻烦和错误。例如,对于SAS数据文件,即后缀名为.ssd的数据文件,可通过包内的read.ssd()函数来读取。对于SPSS数据文件,即后缀名为.sps的数据文件,可通过包内的read.spss()函数来读取。对于Stata数据文件,即后缀名为.dta的数据文件,可使用foreign包的read.dta()函数实现。

MD Code 431

多重填补软件norm

是通过多重填补方法对缺失数据进行分析的一个重要工具软件

数据预处理不仅是数据科学人员必备的技能,也是保障数据科学项目成功的关键。它也是数据科学工作流中的一个关键步骤

例如,我们查阅了一份人口数据基础信息表的信息,表里面包含了年龄、性别、身高等变量,其中年龄变量是整数型,而身高变量是浮点型(它用于表示带有小数部分的数值),同时还存在部分缺失的数值的变量,或者能视觉发现的异常值。

MD Code 205

数字电路基础(CMOS电路、低功耗方法)

文章目录一、CMOS器件1.1.CMOS反相器1.2. CMOS与非门1.3.CMOS或非门1.4 CMOS与门和CMOS或门二、CMOS电路参数——功耗 一、CMOS器件 1.1.CMOS反相器 CMOS反相器实现非门功能,由一个PMOS管和一个NMOS管组成,其逻辑电路图如下: 其真值表如下: In PMOS NMOS Out 0 √ 导通 ×关闭 1 1 ×关闭 √...

Mr.翟的博客 1万+

C++控制台实现简单的注册登录

C++控制台实现简单的注册登录 #include<iostream> #include<string> #include <vector> #include <conio.h> void Display();//调用display显示switch()界面 void Register();//注册 void Enter();//登录 using nam...

乔路非 2万+

在R语言中,基本的算术运算是数据分析和计算的基础

在R语言中,基本的算术运算是数据分析和计算的基础。掌握这些运算不仅是进行统计分析的前提,也是处理医学数据和进行医学研究的关键步骤。本文将详细讲解R语言中的基本算术运算,并通过医学实例进行说明,帮助大家更好地理解和应用这些运算。

MD Code 320

snipersim安装

snipersim安装记录,便于后续使用tip:snipersim需要在python2的环境下编译。

weixin_53507617的博客 918

矩阵是一种二维数组,每个矩阵仅能包含一类数据(数值型、字符型或者逻辑型)

本文详细介绍了R语言中常见的数据结构的向量和矩阵。通过掌握这些数据结构的基本概念和操作技巧,可以更高效地处理和分析数据。下一节课,我们继续介绍数组、数据框和列表,和它们的基本操作,以及各种符号的使用,你将能够更加高效地进行数据分析和编程。

MD Code 343

绝缘体上硅(SOI) vs 传统硅片:5个关键性能对比及适用场景分析

本文深入对比了绝缘体上硅(SOI)与传统硅片在功耗、速度、隔离性等5个关键性能维度的差异,并分析了各自适用场景。SOI技术凭借其独特的埋氧层结构,在低功耗、高频应用和极端环境下展现出显著优势,特别适合移动设备、汽车电子和航天应用。

weixin_30335575的博客 555

海康AI开放平台实战:从数据集标注到摄像头部署的全流程避坑指南

本文是一份基于实战经验的海康AI开放平台全流程避坑指南。文章详细拆解了从数据集标注、模型训练优化到边缘摄像头部署的关键步骤,重点剖析了数据准备、参数调优、模型测试及SDK集成中的常见陷阱与解决方案,旨在帮助开发者高效、稳定地将AI算法落地于实际监控场景。

weixin_29103191的博客 698

认识dplyrR语言的dplyr扩展包是数据处理的利器,其名称中的‘d‘代表数据框(dataframe)

如果需要降序排序,可以在列名前使用desc()函数。例如,以下代码对iris数据集按照Sepal.Length进行降序排序,并显示前5行。

MD Code 280

LeRobot 入门教程(十一)π0(Pi0)π0.5(Pi0.5)训练、推理、部署

本文介绍了Physical Intelligence公司开发的π₀和π₀.₅系列通用机器人控制视觉-语言-动作模型。π₀作为首款基础模型,融合流匹配、跨实体训练等技术,支持50Hz高频控制。π₀.₅是其升级版,通过异构数据协同训练解决开放世界泛化问题,在Libero基准测试中表现优异。文章详细说明了两个模型的安装要求、使用方法、训练策略及关键参数配置,包括混合精度训练、梯度检查点等优化技术,为机器人在多样化场景中的语义理解和动作控制提供了完整解决方案。

2506_90492529的博客 5058

在数据科学和统计学中,变量是研究对象的基本要素。根据变量的性质和特点,可以将其分为两大类:分类型变量和数值型变量

在数据科学和统计学中,变量是研究对象的基本要素。根据变量的性质和特点,可以将其分为两大类:分类型变量(Categorical variables)和数值型变量(Numerical variables)。这两类变量在数据分析和处理时有着不同的应用和方法。

MD Code 227

Allegro174版本如何关闭模块复用后铜皮自动从动态变成静态操作指导

在用Allegro进行PCB设计的时候,模块复用是使用的十分频繁的操作,当Allegro升级到了174 S034版本的时候,当使用模块复用的功能的时候,模块内的铜皮会自动动静转换,大部分情况是不需要的。版本如何关闭模块复用后铜皮自动从动态变成静态操作指导。如何关闭这个功能,具体操作如下。

weixin_54787054的博客 1262

提示工程从初级到高级:如何评估提示词的鲁棒性?架构师分享测试方法

鲁棒性(Robustness)原本是工程领域的概念,指系统在“非理想条件”下保持性能稳定的能力。输入鲁棒性:面对不规范、有噪音、格式变异的用户输入,提示能否引导模型输出正确结果?模型鲁棒性:同一提示在不同大模型(或同一模型的不同版本)下,输出是否一致?场景鲁棒性:在边界场景(极端case、歧义case、多任务混合)下,提示能否保持逻辑一致性?提示词V1:请将以下用户评论分类为「正面」「中性」或「负面」:{comment}。要求:输出唯一类别,不要额外说明。

小程序开发 497

dplyr包的group_by()函数用于对数据集按照给定变量进行分组

数据预处理是数据科学工作流中的重要环节。通过数据清洗、数据集成、数据变换和数据规约等步骤,可以显著提高数据质量,为后续的分析和建模提供坚实基础。在实际应用中,结合具体数据的特点和分析目标,选择合适的数据预处理方法,可以有效提升模型的准确性和稳定性。dplyr是R语言中一个强大且高效的数据处理包,专门设计用于处理数据框(data frames)。它的语法简洁明了,操作高效,尤其适用于大数据集。dplyr提供了一系列函数,使得数据的筛选、变换、聚合和排序等操作变得简单直观。

MD Code 246

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

R语言中,列表是一种非常灵活的数据结构,它可以存储不同类型的对象,如向量、矩阵、数据框、甚至其他列表

与数据框不同,列表中的元素可以是各种类型和长度的对象。这使得列表成为处理复杂数据和非结构化数据的强大工具。创建列表的基本函数是 list()。我们可以通过 list() 函数直接创建一个包含不同类型元素的列表。

MD Code 294

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

逻辑运算在编程语言中扮演着至关重要的角色,主要用于控制程序的执行流程

逻辑运算在编程语言中扮演着至关重要的角色,主要用于控制程序的执行流程

MD Code 312

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

运用tidyr包和认识tidyr中的其他函数

在数据分析中,数据的存储方式直接影响分析过程的效率和准确性。常见的数据存储形式有宽型数据(wide format)和长型数据(long format)。宽型数据适合人类查看和理解,而长型数据则更适合计算机处理和分析。为此,R语言提供了tidyr包,用于在这两种数据格式之间进行转换。

MD Code 273
上一篇: Cadence Allegro原理图库创建与元器件绘制实战指南
下一篇: FPGA开发者必看:FIFO Generator IP与XPM_FIFO在位宽转换时的隐藏陷阱(附实测对比)
人间清醒863
博客等级 码龄3年 33粉丝 1544原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值