经典的机器学习columnTransformer 示例，用于预处理在线文章 SOV 预测的数据

最新推荐文章于 2025-07-09 13:14:13 发布
原创 最新推荐文章于 2025-07-09 13:14:13 发布 · 1.2k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #人工智能 #python

1.好书推荐：

北大出版社，人工智能原理与实践 人工智能和数据科学从入门到精通 详解机器学习深度学习算法原理

人工智能原理与实践 全面涵盖人工智能和数据科学各个重要体系经典

2. 引言

ColumnTransformer是数据科学项目中最有用的数据转换工具之一。在这里，我们展示了一个完整的例子，应用columnTransformer作为预处理工具，然后应用RandomForrest回归模型预测在线文章的搜索份额（SOV）。

3. 数据介绍

数据中特征已经创建，理解这些特征名称就可以极大地帮助我们理解影响在线文章排名的因素。

数据的具体构成如下：

Number of Attributes: 61 (58 predictive attributes, 2 non-predictive, 1 goal field)

Attribute Information:
0. url: URL of the article (non-predictive)
1. timedelta: Days between the article publication and the dataset acquisition (non-predictive)
2. n_tokens_title: Number of words in the title
3. n_tokens_content: Number of words in the content
4. n_unique_tokens: Rate of unique words in the content
5. n_non_stop_words: Rate of non-stop words in the content
6. n_non_stop_unique_tokens: Rate of unique non-stop words in the content
7. num_hrefs: Number of links
8. num_self_hrefs: Number of links to other articles published by Mashable
9. num_imgs: Number of images
10. num_videos: Number of videos
11. average_token_length: Average length of the words in the content
12. num_keywords: Number of keywords in the metadata
13. data_channel_is_lifestyle: Is data channel ‘Lifestyle’?
14. data_channel_is_entertainment: Is data channel ‘Entertainment’?
15. data_channel_is_bus: Is data channel ‘Business’?
16. data_channel_is_socmed: Is data channel ‘Social Media’?
17. data_channel_is_tech: Is data channel ‘Tech’?
18. data_channel_is_world: Is data channel ‘World’?
19. kw_min_min: Worst keyword (min. shares)
20. kw_max_min: Worst keyword (max. shares)
21. kw_avg_min: Worst keyword (avg. shares)
22. kw_min_max: Best keyword (min. shares)
23. kw_max_max: Best keyword (max. shares)
24. kw_avg_max: Best keyword (avg. shares)
25. kw_min_avg: Avg. keyword (min. shares)
26. kw_max_avg: Avg. keyword (max. shares)
27. kw_avg_avg: Avg. keyword (avg. shares)
28. self_reference_min_shares: Min. shares of referenced articles in Mashable
29. self_reference_max_shares: Max. shares of referenced articles in Mashable
30. self_reference_avg_sharess: Avg. shares of referenced articles in Mashable
31. weekday_is_monday: Was the article published on a Monday?
32. weekday_is_tuesday: Was the article published on a Tuesday?
33. weekday_is_wednesday: Was the article published on a Wednesday?
34. weekday_is_thursday: Was the article published on a Thursday?
35. weekday_is_friday: Was the article published on a Friday?
36. weekday_is_saturday: Was the article published on a Saturday?
37. weekday_is_sunday: Was the article published on a Sunday?
38. is_weekend: Was the article published on the weekend?
39. LDA_00: Closeness to LDA topic 0
40. LDA_01: Closeness to LDA topic 1
41. LDA_02: Closeness to LDA topic 2
42. LDA_03: Closeness to LDA topic 3
43. LDA_04: Closeness to LDA topic 4
44. global_subjectivity: Text subjectivity
45. global_sentiment_polarity: Text sentiment polarity
46. global_rate_positive_words: Rate of positive words in the content
47. global_rate_negative_words: Rate of negative words in the content
48. rate_positive_words: Rate of positive words among non-neutral tokens
49. rate_negative_words: Rate of negative words among non-neutral tokens
50. avg_positive_polarity: Avg. polarity of positive words
51. min_positive_polarity: Min. polarity of positive words
52. max_positive_polarity: Max. polarity of positive words
53. avg_negative_polarity: Avg. polarity of negative words
54. min_negative_polarity: Min. polarity of negative words
55. max_negative_polarity: Max. polarity of negative words
56. title_subjectivity: Title subjectivity
57. title_sentiment_polarity: Title polarity
58. abs_title_subjectivity: Absolute subjectivity level
59. abs_title_sentiment_polarity: Absolute polarity level
60. shares: Number of shares (target)

4. 加载库

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import OneHotEncoder
from sklearn.pipeline import make_pipeline
from sklearn.ensemble import RandomForestRegressor
from sklearn.impute import SimpleImputer
from sklearn.pipeline import Pipeline
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import StandardScaler
from sklearn.preprocessing import MinMaxScaler
from sklearn.preprocessing import KBinsDiscretizer
from sklearn.inspection import permutation_importance
from sklearn.metrics import mean_squared_error
from sklearn.model_selection import GridSearchCV
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.base import BaseEstimator, TransformerMixin
from matplotlib import pyplot as plt

5. import data

df = pd.read_csv('data/OnlineNewsPopularity.csv')
df
urltimedeltan_tokens_titlen_tokens_contentn_unique_tokensn_non_stop_wordsn_non_stop_unique_tokensnum_hrefsnum_self_hrefsnum_imgs...min_positive_polaritymax_positive_polarityavg_negative_polaritymin_negative_polaritymax_negative_polaritytitle_subjectivitytitle_sentiment_polarityabs_title_subjectivityabs_title_sentiment_polarityshares
0http://mashable.com/2013/01/07/amazon-instant-...731.012.0219.00.6635941.00.8153854.02.01.0...0.1000000.70-0.350000-0.600-0.2000000.500000-0.1875000.0000000.187500593
1http://mashable.com/2013/01/07/ap-samsung-spon...731.09.0255.00.6047431.00.7919463.01.01.0...0.0333330.70-0.118750-0.125-0.1000000.0000000.0000000.5000000.000000711
2http://mashable.com/2013/01/07/apple-40-billio...731.09.0211.00.5751301.00.6638663.01.01.0...0.1000001.00-0.466667-0.800-0.1333330.0000000.0000000.5000000.0000001500
3http://mashable.com/2013/01/07/astronaut-notre...731.09.0531.00.5037881.00.6656359.00.01.0...0.1363640.80-0.369697-0.600-0.1666670.0000000.0000000.5000000.0000001200
4http://mashable.com/2013/01/07/att-u-verse-apps/731.013.01072.00.4156461.00.54089019.019.020.0...0.0333331.00-0.220192-0.500-0.0500000.4545450.1363640.0454550.136364505
..................................................................
39639http://mashable.com/2014/12/27/samsung-app-aut...8.011.0346.00.5290521.00.6847839.07.01.0...0.1000000.75-0.260000-0.500-0.1250000.1000000.0000000.4000000.0000001800
39640http://mashable.com/2014/12/27/seth-rogen-jame...8.012.0328.00.6962961.00.8850579.07.03.0...0.1363640.70-0.211111-0.400-0.1000000.3000001.0000000.2000001.0000001900
39641http://mashable.com/2014/12/27/son-pays-off-mo...8.010.0442.00.5163551.00.64412824.01.012.0...0.1363640.50-0.356439-0.800-0.1666670.4545450.1363640.0454550.1363641900
39642http://mashable.com/2014/12/27/ukraine-blasts/8.06.0682.00.5394931.00.69266110.01.01.0...0.0625000.50-0.205246-0.500-0.0125000.0000000.0000000.5000000.0000001100
39643http://mashable.com/2014/12/27/youtube-channel...8.010.0157.00.7019871.00.8461541.01.00.0...0.1000000.50-0.200000-0.200-0.2000000.3333330.2500000.1666670.2500001300

39644 rows × 61 columns

6. 特征和目标变量定义

# be careful the features has a prefix of white space
numeric_features = [' n_tokens_title', ' n_tokens_content', ' n_unique_tokens', ' n_non_stop_words', ' n_non_stop_unique_tokens', ' num_hrefs', ' num_self_hrefs', ' num_imgs', ' num_videos', ' average_token_length', ' num_keywords', ' data_channel_is_lifestyle', ' data_channel_is_entertainment', ' data_channel_is_bus', ' data_channel_is_socmed', ' data_channel_is_tech', ' data_channel_is_world', ' kw_min_min', ' kw_max_min', ' kw_avg_min', ' kw_min_max', ' kw_max_max', ' kw_avg_max', ' kw_min_avg', ' kw_max_avg', ' kw_avg_avg', ' self_reference_min_shares', ' self_reference_max_shares', ' self_reference_avg_sharess', ' weekday_is_monday', ' weekday_is_tuesday', ' weekday_is_wednesday', ' weekday_is_thursday', ' weekday_is_friday', ' weekday_is_saturday', ' weekday_is_sunday', ' is_weekend', ' LDA_00', ' LDA_01', ' LDA_02', ' LDA_03', ' LDA_04', ' global_subjectivity', ' global_sentiment_polarity', ' global_rate_positive_words', ' global_rate_negative_words', ' rate_positive_words', ' rate_negative_words', ' avg_positive_polarity', ' min_positive_polarity', ' max_positive_polarity', ' avg_negative_polarity', ' min_negative_polarity', ' max_negative_polarity', ' title_subjectivity', ' title_sentiment_polarity', ' abs_title_subjectivity', ' abs_title_sentiment_polarity']
categorical_features =[]


target = ' shares'

X = df.drop(target,axis=1)
y = df[target]

7. 训练和测试数据分割

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

8. 定义转换器

# steps to handle numeric features
numeric_transformer = Pipeline(steps=[
        ('num_imputer', SimpleImputer(strategy='mean')),
        ('scaler', StandardScaler())
    ])

# steps to handel categorical features
categorical_transformer = Pipeline(steps = [        
      ("cat_imputer", SimpleImputer(strategy='constant', fill_value = "missing")),
      ("encoder", OneHotEncoder(handle_unknown='ignore'))
    ])

# TFIDF vectorizer to handel the url only
tfidfvectorizer = TfidfVectorizer(max_features = 100, stop_words='english')

# a customize transformer to be used in the  ColumnTransformer
# which takes a list of one or string features, and return the word counts for the list of features

class Counter(BaseEstimator, TransformerMixin):
   
    def fit(self, x, y=None):
        return self
    def transform(self, _X):
        X = pd.DataFrame(_X)
        for col in X.columns:
            X[col]= X[col].apply(lambda x: len(x.split('-')))
        return X
    
counter = Counter()


# integrate a preprocessor to handel different types of features
# notice in the transformer list of the ColumnTransformer,the parameter is 'url', a string type
# while parameters for other transformers are list type
preprocessor = ColumnTransformer(
    transformers=[
        ('url', tfidfvectorizer, 'url'),
        ('num', numeric_transformer, numeric_features),
        ('count', counter, ['url']),
        #('cat', categorical_transformer, categorical_features)
    ])

# check the format of the training data after preprocessing steps
# preprocessor.fit_transform(X_train)

9. 定义包括模型的整个pipeline

pipeline = Pipeline(
    steps =[
        ('preprocessor', preprocessor),                            
        ('model',RandomForestRegressor(verbose=0, n_jobs=-1))
    ])

pipeline.fit(X_train,y_train)

Pipeline(steps=[('preprocessor',
                 ColumnTransformer(transformers=[('url',
                                                  TfidfVectorizer(max_features=100,
                                                                  stop_words='english'),
                                                  'url'),
                                                 ('num',
                                                  Pipeline(steps=[('num_imputer',
                                                                   SimpleImputer()),
                                                                  ('scaler',
                                                                   StandardScaler())]),
                                                  [' n_tokens_title',
                                                   ' n_tokens_content',
                                                   ' n_unique_tokens',
                                                   ' n_non_stop_words',
                                                   ' n_non_stop_unique_tokens',
                                                   ' num_hrefs',
                                                   ' num_self_hrefs',
                                                   ' n...
                                                   ' data_channel_is_tech',
                                                   ' data_channel_is_world',
                                                   ' kw_min_min', ' kw_max_min',
                                                   ' kw_avg_min', ' kw_min_max',
                                                   ' kw_max_max', ' kw_avg_max',
                                                   ' kw_min_avg', ' kw_max_avg',
                                                   ' kw_avg_avg',
                                                   ' self_reference_min_shares',
                                                   ' self_reference_max_shares',
                                                   ' '
                                                   'self_reference_avg_sharess',
                                                   ' weekday_is_monday', ...]),
                                                 ('count', Counter(),
                                                  ['url'])])),
                ('model', RandomForestRegressor(n_jobs=-1))])

10. 回归模型lift plot可视化

def plot_predicted_vs_actuals(y_true, y_predicted, title = "Pred Vs Actual"):
    
    rmse= mean_squared_error(y_true= y_true, y_pred=y_predicted,squared=False)
    print("RMSE:", rmse)
   
    predVsActual = pd.DataFrame( {'y_true': y_true,'y_pred': y_predicted})
    predVsActual["pred_deciles"] = pd.qcut(predVsActual["y_pred"],q=10 ,labels=False, duplicates = 'drop')
   
    aggregations = {
        'y_true':'mean',
        'y_pred': 'mean'
    }
    counts = predVsActual.groupby("pred_deciles").count()["y_pred"]
 
    predVsActual= predVsActual.groupby("pred_deciles").agg(aggregations)
    predVsActual["counts"] = counts
    predVsActual[["y_true","y_pred"]].plot(title=title)
    plt.show()
    print(predVsActual)
    
    
test_preds = pipeline.predict(X_test)
plot_predicted_vs_actuals(y_test, test_preds)


RMSE: 11240.043547942365

在这里插入图片描述

                   y_true        y_pred  counts
pred_deciles                                   
0             1410.976040   1226.474250     793
1             2334.482976   1623.177175     793
2             2066.532156   1958.356570     793
3             2311.552333   2279.694124     793
4             2859.727617   2645.796381     793
5             2926.430556   3046.564318     792
6             3554.585120   3543.738184     793
7             4165.051702   4249.105233     793
8             4935.030265   5450.838789     793
9             6709.374527  11123.519130     793

11. 全部代码和数据下载

参考下面英文版末尾有github 链接：
datasciencebyexample

12. 相关数据推荐

北大出版社，人工智能原理与实践 人工智能和数据科学从入门到精通 详解机器学习深度学习算法原理

人工智能原理与实践 全面涵盖人工智能和数据科学各个重要体系经典

机器翻译中的语言学基础详解（包括包括语法、句法和语义学等）
数据知道的博客
08-09 5463
摘要：机器翻译（MT）依托语法、句法、语义学等语言学理论实现跨语言自动转换。语法层面涉及词性标注、形态分析和生成/依存语法，支撑源语言解析；句法通过成分/依存分析处理跨语言结构差异（如词序调整）；语义学则解决一词多义、逻辑表达及跨语言对齐问题。此外，语用学（指代消解、言语行为）影响翻译的语境适应性。当前MT系统（规则型、统计型、神经型及混合系统）均依赖语言学知识优化模型设计，未来通过理论与技术的深度融合将进一步提升翻译质量。
特征重要性、特征集成+FeatureUnion、特征选择变换器+ColumnTransformer、标签特征变换+TransformedTargetRegressor、特征质量、自动学习数据中的特征
data+scenario+science+insight
06-04 788
特征重要性、特征集成+FeatureUnion、特征选择变换器+ColumnTransformer、标签特征变换+TransformedTargetRegressor、特征质量、自动学习数据中的特征 目录 特征重要性、特征集成+FeatureUnion、特征选择变换器+ColumnTransformer、标签特征变换+TransformedTargetRegressor、特征质量、自动学习数据中的特征 特征重要性 特征集成+FeatureUnion 特征选择变换器+ColumnTransforme
ColumnTransformer：处理异质数据的利器
2401_88870554的博客
11-15 1421
ColumnTransformer 是提供的一种用于对不同类型数据进行处理的工具，它允许对数据集中的不同列（或特征）应用不同的预处理步骤。例如，可以对数值型特征使用标准化，对类别型特征使用独热编码，对文本特征使用TF-IDF等。简单来说，ColumnTransformer 就是一个“列级别的转换器”，它可以对每一列应用特定的转换步骤，并且将这些转换后的列合并成一个新的特征矩阵。
ColumnTransformer()函数
热门推荐
qq_43201403的博客
11-07 1万+
工作中常使用的数据转换有很多，比如SimpleImputer类可用于替换缺少的值，MinMaxScaler类可用于缩放数值，而OneHotEncoder可用于编码分类变量。 ColumnTransformer()在Python的机器学习库scikit-learn中，可以选择地进行数据转换。例如，它允许将特定的转换或转换序列仅应用于数字列，而将单独的转换序列仅应用于类别列。 要使用ColumnTransformer，必须指定一个转换器列表。每个转换器是一个三元素元组，用于定义转换器的名称，要应用的转换以及要应
Spring-data-jpa中用@ColumnTransformer注解加密，中文乱码问题（数据库正常，在java代码和页面中乱码）
weixin_39506322的博客
08-12 2291
jpa中用@ColumnTransformer注解将name字段加密，可是在数据库中解密返回的是正常值，而经过java解析后，在前端页面中还是出现了字符乱码的情况 @Column(name = "password") @NotBlank(message = "名字不能为空!") @Length(min = 2, max = 6) @ColumnTransformer( write = "HEX(AES_ENCRYPT(?, 'helloworld'))", read =.
AI一点通：使用 ColumnTransformer 转换 Pandas DataFrame 的一个或多个列
《人工智能原理与实践》作者
02-15 1700
在处理表格数据时，常常需要对一个或多个列进行转换以使它们更适合于分析或建模。在许多情况下，可以使用 Pandas 库轻松完成这些转换。然而，在处理大型数据集或构建机器学习管道时，使用 scikit-learn 的 ColumnTransformer 类来将转换应用于数据的特定列可能更有效。
Hibernate 列映射 --转换值
千里之行始于足下
06-20 755
– Start 如果数据库的值和 Java 中的值不一样，我们还可以通过 @ColumnTransformer 定义转换规则。 package shangbo.hibernate.demo014; import javax.persistence.Entity; import javax.persistence.GeneratedValue; import javax.persistence.G...
【深度学习】图形模型基础(7)：机器学习优化中的方差减少方法(2)
MUKAMO的博客
07-11 1342
随机优化中，方差降低技术（VR方法）自近八年崛起，显著提升了随机梯度下降算法（SGD）的收敛速度。VR方法允许多次迭代训练数据，理论与实践均优于传统SGD。本文概述VR方法在有限数据集优化中的关键原则与进展，针对非专家，聚焦凸优化环境，并引导读者探索非凸函数最小化的扩展领域。VR方法的快速发展展现了其在机器学习中的巨大潜力与前景。
Pssp-mvirt: 基于多视图深度学习架构的肽二级结构预测
qq_52914392的博客
04-05 3575
摘要 肽二级结构的预测对揭示肽的作用机制具有重要意义，具有潜在的应用前景。本文提出了一种基于多视点信息、限制和迁移学习的多视点深度学习方法——肽二级结构预测法。为了充分利用鉴别信息，提出了一种多视点融合策略，分别从序列信息、进化信息和隐藏状态信息等多个视点整合不同的信息，生成统一的特征空间。此外，我们构建了一个混合网络结构的卷积神经网络和双向门控循环单元提取全局和局部特征的多肽。此外，我们利用迁移学习有效地缓解了训练样本(具有实验验证结构的多肽)的缺乏。独立测试的比较结果表明，我们提出的方法明显优于最先进
15、蛋白质结构预测方法全解析
dream的博客
07-09 111
本文详细解析了蛋白质结构预测的主要方法，包括蛋白质二级结构预测和跨膜螺旋蛋白鉴别及膜跨段预测。文中介绍了序列比对法、疏水性分析方法、神经网络和支持向量机等技术的原理、操作步骤及其优缺点，并提供了不同方法的对比分析和综合应用建议。通过这些方法，可以有效预测蛋白质的结构特征，为生物学研究提供重要支持。
机器翻译中的语言学洞察：WMT14数据集的语言特征分析
![机器翻译中的语言学洞察：WMT14数据集的...文章进一步展望了机器翻译领域的未来研究方向，着重介绍了新兴语言学理论、技术趋势以及对WMT14数据集未来发展的展望，旨在提升机器翻译的精确度和自然性，增强机器翻译系
spring 中的@column注解讲解及使用
weixin_45528849的博客
09-27 1万+
就像@Table注解用来标识实体类与数据表的对应关系类似，@Column注解来标识实体类中属性与数据表中字段的对应关系。 该注解的定义如下： @Target({METHOD, FIELD}) @Retention(RUNTIME)  public @interface Column {  String name() default "";  boolean unique() default false;  boolean ...
简单数字的奇特技巧
ZDA_fight的博客
06-25 867
转载：github 二、简单数字的奇特技巧 译者：@coboe 校对者：@ZiseonJiao 在深入研究诸如文本和图像这样的复杂数据类型之前，让我们先从最简单的数字数据开始。它们可能来自各种来源：地理位置或人、购买的价格、传感器的测量、交通计数等。数字数据已经是数学模型容易消化的格式。这并不意味着不再需要特征工程。好的特征不仅代表数据的显著方面，而且符合模型的假设。因此，转换常常是必要的。数字特征工程技术是基础。当原始数据被转换为数字特征时，它们可以被应用。 数值数据的第一个健全检查是大小是否重要。我
hibernate 列数据转换
weixin_43632687的博客
11-04 585
在需要转换的model字段上添加注释 @ColumnTransformer(read="kg*1000",write="?/1000") 表结构： model： @Entity @Table(name = "testguid") public class GUID implements Serializable { @Id @Column(name = "guid") @Generat...
编程修炼之hibernate2 领域建模
u013257767的博客
11-17 346
文章目录映射类型值类型实体类型命名策略ImplicitNamingStrategyPhysicalNamingStrategy@Basic@ColumnBasicTypeRegistry映射枚举值映射LOBS时间类型AttributeConvertersSQL限定符类转换（加密解密） @ColumnTransformer@Where 过滤 @Filter 映射类型 hibernate中的type与JDBC和SQL的数据类型均不相同。Hibernate的类型分为2种：值类型，实体类型。 值类型由实体负责其
训练集预处理之处理分类数据
Marvin_Huoshan的博客
04-15 1787
名词特征和序数特征 在分类数据时，需要区分名词特征和序数特征。序数特征可以理解为可排序的分类值。例如T恤的尺寸就是一个序数特征，因为其可以定义顺序XL>L>M。相反，名词特征不代表任何顺序，比如T恤的颜色就是一个名词特征，因为说一种颜色大与另外一种颜色是不正确的。 首先创建一个DataFrame，我们使用不同的技术来处理这些分类数据 df = pd.DataFrame([['g...
Spring Data JPA 和Mybattis 的实现敏感信息mysql数据加密存储解密查询
u014615041的博客
03-20 2021
mysql 提供直接的加解密函数 aes_encrypt() 和 aes_decrypt() ，我们就是直接使用这两个函数。方法比较简单，在需要加解密的字段上，使用 @ColumnTransformer 注解，来调用aes_encrypt() 和 aes_decrypt() 函数。但需要注意的是，aes_encrypt() 加密之后是二进制数据，因此数据库字段类型需要使用 blob，如果你的应用是...
我对世界最聪明的AI写作家GPT3提问：AI写作的大规模使用会有什么风险？
《人工智能原理与实践》作者
08-12 844
GPT3 可以说是目前用于文本生成的最佳 AI 工具，这是一种使用深度学习生成类人文本的机器学习模型。
Twitter情绪分析全面教程指导--基于实际数据集和代码实战
wustjk124的博客
07-31 1万+
目录 Introduction 1. Understand the Problem Statement 2. Tweets Preprocessing and Cleaning 3. Story Generation and Visualization from Tweets 4. Extracting Features from Cleaned Tweets 5. Model Bui...
架构来预测蛋白质序列中的内在无序区域的数据集在哪能找到
最新发布
07-13
<think>我们正在寻找用于预测蛋白质序列中内在无序区域（IDRs）的模型架构和公开数据集。根据引用资料，特别是引用[4]提到，IDRs的预测是当前生物信息学研究的重要方向，而本次赛题的核心就是IDRs预测问题。此外，引用[1]和[3]提到了AlphaFold在蛋白质结构预测方面的进展，但传统方法对于无序区域的预测仍然具有挑战性。 ### 模型架构 根据引用[5]中提到的深度学习方法，以及引用[2]中提到的基于Transformer的蛋白质语言模型，我们可以总结以下常用于IDRs预测的模型架构： 1. **卷积神经网络（CNN）**： - 在引用[5]中，CNN被用于多标签图像分类，类似地，在蛋白质序列分析中，CNN可以捕捉局部序列模式（如氨基酸片段）与无序区域的关系。例如，使用一维卷积层处理氨基酸序列。 - 改进方法：假设池化（HCP）[^5]可以用于整合多个假设（如序列窗口）的预测结果。 2. **基于Transformer的模型**： - 引用[2]提到ProtGPS使用ESM2架构（Transformer模型）来预测亚细胞定位。类似地，Transformer模型可以用于IDRs预测，因为它们能够捕捉长距离依赖关系，这对于无序区域（通常涉及远程相互作用）很重要。 - 预训练模型：如ESM-2（Evolutionary Scale Modeling）[^2]、ProtTrans等，通过在大规模蛋白质序列数据库上预训练，然后微调用于IDRs预测。 3. **循环神经网络（RNN）**： - 虽然引用中没有直接提到，但RNN（如LSTM、GRU）常用于序列标注任务，可以用于预测每个氨基酸位置是否属于无序区域。 4. **混合模型**： - 结合CNN和RNN：使用CNN提取局部特征，RNN捕捉长距离依赖。 - 结合Transformer和CNN：用Transformer编码整个序列的上下文信息，再用CNN提取局部特征。 5. **注意力机制**： - 引用[5]中提到的空间正则化网络（SRN）利用注意力图来捕捉不同标签之间的语义和空间联系。在IDRs预测中，可以引入注意力机制来关注与无序区域相关的关键氨基酸。 ### 公开数据集 以下是一些常用于训练和评估IDRs预测模型的公开数据集： 1. **DisProt**： - 最权威的内在无序蛋白质数据库，包含实验验证的IDRs信息[^4]。 - 链接：https://disprot.org 2. **MobiDB**： - 整合了多个来源的无序区域注释，包括实验和预测结果，提供高质量的数据集[^4]。 - 链接：https://mobidb.org 3. **IDEAL**： - 专门收集内在无序蛋白质及其区域的数据库，提供实验验证的注释[^4]。 - 链接：http://www.ideal.force.cs.is.nagoya-u.ac.jp/IDEAL/ 4. **Protein Data Bank (PDB)**： - 虽然主要存储蛋白质结构，但可以通过筛选具有无序区域的蛋白质结构来构建数据集（例如，使用X射线晶体学中缺失电子密度的区域作为IDRs标记）[^3][^4]。 5. **CAID（Critical Assessment of protein Intrinsic Disorder prediction）**： - 类似于CASP（蛋白质结构预测评估），CAID是一个评估IDRs预测方法的基准平台，提供标准数据集[^4]。 - 链接：https://caid.idpcentral.org ### 典型工作流程 1. **数据准备**： - 从上述数据库下载蛋白质序列及其IDRs注释（通常以二进制标签序列表示，如0表示有序，1表示无序）。 - 划分训练集、验证集和测试集。 2. **特征提取**： - 序列特征：氨基酸组成、物理化学属性（如疏水性、电荷）等。 - 进化特征：PSSM（位置特异性得分矩阵）、MSA（多序列比对）信息（但需要额外工具生成，如HHblits）。 - 预训练嵌入：使用ESM-2等模型生成每个氨基酸位置的嵌入向量。 3. **模型构建**（以Transformer+CNN为例）： - 输入：蛋白质序列（转换为整数索引或嵌入向量）。 - 编码层：使用预训练的Transformer（如ESM-2）获取上下文相关的嵌入。 - 特征提取层：一维卷积层捕捉局部模式。 - 输出层：全连接层+Softmax（或Sigmoid）进行二分类（每个位置是否无序）。 4. **训练与评估**： - 损失函数：二元交叉熵（每个位置独立计算）。 - 评估指标：准确率、召回率、F1值、AUC；特别要注意**残基水平**的评估（因为IDRs是序列上的连续区域）。 ### 示例代码框架 ```python import torch import torch.nn as nn from transformers import EsmModel, EsmTokenizer class IDRsPredictor(nn.Module): def __init__(self, pretrained_model="facebook/esm2_t12_35M_UR50D"): super().__init__() self.transformer = EsmModel.from_pretrained(pretrained_model) self.conv = nn.Conv1d(in_channels=self.transformer.config.hidden_size, out_channels=128, kernel_size=3, padding=1) self.classifier = nn.Linear(128, 1) def forward(self, input_ids): # Transformer编码 outputs = self.transformer(input_ids=input_ids) sequence_output = outputs.last_hidden_state # (batch, seq_len, hidden_size) # 调整维度以适应卷积层: (batch, hidden_size, seq_len) conv_input = sequence_output.permute(0, 2, 1) conv_output = self.conv(conv_input) # (batch, 128, seq_len) conv_output = conv_output.permute(0, 2, 1) # (batch, seq_len, 128) # 分类层 logits = self.classifier(conv_output) # (batch, seq_len, 1) return logits.squeeze(-1) # (batch, seq_len) # 使用示例 tokenizer = EsmTokenizer.from_pretrained("facebook/esm2_t6_8M_UR50D") model = IDRsPredictor(pretrained_model="facebook/esm2_t6_8M_UR50D") input_sequence = "MQVGGDVMVKLLRGDLKVVDDLVELTKKYIDD" inputs = tokenizer(input_sequence, return_tensors="pt", padding=True, truncation=True) logits = model(inputs["input_ids"]) # 形状: (1, seq_len) predictions = torch.sigmoid(logits) > 0.5 # 转换为二进制预测 ``` ### 总结 - **模型架构**：CNN、Transformer及其混合模型是当前主流，其中预训练Transformer（如ESM-2）表现最佳[^2][^5]。 - **数据集**：DisProt、MobiDB、IDEAL等提供实验验证的IDRs数据[^4]。 - **挑战**：IDRs的构象多样性使得预测比有序区域更困难，需要模型能够捕捉长距离相互作用和上下文信息。 §§相关问题§§ 1. 如何评估IDRs预测模型的性能？有哪些常用指标？ 2. 预训练蛋白质语言模型（如ESM-2）在IDRs预测中的具体优势是什么？ 3. 除了序列信息，还有哪些特征可以提升IDRs预测的准确性？ 4. 如何处理训练数据中IDRs标注不平衡的问题（有序残基远多于无序残基）？</think>### 用于预测蛋白质内在无序区域（IDRs）的模型架构与数据集 #### 一、核心模型架构 根据引用资料，当前主流的IDRs预测架构主要基于深度学习方法，结合了蛋白质序列特征提取和区域标注能力： 1. **Transformer-卷积混合架构** - 使用ESM-2等蛋白质语言模型作为嵌入层，将氨基酸序列转换为1280维特征向量（引用[2]） - 叠加1D卷积层捕捉局部模式（如$k$-mer特征），卷积核大小通常为$k=3$至$k=9$ - 通过双向LSTM或注意力机制建模长程依赖关系 - 输出层采用Sigmoid激活函数实现残基级二分类（0=有序区, 1=无序区） *典型架构示例：* $$ \text{Input} \rightarrow \underbrace{\text{ESM-2}}_{\text{嵌入层}} \rightarrow \underbrace{\text{Conv1D}}_{k=5} \rightarrow \underbrace{\text{BiLSTM}}_{\text{序列建模}} \rightarrow \underbrace{\text{Sigmoid}}_{\text{输出层}} $$ 2. **多尺度特征融合架构** - 并行使用不同尺度的卷积核（$k=3,5,7$）提取多粒度特征（引用[5]） - 引入假设池化（HCP）机制整合多尺度预测结果 - 添加残差连接避免梯度消失问题 - 通过空间正则化网络（SRN）增强标签相关性学习（引用[5]） 3. **端到端预测架构** ```python # 基于PyTorch的简化实现 import torch from transformers import EsmModel class IDRPredictor(torch.nn.Module): def __init__(self): super().__init__() self.embed = EsmModel.from_pretrained("facebook/esm2_t33_650M_UR50D") self.conv = torch.nn.Conv1d(1280, 256, kernel_size=7) self.lstm = torch.nn.LSTM(256, 128, bidirectional=True) self.classifier = torch.nn.Linear(256, 1) def forward(self, seq): embeddings = self.embed(seq).last_hidden_state conv_out = torch.relu(self.conv(embeddings.permute(0,2,1))) lstm_out, _ = self.lstm(conv_out.permute(2,0,1)) return torch.sigmoid(self.classifier(lstm_out)) ``` #### 二、关键公开数据集 根据引用[4]和行业标准，主要使用以下实验验证的数据集： | 数据集 | 规模 | 特点描述 | 来源链接 | |--------------|------------|--------------------------------------------------------------------------|------------------------------| | **DisProt** | 2,158蛋白质 | 黄金标准数据集，包含手动验证的IDRs区域标签 | [https://disprot.org](https://disprot.org) | | **MobiDB** | 500,000+序列 | 整合9种实验方法（NMR/CD等）的注释，含置信度评分 | [https://mobidb.org](https://mobidb.org) | | **IDEAL** | 1,500蛋白质 | 专注长无序区域（>30残基），提供二级结构倾向性数据 | [http://ideal.force.cs.is.nagoya-u.ac.jp](http://ideal.force.cs.is.nagoya-u.ac.jp) | | **CAID** | 646蛋白质 | 基准测试集，用于国际IDRs预测竞赛（Critical Assessment of Intrinsic Disorder） | [https://caid.idpcentral.org](https://caid.idpcentral.org) | #### 三、数据预处理流程 1. **序列编码** - 使用位置特异性得分矩阵（PSSM）或预训练嵌入（如ESM-2） - 物理化学属性编码：疏水性$(\Delta G)$、电荷量$(q)$、范德华半径$(r)$ $$ \text{特征向量} = [\text{ESM嵌入}, \Delta G, q, r] $$ 2. **标签处理** - 将二进制标签序列转换为残基级one-hot编码 - 通过滑动窗口生成局部序列片段（窗口大小$w=15$） 3. **数据增强** - 同源序列扩充（使用JackHMMER搜索UniRef90） - 随机截断与平移增强泛化能力 #### 四、性能评估指标 1. **残基级指标** - 精确率：$P = \frac{TP}{TP+FP}$ - 召回率：$R = \frac{TP}{TP+FN}$ - F1分数：$F1 = 2 \times \frac{P \times R}{P+R}$ 2. **区域级指标** - 无序区域重叠度（SOV） - 加权一致性得分（WCC） 当前SOTA模型在DisProt测试集上可达$F1 > 0.78$（引用[1][4]） ### 总结 内在无序区域预测主要采用**基于Transformer的蛋白质语言模型+卷积神经网络**的混合架构，核心数据集为**DisProt**和**MobiDB**。AlphaFold等结构预测方法的突破为IDRs预测提供了新思路（引用[1][3]），但无序区域的动态特性仍需专门化建模（引用[4]）。最新进展包括结合分子动力学模拟生成构象集合（引用[1]）[^1]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值