sklearn.utils.shuffle解析

在进行机器学习时，经常需要打乱样本，这种时候Python中叒有第三方库提供了这个功能——sklearn.utils.shuffle。

Shuffle arrays or sparse matrices in a consistent way. This is a convenience alias to resample(*arrays, replace=False) to do random permutations of the collections.

函数参数

Parameters

参数	介绍
*array	带索引的序列，可以是arrays, lists, dataframes或scipy sparse matrices
random_state	int，随机量，就是一个random seed。如果是int，该参数作为random seed的值；如果是None，随机生成器就是一个np.random实例
n_sample	int，默认为None，输出的样本数目。如果是空，则样本数目会设置为array的第一维元素数

Returns

参数	介绍
shuffled_arrays	带索引的序列，是一个view（也就是说不会改变输入array）

Examples

解释：例程中建立了3个带索引的序列：array, array和sparse matrix。然后将它们作为一个元组进行shuffle，其中random_state=0表示它们的打乱方式是方式0。这个打乱方式不理解的可以看一下np.random.seed的介绍或者是看我接下来对源码的解析。

源码

shuffle

def shuffle(*arrays, **options):
    options['replace'] = False
    return resample(*arrays, **options)

Are you kidding? 这是个“空壳函数”。唯一的作用就是将一个参数replace置为了False，好让shuffle过程中不影响输入array（不过要记住这个replace，这是sklearn.utils.shuffle和sklearn.utils.resample唯一的区别）。

那么下面来看resample函数。

resample

def resample(*arrays, **options):
    '''先是类型检测部分，可以跳过'''
    random_state = check_random_state(options.pop('random_state', None))  # 此处注意：返回类型变了，变成：np.random.mtrand._rand或np.random.RandomState(seed)或seed
    replace = option.pop('replace', True)  # 如果没有‘replace’则返回True
    max_n_samples = options.pop('n_samples', None)
    if options:
        raise ValueError("Unexpected kw arguments: %r" % options.keys())

    if len(arrays) == 0:
    return None

    first = arrays[0]
    n_samples = first.shape[0] if hasattr(first, 'shape') else len(first)

    if max_n_samples is None:
        max_n_samples = n_samples
    elif (max_n_samples > n_samples) and (not replace):
        raise ValueError("Cannot sample %d out of arrays with dim %d when replace is False" % (max_n_samples, n_samples))
    check_consistent_length(*array)
    '''开始正文'''
    '''重排索引'''
    if replace:
        indices = random_state.randint(0, n_samples, size=(max_n_samples,))  # 创建新的随机序列索引indices
    else:
        indices = np.arange(n_samples)
        random_state.shuffle(indices)
        indices = indices[:max_n_samples]

    # convert sparse matrices to CSR for row-based indexing
    arrays = [a.tocsr() if issparse(a) else a for a in arrays]
    '''根据indices对arrays进行采样'''
    resampled_arrays = [safe_indexing(a, indices) for a in arrays]
    '''分两种情况，一种是输入的*arrays参数只有一个序列，另一种是输入的*arrays参数是一元组的序列'''
    if len(resampled_arrays) == 1:
        # syntactic sugar for the unit argument case
        return resampled_arrays[0]
    else:
        return resampled_arrays

解释：代码分为三部分:

1. 类型检测
2. 构建重排后的索引
3. 根据索引输出序列

random_state在函数中用于产生随机索引