Java实例11 - 归一化/标准化 Normalization

/**
 * 归一化,标准化可以 把数变为(0,1)之间的小数
 * 主要是为了数据处理方便提出来的,把数据映射到0~1范围之内处理
 */
package re;
public class Normalization {
	public static void main(String[] args) {
		double[] p1 = {0, 0};
		double[] p2 = {3, 4};
		Normalization n = new Normalization();
		double result = n.getNormalizeDistance(p1, p2);
		System.out.println("Normalization result is " + result);
	}
	
	/**
	 * @param point1 first point
	 * @param point2 second point
	 * @return the  normalization distance of two points
	 */
	public double getNormalizeDistance(double[] point1, double[] point2) {
	    return 1 / (getDistance(point1, point2) + 1);
	}
	
	public double getDistance (double[] point1, double[] point2) {
		double distance = 0;
		for(int i=0; i<point1.length; i++) {
			distance = distance + Math.pow(point1[i]-point2[i], 2);
		}		
		return Math.pow(distance, 0.5);
		
	}
}

 
### 不同神经元间数据归一化的实现方法及技巧 #### 方法概述 为了使神经网络能够更高效地训练并减少内部协变量偏移,通常会对输入数据以及隐藏层激活值进行归一化处理。常见的归一化技术包括实例归一化、批归一化(Batch Normalization)、层归一化(Layer Normalization)等。 通过这些方法,可以使不同神经元的数据分布趋于一致,从而加速模型收敛并提升性能[^1]。具体来说: - **批归一化**:通过对每一批次的小批量数据计算均值和标准差来进行标准化操作。这种方法不仅减少了内部协变量漂移,还允许使用更高的学习率,并降低了对正则化参数的选择敏感性[^2]。 - **实例归一化**:针对单一样本,在通道维度上独立地应用归一化操作。这种方式特别适用于图像风格迁移等领域,因为它能有效消除样本间的差异。 - **层归一化**:基于每个样本的所有特征计算统计量,而不是像BN那样依赖于mini-batch内的统计数据。LN更适合RNN结构或者当batch size较小时的情况[^3]。 #### 技巧说明 对于实际工程实践中的归一化实施细节如下所示: 1. 数据预处理阶段完初步归一化工作,比如利用线性变换将原始数据映射至特定区间如\[0, 1\] 或 \[-1, 1\]: ```python normalized_data = (data - data.min()) / (data.max() - data.min()) ``` 2. 如果希望进一步控制输出范围,则可采用自定义公式的非线性转换方式: ```python def normalize_to_range(x, min_val=0.1, max_val=0.9): return min_val + ((x - x.min())/(x.max()-x.min()))*(max_val-min_val) example_normalized = normalize_to_range(data) ``` 此处展示了如何把任意实数集合压缩到指定子集中去[^5]。 3. 利用框架内置功能简化开发流程;例如TensorFlow/Keras提供了`tf.keras.layers.BatchNormalization()`接口用于快速集上述提到的各种类型的规范化组件[^4]。 ```python from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense,BatchNormalization model = Sequential([ Dense(64, activation='relu', input_shape=(input_dim,)), BatchNormalization(), # Add BN layer here. Dense(output_dim,activation="softmax") ]) ``` 以上代码片段展示了一个简单的全连接前馈网络架构设计案例,其中加入了批次正规化步骤以改善整体表现效果。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值