DAY 12

超参数调整专题2

1. 三种启发式算法的示例代码：遗传算法、粒子群算法、退火算法
2. 学习优化算法的思路（避免浪费无效时间）

• 遗传算法

• import numpy as np
  
  # 目标函数
  def fitness_function(x):
      return np.sum(x ** 2)
  
  # 遗传算法
  def genetic_algorithm(population_size, chromosome_length, generations, mutation_rate):
      # 初始化种群
      population = np.random.randint(0, 2, (population_size, chromosome_length))
  
      for _ in range(generations):
          # 计算适应度
          fitness = np.array([fitness_function(ind) for ind in population])
  
          # 选择操作
          parents = population[np.argsort(fitness)[:2]]
  
          # 交叉操作
          crossover_point = np.random.randint(1, chromosome_length)
          child1 = np.concatenate((parents[0][:crossover_point], parents[1][crossover_point:]))
          child2 = np.concatenate((parents[1][:crossover_point], parents[0][crossover_point:]))
  
          # 变异操作
          for i in range(chromosome_length):
              if np.random.rand() < mutation_rate:
                  child1[i] = 1 - child1[i]
              if np.random.rand() < mutation_rate:
                  child2[i] = 1 - child2[i]
  
          # 替换操作
          population[np.argsort(fitness)[-2:]] = [child1, child2]
  
      best_individual = population[np.argmin([fitness_function(ind) for ind in population])]
      return best_individual, fitness_function(best_individual)
  
  # 示例参数
  population_size = 50
  chromosome_length = 20
  generations = 100
  mutation_rate = 0.01
  
  best_individual, best_fitness = genetic_algorithm(population_size, chromosome_length, generations, mutation_rate)
  print("遗传算法最优解:", best_individual)
  print("遗传算法最优适应度:", best_fitness)

  遗传算法通过模拟生物进化的过程，不断迭代优化种群，逐步找到问题的最优解或近似最优解。

• 优点

• 全局搜索能力强：从一组初始解开始搜索，能在搜索空间多区域探索，避免陷入局部最优。
• 鲁棒性好：不依赖问题具体领域及函数性质，适用于多种类型问题。

• 缺点

• 收敛速度较慢：基于种群搜索，计算量大，迭代过程耗时，大规模问题更明显。
• 参数选择困难：多个参数设置影响算法性能，无通用方法确定最优值，需大量实验调整。
• 易早熟收敛：运行中可能出现种群多样性过早丧失，陷入局部最优，影响全局搜索。
• 编码问题：复杂问题合理编码是挑战，不同编码方式影响算法性能和搜索效率。
• 并行性：基于种群操作，具有天然并行性，可在并行计算环境高效运行。
• 无需先验知识：只需定义适应度函数评价解的优劣，适合处理复杂、难建模问题。
• 可扩展性：基本框架易扩展改进，可根据问题特点引入不同策略和算子。