<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Accelerating的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Accelerating</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Accelerating]]></copyright><item><title><![CDATA[MS COCO数据集80个类别及其编号ID对应]]></title><link>https://blog.youkuaiyun.com/Accelerating/article/details/126855883</link><guid>https://blog.youkuaiyun.com/Accelerating/article/details/126855883</guid><author>Accelerating</author><pubDate>Wed, 14 Sep 2022 17:04:56 +0800</pubDate><description><![CDATA[None]]></description><category></category></item><item><title><![CDATA[cv2.dnn.NMSBoxes]]></title><link>https://blog.youkuaiyun.com/Accelerating/article/details/126744238</link><guid>https://blog.youkuaiyun.com/Accelerating/article/details/126744238</guid><author>Accelerating</author><pubDate>Wed, 07 Sep 2022 14:39:15 +0800</pubDate><description><![CDATA[NMSBoxes]]></description><category></category></item><item><title><![CDATA[三线性插值(Trilinear Interpolation)详解]]></title><link>https://blog.youkuaiyun.com/Accelerating/article/details/125949233</link><guid>https://blog.youkuaiyun.com/Accelerating/article/details/125949233</guid><author>Accelerating</author><pubDate>Sat, 23 Jul 2022 16:37:52 +0800</pubDate><description><![CDATA[三线性插值（trilinear interpolation）主要是用于在一个3D的立方体中，通过给定顶点的数值然后计算立方体中其他点的数值的线性插值方法。]]></description><category></category></item><item><title><![CDATA[Ablation study（消融研究、消融学习、消融实验)]]></title><link>https://blog.youkuaiyun.com/Accelerating/article/details/125928784</link><guid>https://blog.youkuaiyun.com/Accelerating/article/details/125928784</guid><author>Accelerating</author><pubDate>Fri, 22 Jul 2022 11:29:50 +0800</pubDate><description><![CDATA[消融实验主要就是为了控制变量。 比如说你为了提升baseline的性能，给它加了两个模块A,B，加完之后效果果然提高了很多。 于是你急急忙忙开始写论文，写到你的贡献，你给了两条：1.模块A，2.模块B。...............]]></description><category></category></item><item><title><![CDATA[RuntimeError: “nll_loss_forward_reduce_cuda_kernel_2d_index“ not implemented for ‘Int‘]]></title><link>https://blog.youkuaiyun.com/Accelerating/article/details/125829308</link><guid>https://blog.youkuaiyun.com/Accelerating/article/details/125829308</guid><author>Accelerating</author><pubDate>Sun, 17 Jul 2022 11:49:26 +0800</pubDate><description><![CDATA[pytorch
nll_loss_forward_reduce_cuda_kernel_2d_index" not implemented for 'Int')]]></description><category></category></item><item><title><![CDATA[Scrapy之Spider的用法]]></title><link>https://blog.youkuaiyun.com/Accelerating/article/details/125774993</link><guid>https://blog.youkuaiyun.com/Accelerating/article/details/125774993</guid><author>Accelerating</author><pubDate>Wed, 13 Jul 2022 23:57:39 +0800</pubDate><description><![CDATA[Spider（爬虫）负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)。具体一些就是Spider定义了一个特定站点（或一组站点）如何被抓取的类，包括如何执行抓取（即跟踪链接）以及如何从页面中提取结构化数据（即抓取项）。也就是说我们要抓取的网站的链接配置、抓取逻辑、解析逻辑等其实都是在 Spider 中定义的 。在实现 Scrapy 爬虫项目时，最核心的类便是 Spider 类了，它定义了如何爬取某个网站的流程和解]]></description><category></category></item><item><title><![CDATA[Redis 的缓存异常处理 —— 缓存雪崩、缓存击穿、缓存穿透]]></title><link>https://blog.youkuaiyun.com/Accelerating/article/details/122469900</link><guid>https://blog.youkuaiyun.com/Accelerating/article/details/122469900</guid><author>Accelerating</author><pubDate>Thu, 13 Jan 2022 11:26:47 +0800</pubDate><description><![CDATA[Redis 的缓存异常处理 —— 缓存雪崩、缓存击穿、缓存穿透1.缓存雪崩2.缓存击穿3.缓存穿透4.数据不一致性
在实际应用 Redis 过程中，如果将 Redis 作为数据库的缓存，经常会遇到这几个问题：缓存雪崩、缓存击穿、缓存穿透等。
1.缓存雪崩
缓存雪崩指的是大量的应用无法在 Redis 缓存中处理，然后大量请求发送到了数据库，导致数据库的压力激增，甚至可能导致数据库崩溃，从而导致整个系统崩溃，引发雪崩一样的连锁效应。
而引起缓存雪崩的原因，一般如下：
1、缓存中大量 key 同时过期
2、Red]]></description><category></category></item><item><title><![CDATA[Broyden-Fletcher-Goldfarb-Shanno algorithm]]></title><link>https://blog.youkuaiyun.com/Accelerating/article/details/121515330</link><guid>https://blog.youkuaiyun.com/Accelerating/article/details/121515330</guid><author>Accelerating</author><pubDate>Wed, 24 Nov 2021 17:35:15 +0800</pubDate><description><![CDATA[Broyden-Fletcher-Goldfarb-Shanno algorithm2-牛顿法求根问题3-牛顿法求函数的驻点4-牛顿法求驻点的本质BFGS算法L-BFGS算法参考
Broyden-Fletcher-Goldfarb-Shanno（BFGS）法(BFGS method)是一种拟牛顿法，指用BFGS矩阵作为拟牛顿法中的对称正定迭代矩阵的方法，此法是1970年前后由柏萝登(C.G.Broyden)、弗莱彻(R.Fletcher)、戈德福布(D.Goldfarb)，以及生纳(D.F.Shanno)所]]></description><category></category></item><item><title><![CDATA[Nelder Mead SIMPLEX Algorithm]]></title><link>https://blog.youkuaiyun.com/Accelerating/article/details/121508984</link><guid>https://blog.youkuaiyun.com/Accelerating/article/details/121508984</guid><author>Accelerating</author><pubDate>Wed, 24 Nov 2021 11:29:48 +0800</pubDate><description><![CDATA[Nelder Mead SIMPLEX Algorithm单纯形算法Nelder-Mead 算法的简单实现最后参考 &amp; 扩展阅读
Nelder-Mead (Downhill Simplex Method) 算法最早由 Jone Nelder 和 Roger Mead 于 1965 年提出，是一种基于启发式规则的优化算法，类似常见的遗传算法（Generic Algorithm，GA）和粒子群算法（Particle Swarm Optimization，PSO），通过人为设计的一系列规则，从初始值出发，]]></description><category></category></item><item><title><![CDATA[Delta Lake]]></title><link>https://blog.youkuaiyun.com/Accelerating/article/details/121032956</link><guid>https://blog.youkuaiyun.com/Accelerating/article/details/121032956</guid><author>Accelerating</author><pubDate>Fri, 29 Oct 2021 14:25:04 +0800</pubDate><description><![CDATA[Delta Lake1 重点问题2 什么是Delta Lake3 Delta Lake基本功能4 使用Delta Lake 构建分析管道5 Delta Lake 高级功能QA
1 重点问题
Delta Lake API 支持哪种类型的写操作？
Delta Lake 可以解决哪些需求？
快点清理掉被合并掉的小文件，如何设置安全期参数
2 什么是Delta Lake
整体来看的话，其实就是在数据入hdfs之前多了delta lake这层组件，能够对小文件合并，脏数据处理，api操作上仍旧是sql.
存储之大、A]]></description><category></category></item><item><title><![CDATA[Spark性能优化——数据倾斜-groupByKey导致内存溢出]]></title><link>https://blog.youkuaiyun.com/Accelerating/article/details/120527635</link><guid>https://blog.youkuaiyun.com/Accelerating/article/details/120527635</guid><author>Accelerating</author><pubDate>Tue, 28 Sep 2021 13:52:30 +0800</pubDate><description><![CDATA[数据倾斜：shuffle操作时,由于相同key会被分配到同一个reduce端执行,而大部分数据的key值相同,导致部分task处理的数据量过大,分配不均。
触发shuffle的常见算子：distinct、groupByKey、reduceByKey、aggregateByKey、join、cogroup、repartition等。
查看导致数据倾斜的key的数据分布情况
根据执行操作的不同，可以有很多种查看key分布的方式：


1、如果是Spark SQL中的group by、join语句导致的数据倾斜，]]></description><category></category></item><item><title><![CDATA[Spark代码可读性与性能优化——示例六（groupBy、reduceByKey、aggregateByKey）]]></title><link>https://blog.youkuaiyun.com/Accelerating/article/details/120523893</link><guid>https://blog.youkuaiyun.com/Accelerating/article/details/120523893</guid><author>Accelerating</author><pubDate>Tue, 28 Sep 2021 10:37:31 +0800</pubDate><description><![CDATA[Spark代码可读性与性能优化——示例六（GroupBy、ReduceByKey）
1. 普通常见优化示例
1.1 错误示例 groupByKey
import org.apache.spark.{SparkConf, SparkContext}

object GroupNormal {

  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("GroupNormal")
    val sc]]></description><category></category></item><item><title><![CDATA[【TensorFlow2.0】以后我们再也离不开Keras了？]]></title><link>https://blog.youkuaiyun.com/Accelerating/article/details/120464773</link><guid>https://blog.youkuaiyun.com/Accelerating/article/details/120464773</guid><author>Accelerating</author><pubDate>Fri, 24 Sep 2021 23:15:18 +0800</pubDate><description><![CDATA[1 Keras概述
在TensorFlow2.0中，Keras是一个用于构建和训练深度学习模型的高阶 API。因此如果你正在使用TensorFow2.0，那么使用Keras构建深度学习模型是您的不二选择。在Keras API中总共有如下三大块：

在Modules中有构建训练模型各种必备的组件，如激活函数activations、损失函数losses、优化器optimizers等；在Class中有Sequential和Model两个类，它们用来堆叠模型；在Functions中有Input()函数，它用来实例化]]></description><category></category></item><item><title><![CDATA[【TensorFlow2.0】tf.keras.preprocessing.image.ImageDataGenerator#flow_from_diectory]]></title><link>https://blog.youkuaiyun.com/Accelerating/article/details/120459652</link><guid>https://blog.youkuaiyun.com/Accelerating/article/details/120459652</guid><author>Accelerating</author><pubDate>Fri, 24 Sep 2021 17:36:05 +0800</pubDate><description><![CDATA[flow_from_diectory是ImageGenerator类下的函数，从函数名，就可以明白其就是从文件夹中读取图像。
定义
  def flow_from_directory(self,
                          directory,
                          target_size=(256, 256),
                          color_mode='rgb',
                          c]]></description><category></category></item><item><title><![CDATA[【TensorFlow2.0】tf.keras.preprocessing.image.ImageDataGenerator]]></title><link>https://blog.youkuaiyun.com/Accelerating/article/details/120459468</link><guid>https://blog.youkuaiyun.com/Accelerating/article/details/120459468</guid><author>Accelerating</author><pubDate>Fri, 24 Sep 2021 17:23:11 +0800</pubDate><description><![CDATA[@keras_export('keras.preprocessing.image.ImageDataGenerator')
class ImageDataGenerator(image.ImageDataGenerator):
  """Generate batches of tensor image data with real-time data augmentation.

   The data will be looped over (in batches).

  Args:
      fea]]></description><category></category></item><item><title><![CDATA[Spark性能优化指南——高级篇]]></title><link>https://blog.youkuaiyun.com/Accelerating/article/details/120161446</link><guid>https://blog.youkuaiyun.com/Accelerating/article/details/120161446</guid><author>Accelerating</author><pubDate>Tue, 07 Sep 2021 17:17:02 +0800</pubDate><description><![CDATA[Spark性能优化指南——高级篇调优概述数据倾斜发生时的现象数据倾斜发生的原理如何定位导致数据倾斜的代码某个task执行特别慢的情况某个task莫名其妙内存溢出的情况查看导致数据倾斜的key的数据分布情况数据倾斜的解决方案解决方案一：使用Hive ETL预处理数据解决方案二：过滤少数导致倾斜的key解决方案三：提高shuffle操作的并行度解决方案四：两阶段聚合（局部聚合+全局聚合）解决方案五：将reduce join转为map join解决方案六：采样倾斜key并分拆join操作解决方案七：使用随机前缀和]]></description><category></category></item><item><title><![CDATA[Spark性能优化指南——基础篇]]></title><link>https://blog.youkuaiyun.com/Accelerating/article/details/120159015</link><guid>https://blog.youkuaiyun.com/Accelerating/article/details/120159015</guid><author>Accelerating</author><pubDate>Tue, 07 Sep 2021 16:22:16 +0800</pubDate><description><![CDATA[Spark性能优化指南——基础篇1. 前言2.开发调优2.0 调优概述2.1 原则一：避免创建重复的RDD2.2 尽可能复用同一个RDD2.3 原则三：对多次使用的RDD进行持久化2.4 原则四：尽量避免使用shuffle类算子2.5 原则五：使用map-side预聚合的shuffle操作2.6 原则六：使用高性能的算子2.7 原则七：广播大变量2.8 原则八：使用Kryo优化序列化性能2.9 原则九：优化数据结构3.资源调优3.0 调优概述3.1 Spark作业基本运行原理DriverStage和Task]]></description><category></category></item><item><title><![CDATA[Spark技术内幕: Shuffle详解]]></title><link>https://blog.youkuaiyun.com/Accelerating/article/details/120154284</link><guid>https://blog.youkuaiyun.com/Accelerating/article/details/120154284</guid><author>Accelerating</author><pubDate>Tue, 07 Sep 2021 11:18:53 +0800</pubDate><description><![CDATA[Spark技术内幕: Shuffle详解
通过上面一系列文章，我们知道在集群启动时，在Standalone模式下，Worker会向Master注册，使得Master可以感知进而管理整个集群；Master通过借助ZK，可以简单的实现HA；而应用方通过SparkContext这个与集群的交互接口，在创建SparkContext时就完成了Application的注册，Master为其分配Executor；在应用方创建了RDD并且在这个RDD上进行了很多的Transformation后，触发action，通过DAG]]></description><category></category></item><item><title><![CDATA[Spark技术内幕：Sort Based Shuffle实现解析]]></title><link>https://blog.youkuaiyun.com/Accelerating/article/details/120152813</link><guid>https://blog.youkuaiyun.com/Accelerating/article/details/120152813</guid><author>Accelerating</author><pubDate>Tue, 07 Sep 2021 10:59:51 +0800</pubDate><description><![CDATA[Spark技术内幕：Sort Based Shuffle实现解析spark.shuffle.manager 从hash升级为sortSort BasedShuffle的优势Hash based shuffle和Sort based shuffle
spark.shuffle.manager 从hash升级为sort
在Spark 1.2.0中，Spark Core的一个重要的升级就是将默认的Hash Based Shuffle换成了Sort Based Shuffle，即spark.shuffle.mana]]></description><category></category></item><item><title><![CDATA[spark选择去重]]></title><link>https://blog.youkuaiyun.com/Accelerating/article/details/120061852</link><guid>https://blog.youkuaiyun.com/Accelerating/article/details/120061852</guid><author>Accelerating</author><pubDate>Thu, 02 Sep 2021 15:13:04 +0800</pubDate><description><![CDATA[在spark计算当中，我们日常有些简单需求，比如去重，比如有四列（appid、date、type、platform），我们只需要对appid，date进行去重，另外两列不关注。在spark中，distinct会对所有列执行去重操作，两行比较，只要有个一列有差异，就不算重复。
    要解决，只对某几列进行去重，可以使用Top N 的思路，也就是先分组，分组后，我们只取row_num=1第一行就可以了。

具体实现代码如下：
//选出某几列，去掉空值
Dataset dataset = input.selec]]></description><category></category></item></channel></rss>