MrCharles在优快云

原创 优快云学院：NumPy极简教程，欢迎订阅学习

NumPy是Python的最重要的扩展程序库之一，也是入门机器学习编程的必备工具。然而对初学者来说，NumPy的大量运算方法非常难记。本课程通过形象的图示来解析numpy，为您的编程助一臂之力。现在订阅课程享受优惠。优惠代码：NumPyProhttps://edu.youkuaiyun.com/course/detail/31568...

原创 GPG的使用

https://flowcrypt.com/ 使用这个插件在邮箱中进行加密解密。找到Kleopatra ，打开这个程序。在文件中新建一个密钥对。在软件选择导出即可。

原创 当代机器学习理论的前沿和挑战性难题有哪些？

如何设计高效的优化算法，降低计算成本，提高训练速度，同时保证模型的性能，是机器学习理论面临的又一挑战。因此，如何设计既具有强大性能又易于解释的模型，以及如何理解和提升模型的泛化能力，是当前机器学习理论的重要研究方向。因此，如何设计具有迁移学习能力和自适应学习能力的机器学习模型，使其能够在不同领域和环境中有效工作，是机器学习理论的重要研究方向。因此，如何将因果推理引入机器学习模型，使其能够理解和利用数据中的因果关系，提高决策的准确性和可靠性，是机器学习理论的一个前沿方向。

原创 全国性教师教学竞赛目录

17 高等学校物理基础课程（实验课）青年教师讲课比赛 教育部高等学校大学物理基础课程教学指导委员会、教育部高等学校物理学类专业教学指导委员会和中国物理学会物理教学委员会 2017 物理类 4-8月。11 全国高等学校物理基础课程青年教师讲课比赛 教育部高等学校大学物理基础课程教学指导委员会、教育部高等学校物理学类专业教学指导委员会和中国物理学会物理教学委员会 2014 物理类 4-7月。9 全国高校GIS青年教师讲课竞赛 教育部高等学校地理科学类专业教学指导委员会 2013 地理科学类 6-8月。

原创 自然科学类学术成果和科研项目分类评价认定标准

注：A、本办法科技项目分类里的“国家科技计划项目”，是指中央财政科技计划（专项、基金等）管理改革后的国家五类科技计划（专项、基金等），但不包括国家自然科学基金,国家自然科学基金项目单独列出；还包括改革前的国家973项目、国家863计划项目、国家科技支撑计划项目、国家科技重大专项、国家重大科学研究计划、国际科技合作项目、公益性行业科研专项、国家科技引导类科技计划项目及其他专项项目，下同。（3）国家各部委局、各省、自治区、直辖市以及以下机构（不含县市）立项课题且到账经费达10万元（有政府批文）；

原创 不同分子成像方式的比较-分辨率敏感度

不同分子成像方式的比较。显示了不同分子成像方法的解剖空间分辨率和灵敏度。基于 CT 和 MRI 的方法具有出色的解剖分辨率，而 PET/CT 和 SPECT/CT 则具有非常高的灵敏度。

原创 用latexdiff实现修改的跟踪

对得到的diff.tex进行编译，既可以看到template.tex和template1.tex两个文件的差异。首先要打开MikTex console，选择packages，查看latexdiff是否已经安装。如果没有安装，则安装latexdiff。

原创 R 下载GEO数据总是超时

没办法，试了很多，只能自己手动下载。

转载 getGEO 函数

GSEMatrix 若为TRUE，则下载Matrix文件；若为FALSE，则下载SOFT文件。GEOquery（library(GEOquery) ） 里面的getGEO 是一个很重要的函数。getGPL 若为TRUE，则下载GPL注释文件；若为FALSE，则不下载。destir 读取文件所在的位置，或是下载的位置。返回值：GDS/GSE/GSM/GPL。GEO 决定下载的数据种类。filename 如果已经下载好了文件，直接读取。功能：从GEO数据库下载数据。

原创 Learning with Errors

【from wiki】容错学习问题 （通常称LWE问题，是 Learning with errors 的缩写）是一个机器学习领域中的怀疑难解问题。由 Oded Regev 在2005年提出，他因此赢得2018年哥德尔奖。这是一个极性学习问题的一般形式。Regev同时证明了LWE问题至少比几个最坏情况下的格问题要难。这个问题在最近[1][2] 被用作一种难度假设以创建公钥密码系统，例如 Peikert 提出的容错环学习密钥交换。虽然来自机器学习领域，但是学习时出错问题实际上是理论计算机科学中的计算复杂度问

原创 未来可以基于3D打印扫描和互联网实现实时隔空投物

现在3D打印和3D扫描其实已经逐渐被人们重视了，而且在生活中有一些应用。现在疫情严重，发快递又不是很方便，我在想能不能做一个隔空投递，通过网线，不依赖任何其他的东西，只是凭借信息传递实现隔空投物。怎么实现这个呢？我想一个3D打印和扫描仪器加上互联网就可以实现。假设我想从深圳寄一支笔给上海，传统方式下，要先将笔打包，写上地址，交给邮寄员，邮寄公司运送到上海，交给上海的收件人。未来的实时隔空投物就不用这么麻烦了，在深圳使用3D扫描仪，扫描这支笔的结构，把信息保存，并且通过网络发送到上海的接收端，接收端

原创 python保存数据的各种方式比较（磁盘空间，时间消耗）

Npy and binary files are both really fast and small for dense data. If the data is sparse or very structured, you might want to use npz with compression, which’ll save a lot of space but cost some load time.If portability is an issue, binary is better th.

原创 LSTM CNN Transformer各有各的好处

I’ll list some bullet points of the main innovations introduced by transformers , followed by bullet points of the main characteristics of the other architectures you mentioned, so we can then compared them.TransformersTransformers (Attention is all you

原创 不同屏幕尺寸相差大么和不同尺寸屏幕比较

在这里插入图片描述

原创 为什么我们需要ablation study?

用于验证哪一个组件起了最重要的作用；2）验证哪一组参数达到最好效果，其他参数为何不可以3）最主要，为什么可以这么好的效果

原创 什么是peer review

“Peer review”趣图（原图来自网络）

原创 Hamming distance 可以做损失函数么？

Hamming distance 是不可微的，选择做损失函数是不行的，要做一些smoothing才行！Hamming loss is by definition not differentiable, so for small movements of trainable weights you will never experience any changes in the loss. I imagine it is only added to be used for final measurement

原创 使用jupyter notebook 时明明已经安装了某个lib,还是出现ModuleNotFoundError

这是因为jupyter notebook要选择不同conda环境，但是运行jupyter 的时候，没有使用到这个环境，即使你已经conda activate这个环境，再执行jupyter。解决方法就是将conda环境写入jupyter notebook的kernel中在jupyter notebook中不同环境之间是通过切换kernel实现的。在conda环境下创建kernel文件，命令是conda install -n 环境名称 ipykernel。先进入conda的某个环境中，然后执行以下命令。p

原创 内存不足够怎么办，swap空间来相伴

工作研究中经常需要intensive的模型训练，但是目前可用的两台机器都是32GB的内存搭配24GB显存的RTX3090,因此使用起来经常发现内存不足够，进程会被系统直接kill。可是我们又想把所有的数据集加载到内存中，加快我们模型的训练速度，不然一边读取数据一边训练模型，GPU使用率非常低，训练的时间会很久。经过摸索，发现增加swap空间是可行的。swap交换空间只有在内存用尽的时候才会被使用到。虽然swap使用的是硬盘来代替内存空间，速度会慢非常多，但是只要数据能够加载到内存之中，多一点点数据在sw

原创 利用TF dataset改善模型训练效率的最佳实践

不好的实践已经提前把数据全部保存为tfrecord， 以便提升模型训练的时候的效率，数据集大小大概为4G左右。使用如下数据集构建流程：def load_tfrecord_dataset(tfrecord_name, batch_size, shuffle=True, buffer_size=1024): """load dataset from tfrecord""" raw_dataset = tf.data.TFRecordData

原创 tf.data.Dataset 不要和random包混用

自从Tensorflow1.4发布之后，Datasets就成为了新的给Tensorflow模型创建input pipelines的方法。DDataset 有如下模式：从你的数据创建数据集在数据上进行一些预处理迭代每一个数据迭代是按照流这种模式进行的，所以整个数据集是不需要一次性加载到内存。一个典型的dataset构建过程：def ListFiles(basedir,ext): list_ds = tf.data.Dataset.list_files(basedir+"/*."+e.

原创 Hill-climbing 算法python 实现

Hill-climbing 其实也不是很复杂，在这个博文里面，我假定一个512维度的空间中存在一个点point1 ，我的目标是随机初始化一个点，通过Hill-climbing找到这个目标点point1。 站在当前点，通过探索所有可能的走法去判断下一步哪一个走法是能够朝着目标靠近的。过程其实也不复杂，在512里面的某一个维度，走起来只有两种选择，加一个步长或者减去一个步长。如果下一步找不到比较好的选择，都不能靠近目标点，那么算法结束。具体代码可以看下面：

转载 人脸识别App面临的安全风险

（一）网络和数据安全保障机制欠缺易造成人脸数据泄漏当前关于人脸识别技术的安全技术标准和使用规范不够完善，对于人脸数据控制者的责任和义务，人脸数据主体的权利以及人脸数据在收集、存储、处理等各环节应采取的安全措施缺少相关规定。因此，人脸识别技术的大部分开发企业和应用服务提供商已采取的安全措施可能难以应对人脸识别技术面临的安全威胁，容易发生人脸数据泄露等安全事件。除此之外，网络安全生态环境持续恶化，系统的安全漏洞几乎不可避免，因此人脸数据库泄漏事件也屡见不鲜。更为可怕的是，由于生物识别信息是唯一的，是不可再生的

原创 fuzzy extractor 模糊提取器的代码解读和实现

模糊提取器 的原理可以参看博客文章：https://blog.youkuaiyun.com/MrCharles/article/details/108734526密码机制中的秘密值通常是随机串，要求是均匀分布，而且需要时可以 精确再生。而在现实世界中秘密值很难满足这一点，例如，对于类似指纹等的生物特征，并不是均匀分布的随机值，而且每次需要时，也无法精确的再现（指纹都存在一定误差）。用户进行认证最常见的方式是基于Password，短的Password用户容易记忆，但是熵值很低，安全性差；而一些长的密码短语，用户不容易记

原创 为什么OpenCV使用BGR而不是RGB？

https://learnopencv.com/why-does-opencv-use-bgr-color-format/Satya Mallick早期的开发者选择了BGR，为啥选择BGR呢？那时候流行的相机制造商和软件商都是用这个模式，例如微软使用的是BGR，微软的软件里面COLORREF的值的格式为0x00bbggrr。所以从那时候起，opencv就一直使用BGR。现在我们也还是使用BGR，这种反人类的设计，只能去习惯它（当然，早期它并不绝对反人类）。“Why not use RGB when e

原创 Survey: A Survey on Image Tampering and Its Detection in Real-world Photos 图像仿冒

上图：人脸交换技术上图： 图像操作的相关概念一个tamper的例子

原创 最近喜欢的几款乐器和民谣

阿朵使用的乐器：雨棍雨棍是天然仙人掌制作完成，雨棍声音一般来说是越长声音越好，另外持续的时间也越久。雨棍是模仿下雨的声音。这种乐器叫【rainstick】，起源于南美土著。老外很流行玩这个，演奏音乐的时候做伴奏。这起先是用于古代土著人祈求落雨的法器。所以叫【雨棒】。外面一般用一节空心的竹筒制作(当然也有其他材料)，先在里面横插很多杆子(或是可以产生空隙的物件)，留下空隙（从下图外形看起来有点像大号山药，上面的那些凹凸不平处其实是横穿竹筒的诸多杆子），然后填充金属小球或钉子，最后封死两头。演奏的时候拿

原创 HSV三分量

1.如果想研究雾对图像HSV三个分量的影响，通过一个无雾图像的HSV三个分量与一个带雾图像的HSV三个分量进行对比，请问要用那些指标可以表示出这些分量的不同啊？图像的信噪比？清晰度？还是什么别的？？？2.rgb2hsv函数将图像转换到HSV空间后，再用imshow函数分别显示HSV三个分量的图像，那用imshow函数显示出来的三个图象是HSV三个分量吗？我看我得到的HSV三个分量图里面是以RGB三个数值来显示每一点的像素值的，那我的得到的是HSV三个分量的图吗？3.H，S，V不是表示的是色调，饱和度，亮

原创 opencv 对齐两幅图片

https://learnopencv.com/feature-based-image-alignment-using-opencv-c-python/def alignImages(im1, im2): # Convert images to grayscale im1Gray = cv2.cvtColor(im1, cv2.COLOR_BGR2GRAY) im2Gray = cv2.cvtColor(im2, cv2.COLOR_BGR2GRAY) # Detect ORB f

原创 纯RAW数据转换为DNG格式

手上有一个没有任何header信息的RAW文件，是从相机传感器直接输出的，格式是一个一维的数组，大小是1,310,720，也就是1024*1280.想使用rawpy来模拟ISP的处理流程，但是很不幸的是，rawpy不支持直接处理这种没有任何header信息的RAW文件。报错信息如下：LibRawFileUnsupportedError: b'Unsupported file format or not RAW file'好在，我找到了一个解决方案：（http://im.snibgo.com/proc

转载 单目视觉＞双目视觉＞RGBD比较

目前，视觉SLAM（SLAM是“Simultaneous Localization And Mapping”的缩写，可译为同步定位与建图）可分为单目、双目(多目)、RGBD这三类，另还有鱼眼、全景等特殊相机，但目前在研究和产品中还属于少数。从实现难度上来说，大致将这三类方法排序为：单目视觉>双目视觉>RGBD。单目相机SLAM简称MonoSLAM，仅用一支摄像头就能完成SLAM。最大的优点是传感器简单且成本低廉，但同时也有个大问题，就是不能确切的得到深度。一方面是由于绝对深度未知，单目SL

原创 实验性综述：低光照图像增强

W. Wang et al.: Experiment-Based Review of Low-Light Image Enhancement Methods来自以上文章总结。

原创 常见的数字图像处理

原创 峰值信噪比和结构相似性

本文摘自黑龙江大学硕士论文: 基于U-Net网络的低光照图像增强算法的研究与实现MAX 当作 信号， MSE 当作 噪声

原创 learning to see in the dark: 弱光场景下基于相机底层信号的图像处理

Chen, C., Chen, Q., Xu, J., & Koltun, V. (2018). Learning to see in the dark. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 3291-3300).针对以往的黑暗条件下图像处理的一些挑战，特别是短曝光的图像没有对应的ground truth的问题，该文提出了一个数据集，有一些列的短曝光的图像，同时.

原创 收到了优快云送的图书，表示感谢｜对《程序员的三门课》的一表格表示疑问

突然收到快递短信，去物业一看竟然是优快云送的图书，感觉很惊喜。最近颇为忙碌，都没有仔细写过什么博客，不过这种有人惦记的感觉还是挺不错的。感谢优快云。这本书读了一下，也挺推荐给大家的，感觉还是非常有用的。不过读者也许会有自己的想法，例如对不同编程语言的分类问题：书中的这个表格中，对于C#恐怕是仁者见仁智者见智，我不太赞同他的结论，按照道理C#应该不能算作动态语言，这一点希望各位读者在评论区给出自己的意见。网络上找了另外一张图，Y轴的Strong weak 表示语言是强类型还是弱类型，X轴的Dy.

原创 百题突击16:1，Roberta、Albert 分别对 Bert 做了哪些改进 2，XLNet 如何实现 Permutation Language Model 3，CycleGAN的生成效果为啥一般都

Roberta、Albert 分别对 Bert 做了哪些改进请参考:https://zhuanlan.zhihu.com/p/347846720XLNet 如何实现 Permutation Language Model请参考:https://zhuanlan.zhihu.com/p/70257427CycleGAN的生成效果为啥一般都是位置不变纹理变化，为啥不能产生不同位置的生成效果请参考:https://blog.youkuaiyun.com/weixin_41697507/article/detai

原创 百题突击15：pytorch实现VGG16的网络/faster RCNN中RPN相比之前做了什么优化/dropout 是否用在测试集上/YOLO v3进行了几次下采样/列举几个梯度下降的方法

pytorch实现VGG16的网络:请参考:https://blog.youkuaiyun.com/qq_40360172/article/details/109176612faster RCNN中RPN相比之前做了什么优化:请参考:https://blog.youkuaiyun.com/weixin_30566111/article/details/96658575dropout 是否用在测试集上请参考:https://zhuanlan.zhihu.com/p/118390256YOLO v3进行了几次下采样

原创 百题突击14:1，激活函数有什么作用，常用的的激活函数 2，怎么解决梯度消失问题 3，什么是端到端学习 4，Softmax的原理是什么？有什么作用？  5，CNN的平移不变性是什么？如何实现的？ 6，

1，激活函数有什么作用，常用的的激活函数2，怎么解决梯度消失问题BN Relu使用 ReLU、LReLU、ELU、maxout 等激活函数sigmoid函数的梯度随着x的增大或减小和消失，而ReLU不会。使用批规范化通过规范化操作将输出信号xx规范化到均值为0，方差为1保证网络的稳定性.从上述分析分可以看到，反向传播式子中有ww的存在，所以ww的大小影响了梯度的消失和爆炸，Batch Normalization 就是通过对每一层的输出规范为均值和方差一致的方法，消除了ww带来的放大缩小的影响

原创 百题突击13: 1，为什么必须在神经网络中引入非线性？ 2，ReLU在零点不可导，那么在反向传播中怎么处理？ 3，ReLU的优缺点 4，BN解决了什么问题 5，BN的实现流程

1，为什么必须在神经网络中引入非线性？2，ReLU在零点不可导，那么在反向传播中怎么处理？3，ReLU的优缺点4，BN解决了什么问题BN是由Google于2015年提出，这是一个深度神经网络训练的技巧，它不仅可以加快了模型的收敛速度，而且更重要的是在一定程度**缓解了深层网络中“梯度弥散”**的问题，从而使得训练深层网络模型更加容易和稳定。所以目前BN已经成为几乎所有卷积神经网络的标配技巧了。从字面意思看来Batch Normalization（简称BN）就是对每一批数据进行归一化，确实如此