- 博客(130)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 AutoML- NNI
运行时间限制运行测试运行脚本运行环境features:lr:momentum:tuner:name: TPEimport nniparams = {'C': 1.0,try:raise。
2023-03-27 21:53:52
516
原创 AutoML- ray tune
支持深度学习调参，优化器算法支持全面，且支持分布式计算，本地可以有效利用多核计算，文档及维护更新较多，安装使用快捷方便。评分较好。
2023-03-27 21:50:35
261
原创 隐私计算-TEE执行环境
论述完 TEE 的概念后，接下来进一步解析 TEE 的深层定义。目前对于 TEE 的定义有很多种形式，针对于不同的安全性需求和平台，TEE 的定义也不尽相同，但在所有 TEE 的定义中都会包含两个最关键的点：独立执行环境和安全存储。在 GlobalPlatform, TEE System Architecture, 2011 中，GlobalPlatform 将 TEE 定义如下：TEE 是一个与设备操作系统并行，但相互隔离的执行环境。
2023-03-27 21:17:09
1548
原创 隐私计算-多方安全计算
多方安全计算（MPC：Secure Muti-Party Computation）理论是姚期智先生为解决一组互不信任的参与方之间在保护隐私信息以及没有可信第三方的前提下协同计算问题而提出的理论框架。多方计算的目标就是对一组计算的参与者，每个参与者拥有自己的数据，并且不信任其它参与者和任何第三方，在这种前提下，如何对各自私密的数据计算出一个目标结果的过程。MPC是一种计算协议，数据持有方可以各自使用自己的数据进行训练，最终通过协议汇总结果。MPC比较常见的落地场景就是姚期智提出的百万富翁问题。
2023-03-27 21:13:32
2841
原创 隐私计算-联邦学习
联合多个参与者的共同样本的不同数据特征进行联邦学习，即各个参与者的训练数据是纵向划分的，称为纵向联邦学习，纵向联邦学习也称为样本对齐的联邦学习（Sample-Aligned Federated Learning），即纵向联邦学习的参与者的训练样本是对齐的。
2023-03-27 21:09:43
1734
原创 第九十九篇 c++远程服务器调试，docker调试
一、docker镜像1. c++ 基本环境2. ssh 配置3. gdb gdbserver等二、clion配置1. cmake2. deploy3. ssh4. debug server5. debug三、服务器调试1. 环境配置2. 项目目录等四、docker调试1. 调试流程2. 步骤
2022-05-02 15:44:12
2361
原创 第九十八篇 docker总结
一、docker介绍1. docker是什么Docker 是一个用于开发、发布和运行应用程序的开放平台。Docker 使您能够将应用程序与基础架构分离，以便您可以快速交付软件。使用 Docker，您可以像管理应用程序一样管理基础设施。通过利用 Docker 快速交付、测试和部署代码的方法，您可以显着减少编写代码和在生产环境中运行之间的延迟。2. docker平台Docker 提供了在称为容器的松散隔离环境中打包和运行应用程序的能力。隔离和安全性允许您在给定主机上同时运行多个容器。容器是轻量级的，包含
2022-05-02 15:36:47
721
原创 第九十七篇 cmake 总结
cmake 总结一、cmake二、为什么使用cmake三、cmake语法以及重要指令一、cmakecmake官网文档CMake是一个跨平台的安装编译工具，可以用简单的语句来描述所有平台的安装(编译过程)。CMake可以说已经成为大部分C++开源项目标配二、为什么使用cmake假设你有一个跨平台的项目，c++代码在不同的地方共享平台/ ide。假设你在Windows上使用Visual Studio，在OSX上使用Xcode，在Makefile上使用Linux,如果你想添加新的bar.cpp
2022-04-17 14:36:32
474
原创 第九十六篇 ECC加密算法
1.1 椭圆曲线离散对数问题(Elliptic Curve Discrete Logarithm Problem)：椭圆曲线上的两个点P和Q，k为整数。椭圆曲线加密的数学原理：点P称为基点（base point）；k为私钥（private key）；Q为公钥（public key）给定k和P，根据加法法则，计算Q很容易。但给定P和Q，求k⾮常困难（实际应⽤ECC，质数p取的⾮常⼤，穷举出k⾮常困难）。椭圆曲线 :a=-2,b=4时椭圆曲线形状1.2 数学定义:基于椭圆曲线的群定义在
2022-03-11 18:00:02
1958
原创 第九十五篇 gRPC快速入门
gRPC 快速入门一、gRPC介绍二、 特点和优势三、gRPC初体验四、 gRPC用于大数据量传输五、gRPC应用场景一、gRPC介绍gRPC 是一个高性能、通用的开源 RPC 框架，基于 HTTP2 协议标准设计开发，默认采用 Protocol Buffers 数据序列化协议，支持多种开发语言。在 gRPC 中，客户端应用程序可以直接调用不同机器上的服务器应用程序上的方法，就像它是本地对象一样，使您更容易创建分布式应用程序和服务。与许多 RPC 系统一样，gRPC 基于定义服务的思想，指定可以远程调
2022-01-18 22:36:40
1060
原创 第九十四篇 Spark+HDFS centos7环境搭建
一、安装包下载：Spark 官网下载: https://spark.apache.org/downloads.htmlHadoop 官网下载: https://hadoop.apache.org/releases.html目前使用Spark 版本为: spark-2.4.3 Hadoop版本为: hadoop-2.10.1二、配置自登陆检测是否可以自登陆，不需要密码则配置正常:ssh localhost在搭建Hadoop环境时，出现localhost.localdomain: Permis
2022-01-18 21:46:04
2752
1
原创 第九十三篇 Protobuf总结
Protobuf总结一、Protobuf介绍为什么使用协议缓冲区？二、语法介绍类型定义示例编译生成py文件可调用序列化和反序列化使用protobuf 生成脚本哈哈，好久没见了，虽然关注的人不是很多，对自己热衷的事情还是想记录下来，不论是想学的还是沉淀下来的在此能有些痕迹，希望自己坚持下来，不忘初心！一、Protobuf介绍https://developers.google.com/protocol-buffersProtocol buffers用于序列化结构化数据(比如XML)，但更小、更快、更
2022-01-11 23:24:06
854
转载 第九十二篇 搭建神经网络
Follow Your Heart：面临太多的选择，人总会迷茫，有好有坏，理性的选择往往是最好的选择，但往往会有人选择感性，遵从自己的内心，哪怕举步维艰，不知道是成功还是失败，还是想这样选择，可能有些人有些事有些东西值得你付出，但愿这一切都会变得好起来。一、神经网络初步接触神经网络，感觉被高大上名词给吓住了，高深莫测的CNN,DNN,让人望而却步。简单来说神经网络是用来预测数据的一种模型，而这种模型是由一个个神经元组成，共同对数据进行训练决策，输出结果。一个神经元会接收信号，输出信号。二、 搭建神
2021-05-11 22:23:51
322
原创 第九十一篇 机器学习正则化
心得：一、过拟合怎么产生的？模型训练之初，你压根不知道哪些特征会有用，于是你找了很多特征，以此来尽可能精确地去拟合训练数据。结果是你用上了一些其实不重要的特征，虽然加上这些特征，会在训练集中表现很好，但我们的目的是在测试集上的要效果也要好。分析发现，我们在模型中使用的某些特征，本身就不具备普适性。但你通过训练集，还是学习到它了，因为你的模型，想法设法地拟合了所有的样本点，自然而然地就会出来很多特征参数。第三幅图的模型复杂程度远大于第一幅。在这种不具备普遍性的情况下学习到它，自然会影响你测试集的效果
2021-04-26 23:01:41
196
原创 第九十篇 机器学习优化器总结
心得： 总感觉自己要学的东西还有很多，一方面让自己工程能力，代码能力或者新学习一门语言来进一步提高自己的技术，另一方面，自己在机器学习上的成就还得继续研究，不仅仅只是懂工程而且还要学习一定的算法，所以算法不能说研究的太通，但还需要一定的理解，毕竟还是要以工程能力为主。一、优化器是什么一言以蔽之，优化器就是在深度学习反向传播过程中，指引损失函数（目标函数）的各个参数往正确的方向更新合适的大小，使得更新后的各个参数让损失函数（目标函数）值不断逼近全局最小。优化问题可以看做是我们站在山上的某个位置（当前的参
2021-04-25 22:57:52
479
原创 python附加篇setup打包篇
心得： 过去的几个月里，有忙有闲，慢慢的忘记了自己的成长，在忙碌中使得自己成长变得缓慢，之后的每一天加油，保持自律，保持学习积极的态度。一、为什么要打包在多人协作的项目中，往往又可能会依赖他人库，或者别人调用你的代码，或者服务器部署代码，环境配置等等，搭建环境往往需要花费很长的时间来，所以很有必要对我们的完成的项目打出一个外包，别人使用时，往往只需要一键安装,比如已经可以使用的sklearn包,numpy 等等 pip install sklearn ,安装使用都很方便。二、快速开始安装whee
2021-04-19 23:12:51
1661
1
原创 第八十九篇 模型评估AUC,KS,ROC曲线
心得：平时用到模型评估挺多的，来总结一下各个评估标准的具体计算方法和原理一、混淆矩阵混淆矩阵是用来总结一个分类器结果的矩阵。对于k元分类，其实它就是一个k x k的表格，用来记录分类器的预测结果。比如我们最常见的二分类：比如我们一个模型对15个样本进行预测，然后结果如下。预测值：1 1 1 1 1 0 0 0 0 0 1 1 1 0 1真实值：0 1 1 0 1 1 0
2020-12-03 23:28:46
918
原创 第八十八篇 支持向量机(SVM)
心得：支持向量机的公式原理理解上还是比较复杂的，本文以流程和原理以及应用方面来进行一、什么是支持向量机1. SVM 简介支持向量机（support vector machines, SVM）是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机；转化为一个凸二次规划问题来求解由简至繁的模型包括：当训练样本线性可分时，通过硬间隔最大化，学习一个线性可分支持向量机；当训练样本近似线性可分时，通过软间隔最大化，学习一个线性支持向量机；当训练样本线性不可分时
2020-11-22 21:52:29
520
原创 第八十七篇 朴素贝叶斯
心得: 还是需要记录一下，自己的学习历程，平时学到的比较杂，在此能全面总结一下自己学到的，看到的，理解的东西。一、公式原理条件概率条件概率是指事件A在事件B发生的条件下发生的概率。条件概率表示为：P（A|B），读作“A在B发生的条件下发生的概率”。若只有两个事件A，B，那么，全概率公式(知因求果)如图；从家到公司有三条路，选择第一条路的概率为P(L1),选择第一条路且不堵车的概率为P(C|L1)假设遇到拥堵会迟到，那么从Home到Company不迟到的概率是多少？选择每条路都有
2020-11-08 12:56:26
766
原创 第八十六篇 K-means(聚类) 和 KNN(分类) 算法
心得: 每天坚持学一点，新的算法新的技能，学到的都是属于自己的，希望在这里记录一下自己的历程，不忘初心机器学习分为四大块算法1. classification (分类)给定一个样本特征 , 我们希望预测其对应的属性值 , 如果 是离散的, 那么这就是一个分类问题，反之，如果 是连续的实数, 这就是一个回归问题。类问题最常用的学习算法包括 SVM (支持向量机) , SGD (随机梯度下降算法), Bayes (贝叶斯估计), Ensemble(集成), KNN 等2. regression
2020-11-05 21:55:31
2881
原创 第八十五篇 XGBoost梯度提升树
心得：总结一下xgboost相关的知识点，希望自己对它的理解更加深刻，xgboost在树模型里算是比较准确的，比较流行的算法，从我接触到的东西逐一总结一下。一、简介集成算法思想用单个决策树模型效果一般来说不是太好，通常会用一种集成的方法，就是一棵树效果可能不太好，用两棵树呢？多棵树呢？是指构建多个分类器（弱分类器）对数据集进行预测，然后用某种策略将多个分类器预测的结果集成起来，作为最终预测结果集成学习根据各个弱分类器之间有无依赖关系，分为Boosting和Bagging两大流派：Boostin
2020-09-14 22:31:50
854
原创 第八十四篇 决策树
心得：终于可以来总结一下关于决策树的内容了，接下来的几篇来逐一介绍决策树，随即森林，以及xgboos等，希望自己可以对这些知识理解更深刻。一、简介什么是决策树，字面意思是用来决策的一种树模型，下图就是一个女生相亲的树形结构图，女生会根据男生的年龄，长相，收入，是否为公务员等来决定自己的相亲标准；所以决策树模型就相当于我们根据已有的样本建立一颗树，来预测未知样本会产生的结果。什么是树，二叉树：https://blog.youkuaiyun.com/l_ppp/article/details/108307532二
2020-09-07 23:17:59
609
2
原创 python附加篇cpython用法
心得：刚换工作后，连续忙了2个多月，在这两个多月里，学到的东西也是比较多的，不论从算法上，源码调试上，还是代码规范性上都有一定的提升，接下来会将这段时间接触到内容逐一记录下来。先从cpython开始吧，cpython用作代码保护或者能够提升代码运行的效率。一、Cpython简介二、快速开始，配置文件以及编译三、cpython中编码注意事项四、其他...
2020-08-31 22:53:04
19977
2
原创 第八十三篇 搭建神经网络logistic回归
心得：学习神经网络知识，面对很多的数学公式和推导，很难况且已经忘记了大部分关于微积分和概率论的东西，学神经网络这些都是基础，所以在之后碰到对应的知识点会详细的记录下来。加油~文章目录：一、logistic回归是什么二、神经网络相关概念1. 输入层，输出层，隐藏层2. 权重和偏值2. 激活函数（Activation Function）3.损失函数3. 导数4. 梯度下降法6. 向量化7 .向前传播，向后传播三、神经网络初步建立一、logistic回归是什么面对一个回归或者分类问题，建立代价函数，然后通过
2020-06-07 22:18:58
686
原创 第八十二篇 机器学习（介绍）
心得：终于决定要踏上了新的旅程，一个全新的领域等待着你去挑战，你知道你的内心有许多不甘心，所以 拼一次~一、机器学习相关概念1. 什么是人工智能它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是研究使计算机来模拟人的某些思维过程和智能行为（如学习、推理、思考、规划等）的学科，主要包括计算机实现智能的原理、制造类似于人脑智能的计算机，使计算机能实现更高层次的应用。主要解决如：自然语言理解，图像识别，语音识别等问题2. 什么是机器学习机器学习是一种
2020-06-07 00:06:54
412
原创 第八十一篇 scrapy框架
心得：系统的学一下scrapy框架，其实爬虫没多难，最难的就是用不用心去分析网站，有没有一个整体的思路和框架。一、Scrapy简介scrapy在于爬取数据方面还是比较高效率的。Scrapy 使用了 Twisted(其主要对手是Tornado)异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求。windows安装scrapy直接使用命令安装不成功可以下载whl格式的包安装，安装whl格式包需要安装wheel库pip insta
2020-05-26 22:36:30
303
原创 附加篇 Docker容器安装与镜像创建
心得：沉淀一下自己了，让自己的路一步一步走的踏实一些，学习永不止步，加油，新的一天。一、Docker简介简介Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器或Windows 机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口。通俗的讲就是将程序隔离，打包的技术，可以粗糙的理解为轻量级的虚拟机，就是把一个应用程序放在一个独立的环境里运行Docker特性：文件系统隔离：每个进程容器运行在一个完全
2020-05-23 18:28:25
252
原创 第八十篇 Flask之MUI,HTML5plus开发移动端app
一、mui二、HTML5plus三、使用软件Hbuilder配置和用法手机模拟器用法四、基于Flask搭建登录验证界面
2020-05-10 23:54:23
1257
原创 第七十九篇 Flask web_socket示例
一、websocket概要：websocket是基于TCP传输层协议实现的一种标准协议，用于在客户端和服务端双向传输数据 传统的客户端想要知道服务端处理进度有两个途径： 1）通过ajax不断轮询，由于http的无状态性，每次轮询服务器都需要去解析http协议，对服务器压力也很大 2）采用long poll的方式，服务端不给客户端反馈，客户端就一直等待，服务就一直被挂起，此阶段一直是阻塞状态 而当服务器完成升级（http–>websocket）后，上面两个问题就得到解决了： 1）被
2020-05-09 22:52:53
1533
原创 第七十八篇 Flask 路由,实例化配置,app对象配置,蓝图 Blueprint,装饰器
心得：加油 ，你选择的是正确的路一、Flask路由endpoint - 默认是视图函数名url_for 反向地址methods 指定视图函数的请求方式，默认GET，是一个可迭代的列表或元组defaults={“nid”:1} 指定视图函数的默认参数strict_slashes=False 是否严格遵循路由规则/login/不可以访问redirect_to="/login" 永久跳转地址 301动态路由参数：/<int:nid> /<string:str> /<n
2020-05-08 21:30:51
497
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人