- 博客(28)
- 收藏
- 关注
RSS订阅原创 ceph 数据清除
lsblk -fyum install gdisk# Zap the disk to a fresh, usable state (zap-all is important, b/c MBR has to be clean)# You will have to run this step for all disks.sgdisk --zap-all /dev/sda# Clean hdds with dddd if=/dev/zero of=/dev/sda bs=1M count=10
2022-04-12 17:19:55
1981
转载 删除并清理rancher节点
#停止所有docker容器docker stop `docker ps |awk {'print $1'}|grep -v CONTAINER`# 删除所有容器docker rm -f $(docker ps -qa)# 删除所有容器卷docker volume rm $(docker volume ls -q)# 删除所有的镜像，慎用#docker rmi -f `docker images|awk {'print $3'}`# 停止服务systemctl disable kube..
2022-04-12 16:23:40
1835
原创 rancher +k8s 安装 rook ceph
官网：https://www.rook.io/前提条件：已部署完成 rancher+k8s系统，没有完成的请移步《Centos7 通过RKE 部署 高可用k8s+rancher》一、镜像下载，我们需要将安装所需要的镜像从阿里云下载到本地（重要）对应的版本号可查看 rook ceph中的operator.yaml配置文件docker image pull rook/ceph:v1.6.7docker pull registry.aliyuncs.com/it00021hot/ce.
2021-07-20 13:37:20
968
1
转载 Centos7 通过RKE 部署 高可用k8s+rancher
前言：这里的rke rancher docker 是安装最新版的，如果需要安装特定版本，一些细节请自行百度和查询官网环境介绍操作系统：centos7硬件配置：内存8GB以上 cpu2核以上 硬盘大于30G系统架构：3个节点，每个节点同时承担master和work两种角色10.9.1.200 rke-node110.9.1.201 rke-node210.9.1.201 rke-node3操作步骤（一）前期准备注意以下操作需要在所有节点以root用...
2021-07-20 13:15:20
999
转载 训练数据集与TFRecord互相转换
转载自《训练数据集与TFRecord互相转换的两种方式》TensorFlow使用TFRecord格式来统一存储数据，该格式可以将图像数据、标签信息、图像路径以及宽高等不同类型的信息放在一起进行统一存储，从而方便有效的管理不同的属性。将训练数据集转成TFRecord这里采用的数据集为目前正在做的项目的数据集，共包含两个目标文件夹(分别包含100幅图像)及对应的label.txt，labe...
2019-02-21 10:42:53
1368
原创 机器学习总结——前言
机器学习任务类型主要分为两大类： • 监督学习(Supervised Learning) – 分类 (Classification) – 回归 (Regression) – 排序 (Ranking) • 非监督学习 (Unsupervised Learning) – 聚类 (Clustering) ...
2019-02-14 16:19:24
227
原创 sklearn 中的MiniBatchKMeans(聚类)使用
1、前期准备#导入必要的工具包import pandas as pdimport numpy as npfrom sklearn.cluster import MiniBatchKMeansfrom sklearn.model_selection import train_test_splitfrom sklearn import metricsfrom sklearn.dec...
2018-12-31 10:18:26
5573
原创 sklearn的PCA使用
1、数据准备#导入必要的工具包import pandas as pdimport numpy as npfrom sklearn import svmfrom sklearn.model_selection import train_test_splitfrom sklearn.decomposition import PCAimport time#读取训练数据和测试数据t...
2018-12-31 10:09:35
2409
原创 LightGBM使用指南
1、准备import lightgbm as lgbmimport pandas as pd import numpy as npfrom sklearn.model_selection import GridSearchCVfrom sklearn.metrics import log_lossfrom matplotlib import pyplotimport seabor...
2018-12-30 11:18:35
2604
转载 Pandas速查手册
本文转自《Pandas速查手册中文版》对于数据科学家，无论是数据分析还是数据挖掘来说，Pandas是一个非常重要的Python包。它不仅提供了很多方法，使得数据处理非常简单，同时在数据处理速度上也做了很多优化，使得和Python内置方法相比时有了很大的优势。如果你想学习Pandas，建议先看两个网站。（1）官网：Python Data Analysis Library（2）十分钟入...
2018-12-27 15:22:38
153
原创 决策树参数调优建议
建议一：三个最重要的参数为:树的数目、树的深度和学习率。建议参数调整策略为:– 采用默认参数配置试试– 如果系统过拟合了,降低学习率– 如果系统欠拟合,加大学习率建议二：– n_estimators和learning_rate:固定n_estimators为100(数目不大，因为树的深度较大,每棵树比较复杂),然后调整learning_rate– 树的深度max_depth:从...
2018-12-25 20:57:27
9092
1
原创 sklearn中XGBoost的使用
1、数据准备from xgboost import XGBClassifierimport xgboost as xgbimport pandas as pd import numpy as npfrom sklearn.model_selection import GridSearchCVfrom sklearn.model_selection import Stratifi...
2018-12-25 20:43:19
3390
1
原创 sklearn中随机森林的使用
1、数据准备与《sklearn中决策树的使用》中相同，这里不再累述、2、使用步骤from sklearn.ensemble import RandomForestClassifiermodel_RR=RandomForestClassifier()model_RR.fit(X_train,y_train)y_prob = model_RR.predict_proba(X_test...
2018-12-25 10:39:33
647
原创 sklearn中决策树的GridSearchCV参数调优
决策树的超参数有：max_depth（树的深度） max_leaf_nodes（叶子结点的数目） max_features（最大特征数目） min_samples_leaf（叶子结点的最小样本数） min_samples_split（中间结点的最小样本树） min_weight_fraction_leaf（叶子节点的样本权重占总权重的比例） min_impurity_split（最...
2018-12-25 10:34:12
6851
原创 sklearn中决策树的使用
1、数据准备import pandas as pdimport numpy as npfrom matplotlib import pyplot as pltfrom sklearn.model_selection import GridSearchCVfrom sklearn.metrics import accuracy_scorefrom sklearn.metrics im...
2018-12-25 09:54:28
1867
原创 人工智能—XGBoost使用指南
步骤： 1. 读取数据--> DMatrix 2. 设置参数 3. 模型训练：train/cv 3.1: train with 在校验集上early stop 3.2: cv 4. 预测 1、读取数据XGBoost可以加...
2018-12-22 10:06:50
973
2
原创 Logistic 回归—SVM正则参数调优操作笔记
1、准备# 首先 import 必要的模块import pandas as pd import numpy as npfrom sklearn.model_selection import GridSearchCV#竞赛的评价指标为logloss#from sklearn.metrics import log_loss #SVM并不能直接输出各类的概率，所以在这个例子中我们...
2018-12-17 10:56:59
1286
原创 Logistic 回归—LogisticRegressionCV实现参数优化
1、准备# 首先 import 必要的模块import pandas as pd import numpy as np from sklearn.model_selection import GridSearchCV #竞赛的评价指标为loglossfrom sklearn.metrics import log_loss from matplotlib import p...
2018-12-16 10:02:05
16442
6
原创 Logistic 回归—网格搜索最优参数笔记
1、准备# 首先 import 必要的模块import pandas as pd import numpy as npfrom sklearn.model_selection import GridSearchCV#竞赛的评价指标为loglossfrom sklearn.metrics import log_loss from matplotlib import pypl...
2018-12-16 09:47:46
12662
1
原创 人工智能—线性回归模型笔记
1、准备阶段import pandas as pd%matplotlib inlinedata = pd.read_csv("boston_housing.csv")data.head()data.isnull().sum()# 从原始数据中分离输入特征x和输出yy = data['MEDV'].values# 默认删除行，列需要加axis = 1X = data.dro...
2018-12-12 09:29:58
6026
原创 人工智能—数据探索操作笔记
1、读取数据import pandas as pddata = pd.read_csv("boston_housing.csv")#获取前五条数据data.head() # 数据基本信息data.info() # 查看是否有空值data.isnull().sum() # 各属性的统计特性data.describe()2、单变量分析import matplotlib...
2018-12-11 16:05:00
411
原创 概率论笔记 1、事件的概率
注：理解概率的最主要也最重要的工具是文氏图概率：概率论上把重复多次试验后事件出现的频率来估计事件的概率。基本事件：单一试验所出现的试验结果，比如：抛骰子，｛点数为1｝这一命题为基本事件事件：一个或多个基本事件构成的集合。古典概率：（1）基本事件的概率是等同的；（2）试验结果有限几何概率：（1）基本事件的概率是等同的；（2）试验结果无限；（3）通过面积/体积/长度之比来表示概率...
2018-10-18 18:08:05
769
原创 ndk编译生成so动态库
第一步：新建jni文件夹第二步：把cpp文件放到jni文件夹下，同时新建Application.mk 和 Android.mk文件（注意：目录名一定要是jni，否则编译不过）Android.mkLOCAL_PATH := $(call my-dir)include $(CLEAR_VARS) LOCAL_MODULE := jni-test //编译后产生的so库的名称(lib...
2018-05-10 19:16:54
3319
原创 Ubuntu 环境下的JNI编程 第二节 JNI的实现
第一步：通过eclipse创建Java工程，目录结构如下图所示：MainClass.javapackage org.java.test;import org.java.test.jni.TestJni;public class MainClass { static { System.loadLibrary("jni-test"); } public static void m...
2018-05-09 15:17:04
293
转载 Ubuntu 环境下的JNI编程 第一节 JAVA环境安装与配置
具体的可参考 Ubuntu下Java安装(傻瓜式) 这篇文章，简单易操作，这里不花时间和篇幅来作进一步的阐述。
2018-05-09 09:58:35
673
原创 计算机组成原理笔记
第一章：概论 主存容量：指主存中能够存放二进制代码的总数。 存储容量= 存储单元个数 * 存储字长。 说明：一般来说MAR的位数反映了存储单元的个数，比如：MAR存储的是指令地址，如果是2位，那么它能够反映和表示2^2=
2016-08-13 12:05:30
6214
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人