柳小葱的博客

🍒电脑重装系统之后很多都软件都没了，今天来安装一下Vmware，用来搭建大数据相关的平台。

????大家好，欢迎来到柳小葱的博客，今天这一篇，我们不讲别的，就讲讲博主的2021年度总结！2021年所做的事情:1. 学习方向2. 个人生活3.实习经历4.未来方向5.2021值得纪念的事情1. 学习方向2021年初，学校的课程已经很少了，心里总是想着实习，3月份来学校后，上刘老师的课，给我们普及了hive的课程，从此之后，我就踏上了大数据的道路，我本身是一个学习优化和算法方向的学生，想做的工作当然是算法工程师，然后考虑数据分析师（当时没考虑，也不知道大数据开发岗位），上完那节课，我想着用大数据做

????在经历了deepin,centos7安装docker失败之后（deepin系统curl指令出错，centos7版本太低），我决定在我的Macbook m1上安装docker这里写目录标题1.确定自己电脑版本2.上官网下载m1版本的docker3.安装docker4.配置国内镜像加速5.检查配置1.确定自己电脑版本2.上官网下载m1版本的docker下载链接: MacBook m1芯片的docker官网.长这个样子：点击下载就好：下载完成如下：3.安装docker拖进去安

????今天想和大家分享一下git，想做这一期的原因是因为在实习期间，在和测试部门的主管交流需求时，她发现我对git一窍不通，然后叫我有空看看git去，这不，我就开始看看git。我在下面放上github和git的网址方便大家访问????:github: github官网.git: git官网.????今天这一期我主要是从git是什么，如何安装，如何使用这三个方面来讲述，也算是我自己学习的一个过程。有以下安装环境需要先介绍一下：安装的机器是MacBook pro2020（非m1版本），我发现我的

???? 拿到m1芯片的MacBook第一件事就是安装anaconda，谁叫我这么热爱python呢，接下来就给大家介绍详细的安装过程。先和大家说明一下，anaconda 还没有适配m1架构的MacBook，所以我们只能安装miniforge31.安装miniforge3链接: miniforge3下载地址.链接: miniforge3下载地址国内地址.选择arm64版本的下载完之后，他在我们的Downloads的目录下：我们直接运行脚本sh Miniforge2-MacOSX-arm64

????今天应大家的需求，给大家演示一下python读取较大的文件数据。这里写目录标题1.文件大小2.环境准备2.1 你需要准备一个至少40G的空间2.2 转换数据3.python读取数据4.总结1.文件大小给大家看看文件大小。2.环境准备2.1 你需要准备一个至少40G的空间我们知道pandas无法一次性读取这么大的文件，但是sqlite3可以，并且sqlite3自带sqlites3，我们只需将其转化为.db.db.db结尾的文件。切记将下载的sqlite3和你的数据放在同一个文件夹里点

上一期的机器学习算法更新到岭回归，然后看完了非监督的聚类算法就进入到深度学习了，机器学习剩下几章没更新，这几天上课时候老师讲到Kmeans算法，于是我就觉得手写一下Kmeans算法，加深对聚类算法的理解。1. K-means算法原理K-means算法的思想：首先从数据集中随机选取K个点作为初始中心点。然后分别计算所有点到这K个点的距离，每个点选取距离最小的中心点将他们归成一类。重现计算各个类中所有点的平均值，选出新的中心点再次计算所有点到新的中心的距离，然后归类。循环多次，当中心点变...

1.学习深度学习用tensorflow2.0更加适合，比起tensorflow1.0版本便捷不少，建议用2.0版本学习2.介绍一些tensorflow2.0的一些基本函数import tensorflow as tf#tensorflow常用函数tf.cast(张量名,dtype=数据类型)#强制转换为该种数据类型tf.reduce_min(张量名)#计算张量维度上的最小值tf.reduce_max(张量名)#计算张量维度上的最大值tf.reduce_mean(张量名,axis=1)#求x轴方

1.随机森林是什么？随机森林是一个集成工具，它使用观测数据的子集和变量的子集来建立一个决策树。 它建立多个这样的决策树，然后将他们合并在一起以获得更准确和稳定的预测。（个人理解就是建立很多决策树，然后根据决策树的结果来判断哪个分类更好选哪个）2.随机森林API...

遗传算法学了一阵子遗传算法理论了，今天拿个实例来学习。我理解的遗传算法就是受到大自然的启发，物竞天择的思想。例如上图中，我们要求最大值，我们当然可以正常求导，利用函数的导函数的性质来判断，然而遗传算法的做法就是首先随机在这些曲线上取点，模拟大自然的物种，利用数学函数来模拟基因的复制，交叉，变异。利用适应度函数来决定哪些点可以留下，然后就一直留下最优的点继续运算，理论上一定会找到最优点。例如：求函数f（x）=x +10sin(5x)+7cos(4x)的最大值先看看他的图像%% II.

这几天没有写博客，主要是在看matlab的神经网络，通过对机器学习的学习，学习了感知器，径向基，bp等神经网络。接下来就学习一个运用最广泛的bp神经网络案例！例： bp神经网络预测汽油浓度案例。首先数据集spectra_data.mat中有两组数据，即数据集P和T，在这一组数据中，有60条数据，每条数据有401个特征值，我们要做的就是取其中一部分作为训练，一部分作为测试。我们先来看看数据集NIR（p）数据集octane（t）数据集的数值范围比较混乱我们应当对他们进行调整（在这里我将数据都处理

1.数组的拼接数组的竖直和水平拼接#数据竖直拼接t3=np.vstack((t1,t2))#数据水平拼接t4=np.hstack((t1,t2))例如：import numpy as npt1=np.arange(12).reshape(2,6)t2=np.arange(12,24).reshape(2,6)print(t1)print(t2)print("*"*100)#数据竖直拼接t3=np.vstack((t1,t2))print(t3)print("*"*10