生信机器学习入门1 - 数据预处理与线性回归(Linear regression)预测

生信专题:机器学习多组学、单细胞组学及空间组学 生物信息学的研究重点包括单细胞转录组与空间转录组。单细胞转录组提供了每个细胞内基因表达信息,结合空间转录组可以了解这些细胞在组织甚至器官级别的分布,对于理解动物发育或疾病意义重大。随着近几年的持续火热,单细胞测序技术也从单纯的转录组测序发展为多组学联合分析,包括基因组、转录组、表观基因组、蛋白组以及有空间水平的多组学研究(如空间转录组)。单细胞多组学技术能多层次、多角度地描绘细胞间的异质性,挖掘各层组学之间的直接和潜在联系,从而更加全面和系统地描绘细胞的状态和命运在生命科学和医学多领域有广泛的应用前景。 阅读详情

数据预处理与线性回归(Linear regression)预测

数据集下载

# data文件夹中包含数据集文件
git https://github.com/LittleGlowRobot/machine_learning.git

数据预处理主要步骤

参考github。
数据预处理

读取数据集

import numpy as np
import pandas as pd

########### 数据预处理实践 ###########
dataset = pd.read_csv('data/Data.csv')
print(dataset)

dataset

1. 数据预处理

X = dataset.loc[:, ['Country', 'Age', 'Salary']].values
print(X)

Y = dataset.loc[:, 'Purchased'].values
print(Y)

####### X #######
# [['France' 44.0 72000.0]
#  ['Spain' 27.0 48000.0]
#  ['Germany' 30.0 54000.0]
#  ['Spain' 38.0 61000.0]
#  ['Germany' 40.0 nan]
#  ['France' 35.0 58000.0]
#  ['Spain' nan 52000.0]
# ['France' 48.0 79000.0]
# ['Germany' 50.0 83000.0]
# ['France' 37.0 67000.0]]

####### Y #######
# ['No' 'Yes' 'No' 'No' 'Yes' 'Yes' 'No' 'Yes' 'No' 'Yes']

2. 填充缺失值

from sklearn.impute import SimpleImputer
# 使用平均值填充缺失值
imputer = SimpleImputer(missing_values=np.nan, strategy='mean')

# 重新填充
imputer = imputer.fit(X[:, 1:3])

# 赋值
X[:, 1:3] = imputer.transform(X[:, 1:3])
print(X)

####### X #######

# [['France' 44.0 72000.0]
#  ['Spain' 27.0 48000.0]
#  ['Germany' 30.0 54000.0]
#  ['Spain' 38.0 61000.0]
#  ['Germany' 40.0 63777.77777777778]
#  ['France' 35.0 58000.0]
#  ['Spain' 38.77777777777778 52000.0]
#  ['France' 48.0 79000.0]
#  ['Germany' 50.0 83000.0]
# ['France' 37.0 67000.0]]

3. 解析分类数据

from sklearn.preprocessing import LabelEncoder, OneHotEncoder
from sklearn.compose import ColumnTransformer

# 解析分类数据, 转换为数字表示类别
categories = ColumnTransformer([("", OneHotEncoder(), [0])], remainder='passthrough')

X = categories.fit_transform(X)
label_encoder_Y = LabelEncoder()
Y = label_encoder_Y.fit_transform(Y)

print(X)
# 0表示NO, 1表示YES

####### X #######
# [[0.0 1.0 0.0 0.0 44.0 72000.0]
#  [1.0 0.0 0.0 1.0 27.0 48000.0]
#  [1.0 0.0 1.0 0.0 30.0 54000.0]
#  [1.0 0.0 0.0 1.0 38.0 61000.0]
#  [1.0 0.0 1.0 0.0 40.0 63777.77777777778]
#  [0.0 1.0 0.0 0.0 35.0 58000.0]
#  [1.0 0.0 0.0 1.0 38.77777777777778 52000.0]
#  [0.0 1.0 0.0 0.0 48.0 79000.0]
#  [1.0 0.0 1.0 0.0 50.0 83000.0]
# [0.0 1.0 0.0 0.0 37.0 67000.0]]

print(Y)
####### Y #######
# [0 1 0 0 1 1 0 1 0 1]

4. 划分数据集

from sklearn.model_selection import train_test_split

# 将数据集按80%:20%划分为训练数据集和测试数据集
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=0.2, random_state=0)

print(X_train)
# [[1.0 0.0 1.0 0.0 40.0 63777.77777777778]
# [0.0 1.0 0.0 0.0 37.0 67000.0]
# [1.0 0.0 0.0 1.0 27.0 48000.0]

print(X_test)
# [1.0 0.0 0.0 1.0 38.77777777777778 52000.0]
# [0.0 1.0 0.0 0.0 48.0 79000.0]
# [1.0 0.0 0.0 1.0 38.0 61000.0]
# [0.0 1.0 0.0 0.0 44.0 72000.0]
# [0.0 1.0 0.0 0.0 35.0 58000.0]]
# [[1.0 0.0 1.0 0.0 30.0 54000.0]
# [1.0 0.0 1.0 0.0 50.0 83000.0]]

print(Y_train)
# [1 1 1 0 1 0 0 1]

print(Y_test)
# [0 0]

5. 特征缩放

from sklearn.preprocessing import StandardScaler

# 特征缩放
standard_scaler_X = StandardScaler()
x_tarin = standard_scaler_X.fit_transform(X_train)
X_test = standard_scaler_X.transform(X_test)

print(X_train)
# [[1.0 0.0 1.0 0.0 40.0 63777.77777777778]
#  [0.0 1.0 0.0 0.0 37.0 67000.0]
#  [1.0 0.0 0.0 1.0 27.0 48000.0]
#  [1.0 0.0 0.0 1.0 38.77777777777778 52000.0]
#  [0.0 1.0 0.0 0.0 48.0 79000.0]
#  [1.0 0.0 0.0 1.0 38.0 61000.0]
#  [0.0 1.0 0.0 0.0 44.0 72000.0]
#  [0.0 1.0 0.0 0.0 35.0 58000.0]]

print(X_test)
# [[ 1.         -7.         22.66890466 -5.67954246 -7.80844702 -6.56578547]
#  [ 1.         -7.         22.66890466 -5.67954246 -7.70634099 -6.56578543]]

简单线性回归(Linear regression)实践

线性回归主要步骤

线性回归

代码实现Linear regression

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

dataset_scores = pd.read_csv('data/studentscores.csv')
# 按Scores列降序排序数据
# dataset_scores_sorted = dataset_scores.sort_values(by='Scores', ascending=False)

print(dataset_scores)
# Hours  Scores
# 0     2.5      21
# 1     5.1      47
# 2     3.2      27
# 3     8.5      75
# 4     3.5      30
# 5     1.5      20
# 6     9.2      88
# 7     5.5      60
# 8     8.3      81
# 9     2.7      25
# 10    7.7      85
# 11    5.9      62
# 12    4.5      41
# 13    3.3      42
# 14    1.1      17
# 15    8.9      95
# 16    2.5      30
# 17    1.9      24
# 18    6.1      67
# 19    7.4      69
# 20    2.7      30
# 21    4.8      54
# 22    3.8      35
# 23    6.9      76
# 24    7.8      86
# 25    2.1      93
# 26    2.2      93
# 27    2.5      93

# 数据预处理, iloc基于行号和列号索引
X = dataset_scores.iloc[0:25, :1].values
Y = dataset_scores.iloc[0:25, -1:].values
print("X:\n",X)
print("Y:\n",Y)

# X:
#  [[2.5]
#  [5.1]
#  [3.2]
#  [8.5]
#  [3.5]
#  [1.5]
#  [9.2]
#  [5.5]
#  [8.3]
#  [2.7]
#  [7.7]
#  [5.9]
#  [4.5]
#  [3.3]
#  [1.1]
#  [8.9]
#  [2.5]
#  [1.9]
#  [6.1]
#  [7.4]
#  [2.7]
#  [4.8]
#  [3.8]
#  [6.9]
#  [7.8]]

# Y:
#  [[21]
#  [47]
#  [27]
#  [75]
#  [30]
#  [20]
#  [88]
#  [60]
#  [81]
#  [25]
#  [85]
#  [62]
#  [41]
#  [42]
#  [17]
#  [95]
#  [30]
#  [24]
#  [67]
#  [69]
#  [30]
#  [54]
#  [35]
#  [76]
#  [86]]

# 划分训练集和测试集
from sklearn.model_selection import train_test_split
# 3/4训练集, 1/4测试集
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=1/4, random_state=0)
print(X_train)
# [[7.8]
#  [6.9]
#  [1.1]
#  [5.1]
#  [7.7]
#  [3.3]
#  [8.3]
#  [9.2]
#  [6.1]
#  [3.5]
#  [2.7]
#  [5.5]
#  [2.7]
#  [8.5]
#  [2.5]
#  [4.8]
#  [8.9]
#  [4.5]]

print(X_test)
# [[1.5]
#  [3.2]
#  [7.4]
#  [2.5]
#  [5.9]
#  [3.8]
#  [1.9]]

print(Y_train)
# [[86]
#  [76]
#  [17]
#  [47]
#  [85]
#  [42]
#  [81]
#  [88]
#  [67]
#  [30]
#  [25]
#  [60]
#  [30]
#  [75]
#  [21]
#  [54]
#  [95]
#  [41]]

print(Y_test)
# [[20]
#  [27]
#  [69]
#  [30]
#  [62]
#  [35]
#  [24]]

# 训练线性回归模型
from sklearn.linear_model import LinearRegression
linear_regressor = LinearRegression()
linear_regressor = linear_regressor.fit(X_train, Y_train)

# 使用测试集进行预测
Y_predict = linear_regressor.predict(X_test)
print(Y_predict)
# [[16.84472176]
#  [33.74557494]
#  [75.50062397]
#  [26.7864001 ]
#  [60.58810646]
#  [39.71058194]
#  [20.8213931 ]]

# 训练集数据可视化
import matplotlib.pyplot as plt

# 训练集数据可视化, 红色点
plt.scatter(X_train, Y_train, color='red')

# 使用X_train训练集作为输入,线性模型预测结果
plt.plot(X_train, linear_regressor.predict(X_train), 'bo-')
plt.show()

训练集数据可视化

# 测试集数据可视化
plt.scatter(X_test, Y_test, color='red')

# 使用X_test测试集作为输入,线性模型预测结果
plt.plot(X_test, Y_predict, 'bo-')
plt.show()

 测试集数据可视化

李宏毅2020机器学习作业1——Linear Regression ————————————————————————————————————————————— 开始之前声明:本文参考了李宏毅机器学习作业说明. 欢迎使用Markdown编辑器 你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功... 阅读详情

相关推荐

Sklearn——用Sklearn实现线性回归(LinearRegression)

文章目录1.前言2.Sklearn实战线性回归2.1.导入必要模块2.2.加载数据2.3.训练+预测 1.前言 Sklearn 中的datasets,很多而且有用,可以用来学习算法模型。 比如: boston 房价, 糖尿病, 数字, Iris 花。 也可以生成虚拟的数据,例如用来训练线性回归模型的数据,可以用函数来生成。 例如,点击进入 boston 房价的数据,可以看到 sample 的总数...

weixin_37763870的博客 9127

机器学习在生物信息学中的应用

1.背景介绍 生物信息学是一门研究生物学信息的科学,它结合生物学、计算机科学、数学、统计学、化学等多学科知识,涉及到生物序列数据的收集、存储、传输、分析、比较和挖掘等方面。生物信息学在过去二十年里发展迅速,成为生物科学和生物技术的重要支柱。随着高通量测序技术的发展,生物信息学在大数据处理、计算生物学、基因组学、蛋白质结构学、生物网络等方面取得了重要的成果。 随着机器学习技术的不断发展,它已经成...

AI天才研究院 2033

机器学习第一篇 线性回归

机器学习,线性回归预测

hj2207010104的博客 2731

机器学习与生物信息学:解密生物过程的秘密

1.背景介绍 生物信息学是一门研究生物学知识的科学,它结合生物学、计算机科学、数学、化学、物理学等多学科知识,研究生物信息的表示、存储、传输、检索、分析和模拟等方面。生物信息学的研究内容广泛,涉及基因组学、蛋白质结构和功能、生物网络、生物信息数据库等方面。 随着人工智能技术的发展,机器学习在生物信息学领域也取得了显著的成果。机器学习是一门研究如何让计算机从数据中自动学习出知识和模式的科学。在生...

AI天才研究院 1044

局部加权线性回归算法(Locally Weighted Linear Regression)及相关案例

局部加权线性回归算法(Local Weighted Linear Regression)及相关案例 大家好,我是W 这次讲线性回归,之前有说逻辑回归(Logistic Regression),虽然逻辑回归负责分类,可是在数据到达二值函数之前的逻辑都是线性回归的逻辑,所以这两个回归是十分相似的。这篇文章的顺序是:1、线性回归算法原理 2、最小二乘法和算法评估标准 3、案例1-简单数据集标准线性回归 4、案例2-简单数据集局部加权线性回归 5、案例3-鲍鱼年龄预测。 案例2-简单数据集局部加权线性回归 接上一篇

Alian_W的博客 9869

Julia 机器学习 ---- 单变量线性回归 和 多元线性回归 (Linear regression)

目录 1、线性回归概述 2、数据准备 3、数据探索 3.1简单的数据清洗 3.2 图形分析数据 3.2.1 盒形图的离群点分析,需要根据四分位距去掉部分数据点。 3.2.2 密度图进行分布分析 3.2.3 散点图相关分析 4、数据预处理 4.1、独热编码(One Hot Encoding) 4.2、按照比例分割为“测试集”和“训练集” 5、建立模型 6 检验标准(模型诊断) 7、 模型预测、评价、交叉验证 7.1 模型的预测与评价 7.1.1预测 7.1.2 计算误差 线

October 4788

生信机器学习入门5 - 构建决策树(Decision Tree)和随机森林(Random Forest)分类器

构建决策树(Decision Tree)和随机森林(Random Forest)分类器

LittleComputerRobot的博客 1512

李宏毅--机器学习作业--1-Linear Regression:预测PM2.5

1-Linear Regression:预测PM2.5 1.作业目的 2.数据集描述 3.作业描述 4.完整代码 5.测试Python 6.运行源码 7.安装库语句 8.SYS安装教程 7.解决Non-UTF-8问题 注意:这篇博客的任何操作是在已经下载好Python的前提下,如果还没有下载Python,可以参考以下链接下载Python https://blog.youkuaiyun.com/qq_39346534/article/details/106954662 1.作业目的: 根据前9个小时采集的台湾环境监测

纯粹的博客 2026

机器学习——线性回归(Linear Regression)

机器学习学习笔记——2

1 9997

【数据分析】利用机器学习算法进行预测分析(二):线性回归(Linear Regression)

其中,x 代表独立变量,θ 代表的是权重。对于本文的股价预测问题,我们没有一组独立变量。我们只有日期,所以我们从日期列中提取诸如:日,月,年,星期一 / 星期五等特征,然后拟合线性回归模型。

Data · Model · Agent · Repeat 5859

李宏毅2020机器学习作业1-Linear Regression:预测PM2.5

采集了台湾环境监测所的数据。 要求:根据前9小时的数据,用线性回归来预测第10个小时的PM2.5的数值。

⚡ 2万+

线性回归(Linear Regression)介绍

连锁便利店的店面面积都不大,没有大量储存货品的能力,针对连锁店来说,如果能精确计算出每天的补货量,特别是对一些季节性强的货品进行统一配送,将在节约能源和提高店面使用率上起到很好的作用。本程序在使用scatter函数时,将数据集的第1列和第2列数据(气温和人口)分别映射到了x轴和y轴,c参数可以单独使用,也可以和cmap联合运用,如果cmap先定一种颜色系,则c列表内的数字代表是该颜色系内的颜色,c=table[:,3]就是救数据集的数量与灰度对应。),也称为决定系数。求出的模型的决定系数越高,说明。

sweethoney216的博客 1954

【机器学习教程】一、线性回归(Linear Regression):预测与拟合的利器

线性回归是一种经典的机器学习算法,用于建立自变量和因变量之间的线性关系模型。线性回归的原理基于对自变量和因变量之间线性关系的建模。其中,Y是因变量,X是自变量,β0和β1是回归系数,ε是误差项。我们的目标是找到最优的β0和β1,使得拟合的直线最好地描述数据。我们有一个包含房屋面积和房屋价格的数据集,我们将基于这些特征建立一个线性回归模型。这只是一个简单的房价预测案例,实际应用中可能会考虑更多的特征和数据预处理技术,以提高模型的准确性。现在,让我们来看一个复杂的实战案例,以演示线性回归的使用。

m0_68629936的博客 1092

吴恩达机器学习ex1 Linear Regression (python)

吴恩达机器学习exp 1 (python) Programming Exercise 1: Linear Regression Machine Learning Linear regression with one variable 1.题目描述    In this part of this exercise, you will implement linear regression with one variable to predict profits for a

风信子的猫Redamancy的快乐星球 9637

机器学习-线性回归预测

1、掌握使用Weka做线性回归的方法; 2、掌握线性回归的相关知识; 3、处理丢失数据的值,替换原始数据中的短横线(因为这里的实验数据本应该是数字类型,而不是枚举类型)

生物信息学机器学习方法

生物信息学的机器学习方法对基因测序等有深入探讨,设计统计推断,统计学习等内容

1.1.1 线性回归(Linear Regression)

线性回归(Linear Regression) 1.什么是线性回归 我们首先用弄清楚什么是线性,什么是非线性。 线性:两个变量之间的关系是一次函数关系的——图象是直线,叫做线性。 注意:题目的线性是指广义的线性,也就是数据与数据之间的关系。 非线性:两个变量之间的关系不是一次函数关系的——图象不是直线,叫做非线性。 相信通过以上两个概念大家已经很清楚了,其次我们经常说的...

u012472945的博客 2492

876-基于STM32的毫米波雷达智能睡眠监测系统

基于STM32的毫米波雷达智能睡眠监测系统通过非接触式毫米波雷达检测人体呼吸频率和体动次数,结合WIFI数据传输和OLED显示,实现睡眠质量分析与远程监控。系统核心功能包括生理参数采集、阈值设置、数据可视化及远程交互。

m0_50083169的博客 1545

2020李宏毅机器学习课程作业——Homework1:Linear Regression

一、作业获取途径 课程网址:http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML20.html B站视频地址:https://www.bilibili.com/video/BV1JE411g7XF?from=search&seid=18330864429491522852 如果不能访问课程网址,作业的压缩包如下,链接:https://pan.baidu.com/s/1PZZnWZKZONDCGTMznKINEg 提取码:5of8 案例提供的是在Col.

梅菜扣肉 7175

大地坐标系与经纬度转换(一):大地坐标系简介

一、大地坐标系 大地坐标系是大地测量中以参考椭球面为基准面建立起来的坐标系。地面点的位置用大地经度、大地纬度和大地高度表示。 二、地心坐标系 ...

qq_42895926的博客 6万+

睿尔曼复合机器人之底盘操作流程

控制键”按下后,可在键盘上通过‘i’(向前),‘k’(向后),‘j’(向左旋转),‘l’(向右旋转)四个按键对底盘进行运动控制。选中禁⾏线功能后,使⽤⿏标在界⾯内点击选择起点,继续在其他地⽅点击,两点之间会连成⼀条线,可以进⾏多次连续点击,形成连续线条。4)扫图完成后,软件会重新启动,返回到监控页面,点击“激光”可看到当前机器激光扫描的实时数据,在页面上表现为红色边界线,点击菜单栏“控制”键使底盘在一定范围内运动,扫描到尽可能多的边界线,可发现与实际地图的黑色边界线不同,需要进行手动校正。

realman_Rop的博客 1475
上一篇: 生信软件20 - seqkit+awk+sed+grep高级用法技巧合辑
下一篇: 生信技能46 - Call人类线粒体变异和提取chrM变异位点
生信与基因组学
博客等级 码龄9年 7209粉丝 257原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

生信与基因组学

每一份鼓励是我坚持下去动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值