从零开始搭建Ubuntu下的深度学习环境TensorFlow+Keras+Pytorch+Sklearn+OpenCV

我的Ubuntu系统又双叒叕崩溃了,卡在系统登录输密码的界面循环,似乎是更新了一下系统,和英伟达的驱动不兼容了。正好我的CUDA版本是8.0,支持不了高版本的TensorFlow,很难受,索性格式化系统,重新来一遍好了。现将整个过程记录在此,以备后查。


2020.9.15补充
查看显卡硬件型号
ubuntu-drivers devices
如果同意安装推荐版本,那我们只需要终端输入:sudo ubuntu-drivers autoinstall 就可以自动安装了。
当然我们也可以使用 apt 命令安装自己想要安装的版本,比如我想安装 340 这个版本号的版本,终端输入:sudo apt install nvidia-340 就自动安装了。
安装完记得重启电脑


2019.4.8补充
删除CUDA的程序在 /usr/local/cuda-10.0/bin
下载NVIDIA驱动的时候,网站经常打不开,翻墙就能解决
测试Tensorflow 1.X 是否支持GPU的测试代码

import tensorflow as tf
sess = tf.Session(config=tf.ConfigProto(log_device_placement=True))


正文开始

从零开始搭建Ubuntu下的深度学习环境

一、删除Ubuntu系统

需要安装:分区助手 https://www.disktool.cn/download.html
easyBCD http://www.xiazaiba.com/html/6227.html
在分区助手中找到原来Ubuntu系统安装的位置,选择"删除分区",得到约100GB的空闲空间。
在这里插入图片描述
在easyBCD中删除原来的加载选项
在这里插入图片描述

二、下载Ubuntu系统,制作系统盘

Ubuntu系统下载网址
下载ubuntu-16.04.4-desktop-amd64.iso
在这里插入图片描述
然后在 https://pan.baidu.com/s/1gbCc1FRxMRFczoRPjD4Cqg 提取码:poag
下载rufus,我们用它来制作系统盘。
在这里插入图片描述
准备一个8G的U盘,格式化,按照上图操作,点击START,稍等片刻,U盘启动盘就做好了。

三、安装系统

首先修改BIOS,选择为U盘启动优先。每台电脑的情况不一样,就不多说了,我的笔记本好像是开机按住F12还是Delete。
进入系统之后,选择试用系统,桌面上有安装系统的图标,大致如下图
在这里插入图片描述
选择中文->为图形或无线硬件… ->其他选项
找到我们在第一步得到的空余空间,点击“+”创建四个主要分区:
在这里插入图片描述

  • 10G 主分区 空间起始位置 Ext4日志文件系统 /
  • 2048MB 逻辑分区 空间起始位置 交换空间
  • 500MB 逻辑分区 空间起始位置 Ext4日志文件系统 /boot
  • 剩余的空间 逻辑分区 空间起始位置 Ext4日志文件系统 /home

注意 boot分区要做大一点,我第一次试了200MB,结果在安装到最后报错了。
"安装启动引导器的设备"选择\boot分区。
注意如果分配完主分区之后,空闲空间变成了不可用,就点击还原,将主分区改成逻辑分区

往下执行都没什么难度了,安装成功之后,拔出U盘,重启系统,进入Ubuntu则表示成

<think>嗯,用户想学习如何从零开始在GitHub上进行编程项目,包括移植API来获取小红书的流量数据接口,以及用AI分析视频。首先,我需要理解用户的需求。他们可能是一个刚开始接触编程和GitHub的新手,想要通过实际项目来学习。可能的目标是开发一个能够自动获取小红书数据并分析视频的应用,但具体细节还不明确。 首先,我应该拆分问题。用户的需求涉及多个方面:GitHub的使用、API移植、数据获取、AI视频分析。需要分步骤讲解,确保每个部分都清晰。可能用户对GitHub的基本操作不太熟悉,所以需要从注册、创建仓库、克隆项目开始。然后是关于API移植,这部分需要解释什么是API,如何根据需求修改现有的API或创建新的。小红书的接口可能没有公开的API,可能需要逆向工程或者使用爬虫技术,但需要注意法律问题。AI视频分析部分可能需要用到深度学习框架,比如TensorFlowPyTorch,以及相关的计算机视觉库。 接下来,要参考提供的引用内容。引用2提到了克隆YOLOv3或YOLOv4的仓库,这可能与视频分析相关,比如目标检测。引用4中的手写数字识别示例展示了如何使用Scikit-learn,但用户可能需要更复杂的模型来处理视频数据。引用3介绍了TensorFlow,可以用于构建神经网络模型。引用1提到神经网络的移植到FPGA,但用户的问题可能暂时不需要硬件加速,不过可以说明如何将训练好的模型部署到实际应用中。 用户可能需要具体的步骤指导,比如如何设置开发环境,如何找到并修改API,如何处理数据,如何集成AI模型。需要确保每个步骤都有示例代码或命令行操作,比如如何用Git克隆仓库,如何安装依赖,如何编写Python脚本进行数据获取和视频分析。同时,需要提醒法律和道德规范,特别是在获取小红书数据时,避免侵犯用户隐私或违反平台条款。 可能用户没有考虑到的问题包括API调用的频率限制、数据存储和管理、视频分析的算力要求。需要建议使用云服务或分布式计算来处理大规模数据。此外,项目结构的管理和版本控制也是重点,GitHub的使用不仅限于代码托管,还包括协作和持续集成。 最后,生成相关问题时要覆盖用户可能遇到的后续问题,比如性能优化、部署方法、数据处理技巧等。确保回答结构清晰,逐步引导用户从零开始完成项目,同时引用相关资料提供进一步学习的途径。</think>### 从零开始 GitHub 编程教程:移植 API 与数据接口开发 #### 1. GitHub 基础与项目搭建 - **注册与仓库创建** 登录 [GitHub官网](https://github.com),注册账号后点击 `New repository` 创建项目仓库,命名例如 `xiaohongshu-api`,选择公开或私有模式。 - **开发环境配置** ```bash git clone https://github.com/yourusername/xiaohongshu-api.git # 克隆仓库到本地 cd xiaohongshu-api python -m venv venv # 创建虚拟环境 source venv/bin/activate # 激活环境(Linux/Mac) ``` #### 2. API 移植与数据接口开发 - **API 设计与逆向工程** 小红书未开放官方 API,需通过以下方式模拟请求: 1. 使用浏览器开发者工具(F12)分析网络请求,提取关键参数如 `X-Sign` 或 `Cookie`。 2. 通过 Python 的 `requests` 库模拟 HTTP 请求: ```python import requests headers = { "User-Agent": "Mozilla/5.0", "Cookie": "your_cookie_here" } response = requests.get("https://www.xiaohongshu.com/api/data", headers=headers) ``` - **数据解析与存储** 使用 `BeautifulSoup` 或 `json` 解析响应数据,并保存至数据库: ```python import json data = json.loads(response.text) with open("traffic_data.json", "w") as f: json.dump(data, f) ``` #### 3. AI 视频分析集成 - **视频处理框架选择** 使用 OpenCV 读取视频帧,结合 TensorFlow/PyTorch 实现分析: ```python import cv2 import tensorflow as tf model = tf.keras.models.load_model("video_analysis_model.h5") # 加载预训练模型 cap = cv2.VideoCapture("input.mp4") while cap.isOpened(): ret, frame = cap.read() if not ret: break prediction = model.predict(frame) # 执行分析(如分类/目标检测) ``` - **YOLO 模型部署示例** 参考引用[2],克隆 YOLO 仓库并适配视频输入: ```bash git clone https://github.com/ultralytics/yolov3.git python yolov3/detect.py --source input.mp4 # 修改源码以输出结构化数据 ``` #### 4. 项目整合与自动化 - **GitHub Actions 自动化** 在 `.github/workflows` 目录下创建 YAML 文件,定义测试和部署流程: ```yaml name: CI on: [push] jobs: build: runs-on: ubuntu-latest steps: - uses: actions/checkout@v2 - name: Run Tests run: pytest tests/ ``` #### §§ 相关问题 §§ 1. 如何绕过小红书的反爬机制获取数据? 2. 视频分析模型的训练数据如何标注? 3. GitHub Actions 如何实现自动模型部署? 4. 如何将 API 服务容器化(Docker)? --- ### 引用与注意事项 - **合法性提醒**:数据获取需遵守平台协议,避免侵犯隐私[^1]。 - **性能优化**:高频请求可引入 Redis 缓存和异步处理(如 Celery)[^3]。 - **模型轻量化**:使用 TensorFlow Lite 或 ONNX 提升推理速度。
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值