笨蛋程序员-优快云博客

原创如何安装和使用vicuna

Vicuna 是基于 LLaMa 微调得来的大规模语言对话模型。本文以 Vicuna-7B 模型为例，安装和使用 Vicuna。若需使用 Vicuna-13B 模型，仅需把参数 7B 改成 13B 即可。

2023-04-27 15:15:16 2292

原创 Leetcode76 最小覆盖子串题解

LeetCode 76 最小覆盖子串讲解，用滑动窗口解决，利用哈希表记录字符变化。

2022-04-12 22:33:27 554 1

之前的文章讲过 Hadoop 安装和配置，并且运行 wordcount 程序。本问主要配置历史服务器和日志服务器，用于查看程序运行的历史信息和日志信息。配置历史服务器历史服务器可以查看任务运行的历史。配置 mapred-site.xml在 etc/hadoop/mapred-site.xml 文件中添加下面这两个属性。<property><name>mapreduce.jobhistory.address</n

2022-04-11 12:31:30 2128

原创 Hadoop 笔记（四）运行一个程序

之前的几篇文章介绍了 Hadoop 安装与配置，以及 HDFS、Map Reduce 和 YARN 的体系架构。本文则创建并完成一个项目。Hadoop 不适合做时延要求较高的项目，但适合做吞吐量比较大的工作。

2022-04-11 10:38:31 1866

原创 Hadoop 笔记（二） YARN 体系结构

YARN 式分布式操作系统，其基本功能就是管理整个集群的计算资源，提供用户程序访问系统资源的 API。体系架构MapReduce v1 中的 JobTracker 两大功能——资源管理和任务调度，拆分为 ResourceManager 和 ApplicationMaster，前者负责资源管理，后者负责任务管理。而 TaskTracker 发展为 NodeManager，用来管理本机资源。ResourceManager 和从属节点的进程 NodeManager 组成了 Hadoop 2.0 的分布式数据

2022-04-05 19:04:15 1432

原创 Hadoop 笔记（三）运行模型及配置

Hadoop 有 3 种运行模式，分别是单机模式、伪分布式模式、完全分布式模式。目录单机模式伪分布式模式配置格式化文件系统完全分布模式配置主节点配置从节点格式化文件系统单机模式这篇文章中讲解了 Hadoop 的安装和环境设置。当安装完成后，Hadoop 就是默认的单机模式。在该模式下使用的是本地文件系统，而不是分布式文件系统，Hadoop 不会启动守护进程，不用修改配置文件，避免了复杂的配置工作，用于对 MapReduce 程序逻辑进行调试。伪分布式模式用一台主机模拟多台主机的运行环境。每个守护进

2022-04-05 16:47:28 2220

原创 Hadoop 笔记（一） HDFS 和 MapReduce 体系结构

Hadoop 2.0 包含 Common、HDFS、Yarn 和 MapReduce 四个模块，Common 主要为其它模块提供服务，MapReduce 其实是 Yarn 模块里的一种编程方式，实际对外提供服务的只有 HDFS 和 Yarn。目录CommonHDFS特点体系架构CommonCommon是其它模块的公共接口，提供公用API。它还提供了 mini 集群、本地库、超级用户、服务器认证和 HTTP 认证等功能。HDFSHDFS 是 Hadoop 文件系统，提供了高容错、高扩展、高可靠的分

2022-04-04 18:47:31 1778

原创 Hadoop 笔记（〇）安装

创建 Hadoop 运行环境，安装 Hadoop。

2022-04-04 10:18:14 1693

原创计算机组成原理学习笔记之（〇）概述

目录硬件和软件层次结构冯·诺依曼体系结构硬件和软件计算机由硬件和软件组成。硬件指各种看得见摸得着的电子元器件设备。软件则由具有特定功能的信息组成，通常保存在内存或硬盘之中。软件性能的发挥需要硬件的支持。软件通常又可分为系统软件和应用软件。系统软件用来管理整个计算机系统，调度系统资源，包括标准程序库、操作系统等。应用软件又称为应用程序，由用户根据任务所需编制的各种程序。层次结构用户编写的高级语言程序与数据一起送入计算机，被翻译程序转为机器语言（目标程序），再运行得到结果。翻译程序分为编译程序和解释

2022-04-01 20:36:03 814

原创在 python 中进行单元测试

单元测试（unit test）就是编写测试来验证某一模块的功能正确性。一般会指定输入，验证输出是否符合预期。单元测试进行单元测试，首先要导入 unittest 库。import unittest先写一个功能函数，这里以完成加法为例，完成两个数的加法。def add(a, b): return a + b为了验证加法函数的功能是否正确，首先创建一个 TestAdd 类，继承类 unittest.TestCase，然后在这个类中定义相应的测试函数 test_add()，测试函数要以 test

2022-03-05 21:36:12 8025 1

原创 python 上下文管理器 with 语句

上下文管理器 with 语句可以自动地分配和释放资源。读写文件这篇文章中介绍了文件读写的方法，每次读取文件时要使用 open() 函数打开文件，使用结束后要用 close() 函数关闭文件。有时，我们会忘记关闭文件，或者打开了许多文件占用太多资源。使用上下文管理器 with 语句可以方便地读取文件，它会自动地释放文件。with open('test.txt') as f: f.read()with 语句后可进行文件操作，它会自动关闭文件，而不用去调用 close() 函数。...

2022-03-04 12:45:11 1618 1

原创 C++11 unordered_map

unordered_map 在头文件 <unordered_map> 中定义，它是一个包含键-值对的关联容器（键是唯一的）。其内部存储没有特定的顺序，值是根据键的哈希值进行存储，计算哈希值的速度是很快的，因此查找、插入、删除都是常数时间。#include <unordered_map>初始化unordered_map<int, int> u = {{2, 4}, {4, 16}};在尖括号中给出键和值的数据类型，这里都是整型，利用列表的形式可以初始化。插入修

2022-03-01 11:42:03 1237

原创 CC++ qsort函数和sort函数

qsort() 函数和 sort() 函数实现排序功能，前者是 C 语言内容，后者是 C++ 内容，下面逐一讲解。qsort()先来看一个对数组 arr 排序的例子。qsort() 函数在 stdlib.h 库中，使用时要包含该库文件。#include <stdio.h>#include <stdlib.h>int cmp1(int * a, int * b){ return *a - *b;}int main(){ int arr[5] = {3, 1,

2022-02-24 22:09:56 1024

原创 C++ 函数模板

函数模板就是通用的函数，它使用泛型来定义函数，泛型可用具体的类型替换，通过将类型作为参数传递给模板，使编译器生成该类型函数。也就是说，函数参数的类型可以不确定。例如，写一个交换数据 a 和 b 的函数 swap，参数既可以是 int 类型数据，也可以是 double 类型数据。如果不用模板，则需要写两个函数，使用模板的话就能进行统一。template <typename AnyType>void swap(AnyType &a, AnyType &b){ AnyType

2022-02-11 19:54:44 535

原创 python seaborn学习笔记

Matplotlib 是 python 的绘图工具，这篇笔记记录了 Matplotlib 库的使用。Seaborn 库是以 Matplotlib 库为基础的更高阶库，绘出的图也更加美观。

2022-02-10 22:03:46 931

原创 python 实现排序算法

本文不详细讲解排序原理，用 python 实现冒泡排序、选择排序、插入排序、希尔排序、快速排序、归并排序。目录冒泡排序选择排序插入排序希尔排序快速排序归并排序冒泡排序从第一个元素开始向倒数第二个元素，与后一个元素比较，如果该元素大于后一个元素，则交换，最大的元素将会被放在最后一个位置。再从第一个元素开始向倒数第三个元素，同样比较交换，次大的元素会被放在倒数第二个位置。依此类推，越大的元素越会被放在后面。def bubble(list): n = len(list) for i in

2022-01-20 19:06:27 961

原创 python 实现二分查找

python 实现二分查找，递归实现，非递归实现。

2022-01-12 00:49:57 488

原创 python 实现二叉树

用 python 实现二叉树，实现添加节点，层遍历，前序遍历，中序遍历，后序遍历。

2022-01-12 00:48:34 14601 6

原创 python 实现栈和队列

本文不涉及栈和队列概念的详细讲解，而着重利用 python 实现栈和队列，在其中穿插代码讲解。目录栈队列栈栈实现数据的后进先出（LIFO）。队列队列实现数据的先进先出（FIFO）。

2022-01-10 22:29:55 1552

原创 python 实现链表

python实现链表，python单向链表，python循环链表，python双向链表。

2022-01-09 21:52:23 8372 2

原创 python matplotlib学习笔记

matplotlib 可以完成各种绘图，使用该库首先要导入 pyplot 库。import matplotlib.pyplot as pltfrom matplotlib import pyplot as plt # 两种方法等效目录代码风格二维绘图图形折线图柱形图散点图饼状图等高线图量场图样式线性颜色线性样式标记点颜色、标记点、线透明度线宽规范绘图绘制子图图形位置三维绘图代码风格有两种风格完成图的绘制，一种是对象导向（OO）风格。这种风格适合于复杂绘图，代码可以被重用。fig, ax =

2021-12-22 21:47:36 2523

原创 python pandas学习笔记

pandas 适用于数据分析，功能上类似于 excel，但前者便于复现。使用 pandas 首先要导入库。import pandas目录数据结构序列创建属性和方法数据框创建属性和方法读写文件csv文件Excel文件行列操作提取列增加列删除列提取行同时操作行和列bool值索引处理缺失值统计缺失值填充缺失值数据对齐和计算增加行或列增加行数据拼接逐行拼接列拼接展示数据结构序列Series 是一维数组，可以包含任意数据类型，每个数组都有一个索引标签。创建Series() 函数可以创建序列对象，它的参

2021-12-18 21:20:51 1802

原创 python numpy学习笔记

numpy的主要数据对象是多维数组，其中包含相同类型的元素，通常是数字类型，每个元素都有一个索引。使用numpy前通常要导入包。import numpy as np目录类型维度创建运算索引和切片类型numpy的数组被称为ndarray。numpy.array只处理一维数组，而ndarray对象才提供更多功能。a = np.array([[1, 2, 3], [4, 5, 6]])type(a) # <class 'numpy.ndarray'>dtype属性可以获得元素的数

2021-12-03 16:35:16 1825

原创 Git分支

分支是从主线工作中分离出来的一部分，以免和主线相互干扰。当每一次commit时，Git都会创建commit对象，不仅包含了各种commit信息，还包括指向该commit的指针。如果是初次commit，则没有父节点；如果是一次正常的commit，则有一个父节点；如果是从多个分支中合并，则有多个父节点。简单来说，就是由一个commit指向另一个commit。分支就是指向其中一个commit的指针。Git中默认分支是master，master始终指向最新的一次commit。...

2021-11-22 20:35:30 333

原创 python os.path路径名操作模块

文件有两个重要组成部分，分别是路径和文件名。在书写路径时，Windows系统用反斜杠\作为文件夹分隔符；而在Linux上则用正斜杠/。为了进行统一处理这两种情况，可用os.path.join()函数来处理，如import osos.path.join('user', 'bin')# 'user\\bin'os.path模块提供了关于路径名的操作，所有的方法都可以接受字节或者字符串对象作为参数。在使用该模块前需要导入import os模块下的使用方法都是一样的os.path.basenam

2021-10-10 09:49:01 312

原创 python字符串格式化

目录f-字符串format()方法%形式文本介绍三种字符串输出方式：f字符串；format()方法；%的形式。f-字符串f-字符串需要在字符串前加上f或者F的前缀。f-字符串允许在字符串内的大括号{}中写表达式进行替换，并可在冒号后写入格式说明符来控制输出格式。print(f'The value of pi is approximately {math.pi:6.3f}.')冒号:后的整数表示表示字符宽度（可以省略），点.后的数字表示小数位数，f表示浮点数。另外的修饰器可以把值进行转化。!r表

2021-09-17 09:08:30 278

原创 Python 浅拷贝与深拷贝

python赋值语句不会复制对象，只会指向目标对象。当一个值改变时，另一个值会跟着改变。copy模块提供了浅拷贝和深拷贝，可以解决这一问题。浅拷贝浅拷贝构造一个新的对象，把原对象的引用插入其中。copy.copy(x)修改浅拷贝对象中引用的内容时，原对象也会跟着修改。深拷贝深拷贝构造一个新的对象，并把原对象中的拷贝插入其中。copy.deepcopy(x[, memo])修改深拷贝对象中引用的内容时，原对象不会跟着修改。memo参数可以防止递归拷贝。可以通过定义类的__cop

2021-08-19 12:05:39 337

原创 Python pprint模块

pprint模块可以漂亮地打印列表和字典。目录PrettyPrinter()对象pformat()方法pprint()方法isreadable()方法isrecursive()方法format()方法pprint()pformat()pp()isreadable()isrecursive()saferepr()PrettyPrinter()对象用于构造示例。stream关键字参数用于设置输出流，流对象上使用的唯一方法是对象的write()，如果没有输入该参数，则表示标准输出。indent表示缩进数，默

2021-08-19 11:51:19 828

原创 python 剪切板pyperclip模块

pyperclip模块可以读取计算机剪切板里的内容。目录安装使用安装使用下面的命令安装模块。pip install pyperclipMac系统需要配合pbcopy和pbpaste命令。Linux系统需要使用xlip和xsel命令。使用使用时首先导入模块。import pyperclip向剪切板发送文本使用copy()函数。pyperclip.copy('Hello World!')从剪切板读取文本使用paste()函数。pyperclip.paste() # 'Hello

2021-08-19 10:30:22 777

原创 python数值类型

python数值类型分为整型、浮点型和复数型，布尔型数据是整型的一种。目录整型浮点型复数型运算数据类型转化整型整型数据没有精度限制，当把一个整数赋值给变量时，就得到了整型数据。i = 123type(i) # <class 'int'>type()可以查看变量的类型。浮点型浮点型数据是由C语言中的double类型实现，它的精度由机器决定，可以通过sys.float_info查看。import sysprint(sys.float_info)''' 输出信息sys

2021-07-11 21:40:19 1078

原创 python读取写入excel文件

Excel文件包含多个表，当前查看的表为活动表。每个表有多列，从A开始编号；也有多个行，从1开始计数。目录读取文件写入文件读取文件打开文件python打开excel文件需要导入openpyxl模块，使用openpyxl.load_workbook()函数，该函数接受一个文件名，获得Workbook()对象。import openpyxlwb = openpyxl.load_workbook('table.xlsx')读取表格get_sheet_names()可以取得文件中所有表名，

2021-07-04 21:32:33 737 5

原创 python日志logging模块

使用日志必须导入logging模块，并做好配置。import logginglogging.basicConfig(level=logging.DEBUG, format=' %(asctime)s - %(levelname)s - %(message)s'在打印日志时使用logging.debug()函数调用basciConfig()打印信息。例如def factorial(n): logging.debug('Start of factorial(%s)' % (n)) to

2021-07-04 12:55:02 322 1

原创 python读取和压缩ZIP文件

ZIP文件即压缩包，python的zipfile模块可以很容易地实现ZIP文件的读取、解压和创建。目录读取解压创建使用前需要导入zipfile模块。import zipfile读取首先，通过zipfile.ZipFile()函数，创建ZipFile对象。f = zipfile.ZipFile('filename.zip')接下来，可以通过namelist()方法获取压缩包中的所有文件和文件夹名称列表。f.namelist()压缩包中的文件可以通过getinfo()方法传递给特定文件的

2021-07-03 23:56:00 10102 8

原创 python 集合set和fronzeset的使用

python中捅过set()函数或尖括号创建集合。常用方法如下表函数语法说明a.add(x)将元素x添加到集合aa.clear()将集合清空a.remove(x)将元素x从集合a中除去a.pop()从集合a去除任意元素，如果集合为空，则抛出异常a.union(b)a | b集合a和b取并集a.update(b)a |= b集合a更新为a和b的并集a.intersection(b)a & b集合a和b取交集a

2021-03-02 13:42:33 351

原创解决pip安装包到全局环境的问题

在 conda 虚拟环境中，可使用conda install命令安装包，然而该命令并不能安装所有的包，有些包依旧需要使用pip命令进行安装。但是，pip install命令将包安装到了全局环境中，无论你是否已经激活了虚拟环境。我发现网上有许多人推荐使用python -m pip install的形式进行安装，但是该方法亲测无效！！。我的解决方案是：创建虚拟环境并激活conda create -n envconda activate env在虚拟环境中用安装pipconda insta

2021-02-10 23:13:04 7616

原创 python实现线性回归

本文不涉及线性回归的具体原理，只通过python代码实现算法，并且没有用到机器学习库，根据算法流程一步一步实现。线性回归加载数据# 加载数据def loadData(fileName): file = open(fileName) num = len(file.readline().split('\t')) - 1 # 特征的个数 x = [] # 数据 y = [] # 标签 # 遍历每一条数据 for i in file.readlin

2021-02-06 11:17:15 315 1

原创 python实现Logistic回归

本文不涉及逻辑回归的具体原理，只通过python代码实现算法，并且没有用到机器学习库，根据算法流程一步一步实现。目录逻辑回归数据准备sigmoid函数权重更新分类绘制决策边界逻辑回归数据准备文件中没条数据有两个属性，和一个标签# 数据准备def loadData(): x = [] y = [] fr = open('data.txt') for i in fr.readlines(): i = i.strip().split() # 分隔

2021-02-03 15:19:39 871 1

原创 python实现朴素贝叶斯分类

本文不涉及决贝叶斯算法的原理，只通过python代码实现算法，并且没有用到机器学习库，根据算法流程一步一步实现。目录贝叶斯数据准备模型训练分类贝叶斯这里实现文本分类数据准备首先准备好实验数据及其标签# 创建样本def loadData(): x = [['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'], ['maybe', 'not', 'take', 'him', 'to', 'dog',

2021-02-01 11:39:12 545

原创 python实现决策树算法并绘图

本文不涉及决策树算法的原理，只通过python代码实现算法，并且没有用到机器学习库，根据算法流程一步一步实现。决策树本文使用ID3算法实现决策树。计算熵首先是计算香农熵，需要了解计算公式# 计算数据集的香农熵def ent(data): num = len(data) # 数据的数量 count = {} # 计算标签数量 for d in data: label = d[-1] # 获得数据标签 if label not i

2021-01-30 11:29:39 2859

原创 python实现k-近邻算法

本文不设计k-近邻算法的原理，只通过python代码实现算法，并且没有用到机器学习库，根据算法流程一步一步实现。代码实现数据处理假设我们已经获取了数据及其标签的文本文件，如下图所示。数据有3个属性，标签分为3个类型,。python读取数据# 读取数据并记录def readFile(filename): file = open(filename) # 打开文件 lines = file.readlines() # 读取每行数据

TA创建的收藏夹 TA关注的收藏夹

TA关注的人