- 博客(45)
- 收藏
- 关注
RSS订阅原创 pandas的一些函数
isnull()方法返回一个与原始DataFrame形状相同的DataFrame，通过True或False值，指示原始DataFrame中的每个值是否缺失。缺失的值NaN或None，在结果的DataFrame中将为True，而非缺失的值将为False。df.info()可以获得DataFrame的简明摘要，包括每列中非空值的数量、每列的数据类型以及DataFrame的内存使用情况。也可以通过将列名列表传递给columns参数来只保存DataFrame的特定列，通过将布尔掩码传递给索引参数来只保存特定的行。
2023-11-08 15:30:41
282
原创 一些神经网络的记录
RNN即Recurrent Neural Networks、循环神经网络，本质是一个全连接网络，但是因为当前时刻受历史时刻的影响。RNN出现梯度消失和梯度爆炸主要体现在长句子中，因为在反向传播BP求导时，当前t时刻隐层输出的梯度包含了所有后续时刻激活函数导数的乘积，所以如果t越小、句子越长，就会出现问题。如果激活函数的导数特别小，累乘就会更小，则会出现梯度消失问题；反之，则是梯度爆炸问题。
2023-09-01 11:08:34
322
原创 RSA加密算法
首先对明文进行比特串分组，使得每个分组对应的十进制数小于n，然后依次对每个分组m做一次加密，所有分组的密文构成的序列就是原始消息的加密结果，即m满足0
2023-09-01 10:34:23
854
原创 CUDA的tensor张量---＞CPU的numpy
因为data.cpu后，会将data的类型改为builtin_function_or_method，所以一定记得加()报错里面的内容就已经告诉我们怎么改了，即在数据后面加.cpu()在cpu上运行tensor张量，会出现如下报错。其中data可以是一维，二维，三维等等。注意cpu后面加()，否则会报错。个人遇到的bug记录。
2022-09-29 10:13:45
1898
原创 数据库相关知识
索引是对数据库表中一或多个列的值进行排序的结构，是帮助MySQL高效获取数据的数据结构你也可以这样理解：索引就是加快检索表中数据的方法。数据库的索引类似于书籍的索引。在书籍中，索引允许用户不必翻阅完整个书就能迅速地找到所需要的信息。在数据库中，索引也允许数据库程序迅速地找到表中的数据，而不必扫描整个数据库。虽然索引可以提高查询速度，但是它们也会导致数据库系统更新数据的性能下降，因为大部分数据更新需要同时更新索引数据库几个基本的索引类型：普通索引、唯一索引、主键索引、全文索引。
2022-09-28 11:05:28
243
原创 TCP/IP TCP、UDP、HTTP、Socket
TPC三次握手TPC连接的建立，即通过三次握手以建立，相当于三次“对话”。首先PC1向PC2发送一个包表示PC1请求与PC2连接；然后PC2收到包，PC2再向PC1发送一个确认包表示已收到请求；PC1收到确认包，再由PC1向PC2发送确认包以表示收到确认包。至此，TCP连接建立。开始发送数据。相当于如下情景：A与B打电话A:我可以跟你打电话吗？收到，你可以给我打电话：BA：好的，收到TPC四次断开TPC连接的断开，通过“四次断开”即相互总共发送四个包以确认断开。
2022-09-02 13:45:04
991
原创 数据结构之内部排序
内部排序包括：插入排序、选择排序、交换排序、归并排序、基数排序。其中插入排序包括：直接插入排序、希尔排序；选择排序包括：简单选择排序，堆排序；交换排序包括：冒泡排序、快速排序。.........
2022-08-15 14:14:48
2694
2
原创 数据结构之二叉树先序后续中序遍历
二叉树的遍历（traversing binary tree）是指从根结点出发，按照某种次序依次访问二叉树中所有结点，使得每个结点被访问一次且仅被访问一次。
2022-08-11 16:14:34
1312
原创 Positional argument after keyword argument
Positional argument after keyword argument
2022-07-04 15:49:45
720
原创 OSError: [WinError 127] 找不到指定的程序。Error loading “caffe2_detectron_ops.dll“ or one of its dependencies
OSError: [WinError 127] caffe2_detectron_ops.dll
2022-05-16 20:14:01
5509
9
原创 数据归一化
输入和输出文件都是以\t分割的txt文件，每一行是一组数据（xi）例如24 42 9 8 3 4 39 4323 43 5 54 5 32 25 5452 54 43 53 55 2 5...
2022-03-29 17:57:04
716
原创 hadoop 异常 Cannot delete /tmp/hadoop/mapred/system. Name node is in safe mode.
org.apache.hadoop.ipc.RemoteException:org.apache.hadoop.hdfs.server.namenode.SafeModeException:Cannotdelete/tmp/hadoop/mapred/system.Namenodeisinsafemode.Theratioofreportedblocks0.7857hasnotreachedthethreshold0.9990.Safemodewill...
2022-03-27 14:12:13
230
原创 传统的k-means实现
运行类import java.io.IOException;import java.net.URISyntaxException;import java.util.ArrayList;public class KmeansRun { public static void main(String[] args) throws IOException, URISyntaxException, InterruptedException { long start = Syste
2021-10-29 22:45:15
562
原创 Hadoop运行程序的时候在日志里发现的错误
在日志里发现下面这个错误[2021-10-26 19:47:45.029]Container [pid=8097,containerID=container_1635247229913_0031_01_000003] is running 274078208B beyond the 'VIRTUAL' memory limit. Current usage: 153.1 MB of 1 GB physical memory used; 2.4 GB of 2.1 GB virtual memory us
2021-10-27 10:28:02
814
1
原创 读取csv文件的满足条件的行并写入另一个csv中
//读取csv文件的满足条件的行并写入另一个csv中 public static void readAndWrite(String readFile, String writeFile){ File csv = new File(writeFile); // 写到哪个文件里 try { BufferedReader reader = new BufferedReader(new FileReader(readFile));//从哪个文件读.
2021-09-22 21:15:45
603
转载 找数组中出现次数最多的数
使用HashMap，每个Entry的key存放数组中的数字，value存放该数字出现的次数，首先遍历数组元素构造HashMap，然后遍历每个Entry，找出最大value对应的key，即是出现次数最多的那个数。此算法的时间复杂度为O(n)。Java代码如下public class SearchMuch { public static void candidate (int[] array) // 找出数组中出现次数最多的那个数 { // map的key存放数组中
2021-09-20 18:32:53
2111
原创 找ArrayList＜ArrayList＜Double＞＞中出现次数最多的ArrayList＜Double＞
public static ArrayList<Double> candidate (ArrayList<ArrayList<Double>> list) // 找出数组中出现次数最多的那个数 { // map的key存放数组中的数字，value存放该数字出现的次数 HashMap<ArrayList<Double>, Integer> map = new HashMap<.
2021-09-20 18:29:24
381
原创 Hadoop本地运行 Wrong FS: hdfs://hadoop102:8020/output/new_centers.txt, expected: file:///问题
Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://hadoop102:8020/output/new_centers.txt, expected: file:/// at org.apache.hadoop.fs.FileSystem.checkPath(FileSystem.java:730) at org.apache.hadoop.fs.RawLocalFileSystem.p...
2021-09-19 18:45:15
1013
原创 对ArrayList＜ArrayList＜Double＞＞排序
//对ArrayList<ArrayList<Double>>排序，按内层ArrayList<Double>的第一个数进行升序排序 //冒泡排序 public static void sort(ArrayList<ArrayList<Double>> dsAndElementManycluster){ int size = dsAndElementManycluster.size(); ...
2021-09-17 21:48:25
498
转载 Hadoop之mapreduce详解(基础篇)
本篇文章主要从mapreduce运行作业的过程，shuffle，以及mapreduce作业失败的容错几个方面进行详解。转载：https://www.cnblogs.com/zsql/p/11600136.html目录一、mapreduce作业运行过程1.1、mapreduce介绍1.2、作业运行过程二、shuffle2.1、map端2.2、reduce端2.3、总结三、作业失败和容错3.1、任务运行失败3.2、application master运行失败3.3
2021-09-08 16:48:20
3972
原创 Xshell远程访问工具
Xshell连接主机IP地址不容易记住，所以修改windows的主机映射文件进入 C:\Windows\System32\drivers\etc 路径修改hosts文件添加如下内容，然后保存 192.168.10.100 hadoop100 192.168.10.101 hadoop101 192.168.10.102 hadoop102 192.168.10.103 hadoop103 192.168.10.104 hadoop104 192.
2021-04-18 20:00:41
121
原创 虚拟机centos配置IP
一共有3个地方需要配置：hadoop100这台服务器，VMware，win10首先配置一下VMware然后配置win10这里win10的ip就配置好了如果配置win10的第一步中的VMNET8没有出现，下面更改hadoop100这台虚拟机的IP打开终端切换到root用户按esc键：wq回车下面修改主机名称下面配置主机名称映射vim /etc/hosts最后reboot（重启）
2021-04-18 19:22:10
154
原创 VMware安装Linux操作系统
选择自定义（高级），然后下一步下一步选择稍后安装操作系统，下一步我这里要安装的操作系统是Linux 版本是centos7 64位，下一步我的虚拟机名称是hadoop100 下面那个位置要注意，比如我这里的路径是D:\virtual-machine\hadoop100，操作系统安装后hadoop100这个文件夹里会有好多操作系统的文件，建议这里新建一个文件夹，就如图我的路径一样，（hadoop100这个文件夹里一定不要有其他的文件）下一步下一步这里我选择..
2021-04-18 18:43:07
175
转载 核函数and主成分分析and核主成分分析
推荐看一下李政轩老师的视频,从几何的角度讲解了什么是PCA非常容易理解核函数https://www.bilibili.com/video/BV1hW411C7ny?p=1PCAandKPCAhttps://www.bilibili.com/video/BV1hW411C7ny?p=2https://www.youtube.com/watch?v=p4t6O9uRX-U&list=PLt0SBi1p7xrRKE2us8doqryRou6eDY这个是在YouTube上的地址...
2021-04-14 18:21:32
220
原创 如何在网页上下载视频
首先打开你想下载的视频所在的网页，这里我在浏览器上打开了一个视频。点击右上角的3个点——>更多工具——>开发人员工具点击网络——>媒体（如果找不到网络请点击“》”展开）此时可以看到一条这个播放信息（如果没有出现请按F5刷新）右键点击播放信息——>在新标签中打开点击右下角的...就会出现下图的下载选项，此时就可以开开心心的下载啦...
2021-04-11 11:10:45
4143
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人