HDFS课程

大数据课程-HDFS详解 大数据课程 一、分布式存储HDFS 1、 Hadoop的历史 作者Doug Cutting Lucene 三驾马车 GFS MapReduce BigTable hadoop生态圈 hdfs mapreduce yarn common 2、HDFS的存储原理 各个角色的作用 NameNode 1、接受客户端的读写请求 2、管理元数据    ①上传的文件的权限    ②上传文... 阅读详情

HDFS定义

源自于Google的GFS论文
发表于2003年10月
HDFS是GFS的克隆版

Hadoop Distributed File System
易于扩展的分布式文件系统
运行在大量普通廉价机器上,提供容错机制
为大量用户提供性能不错的文件存取服务

HDFS设计目标

非常巨大的分布式文件系统
万个以上的节点,亿份以上文件,10PB的容量以上
1 ZB = 1024 EB
1 EB = 1024 PB
1 PB = 1024 TB
1 TB = 1024 GB
1 GB = 1024 MB

运行于普通硬件上
文件复制多份,避免硬件失败
探测失败和错误恢复

优化批处理
数据暴漏位置,以便计算能够挪到数据附近
提供高聚合的带宽

用户空间可以位于异构的操作系统中

在整个集群中使用单个的命名空间

数据一致性
“写入一次读取多次”的访问模型
客户端只能追加已有的文件

文件被分成各个小块
默认每一块是64MB(实际生产可以调大,一般都是64的整数倍,128是最好的)
每一块复制到不同的DataNode上

智能的客户端
客户端能找到文件块的位置
客户端能直接访问DataNode中的文件位置

程序采用数据就近原则分配节点执行

客户端对文件没有缓存机制(No data caching)

我的H01HDFS

http://192.168.108.101:50070/dfshealth.jsp

我的H01MapReduce

http://192.168.108.101:50030/jobtracker.jsp

HDFS架构——文件

文件切分成块(默认大小64M),以块为单位,每个块有多个副本存储在不同的机器上。副本数可在文件生成时指定(默认3)。

NameNode是主节点,存储文件的元数据:如文件名,文件目录结构,文件属性(生成时间,副本数,文件权限),以及每个文件的块列表、块列表所在的DataNode等等

DataNode在本地文件系统存储文件块数据,以及块数据的校验和。

可以创建、删除、移动或命名文件,当文件创建、写入和关闭之后不能修改文件内容。
这里写图片描述

HDFS架构——NameNode

NameNode是一个中心服务器,单一节点(简化系统的设计与实现),负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。

文件操作,NameNode负责文件元数据的操作,DataNode负责处理文件内容的读写请求,跟文件内容相关的数据流不经过NameNode,只会询问它跟哪个DataNode联系,否则NameNode会成为系统的瓶颈。

副本存放在哪些DataNode上由NameNode来控制。根据全局情况做出块放置决定,读取文件时NameNode尽量让用户先读取最近的副本,降低带宽消耗和读取延时。

NameNode全权管理数据块的复制,它周期性的从集群中的每个DataNode接收心跳信号和块状态报告(Blockreport)。接收心跳信号意味着该DataNode节点工作正常。块状态报告包含了一个该DataNode上所有数据的块列表。

HDFS架构——DataNode

一个数据块在DataNode以文件存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。

DataNode启动后向NameNode注册,通过后,周期性(1小时)的向NameNode上报告所有的块信息。

心跳是每3秒一下,心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器上,或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳,则认为该节点不可用。

集群运行中可以安全加入和退出一些机器。

HDFS架构——NN & SNN

NameNode的两个重要文件
fsimage:元数据镜像文件(保存文件系统的目录树)
edits:元数据操作日志(针对目录树的修改操作)

元数据镜像
内存中保存一份最新的
内存中的镜像=fsimage+edits

定期合并fsimage与edits
Edits文件过大将导致NameNode重启速度慢
SecondaryNameNode负责定期合并它们

这里写图片描述

第一步,SecondaryNameNode通知NameNode切换editlog

第二布,SecondaryNameNode从NameNode获得fsimage和editlog(通过http方式)

第三步,SecondaryNameNode将fsimage载入内存,然后开始合并editlog

第四步,SecondaryNameNode将新的fsimage发回给NameNode

第五步,NameNode用新的fsimage替换旧的fsimage并进行改名

HDFS Shell命令

调用文件系统(FS)Shell命令使用bin/hadoop fs 的形式

所有的FS Shell命令使用URI路径作为参数

URI格式是scheme://authority/path。HDFS的scheme是hdfs;对于本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中指定的默认scheme。

例如:/parent/child可以表示成
hdfs://namenode:namenodePort/parent/child,或者更简单的/parent/child(假设配置文件是namenode:namenodePort)

大多数的FS Shell命令的行为和对应的Unix Shell命令相似

[hadoop1@H01 ~]$ hadoop fs -help
hadoop fs is the command to execute fs commands. The full syntax is: 

hadoop fs [-fs <local | file system URI>] [-conf <configuration file>]
    [-D <property=value>] [-ls <path>] [-lsr <path>] [-du <path>]
    [-dus <path>] [-mv <src> <dst>] [-cp <src> <dst>] [-rm [-skipTrash] <src>]
    [-rmr [-skipTrash] <src>] [-put <localsrc> ... <dst>] [-copyFromLocal <localsrc> ... <dst>]
    [-moveFromLocal <localsrc> ... <dst>] [-get [-ignoreCrc] [-crc] <src> <localdst>
    [-getmerge <src> <localdst> [addnl]] [-cat <src>]
    [-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>] [-moveToLocal <src> <localdst>]
    [-mkdir <path>] [-report] [-setrep [-R] [-w] <rep> <path/file>]
    [-touchz <path>] [-test -[ezd] <path>] [-stat [format] <path>]
    [-tail [-f] <path>] [-text <path>]
    [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
    [-chown [-R] [OWNER][:[GROUP]] PATH...]
    [-chgrp [-R] GROUP PATH...]
    [-count[-q] <path>]
    [-help [cmd]]

-fs [local | <file system URI>]:    Specify the file system to use.
        If not specified, the current configuration is used, 
        taken from the following, in increasing precedence: 
            core-default.xml inside the hadoop jar file 
            core-site.xml in $HADOOP_CONF_DIR 
        'local' means use the local file system as your DFS. 
        <file system URI> specifies a particular file system to 
        contact. This argument is optional but if used must appear
        appear first on the command line.  Exactly one additional
        argument must be specified. 

-ls <path>:     List the contents that match the specified file pattern. If
        path is not specified, the contents of /user/<currentUser>
        will be listed. Directory entries are of the form 
            dirName (full path) <dir> 
        and file entries are of the form 
            fileName(full path) <r n> size 
        where n is the number of replicas specified for the file 
        and size is the size of the file, in bytes.

-lsr <path>:    Recursively list the contents that match the specified
        file pattern.  Behaves very similarly to hadoop fs -ls,
        except that the data is shown for all the entries in the
        subtree.

-du <path>:     Show the amount of space, in bytes, used by the files that 
        match the specified file pattern.  Equivalent to the unix
        command "du -sb <path>/*" in case of a directory, 
        and to "du -b <path>" in case of a file.
        The output is in the form 
            name(full path) size (in bytes)

-dus <path>:    Show the amount of space, in bytes, used by the files that 
        match the specified file pattern.  Equivalent to the unix
        command "du -sb"  The output is in the form 
            name(full path) size (in bytes)

-mv <src> <dst>:   Move files that match the specified file pattern <src>
        to a destination <dst>.  When moving multiple files, the 
        destination must be a directory. 

-cp <src> <dst>:   Copy files that match the file pattern <src> to a 
        destination.  When copying multiple files, the destination
        must be a directory. 

-rm [-skipTrash] <src>:     Delete all files that match the specified file pattern.
        Equivalent to the Unix command "rm <src>"
        -skipTrash option bypasses trash, if enabled, and immediately
deletes <src>
-rmr [-skipTrash] <src>:    Remove all directories which match the specified file 
        pattern. Equivalent to the Unix command "rm -rf <src>"
        -skipTrash option bypasses trash, if enabled, and immediately
deletes <src>
-put <localsrc> ... <dst>:  Copy files from the local file system 
        into fs. 

-copyFromLocal <localsrc> ... <dst>: Identical to the -put command.

-moveFromLocal <localsrc> ... <dst>: Same as -put, except that the source is
        deleted after it's copied.

-get [-ignoreCrc] [-crc] <src> <localdst>:  Copy files that match the file pattern <src> 
        to the local name.  <src> is kept.  When copying mutiple, 
        files, the destination must be a directory. 

-getmerge <src> <localdst>:  Get all the files in the directories that 
        match the source file pattern and merge and sort them to only
        one file on local fs. <src> is kept.

-cat <src>:     Fetch all files that match the file pattern <src> 
        and display their content on stdout.

-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>:  Identical to the -get command.

-moveToLocal <src> <localdst>:  Not implemented yet 

-mkdir <path>:  Create a directory in specified location. 

-setrep [-R] [-w] <rep> <path/file>:  Set the replication level of a file. 
        The -R flag requests a recursive change of replication level 
        for an entire tree.

-tail [-f] <file>:  Show the last 1KB of the file. 
        The -f option shows apended data as the file grows. 

-touchz <path>: Write a timestamp in yyyy-MM-dd HH:mm:ss format
        in a file at <path>. An error is returned if the file exists with non-zero length

-test -[ezd] <path>: If file { exists, has zero length, is a directory
        then return 0, else return 1.

-text <src>:    Takes a source file and outputs the file in text format.
        The allowed formats are zip and TextRecordInputStream.

-stat [format] <path>: Print statistics about the file/directory at <path>
        in the specified format. Format accepts filesize in blocks (%b), filename (%n),
        block size (%o), replication (%r), modification date (%y, %Y)

-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...
        Changes permissions of a file.
        This works similar to shell's chmod with a few exceptions.

    -R  modifies the files recursively. This is the only option
        currently supported.

    MODE    Mode is same as mode used for chmod shell command.
        Only letters recognized are 'rwxX'. E.g. a+r,g-w,+rwx,o=r

    OCTALMODE Mode specifed in 3 digits. Unlike shell command,
        this requires all three digits.
        E.g. 754 is same as u=rwx,g=rx,o=r

        If none of 'augo' is specified, 'a' is assumed and unlike
        shell command, no umask is applied.

-chown [-R] [OWNER][:[GROUP]] PATH...
        Changes owner and group of a file.
        This is similar to shell's chown with a few exceptions.

    -R  modifies the files recursively. This is the only option
        currently supported.

        If only owner or group is specified then only owner or
        group is modified.

        The owner and group names may only cosists of digits, alphabet,
        and any of '-_.@/' i.e. [-_.@/a-zA-Z0-9]. The names are case
        sensitive.

        WARNING: Avoid using '.' to separate user name and group though
        Linux allows it. If user names have dots in them and you are
        using local file system, you might see surprising results since
        shell command 'chown' is used for local files.

-chgrp [-R] GROUP PATH...
        This is equivalent to -chown ... :GROUP ...

-count[-q] <path>: Count the number of directories, files and bytes under the paths
        that match the specified file pattern.  The output columns are:
        DIR_COUNT FILE_COUNT CONTENT_SIZE FILE_NAME or
        QUOTA REMAINING_QUATA SPACE_QUOTA REMAINING_SPACE_QUOTA 
              DIR_COUNT FILE_COUNT CONTENT_SIZE FILE_NAME
-help [cmd]:    Displays help for given command or all commands if none
        is specified.

关于FS命令:

[hadoop1@H01 data]$ ls
1.data
[hadoop1@H01 data]$ touch 2.txt
[hadoop1@H01 data]$ ls
1.data  2.txt
[hadoop1@H01 data]$ vim 2.txt 
[hadoop1@H01 data]$ hadoop fs -mkdir /dataa
[hadoop1@H01 data]$ hadoop fs -put 2.txt /dataa
[hadoop1@H01 data]$ hadoop fs -ls /
Found 2 items
-rw-r--r--   1 hadoop1 supergroup         15 2015-10-21 14:13 /data
drwxr-xr-x   - hadoop1 supergroup          0 2015-10-21 14:22 /dataa
[hadoop1@H01 data]$ hadoop fs -ls /dataa
Found 1 items
-rw-r--r--   1 hadoop1 supergroup         11 2015-10-21 14:22 /dataa/2.txt
[hadoop1@H01 data]$ hadoop fs -ls /data
Found 1 items
-rw-r--r--   1 hadoop1 supergroup         15 2015-10-21 14:13 /data
[hadoop1@H01 data]$ hadoop fs -mkdir /data2
[hadoop1@H01 data]$ hadoop fs -mv /data /data2
[hadoop1@H01 data]$ hadoop fs -ls /
Found 2 items
drwxr-xr-x   - hadoop1 supergroup          0 2015-10-21 14:25 /data2
drwxr-xr-x   - hadoop1 supergroup          0 2015-10-21 14:22 /dataa
[hadoop1@H01 data]$ hadoop fs -ls /dataa
Found 1 items
-rw-r--r--   1 hadoop1 supergroup         11 2015-10-21 14:22 /dataa/2.txt
[hadoop1@H01 data]$ hadoop fs -ls /data2

Found 1 items
-rw-r--r--   1 hadoop1 supergroup         15 2015-10-21 14:13 /data2/data
[hadoop1@H01 data]$ 
[hadoop1@H01 data]$ hadoop fs -cat /data2/data
Hello Hadoop !
[hadoop1@H01 data]$ hadoop fs -cat /data2
cat: File does not exist: /data2
[hadoop1@H01 data]$ hadoop fs -cat /data2/data
Hello Hadoop !
[hadoop1@H01 data]$ hadoop fs -cat /dataa/2.txt
wobuzhidao
[hadoop1@H01 data]$ 

HDFS文件读取流程

这里写图片描述

Cleint调用FileSystem.open()方法:

1)FileSystem通过RPC(就是整个HDFS各个进程之间的通信的协议)与NN通信,NN返回该文件的部分或全部block列表(含有block拷贝的DN地址)。

2)选取距离客户端最近的DN建立连接,读取block,返回FSDataInputStream。

Client调用输入流的read()方法:

1)当读到block的结尾时,FSDataInputSystem关闭与当前DN的连接,并为读取下一个block寻找最近的DN。

2)读取完一个block都会进行checksum验证,如果读取DN时出现错误,客户端会通知NN,然后再从下一个拥有该block拷贝的DN继续读。

3)如果block列表读完后,文件还未结束,FileSystem会继续从NN获取下一批block列表。

关闭FSDataInputSystem

HDFS文件写入流程

这里写图片描述

Client调用FileSystem的create()方法:

1)FileSystem向NN发送请求,在NN的namespace里面创建一个新文件,但是并不关联任何块。

2)NN检查文件是否已存在、操作权限。如果检查通过,NN记录新文件信息,并在某一个DN上创建数据块。

3)返回FSDataOutputStream,将Client引导至该数据块执行写入操作。

Client调用输出流的write()方法:

HDFS默认将每个数据块放置3份。FSDataOutputStream将数据首先写到第一节点,第一节点将数据包传送并写入第二节点,第二节点再到第三节点。

Client调用流的close()方法:flush缓冲区的数据包,block完成复制份数后,NN返回成功消息。

HDFS代码包

HDFS 工具类包

package hadoop.hdfs.utils;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;

/**
 * HDFS 工具类包
 *
 */
public class HDFSUtils {
    public static FileSystem getFileSystem() {

        // 声明 FileSystem
        FileSystem hdfs = null;

        try {
            // 获取配置文件信息
            Configuration conf = new Configuration();

            // 获取文件系统
            hdfs = FileSystem.get(conf);
        } catch (Exception e) {
            e.printStackTrace();
        }

        return hdfs;
    }
}

HDFS API URL 方式操作

package hadoop.hdfs;

import java.io.InputStream;
import java.net.URL;

import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.io.IOUtils;
import org.junit.Test;

/**
 * HDFS API URL 方式操作
 * 
 *
 */

public class HDFSUrlTest {

    // 让java程序识别HDFS的URL。
    static {
        URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
    }

    // 查看文件内容,与HDFSFsTest的testRead方法功能一样
    @Test
    public void testRead() throws Exception {
        InputStream in = null;

        // 文件路径
        String fileUrl = "hdfs://H01:9000/data2/data";

        try {
            // 获取文件输入流
            in = new URL(fileUrl).openStream();

            // 将文件内容读取出来打印在控制台
            IOUtils.copyBytes(in, System.out, 4096, false);

        } finally {
            IOUtils.closeStream(in);
        }
    }

}

通过FileSystem API 操作HDFS的10个方法

注意:在Shell命令对HDFS上的文件进行操作的时候,要注意写全文件的路径

package hadoop.hdfs;

import org.apache.hadoop.fs.BlockLocation;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hdfs.DistributedFileSystem;
import org.apache.hadoop.hdfs.protocol.DatanodeInfo;
import org.apache.hadoop.io.IOUtils;
import org.junit.Test;

import hadoop.hdfs.utils.HDFSUtils;;

/**
 * 通过FileSystem API 操作HDFS
 *
 */
public class HDFSFsTest {

    // 第一个:读取文件内容,就是text,cat方法
    @Test
    public void testRead() throws Exception {
        // 获取文件系统
        FileSystem hdfs = HDFSUtils.getFileSystem();

        // 文件名称
        Path path = new Path("/abc/aaa/touch.data");

        // 打开文件输入流
        FSDataInputStream in = hdfs.open(path);

        // 读取文件内容到控制台显示
        IOUtils.copyBytes(in, System.out, 4096, false);

        // 关闭流
        IOUtils.closeStream(in);

    }

    // 第二个:查看文件,相当于ls
    @Test
    public void testList() throws Exception {
        FileSystem hdfs = HDFSUtils.getFileSystem();

        // 目录
        Path path = new Path("/");

        FileStatus[] fileStatus = hdfs.listStatus(path);

        for (FileStatus fs : fileStatus) {
            Path p = fs.getPath();
            String info = fs.isDir() ? "目录" : "文件";// 什么意思?

            System.out.println(info + ":" + p);

        }
    }

    // 第三个:创建目录。mkdir
    @Test
    public void testDirectory() throws Exception {
        FileSystem hdfs = HDFSUtils.getFileSystem();

        Path path = new Path("/abc/aaa/bbb/ccc");

        boolean b = hdfs.mkdirs(path);// 相当于mkdir -p ,创建多级目录

        System.out.println(b);
    }

    // 第四个:上传文件,put
    @Test
    public void testPut() throws Exception {

        FileSystem hdfs = HDFSUtils.getFileSystem();

        // 本地文件位置
        Path localPath = new Path("E:/java_workspace/java0623/javaListFile.txt");

        // hdfs文件上传路径
        Path hdfsPath = new Path("/abc/aaa/bbb");

        // 文件上传
        hdfs.copyFromLocalFile(localPath, hdfsPath);

    }

    // 第五个:创建HDFS文件,并写入内容,create
    @Test
    public void testCreate() throws Exception {

        FileSystem hdfs = HDFSUtils.getFileSystem();

        // HDFS文件上传路径
        Path path = new Path("/abc/aaa/bbb/ccc/ddd/d.txt");// 会创建路径中不存在的文件夹目录

        // 创建文件,并获取输出流
        FSDataOutputStream out = hdfs.create(path);

        // 通过输出流的方法写入数据
        out.write("woshiDDD".getBytes());
        // out.writeUTF("你好,hadoop");//这个会出现乱码

        IOUtils.closeStream(out);
    }

    // 第六个:对HDFS 上的文件进行改名,mv
    @Test
    public void testRename() throws Exception {

        FileSystem hdfs = HDFSUtils.getFileSystem();

        // HDFS文件上传路径
        Path path = new Path("/abc/aaa/touch.data");

        Path newPath = new Path("/abc/aaa/rename.data");

        boolean isSuccess = hdfs.rename(path, newPath);

        System.out.println(isSuccess);
    }

    // 第七个:删除HDFS上的文件,rm
    @Test
    public void testDelete() throws Exception {

        FileSystem hdfs = HDFSUtils.getFileSystem();

        Path path = new Path("/abc/aaa/bbb/a.txt");

        boolean isSuccess = hdfs.deleteOnExit(path);

        System.out.println(isSuccess);

    }

    // 第八个:删除HDFS的目录
    @Test
    public void testDelDir() throws Exception {

        FileSystem hdfs = HDFSUtils.getFileSystem();

        Path path = new Path("/abc/aaa/bbb/ccc/ddd");

        boolean isSuccess = hdfs.delete(path, true);

        System.out.println(isSuccess);
    }

    // 第九个:查找某个文件在HDFS集群上的位置
    @Test
    public void testLocation() throws Exception {

        FileSystem hdfs = HDFSUtils.getFileSystem();

        // HDFS文件上传路径
        Path path = new Path("/abc/aaa/bbb/javaListFile.txt");

        FileStatus fs = hdfs.getFileStatus(path);

        BlockLocation[] bl = hdfs.getFileBlockLocations(fs, 0, fs.getLen());

        for (BlockLocation blocklocation : bl) {
            String[] hosts = blocklocation.getHosts();
            for (String host : hosts) {
                System.out.println(host);
            }
        }

    }

    // 第十个:获取HDFS上所有节点的名称信息
    @Test
    public void testCluster() throws Exception {

        FileSystem hdfs = HDFSUtils.getFileSystem();

        DistributedFileSystem dfs = (DistributedFileSystem)hdfs;

        DatanodeInfo[] dataInfo = dfs.getDataNodeStats();

        for(DatanodeInfo dataInfos : dataInfo){
            String hostName = dataInfos.getHostName();
            System.out.println(hostName);
        }
    }

}
【WebLogic】Linux图形化界面安装WebLogic 14.1.2.0 Linux系统图形化界面安装WebLogic 14.1.2.0.0版本 阅读详情

相关推荐

配电网故障重构/孤岛划分/故障恢复

程序主要复现《基于GA_BFGS算法的配电网故障恢复性重构研究_郑海广》,采用matlab编程软件实现,依据网络结构和DG供电方式对配电网进行孤岛划分,将含有 DG 的配电网拓扑结构看成一个树,搭建成连通图模型,使得将孤岛的划分变成了求取最小生成树,以网损和开关开断次数作为目标,采用 IEEE33 节点配电网为算例,通过遗传算法寻优计算,从而得到最佳的重构方案。

zhangxd212489的博客 2502

深入解析HDFS:定义、架构、原理、应用场景及常用命令

HDFS是Hadoop生态系统中的一个分布式文件系统,旨在在集群的廉价硬件上可靠地存储大数据集。HDFS设计为高容错,并为高吞吐量数据访问而优化,适用于在商用硬件上运行的大数据应用。

CloudJourney的博客 1万+

保姆级教程:用Unity为麒麟系统打包Linux应用(含路径权限全攻略)

本文提供了一份详细的Unity跨平台开发指南,重点介绍如何在麒麟系统上打包和部署Linux应用。从开发环境配置、路径权限处理到性能优化和常见问题解决,全面解析了Unity项目在国产操作系统上的适配流程,帮助开发者高效完成跨平台应用开发。

weixin_28692867的博客 506

HDFS详解

HDFS,Hadoop Distribute File System(Hadoop分布式文件系统)的简称,它是Hadoop核心组件之一,是大数据生态圈最底层的分布式存储服务。将计算靠近数据,而不是将数据移动到离计算更近的地方,使得应用的计算更有效率。HDFS遵循主从架构(master/slave)。通常包括一个主节点和多个从节点。主节点为NameNode,从节点为DataNode。在内部,文件分块存储,每个块根据复制因子存储在不同的从节点(DataNode)计算机上形成备份。

m0_37967990的博客 7199

用5毫欧采样电阻实现高精度电流检测?数字可调电源控制板的硬件设计陷阱

本文深入探讨了在数字可调电源控制板设计中,如何利用5毫欧采样电阻实现高精度电流检测。从微小信号放大电路设计、采样电阻布局与热管理,到电源切换与电池管理电路优化,提供了全面的硬件设计解决方案和实用技巧,帮助工程师规避常见设计陷阱,提升系统性能。

wdx0123456的博客 1032

基于STM32的最简易蓝牙遥控小车

基于STM32的蓝牙遥控小车,基于HAL库编写代码,具有移动功能,读者可自行添加其他扩展功能。按下状态的对应关系:2前进,4左转,5停止,6右转,8后退,松开状态都是5,都选择16进制。首先按照小车的图纸把小车的机械部分装好。做这个小车的成本在200元左右,包括焊接设备,杜邦线等。

weixin_43469377的博客 1万+

HDFS(一)HDFS基本介绍

HDFS基本介绍HDFS的Master-Slave结构HDFS角色作用简介HDFS 分块存储抽象成数据块的好处HDFS 副本机制名字空间(NameSpace)NameNode 功能DataNode 功能 HDFS 是 Hadoop Distribute File System 的简称,意为:Hadoop 分布式文件系统。是 Hadoop 核心组件之一,作为最底层的分布式存储服务而存在。 HDFS使用Master和Slave结构对集群进行管理。一般一个 HDFS 集群只有一个 Namenode 和一定数目的D

红叶的博客 1万+

LED灯闪烁实验:实验介绍

每个章节都会单独进行验证工作,例如Simulink开发的应用层软件,会在Simulink-TestHarness中进行仿真,通过Scope示波器模块输出0-1交替的结果。CubeIDE集成双方的代码后,会烧写到开发板中验证是否按照定义的时间进行闪烁。ST-LINK V2是STM32开发生态系统中常用的硬件调试接口,能够连接微控制器与开发环境,实现程序的下载、调试和分析。STM32F103C8T6最小系统板是基于STM32F103C8T6微控制器的开发板,本实验会涉及使用板载的连接PC13引脚的LED灯。

u013288925的博客 460

大数据技术之Hadoop(HDFS)

大数据技术之Hadoop(HDFS)

我从不打没有准备的仗! 1万+

080、多轴运动控制:插补器设计(螺旋线插补)

本文分享了螺旋线插补器设计的实战经验。针对五轴点胶机Z轴抖动问题,作者分析了螺旋线数学本质,提出基于归一化时间参数的速度规划方法,强调各轴严格同步的重要性。文章详细介绍了速度分解、加减速处理、嵌入式优化技巧(查表法、定点化),并总结了起点闭合、速度波动、数值处理等常见问题解决方案。最后给出5条实用建议:注重速度规划而非纯数学推导、预先仿真、保留调试接口、考虑机械谐振、防范编码器丢脉冲。通过优化插补周期、电子齿轮比和S形速度曲线,成功将设备良率从60%提升至95%。

m0_50546716的博客 88

GRSL 2026 即插即用 | Transformer篇 | DCSA:动态稀疏门控自注意力,兼顾长距离依赖与局部细节表达!

SDANet整体架构和模块Dynamic Channel Sparse Attention (DCSA):DCSA为Transformer块中的自注意力层。DCSA架构:样本级动态稀疏注意力:首次实现每个样本独立预测注意力稀疏度:通过轻量门控网络根据输入特征的复杂度自适应调整保留的通道数,简单样本使用更高稀疏度(如保留 20% 通道),复杂样本使用更低稀疏度(如保留 80% 通道),在保证精度的前提下平均计算量降低 50% 以上。

主要更新底层视觉(去噪、超分等)相关的科研内容,形式为【论文精读】+【论文复现】 114

大数据系列——什么是hdfs?hdfs用来干什么的?

大数据系列——什么是hdfs?hdfs用来干什么的?

我的E家 1万+

ArcGIS Pro 制作这种地图海报

ArcMap 版本与 ArcGIS Pro 版本的制图功能相差太多,无论从美观上还是制图效率都远远优于 ArcMap,用了一段时间的 ArcGIS Pro ,真心推荐有条件的大家赶紧试一试!一个软件也能搞定一张不错的海报哦!----吐槽:好的设计真的是门花时间的活,这个教程大概花了我7小时左右,我都忘了我自己教程中截图多少张了!(可能是我速度太慢了)测试数据:阿里云盘分享-----北极海冰数据.https://www.aliyundrive.com/s/SUhsnqfkmXh。

J_Giser的博客 1431

hdfs调用api的课程笔记

【代码】hdfs调用api的课程笔记。

HZ0504q的博客 158

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

hdfs课程Api的笔记

maven 版本管理。

2301_81143973的博客 129

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

hdfs调用API课程笔记

crc:循环冗余校验。

2302_81074103的博客 103

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

hdfs深入:02、今日课程内容大纲以及hdfs的基本实现

1.hadoop第三天课程内容 hdfs:分布式文件存储系统hdfs的架构图hdfs的副本机制以及block块hdfs的元数据信息fsimage与editshdfs的文件读写过程hdfs的javaAPI 搞定 MapReduce的入门 入门程序wordcount(掌握) 2.hdfs架构图: 3.hadoop当中的文件系统: 文件系统是一个抽象类,里面有很多的子实现类,例如...

weixin_30457065的博客 84

hdfs课程笔记

hdfs fsck /jdk......... -files -blocks -locations(只能在namenode里面查看,datanode查看不了)原文链接:https://blog.youkuaiyun.com/2302_80802179/article/details/146172738。namenode存储地址 /usr/local/hadoop/tmp/dfs/name。hadoop fs -put /jdk...../...(传输)vim编辑器有三种模式:命令模式、编辑模式、末行模式。

2302_81110676的博客 759

HDFS课程结构

HDFS的shell操作: 什么是HDFS,HDFS就是用来管理多台机器上的文件,就是分布式文件管理系统。 HDFS用来存储文件,是一个文件系统,通过目录树来定位文件。是有很多台服务器联合起来实现他的功能的。 适合一次写入,多次读出的场景,并且不支持文件的修改,适合用作数据分析,但是不适合作为网盘。 HDFS的优缺点 优点: 高容错性,数据自动保存副本,通过增加副本的形式,提高容错性。某一个副本丢失之后,可以自动恢复。(在另一台主机上进行恢复)。若集群的数量足够多 ,则可以在任意时间总是保持着定义的副本的数

weixin_46130146的博客 1481

HDFS高级开发培训课程之HDFS开发实例课件

前言: 刚刚完成的HDFS高级开发培训课程课件中的一个章节,不知道PPT,如何导出HTML格式,只好批量导出图片,贴图了。 连接管理:建立连接、断开连接、设置连接参数   文件操作:浏览文件、上传文件、下载文件、删除文件、导入文件(批量)、刷新列表 用户管理:查看用户信息、修改用户密码 转载于:https://www.cnblogs.com/hadoopdev/p/33167...

weixin_30611509的博客 59

Hadoop学习从零到一系列课程(2)---HDFS和YARN精讲-优快云公开课-专题视频课程

通过本节课程为您详细讲解HDFS和YARN。

csdngkk的博客 211

学习_005_Hadoop学习从零到一系列课程(2)---HDFS精讲

课程说明 项 内容 课程类型 视屏课程 内容类型 通用 课程名称 Hadoop学习从零到一系列课程(1) 地址 https://edu.youkuaiyun.com/course/detail/2153 时长 75 费用 会员免费 课程目录和概要 学习心得 ...

钱锋的数据仓库经验与思考 197

HDFS-day01-课程介绍

第一章:概述 1:HDFS的产生背景和定义 2:优缺点 3:组成 4:文件块大小问题 第二章:HDFS的shell相关操作(开发重点) 第三章:HDFS的客户端API 1:数据的上传和下载 第四章:HDFS的读写流程(面试重点) 第五章:NN和2NN 第六章:DataNode工作机制 ...

AlphaG的博客 172

大数据之HDFS/Hadoop集群管理-李强强-专题视频课程

HDFS是Apache Hadoop项目的一部分,是一个分布式文件系统,用于存储和管理文件,能提高超大文件的访问和存储速度。HDFS采用一次写入多次读取的流式数据访问模式保证了数据的一致性。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS适合服务于大规模数据集上的应用。...

qq_40139556的博客 176
上一篇: HDFS应用
下一篇: MapReduce架构
飞鸿踏雪泥-
博客等级 码龄12年 4粉丝 48原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值