那些让人眼前一亮的大数据面试题

软件测试高频面试题解析与实战技巧 软件测试是确保软件质量的关键环节,涉及功能验证、性能评估和安全检测等多维度工作。其核心原理包括测试用例设计、缺陷管理和自动化测试框架应用,能显著提升软件交付效率。在电商、金融等行业中,测试技术对保障系统稳定性尤为重要。本文聚焦测试工程师面试高频考点,涵盖JMeter参数化、POM设计模式等热词技术,通过微信红包测试等典型场景解析,提供从测试思维到性能调优的实战解决方案。特别针对自动化测试框架原理和Linux命令等难点,给出深度技术展示方法,帮助求职者系统掌握测试岗位必备技能。 阅读详情

一代大数据的处理方案

  • linux 常见的shell编程

chmod 777 xx.sh
service iptables start|stop|restart|status
chkconfig 服务名 on|off
ps -aux|grep kill -9 ps -aux |grep 进程名字|awk '{print $1}'
用户变量:~/.bashrc|.bash_profile 系统变量 /etc/profile source 配置文件
编译安装./configure && make|make install
touch/mkdir/rm/cp/mv/vi
scp -R|r(递归拷贝) 文件名 用户名@主机地址:路径
ssh 用户名@目标主机 ssh免密码认证:ssh -keygen -t rsa ssh -copy -id目标主机
网卡略
工具 winscp SecureCRT Xshell X-term nodepad++

  • HDFS的分布式文件存储 块存储、元数据

为什么在第一次启动Hdfs 的时候需要namenode格式化?
因为hdfs是基于块存储 namenode必须去保存整个文件系统的元数据(块信息),这些信息时持久化在fsimage中的。Hdfs在启动的时候Namenode会尝试去加载fsimage文件,恢复上一次关机状态(恢复你元数据),当第一次构建Hdfs的时候因为系统中没有元数据,所以需要第一次启动的时候需要格式化,就是为了构建fsimage

阐述一下Namenode的启动过程,并解释SecondaryNameNode的作用?
当启动HDFS的时候,系统会首先启动Namenode,Namenode服务会去加载本地的fsimage元数据 edits操作日志文件,并且将这俩个文件在内存中进行合并,合并完成后会更新一个新的edits文件,同时刷新fsimage(Namenode处于安全模式 不接受写请求),需要注意该过程仅仅是在Namenode启动过程中执行一次,一旦Namenode进入状态,Namenode就不在更新fsimage,只是更新内存中的数据,同时在edits记录内存修改日志,这就导致HDFS长期出于工作过程中产生庞大的eidts文件,如果不加干预,下一次启动Namenode的时候会花费大量的时候去合并edits和fsimage文件导致启动缓慢,为了解决单机中的Namenode启动缓慢,一般会开启SecondaryNamenode辅助Namenode完成eidts和fsimage的合并。
在这里插入图片描述
NameNode死了SecondaryNameNode不替代,后宫不参政

HDFS常规服务解释
NameNode:存储元数据-单机内存、管理所有的Datanode,负责Block的create、Delete、replication指令发放
DataNode:存储块信息、响应client端的读写块请求、执行来自Namenode的命令,向Namenode汇报自身状态
SecondaryNameNode:辅助Namenode完成eidts和fsimage文件的合并

HDFS HA
journalnode:负责同步namenode中的操作日志信息,并且整理fsimage,替代了SecondaryNamenode
DFSZKFailoverController|zkfc:监测Namenode的健康状况,起到哨兵的作用,一旦AcitveNamenode宕机,standby Namenode会切换
Rack Aware:机架意识,通过配置机架,可以帮助NameNode|ResourceManager 更好的管理DataNode|NodeManger(大规模的集群)

注意:目前为止HA只支持俩个NameNode节点间的相互备份,存储的容量仍然是单机,如果需要构建超大规模的HDFS集群,目前可以考虑Federation(联邦) 就是对NameNode再做分区了。


在这里插入图片描述

  • MapReduce
  1. job的任务计算流程11步骤
    在这里插入图片描述
    详情见我博客 https://blog.youkuaiyun.com/zax_java/article/details/96903282

  2. job封装的6大步骤

写一个mapper extends Mapper 写一个reducer extends Reducer

  1. 构建job
  2. 设置输入输出格式 job.setInputFormatClass(TextInputFormat.class)
  3. 设置数据的读入和写出的路径(写出路径必须不存在 由程序创建)
  4. 设置mapper和reducer逻辑
  5. 对shuffle格式的k-v说明 对output的输出格式说明(这里还可以设置分区数 combiner reduce个数等) job.setMapOutputKeyClass(Text.class) job.setOutputKeyClass(Text.class)
  6. job提交

如何书写Mapper和Reducer

mapper端的输入k-v由输入格式inputformat决定 输出k-v k必须实现序列化(要溢写) 实现comparable接口 v必须实现writable
Reducer端输入的 k-v必须和map端的输出保持一致,输出端的k-v由输出格式决定(outputformat 中的record writer)

任务的发布形式

  1. 打jar包 再jobsubmitter中添加 job.setJarByClass(XXX.class) hadoop jar xxx.jar 全类名job.setMapOutputKeyClass(Text.class) job.setOutputKeyClass(Text.class)job.setMapOutputKeyClass(Text.class) job.setOutputKeyClass(Text.class)
  2. 跨平台提交(引入配置文件 addSource)
  3. 本地运行
  1. 任务提交的源码剖析
job.watforComplate
   submit
   		JobSubmitter(DFSClient,YarnRunner)
    		submitJobInternal
    			checkSpecs(job); //检查输出目录是否存在 
    			//tmp/hadoop-yarn/staging/root/.staging
    			Path jobStagingArea = JobSubmissionFiles.getStagingDir(cluster, conf);
    			JobID jobId = this.submitClient.getNewJobID();//获取任务Job_ID
    			Path submitJobDir = new Path(jobStagingArea, jobId.toString());//构建资源提交目录
				this.copyAndConfigureFiles(job, submitJobDir);//拷贝代码片段
                int maps = this.writeSplits(job, submitJobDir);//上传切片信息
                this.writeConf(conf, submitJobFile);//生成job.xml
                this.submitClient.submitJob(jobId, submitJobDir.toString(), job.getCredentials());//任务提交

在这里插入图片描述
4. InputFormat和OutputFormat的源码剖析

在这里插入图片描述

TextInputFormat
切面大小应该是0~140.8(128*1.1) split和你的快block的大小并不相等 所以MapReduce不擅长处理小文件,小文件过多 切面过多 你的进程就多 yarnchild多 就多占用一个G

TableInputFormat
根据你这张表中的region 未来就有多少个输入分片

Hdoop提供了小文件的解决方案
TextCombineInputFormat
前提是你小文件的格式必须是一致的

  1. Shuffle源码剖析(分析、排序、序列化、combiner、map端压缩)
    在这里插入图片描述

注意:combiner 虽好但不通用 输入和输出格式必须一致 例如除法不能用combiner
但是压缩可以通用

  • Hbase
  1. Hbase列存储特点 优势
    在这里插入图片描述

磁盘利用率100%-支持稀疏 有就存 没有不存
可以大幅度提升io的利用率 把相似的数据归入一个列 独立的索引

  1. Hbase和Hdfs的本质区别

都没关系,是俩种不同的东西

在这里插入图片描述

Hbase能达到什么级别?
数十亿行百万列数千版本=TB/PB 亚秒|毫秒 延迟 对海量数据的随机读写
目前还没有任何一个开源数据库可以达到这个延迟

  1. Hmaster和Hregionserver、zookeeper关系
    *宏观架构
    在这里插入图片描述
    Hregionserver内部架构(Block Cache、Region、WAL)

在这里插入图片描述
Region的内部结构(store、Memstore、StoreFile、compact)Region的分裂策略

在这里插入图片描述
RowKey设计

尽可能的把查询条件写在rowkey中
格式必须固定 不允许使用uuid这样查询效率太低了
MapReduce On Hbase*

  • Hive-ETL工具 Sqoop
  1. Hive和数据库的区别
  2. Hive SQL的执行 HQL->MapReduce Hive的运行原理
    在这里插入图片描述

Hive中的表分类:

  • 管理表
  • 外部表
  • 分区表
  • Zookeeper 分布式协调服务
  1. zookeeper中常见的特性-持久性节点(数据永久保存)、临时节点(回话关闭丢失 临时节点不允许创建子节点)、临时序列节点(分布式锁 临时 有序)、持久序列节点 节点监测(watch)
  2. 基于Zookeeper分布式锁的开发 CuratorFrameWorker (连接zookeeper client的jar包)
    详情见curator 分布式锁的博客

curator 连接zookeeper的client工具
curator.apache.org
锁定虚拟机间的线程
分布式锁就是一个临时序列节点 ReadWriteLock 写写互斥 读写互斥 读读并行

redis分布式锁和zookeeper分布式锁的区别?
redis的锁是无序的

除了这些锁 数据库还有行级锁
select 语句中的for updata 悲观锁和乐观锁
悲观锁:所有的操作都加锁 效率低下
乐观锁:在修改这条数据的时候先拿他的时间戳 我修改数据的时候如果我拿的时间戳和以前的不一致 说明有人改了 我们就放弃这次更新

分布式锁
跨虚拟机锁定线程

  • Kafka
  1. 消息队列(架构、offset、序列化、组消费策略、事务(幂等性))

在这里插入图片描述

幂等:多次操作最终影响等价于一次操作。
什么时候用到幂等:当生产者没有接受到指定书目的acks,生产者会根据用户配置retries次数重发数据,这样有可能导致数据的重复写入,为了解决这个问题开启幂等。

  1. Kafka Streaming的流处理(架构、特点、窗口)

特点:topology是在分区内部执行 不存在任务间的shuffle,shuffle是通过将数据写回kafka内部的reparationtopic中,过滤一遍达到shuffle的目的
kafka分区的状态独立管理 通过kafka分区的Compact机制 将状态存储在changelog中

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

KTable:表示分区的装态,底层使用changelog实现
KStream:普通的topic

  • Storm 实时流处理
    在这里插入图片描述
  1. 并行度分析
    在这里插入图片描述

Task实际是Spout和Blot的实例。默认情况下一个线程只运行一个Task(一个线程中只有一个Spout或者Bolt)

是不是worker越多越好? storm博客中有

  1. 可靠性分析(Acker、Tuple Tree)At Least Once机制

在这里插入图片描述
18. 状态管理

对比kafka storm spark状态的管理
流计算过程中的背压 storm中设置最大的处理kafka的数量 spark Streaming中设置微批的大小

  1. Trident (常规算子)

  2. Trident Exaxctly Once(事务,非透明化的事务) State管理

state的状态的管理 Exactly once
trident 分为事务和非透明化的事务
相同之处在于保证状态更新的严格有序
不同之处在于非透明化事务 事务id不变的前提之下 同一个批次的tuple可以不同

  1. Storm-2.0 Stream API

窗口的分类 滑动 滚动 session window

processor time | event time (water maker)
strom 2.0之后对象可以自动序列化 在此之前想要处理对象 需要注册
storm中的3046 和kafka集成之后如果kafka中没有数据启不了
2.0的API 在19年6月份发布 对at least once语义做了一次升级

例如流计算对用户画像的统计什么的较为方便

  • Flume 1.7.0 分布式日志采集
  1. 常规组件 source(Avro可以和logback集成) (spoolDir采集静态文本目录)(taildirSource动态采集) channel(memory、file、jdbc) sink(Avro HDFS Kafka)、拦截器(时间戳、正则过滤、正则抽取)、通道选择器(复制、分流)、SinkProcessor负责分组(负载均衡、failover)

在这里插入图片描述

  1. 和log4j、logback整合
    github上有开源的logback项目
  2. 日志分流的设计
数据仓库面试必问40题!附答案+解题思路(2024大数据岗最新版) 这40道精心筛选的考题,覆盖了数据仓库从基础理论、建模设计、ETL管道、性能调优、实时架构、云原生部署到治理元数据的全生命周期核心技术栈。对维度建模、范式理论、分层架构有深刻理解。能设计可维护、高性能的数据处理流程。清晰把握云数仓、湖仓一体、实时化等前沿趋势。面对复杂问题能层层剖析并给出最优解。理解“痛点”,抓住“本质”,展现“潜力”。技术迭代永无止境,2025年可能又是另一番景象。如业务驱动的分析导向、计算存储分离的价值、分层解耦的思想。敢于拥抱开源,熟悉云服务特性,持续学习新概念。 阅读详情

相关推荐

ADS交叉耦合振荡器VCO相位噪声优化仿真实践

本文详细介绍了在ADS软件中搭建和优化交叉耦合VCO相位噪声的完整仿真实践。通过谐波平衡与瞬态仿真分析电路性能,并重点阐述了通过提升谐振腔Q值、优化晶体管工作点及改善尾电流源来有效降低相位噪声的具体方法,为射频电路设计提供了实用指南。

weixin_29235923的博客 635

大数据常见面试题及答案

大数据常见面试题及答案,大部分都有涉及

遐想者 3万+

从宏观到街道:如何利用七普数据为WorldPop人口栅格做“本地化”校准?

本文探讨了如何利用第七次全国人口普查(七普)数据对WorldPop人口栅格进行本地化校准,以提高街道级别的人口分布精度。通过分析数据偏差、选择适当的技术路线和工具(如Arcgis和栅格计算器),文章详细介绍了从宏观到街道的校准实践,帮助规划公共卫生资源和优化城市基础设施。

janckywong963的专栏 515

《大数据面试题》面试大数据这一篇就够了

《大数据面试题》面试大数据这一篇就够了 Hadoop 常见面试题 Hive 常见面试题 Spark 常见面试题 Flume 常见面试题 Kafka 常见面试题 Hbase 常见面试题 Redis 20 问

abluer~的博客 6万+

Python爬虫实战:抓取全球船舶AIS定位数据的全流程指南

AIS(Automatic Identification System)自动识别系统是目前全球航运中用于实时跟踪船只位置的主要技术。名称、MMSI编号、呼号实时经纬度船速、航向吃水、目的港状态(航行/停泊/锚泊)航线信息等🛰️海上运输监控:追踪航线,预估到港时间;🛳️船舶管理系统:为物流、港口运营提供决策依据;🌊研究分析:如海洋运输碳排放研究、船只拥堵热力图等;🧠人工智能训练数据集:用于轨迹预测、碰撞预警模型。

2201_76125261的博客 1367

外部PLC触发VisionMaster多流程运行

上一讲,介绍了海康VisionMaster与西门子PLC1200进行S7通信。在前一讲的基础上,讲解如何通过PLC触发,实现VisionMaster的多流程运行。

haier123888的博客 4656

「面试必背」大数据面试题100道(收藏)

前言 随着 5G 时代的到来,大数据人工智能产业链又一次迎来了井喷式的爆发,随着岗位需求的不断增加,越来越多的人选择大数据课程,但是没有真正从事大数据工作的人面对企业面试有种无从下手的感觉,面对面试说不到技术的重点,每次面试只能靠队友,靠兄弟支援,尤其是面对架构,编程更是无从下手。于是我决定对市场上大多的有关大数据核心的面试题做一个详细的分析,也希望大家尽可能的做到举一反三,而不是局限于题目本身。 1、选择题 1.1.下面哪个程序负责 HDFS 数据存储。 a)NameNode b)Jobtrac

q66562636的博客 2万+

C#实现低通和高通滤波算法

低通滤波器允许通过低于某个截止频率的信号成分,并且抑制高于该频率的成分。而高通滤波器则允许通过高于某个截止频率的信号成分,并抑制低于该频率的成分。巴特沃斯滤波器是一种对称的滤波器,具有平坦的幅度响应和最小的群延迟。低通和高通滤波是数字信号处理中常用的滤波技术,用于滤除或增强信号中的特定频率成分。在本篇文章中,我们将使用C#编程语言来实现低通和高通滤波算法。以上就是使用C#实现低通和高通滤波算法的示例代码。你可以根据自己的需求调整截止频率和采样率,将这些代码应用于你的项目中。是滤波器的截止频率,

XisVisual_Basic的博客 1276

大数据常见面试题及答案(Linux、Zookeeper、Hadoop、Hive)

本文包括大数据常见技术问答面试题目及答案(Linux、Zookeeper、Hadoop、Hive)

m0_63845988的博客 7326

在STM32F103RBT6微控制器上利用USB虚拟Com端口技术,高效实现ADC数据传输:详细操作步骤与示例代码解析

以上就是在STM32F103RBT6上使用USB虚拟Com端口实现ADC数据传输的全部内容。虽然过程中有很多步骤和细节需要注意,但只要按照步骤来,理解每一段代码的作用,就完全可以掌握这个过程。在实际应用中,我们可能需要根据实际需要修改一些代码,如调整ADC的参数,改变数据的处理方式等。但是,只要理解了这个过程,我们就可以很灵活地进行修改。希望这篇文章对你有所帮助。如果你有任何疑问,欢迎在评论区留言,我会尽我所能进行解答。

qq_38334677的博客 1168

【AUTOSAR实战】:CAN发送邮箱忙导致报文发送丢帧的问题调试

本文档主要讨论了CAN总线通信中可能出现的TC377传输错误的分析和解决方案。文章提供了如何通过检查CAN传输和接收过程、识别传输缓冲区的类型和状态以及选择适当的内存保护功能来检测和解决此类错误的见解。经过多次尝试和分析,得出的结论是,修改CANIF缓冲的尺寸并重新分配报文给各个buffer并不能解决问题。此外,发送中断被抢占可能导致报文无法发送,最终也将此因素排除。本文档还提到了一些可能导致发送流程调度出现问题的因素,例如CANIF中报文引用Buffer不合理。

weixin_46481662的博客 3141

python大数据和java大数据的区别-学大数据开发,java和python都需要学吗?

谢邀。对比java和python后者还算是小语种。不知道楼主的具体情况如何。根据个人情况,建议先学java,毕竟你目前的需求是尽快找到更合适的技术工作,java择业面相对较宽,虽然也难学,但学习资源丰富,上手肯定比python快,等你通过java站稳脚跟了,再去试试python不迟。目前看来,Java主流,Go最有潜力,但我说一个优秀的java程序员工资也不低。现在互联网行情就目前互联网 行情而言...

weixin_37988176的博客 606

今日头条面试——iOS开发面试题

layoutIfNeeded和setNeedsLayout的区别。* Pod update和pod install的区别。* 10、autoreleasepool的使用场景。* 如何hook一个对象的方法,而不影响其它对象。* 数组cop后里面的元素会复制一份新的吗。* 介绍项目,主要介绍自己强项一点的地方。* assing可以使用在对象中吗。* isEquel和hash的关系。* 4、谈谈runtime的理解。* 8、谈谈runloop的理解。* copy和strong的区别。

FPGA/MATLAB学习教程/源码/项目合作开发 594

站在大数据行业山顶看风景

大家好,我是你们的朋友王知无。从2022年开始应很多小伙伴的邀请和咨询,我以个人的名义开了自己的《面向国内Top企业的大数据训练营》。最初这个过程我的内心非常忐忑,从备课、直播、答疑、1对1指导,再到同学们找工作的过程中Offer比较,入职后线上问题和技术方案解答,每一步都付出了巨大努力。到今天为止,取得了非常瞩目的成绩!上面是最近几周内同学拿到的新的Offer!这个训练营主要是我自己打造的专门面...

微信搜:import_bigdata,大数据领域硬核原创作者 1578

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

大数据分析工程师面试集锦0--开篇词

大家好,欢迎大家来到大数据分析工程师面试集锦这一新的系列文章,本系列一共有15篇文章,涉及大数据分析职位面试的方方面面。这是一篇开篇词,主要介绍这一系列文章的背景、整体的...

大数据与人工智能 384

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

研发、运营必备实用工具网站

程序员开发需要具备良好的信息检索能力,为了备忘(收藏夹真是满了),将开发过程中常用的网站进行整理(不断更新中~)。

不脱发的程序猿 62万+

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

一个会 玩大模型的人有多么可怕,奉劝一般人不要轻易入行

1.大模型是风口,秉承着风吹的大猪都能上树的理念都想来卷(不是说大家是哈哈哈哈)team里收到了很多很多非cs出身同学的简历。大家学历都好卷,有top2,且人均985但是简历制作水平参差不齐(没有批评的意思,陈述事实),如果以企业招人的角度去看一些简历的话很多都是一眼 pass,后面可以分享制作简历的心得哈哈2.LLM资源是1其他的都是0,没有能打的硬件就只能去调 api做一些下游任务,但感觉未来这种情况会占据一大部分(maybe?

lyy2017175913的博客 1524

大数据面试必杀技:开源贡献+项目匹配(Day_1)

【摘要】面试大数据开发岗位时,开源项目贡献是重要加分项,包括代码提交、文档编写、问题反馈等。建议从感兴趣的开源项目入手,通过参与社区讨论、修复简单bug积累经验。技术准备需涵盖Hadoop/Spark等主流组件,重点掌握性能优化技巧(如内存配置、数据压缩)。面试策略强调信息战:研究公司技术公众号、定制化简历、提前准备高频问题。对于应届生,可通过搭建分布式集群demo项目展示实践能力,同时注重基础知识的系统梳理和流畅表达。

Joy T的博客 687

B站疯传,年度大数据分析+Python资料出炉,错过再等一年!

在美国,数据分析行业平均每年薪酬高达17.5万美元,而国内顶尖互联网公司,其薪酬可能要比同一个级别的其他职位高20%至30%,且颇受企业重视。▲图片来源于职友集在《大数据人才报告》中提到,...

lsxxx2011的专栏 358

2026年软件测试面试题大全与精品回答解析

软件测试是确保软件质量的关键环节,涉及从单元测试到系统测试的全生命周期。其核心原理是通过各种测试方法(如黑盒测试、白盒测试)验证软件功能与性能。随着DevOps和持续交付的普及,自动化测试框架(如Selenium、TestNG)成为提升测试效率的重要技术。在实际工程中,测试工程师需要掌握测试用例设计、缺陷管理等核心技能,同时应对AI测试、云原生测试等新兴趋势。本文基于上百位优秀候选人的实战经验,提炼出软件测试面试中的精品回答策略,特别涵盖自动化测试框架设计、性能测试分析等热点问题,为2026年的测试工程师面

weixin_27918373的博客 342

大厂面试官最喜欢问的三道MySQL面试题,面试前一定要学会!

嘿,各位面试官眼中的“潜力股”们,想要在众多求职者中脱颖而出,成为那个让HR眼前一亮的存在吗?那你可得好好补补MySQL的这些“硬通货”了!啥是回表操作?为啥有时候查询明明用了索引,却还是慢如蜗牛?联合索引、组合索引、复合索引,这些听起来就让人头疼的名词,你又能分得清吗?还有啊,什么时候该给数据库戴上“加速器”——索引,什么时候又得避免这个“累赘”?掌握了它们,你就能在面试中“闪闪发光”,成为那个让面试官眼前一亮的“宝藏候选人”!所以,赶紧学起来吧,别让这些“知识点”成为你面试路上的绊脚石!

小白的大数据之旅的博客 927

校招大数据开发笔试题拆解:从日志处理到集群部署

在数据量爆炸式增长的时代,分布式计算与日志处理已成为数据工程师的基本功。以Spark日志处理为例,开发者不仅需要掌握RDD、DataFrame等核心API,更要理解数据倾斜、脏数据清洗、分区策略等生产环境的关键问题。集群部署与数据质量保障同样不容忽视,HDFS联邦、高可用Fencing机制、数据对账等设计直接决定系统的稳定性和可靠性。从实时数仓到离线分析,从数据集成到可视化大屏,完整的数据链路要求工程师具备全局视野和权衡思维。本文围绕大数据开发岗位的典型笔试题,深入剖析日志处理、架构设计、数据质量等考察方向

weixin_34197488的博客 424

大数据学习路径拆解及资源推荐,太好用了吧!

在美国,数据分析行业平均每年薪酬高达17.5万美元,而国内顶尖互联网公司,其薪酬可能要比同一个级别的其他职位高20%至30%,且颇受企业重视。▲图片来源于职友集在《大数据人才报告》中提到...

数据中心运维管理 409

计算机毕业设计Hadoop+Hive+PySpark小说推荐系统 小说可视化 小说爬虫 大数据毕业设计(源码+LW文档+PPT+详细讲解)

计算机毕业设计Hadoop+Hive+PySpark小说推荐系统 小说可视化 小说爬虫 大数据毕业设计(源码+LW文档+PPT+详细讲解)

全网计算机/大数据辅导(自媒体)道祖第一人、全网粉丝100W+,专注于大学生项目实战开发,讲解,毕业答疑辅导,高校老师/讲师/同行合作。以及产品测评宣传、工具推广等合作。同时招收学生代理、校园代理。 1359

最新小白了解Python中类装饰器,看这篇就够了_python 类装饰器(1),2024年最新驱动开发面试题

🍅 硬核资料:关注即可领取PPT模板、简历模板、行业经典书籍PDF。🍅 技术互助:技术群大佬指点迷津,你的问题可能不是问题,求资源在群里喊一声。🍅 面试题库:由技术群里的小伙伴们共同投稿,热乎的大厂面试真题,持续更新中。🍅 知识体系:含编程语言、算法、大数据生态圈组件(Mysql、Hive、Spark、Flink)、数据仓库、Python、前端等等。网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。需要这份系统化学习资料的朋友,可以戳这里获取。

2301_79099373的博客 337
上一篇: Spring-Cloud Bus消息总线 Zuul路由(反向代理)
下一篇: 风控建模
zax_java
博客等级 码龄8年 62粉丝 23原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值