- 博客(250)
- 收藏
- 关注
原创 猿创征文|实战开发openGauss DataStudio的sql联想结构_datastudio的sql终端(1)
【代码】猿创征文|实战开发openGauss DataStudio的sql联想结构_datastudio的sql终端(1)
2024-05-16 11:21:40
421
原创 猿创征文|如何使用 Element UI? 以登录框为例带你感受一下基础使用_element登录框
【代码】猿创征文|如何使用 Element UI?以登录框为例带你感受一下基础使用_element登录框。
2024-05-16 11:21:07
575
原创 猿创征文|国产数据库,我看好分布式数据库 TiDB_tidb国产数据库(3)
首先,分布式数据库是由多个数据节点组成的,当数据想要增加算力时,那么只需增加数据节点即可,这也叫数据库的水平拓展。通俗的讲,分布式与集中式的区别在于,集中式数据库的拓展不会增加系统成员数量,但是这个成员所需要承担的任务会更多更重;分布式数据库则不会改变原有成员的工作量,而是会再增加若干系统成员 —— 人多力量大。除此之外,随着数字经济蓬勃发展,高并发成为了当前最大挑战。当需求量巨大或者响应要求高时,传统集中式的结构很难拓展,这时就需要分布式结构的数据库“大显身手”了。
2024-05-16 11:20:34
403
原创 猿创征文|国产数据库,我看好分布式数据库 TiDB_tidb国产数据库(2)
每当提及我们国家必须要自主掌握和创新的一些关键核心技术,相信大多数人都会优先考虑到芯片,但其实还有一种非常核心的 IT 技术也至关重要,那就是数据库。面对中国这样的人口大国,人们生活中的每一个角落、每一秒都在产生着海量数据。那么面对如此庞大的数据体量,数据库的处理是否安全可靠便成了重中之重,对数据库处理能力的安全性、可靠性的要求极高。在业务爆发式增长的过程中,很多企业面临的一大难题就是面对庞大的数据体系,基于 MySQL 构建的传统的关系型数据库服务,已不能再满足复杂的数据库存储、管理与运维。
2024-05-16 11:20:01
355
原创 最全一篇文章搞懂数据仓库:元数据分类、元数据管理(1),2024年最新大数据开发开发者该学习哪些东西提高竞争力
每段代码实现的具体业务逻辑。:类似于 BI 中的语义层、数仓中的一致性事实;将分析中的指标进行规范化。:同,对分析的各维度定义实现规范化、标准化。不断的进行维护且与业务方进行沟通确认。例如:数据源的 IP、端口、数据库类型;数据获取的方式;数据存储的结构;原数据各列的定义及 key 指对应的值。;。,主要目的是为了解决掉脏数据及规范数据格式;因此此处元数据主要为:各表各列的"正确"数据规则;默认数据类型的"正确"规则。,例如常见的表输入表输出;非结构化数据结构化;特殊字段的拆分等。
2024-05-16 03:33:40
316
原创 最全一文教你数据结构体栈和队列的实现_结构体队列,2024年最新一线互联网企业高级大数据开发工程师面试题大全
QNode;//队列要有一个头//队列要有一个尾int size;}Queue;
2024-05-16 03:33:07
329
原创 最全一文掌握大数据架构师需要具备的能力和格局(1),你花了多久弄明白架构设计
DMP/CDP只针对营销和客户运营的场景,它们可以与企业的渠道管理、备货、物流以及供应链甚至生产环节相联通,并根据需要为这些环节提供数据,但它们并不负责收集和处理这些环节的数据。建立私域数据之间相同顾客/用户/受众之间的映射匹配关系 .构建以顾客/用户受众(人)为核心的数据结构(即ID+人的标签,或称ID+人的属 性的数据结构)要有全局意识和局部业务专研分析思维,理解金字塔原理,自上而下表达,自下而上思考,从上提出疑问,从下寻找答案。利用云计算的优势,实现数据仓库的高可用、快速恢复、弹性扩容。
2024-05-16 03:32:34
978
原创 最全一文总结 Shiro 实战教程(2),2024年最新字节跳动大数据开发开发面试题
上边的程序使用的是Shiro自带的IniRealm,IniRealm从ini配置文件中读取用户的信息,大部分情况下需要从系统的数据库中读取用户信息,所以需要自定义realm。/\*\*\* 自定义realm\*///认证方法@Override//授权方法@Override//创建securityManager//设置为自定义realm获取认证数据//将安装工具类中设置默认安全管理器//获取主体对象//创建token令牌try {//用户登录。
2024-05-16 03:32:00
737
原创 大数据最新【django项目后台开发】数据统计——用户总数统计,大数据开发最新实习面试经验总结
请求⽅式: GET /statistics/total_count/请求参数: 通过请求头传递jwt token数据。返回数据: JSON。
2024-05-15 18:45:33
288
原创 大数据最新【django项目后台开发】数据统计——用户总数统计(1),含泪狂刷大数据开发基础面试118题
获取当⽇登录⽤户数量 last_login记录最后登录时间count=User.objects.filter(last_login__year=year,last_login__month=month,last_login__day=day).count()(img-62JCVPrf-1715769879201)]
2024-05-15 18:45:00
420
原创 大数据最新【C语言】数据类型存储、原码,反码(1),2024年最新看完直接怼项目经理
void print()//无参数的话进行传参也是可以的,但是这里没有所以我们C语言并不会进行接收。//0(最高位正数)0000000000000000000000000000101。printf(“*pFloat的值为:%lf\n”, *pFloat);print(10);printf(“*pFloat的值为:%d\n”,n);//返回1代表的是小端,返回0代表的是大端。printf(“小端\n”);printf(“大端\n”);printf(“小端\n”);printf(“大端\n”);
2024-05-15 18:44:27
244
原创 大数据最新【C认证】对标名企技术标准,大厂不是梦_cssip有纸质证书吗(1),2024年最新2024中级大数据开发开发面试解答
相信很多小伙伴都有这样的感受,在我们通过大学课程或者其他网络课程的学习后,理论知识的可能会掌握的很扎实,但当需要进行实际上手开发的时候,可能就是另一番感受了。要么无法实现既定需求,要么可以实现需求但开发效率极低。其实根本原因就是我们把理论知识作为重点而忽略了实操能力。而企业中注重的正是工程化交付能力,我相信没有一个企业愿意去招收一名只会 “纸上谈兵” 的开发者。
2024-05-15 18:43:53
423
原创 写代码也有本手俗手之分,而我们要善于发现妙手!_本手妙手俗手 编程(3)
【代码】写代码也有本手俗手之分,而我们要善于发现妙手!_本手妙手俗手 编程(3)
2024-05-15 07:41:43
172
原创 写代码也有本手俗手之分,而我们要善于发现妙手!_本手妙手俗手 编程(2)
print(*(k for k,v in dic.items() if v==count)) # 键值最小的所有键。dic = {n:nums.count(n) for n in nums} # 以 数字:次数 为键值对组成字典。nums = eval(input()) # 题目要求输入用半角逗号分隔的,只要用eval()函数即可。count = min(dic.values()) # 最少出现次数。num=input(‘请输入一个正整数:’)print(‘各位上的数字之积:’,
2024-05-15 07:41:07
571
原创 写代码也有本手俗手之分,而我们要善于发现妙手!_本手妙手俗手 编程(1)
【代码】写代码也有本手俗手之分,而我们要善于发现妙手!_本手妙手俗手 编程(1)
2024-05-15 07:40:30
332
原创 冒死潜入某个外包公司获得的珍贵Java基础笔试题(附答案)_constructor必须与dass同名,但方法不能与dass同名,下列说法正确的有
finalize:Object 类中定义的方法,Java 中允许使用 finalize() 方法在垃圾收集器将对象从内存中清除出去之前做必要的清理工作。------------------------------------------我是答案分割线-----------------------------------------------------------------------1、简单分析Java语言中的final, finally, finalize三者的区别。
2024-05-15 07:39:54
930
原创 【Hive】(十四)Hive 项目实战之电子商务消费行为分析_hive项目实战(2)
select concat(regexp_extract(buytime,‘[0-9]{1,2}’,0),‘时’) as time,sum(price) as sale from transaction_details group by regexp_extract(buytime,‘[0-9]{1,2}’,0)concat(year(regexp_replace(dt,‘/’,‘-’)),‘年第’,ceil(month(regexp_replace(dt,‘/’,‘-’))/3),‘季度’)
2024-05-14 23:00:02
1053
1
原创 【Hive】(十四)Hive 项目实战之电子商务消费行为分析_hive项目实战(1)
这里通过UDF自定义 MD5加密函数 ,对地址、邮箱等信息进行加密。-- md5 udf自定义加密函数Clean and Mask customer_details 创建明细表。
2024-05-14 22:59:26
767
原创 【Hive】(五)Hive 中动态分区与静态分区详解_hive insert into 静态动态分区
3、这种手动指定分区加载数据,就是常说的静态分区的使用。但是在日常工作中用的比较多的是动态分区。静态分区是在创建表的时候就指定分区或者将表已经创建之后再指定分区(使用alter关键字)
2024-05-14 22:58:50
457
原创 【Hive】(五)Hive 中动态分区与静态分区详解_hive insert into 静态动态分区(1)
3、这种手动指定分区加载数据,就是常说的静态分区的使用。但是在日常工作中用的比较多的是动态分区。静态分区是在创建表的时候就指定分区或者将表已经创建之后再指定分区(使用alter关键字)Hive中的分区有两种:动态分区和静态分区。2、加载数据到分区表。
2024-05-14 22:58:14
363
原创 2024数字中国创新大赛·数据要素赛道“能源大数据应用赛”正式上线!参赛指南请查收_人工智能 海上风力 赛道
*赛题任务:**在中国,“又忙又累”的中国医生和“委屈不解”的中国患者所构成的医患关系矛盾问题,已经成为全社会广泛关注的社会现象。**赛题任务:**本赛题要求选手立足能源领域,以数据驱动业务为导向,围绕能源数据要素流动、能源数字技术创新、能源市场商业模式等热点,设计出能够有效加快能源数据开发利用、促进各品类能源资源共享互济、加强各类能源要素优化配置、推进能源及碳排放权交易市场制度体制建设等的“最优解”,突破产出边界,创造能源要素新业态,为助力双碳目标战略和能源数字化转型出谋划策。
2024-05-14 13:40:35
561
原创 2024数字中国创新大赛·数据要素赛道“能源大数据应用赛”正式上线!参赛指南请查收_人工智能 海上风力 赛道(1)
*赛题任务:**在中国,“又忙又累”的中国医生和“委屈不解”的中国患者所构成的医患关系矛盾问题,已经成为全社会广泛关注的社会现象。**赛题任务:**本赛题要求选手立足能源领域,以数据驱动业务为导向,围绕能源数据要素流动、能源数字技术创新、能源市场商业模式等热点,设计出能够有效加快能源数据开发利用、促进各品类能源资源共享互济、加强各类能源要素优化配置、推进能源及碳排放权交易市场制度体制建设等的“最优解”,突破产出边界,创造能源要素新业态,为助力双碳目标战略和能源数字化转型出谋划策。
2024-05-14 13:39:59
776
原创 2024年(前言)我的大数据学习之旅_大数据实训学习内容(1),学习指南
随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍,比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票)等等, 大数据实时处理解决方案(流计算)的应用日趋广泛,目前已是分布式技术领域最新爆发点,而Storm更是流计算技术中的佼佼者和主流。源于Spark的流行,Spark是当前最流行的开源大数据内存计算框架,采用Scala语言实现,各大公司都在使用Spark:IBM宣布承诺大力推进Apache Spark项目,并称该项目为:在以数据为主导的,未来十年最为重要的新的开源项目。
2024-05-14 13:39:22
699
原创 2024年黑客大数据,你想知道的这里都有!(1),大数据开发面试40题
平台上超过38%的黑客答案是 XSS 漏洞,其次是 SQL 注入、模糊测试、业务逻辑、信息收集、SSRF、RCE、枚举、逆向工程、IDOR、暴力攻击、注入、CSRF、验证、XXE、DDoS。81%的黑客将网络资源和博客作为主要的学习途径,只有6%的黑客完成了正规课堂或证书培训。目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**,白帽黑客中80%的人是自学成才,越来越多的黑客来自技术以外的行业,让漏洞挖掘的领域充满活力。上73%的黑客年龄低于30岁。
2024-05-14 13:38:45
307
原创 2024年最全RocketMQ 原理介绍及详细安装教程_rockmq(1),音视频学习指南来咯
Apache RocketMQ 是一款典型的分布式架构下的中间件产品,使用异步通信方式和发布订阅的消息传输模型。Apache RocketMQ 产品具备异步通信的优势,系统拓扑简单、上下游耦合较弱,主要应用于异步解耦,流量削峰填谷等场景。分布式系统架构思想下,将复杂系统拆分为多个独立的子模块,例如微服务模块。一种是同步的RPC远程调用同步RPC调用模型下,不同系统之间直接进行调用通信,每个请求直接从调用方发送到被调用方,然后要求被调用方立即返回响应结果给调用方,以确定本次调用结果是否成功。
2024-05-14 05:02:26
887
原创 2024年最全ResNet实战:tensorflow2(1),2024年最新程序员如何技术划水
这里可以看出tensorflow2.0以上的版本集成了Keras,我们在使用的时候就不必单独安装Keras了,以前的代码升级到tensorflow2.0以上的版本将keras前面加上tensorflow即可。tensorflow说完了,再说明一下几个重要的全局参数:norm_size = 224 设置输入图像的大小,ResNet50默认的图片尺寸是224×224。
2024-05-14 05:01:50
769
原创 2024年最全Redis数据库【一文教必备操作】_redis使用5库,年薪60W必备
Redis是意大利人开发的一款内存高速缓存数据库,是一个高性能的键值对(key-value)存储数据库。全称是:Remote Dictionary Server(远程数据服务),使用C语言编写,并以内存作为数据存储介质,所以读写数据的效率极高。Redis支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用。Redis不仅仅支持简单的key-value类型的数据,同时还把value分为list,set,zset,hash等数据结构存储。
2024-05-14 05:01:14
779
原创 2024年最全Redis数据库【一文教必备操作】_redis使用5库(3),2024年最新我把所有大数据开发第三方库整理成了PDF
如果修改某个域所对应的值,直接用添加数据的命令就可以,会覆盖掉,就相当于修改数据了。Redis是key-value的数据结构,每条数据都是一个键值对。【Sorted Set类型(有序集合)】(member为key对应的值)(注意:键不能重复)
2024-05-14 05:00:38
597
原创 2024年大数据最全大数据技术入门:hdfs(分布式文件存储系统)(1),2024腾讯大数据开发面试题精选
---------来源于百度百科。2、为了保证 Standby 的机器中,namespace和文件块与Active宕机之前一致,DataNode在向Active NameNode发送块的位置信息和“心跳”时,也要把这些信息发送给Standby NameNode,这样才能保证Standby中的文件块信息与Active NameNode中的数据一致。1、首先,它有两个 NameNode,一个是 Active 的,一个是 Standby (备援状态)的,当 Active 宕机后,可以使用Standby的机器。
2024-05-13 20:14:09
826
原创 2024年大数据最全大数据技术入门Scala,由浅入深
4)Scala在设计时,马丁·奥德斯基是参考了Java的设计思想,可以说Scala是源于Java,同时马丁·奥德斯基也加入了自己的思想,将函数式编程语言的特点融合到JAVA中,因此,对于学习过Java的同学,只要在学习Scala的过程中,搞清楚Scala和Java相同点和不同点,就可以快速的掌握Scala这门语言。(多范式,就是多种编程方法的意思。2)Scala源代码 (.scala) 会被编译成Java字节码 (.class),然后运行于JVM之上,并可以调用现有的Java类库,实现两种语言的无缝对接。
2024-05-13 20:13:33
554
原创 2024年大数据最全大数据技术之Shell学习笔记(常用)(1),2024年最新阿里内部大数据开发笔记火爆IT圈
expr + - * / % 加,减 ,乘, 除 , 取余注意:expr运算符间要有空格条件判断。
2024-05-13 20:12:57
727
原创 2024年大数据最全大数据开发项目-电信项目2-传输数据(2),手把手教你在大数据开发-Studio上分析内存泄漏
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新需要这份系统化资料的朋友,可以戳这里获取1.3.0org.apache.hbasehbase-server1.3.0org.apache.kafkakafka-clients0.8.1.1org.apache.maven.pluginsmaven-suref
2024-05-13 20:12:21
735
原创 2024年助力工业物联网,工业大数据之业务系统结构【三】(1),大数据开发高级工程师面试题-字节跳动
实战项目、大纲路线、讲解视频,并且后续会持续更新**
2024-05-13 14:40:14
850
原创 2024年助力工业物联网,工业大数据之ODS层构建:代码结构及修改【九】,大数据开发studio基础
阅读连接代码及实现连接代码测试Python连接HiveServer或者Spark的ThriftServer:提交SQL语句step1:怎么获取连接?运行测试代码。
2024-05-13 14:39:38
874
原创 2024年前端面试题_fnjsoo(1),2024年最新大数据开发开发揭秘
当对象本身或对象属性被读和写的时候,我们需要知道该数据被操作了,并在这过程中执行一些函数,例如:render函数,而这一过程我把它定义为数据响应式vue-router为非浏览器环境准备了一个abstract模式,其原理为用一个数组stack模拟出浏览器历史记录栈的功能。
2024-05-13 14:39:02
712
原创 2024年前端开发技术-剖析JavaScript单线程 原创_前端单线程(2),2024年最新零基础学大数据开发开发
在上面代码中,js代码是由js引擎线程执行的,这里要明确,js是单线程的,同一时间只能执行一个的任务,所以有多个等待任务的时候需要排队,排在前面的先执行,排在后面的要等待前面任务完成才能执行。3、事件触发线程,用于监听和触发事件,可以理解成由js引擎线程来执行事件绑定代码,然后另开事件触发线程用来监听事件的触发,触发以后把事件处理函数里面的代码交给js引擎线程来执行,但是js是单线程的,事件处理函数里面的代码会添加到待处理队列的末尾,也就是等js线程空闲以后才会执行。三、js引擎线程的单线程。
2024-05-13 14:38:26
623
原创 最新大数据开发八股文总结——Hadoop_大数据八股文,2024年最新不同层级的大数据开发开发者的不同行为
MapReduce是一个分布式运算程序的编程框架,它的核心功能是将用户编写的业务逻辑代码和自带默认组件代码整合成一个完整的分布式运算程序,并发运行在一个Hadoop集群上。MapReduce是一种分布式计算模型,它主要用于大规模数据的处理和分析。在MapReduce模型中,Map函数和Reduce函数都是非常重要的组成部分,它们分别在数据预处理和结果合并阶段发挥重要作用。Map函数一般用来对数据进行预处理。当MapReduce模型读取数据时, Map函数会对每个数据块进行处理。
2024-05-12 17:17:28
750
原创 最新大数据开发八股文总结——Hadoop_大数据八股文(1),2024年最新你还看不懂吗
MapReduce是一个分布式运算程序的编程框架,它的核心功能是将用户编写的业务逻辑代码和自带默认组件代码整合成一个完整的分布式运算程序,并发运行在一个Hadoop集群上。MapReduce是一种分布式计算模型,它主要用于大规模数据的处理和分析。在MapReduce模型中,Map函数和Reduce函数都是非常重要的组成部分,它们分别在数据预处理和结果合并阶段发挥重要作用。Map函数一般用来对数据进行预处理。当MapReduce模型读取数据时, Map函数会对每个数据块进行处理。
2024-05-12 17:16:52
1279
原创 最新大数据平台架构浅析——以讯飞大数据平台Odeon为例(3),大数据开发上机面试题
Odeon大数据平台以全图形化Web操作的形式为用户提供一站式的大数据能力:包括数据采集、任务编排、调度及处理、数据展现(BI)等;同时提供完善的权限管理、日志追踪、集群监控等能力。
2024-05-12 17:16:16
608
原创 最新大数据学习第三天(1),大数据开发自学
(1)如:将id字段修改为stu_id字段并且改为varhcar数据类型。:%s/旧文本/新文本 //文本替换。(2)mysql --user=用户名 --password=密码。(1)cmd之后使用mysql -u用户名 -p密码。(1)快速格式化快捷键:ctrl +alt + L;(2)/**/ //多行注释。(2)运行代码:ctrl + enter;drop database 数据库;(2)describe 表名;(1)# //单行注释。(1)desc 表名;
2024-05-12 17:15:40
849
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人