- 博客(63)
- 收藏
- 关注
原创 最新参加微软学生开发者峰会,了解Azure和GitHub……,2024年最新2024最新大数据开发算法相关面试大
这次学生开发者峰会学习挑战赛主要让我学习到了一些Azure云计算平台以及GitHub的一些相关知识,以及对掌握的知识又进行了一次检测。
2024-05-16 08:23:53
637
原创 最新卷妹带你学数据库---5天冲刺Day1_库课跟天一是什么关系,2024年大数据开发大厂面试
需要使用is null因为数据库中的null代表什么也没有,它不是一个值,所以不能使用等号衡量。注意:在所有的数据库当中,字符串统一使用单引号括起来,单引号是标准,双引号在oracle数据库中用不了。但是在mysql中可以使用。如果想让or先执行,需要加“小括号”.以后在开发中,如果不确定优先级,就加小括号就行了。字段名可以理解,是一个普通的名字,见名知意就行。约束:约束也有很多,其中一个叫做唯一性约束,这种约束添加之后,该字段中的数据不能重复。强调:对于SQL语句来说,是通用的,所有的SQL语句以“;
2024-05-16 08:23:20
1117
原创 最新卷妹带你学数据库---5天冲刺Day1_库课跟天一是什么关系(1),2024年最新2024大厂大数据开发面试必问题目
导入一下提前准备好的数据:bjpowernode.sql 这个文件中是练习准备的数据库表。怎么将sql文件中的数据导入mysql> source D:\course\03-MySQL\document\bjpowernode.sql #注意:路径中不要有中文!!!!查看表的结构:# describe缩写为:desc| DEPTNO | int(2) | NO | PRI | NULL | |部门编号。
2024-05-16 08:22:47
1022
原创 最新华为云云耀云服务器L实例评测|单节点环境下部署ClickHouse21(3),2024大数据开发大厂高频面试题
依次将这四个安装包解压,并且每解压一个,执行一下解压文件夹下的install下的doinst.sh脚本。在FinalShell工具中,填写服务器弹性公网IP地址、账号密码信息,ssh连接远程服务器。选择stable目录下的安装包,采用21.1.9.41版本,也可以选择直接从csdn资源包下载。后,clickhouse会默认创建一个default的用户,让你设置密码,不设置密码可以按回车。重置密码,点击重置密码选项,需要进行身份验证,选择手机验证后,即可重置密码成功。上传到liunx服务器。
2024-05-16 08:22:13
852
原创 技术选型-Apache DolphinScheduler VS Xxl-Job_任务调度工具 xxl dolphin 2024 选型(1)
友,可以戳这里获取](https://bbs.youkuaiyun.com/topics/618545628)**
2024-05-15 23:36:23
705
原创 批量插入千万数据到Elasticsearch之bulkProcessor_bulkprocessor使用
System.out.println(“操作” + request.numberOfActions() + “条数据”);、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**
2024-05-15 23:35:50
280
原创 批量插入千万数据到Elasticsearch之bulkProcessor_bulkprocessor使用(1)
2.遇到的问题连接超时和io问题,这是因为发起的线程太多了上面我设置了10个线程,一个线程5000的数据,.setBulkActions(5000) .setConcurrentRequests(10) 因为线程太多导致有一个线程不成功的话就会导致缺少数据,后面解决把.setBulkActions(2000) .setConcurrentRequests(1)就成功导入1000万数据成功了。关闭,加在flush的后面一行。4.最终代码成功导入一千万数据到es完整代码耗时30分钟。
2024-05-15 23:35:18
286
原创 批量导出导入数据及附件文件ZIP包_导出压缩包 ,压缩包里面要包含查询的数据生成的excel 还有服务器上存储的资料文
在上一步生成的Excel文件路径下新建files文件夹,里面存放附件。
2024-05-15 23:34:45
260
原创 【算法入门&;搜索法】走迷宫 单源最短路径1_利用搜索算法完成走迷宫c#
/ 初始邻接矩阵全部设为未访问。// 初始距离全部设为-1。// 注意dx和dy数组存放的数据要对应,代表着上下左右的移动方向。#include // 使用INT_MAX所需要引入的头文件。// 核心算法:广度优先。
2024-05-15 04:23:27
542
原创 【算法入门&;搜索法】走迷宫 单源最短路径1_利用搜索算法完成走迷宫c#(1)
之前发过单源最短路2,最短路1与之的区别在于边的权值都是1。
2024-05-15 04:22:51
376
原创 【算法入门&;图论】【模板】拓扑排序 【模板】单源最短路2 最小生成树_ab15
@param cost intvector 一维3个参数,表示连接1个村庄到另外1个村庄的花费的代价。// 注意题干,图的点数是固定值5000。* 代码中的类名、方法名、参数名已经指定,请勿修改,直接返回方法规定的值即可。#include // 使用INT_MAX所需要引入的头文件。* 返回最小的花费代价使得这n户人家连接起来。* @param n int n户人家的村庄。* @param m int m条路。
2024-05-15 04:22:16
456
原创 Python获取股票数据并绘制相应K线图,看这个就够了!_python绘制2024上证50数据收盘价和均线图(3)
ifget_Plate(‘885539.TI’) # 医疗器械概念板块token = ‘XXXXXXXXXXXX’ # 以自己的token为例。
2024-05-14 19:02:09
967
原创 Python获取股票数据并绘制相应K线图,看这个就够了!_python绘制2024上证50数据收盘价和均线图(2)
有人的地方就有江湖,有交易的地方就有金融。出于对金融证券的兴趣,作者去年疫情期间开始对金融证券以及数据分析进行学习,去年也已获得证券从业资格证,完整数据分析的内容实现已在两个月前完成。此篇仅为作者完成的完整数据分析的部分内容(股票数据获取及K线绘制的简化内容)。
2024-05-14 19:01:33
566
原创 Python获取股票数据并绘制相应K线图,看这个就够了!_python绘制2024上证50数据收盘价和均线图(1)
投资有风险,入市需谨慎本文不构成任何投资建议!
2024-05-14 19:00:57
481
原创 2024年最新【django项目后台开发】数据统计——用户总数统计(2),2024年最新蚂蚁金服4面大数据开发高级开发
请求⽅式:GET /statistics/day_active/请求参数: 通过请求头传递jwt token数据。返回数据: JSON。
2024-05-14 10:24:10
372
原创 2024年最新【Django框架】——10 Django入门,大数据开发教程零基础入门
LANGUAGE_CODE = ‘en-us’ # 语⾔。TIME_ZONE = ‘UTC’ # 时区# 时区。verbose_name = '影⽚管理。,那么很难做到真正的技术提升。
2024-05-14 10:23:34
319
原创 2024年最新【C认证】对标名企技术标准,大厂不是梦_cssip有纸质证书吗(2),大牛手把手带你
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。需要这份系统化资料的朋友,可以戳这里获取一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!一个人可以走的很快,但一群人才能走的更远!
2024-05-14 10:22:21
392
原创 2024年大数据最新探讨大数据、云计算与物联网的融合与发展(3),五步搞定大数据开发开发环境部署
大数据是指在规模(Volume)、多样性(Variety)、速度(Velocity)和价值(Value)四个方面具有特点的数据集。趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!IT基础设施层:提供大数据处理的硬件和软件环境,如高性能计算、分布式存储等。
2024-05-14 01:44:45
273
原创 2024年大数据最新探索云原生技术之容器编排引擎-Kubernetes K8S详解(4),阿里面试100%会问到的大数据开发
案例:创建一个targetPod,打上podrole: pod-admin标签,并且定向调度到slave02节点上,再创建一个新的Pod使用Pod的反亲和性调度匹配podrole标签值为user111或者pod-admin,符合上面的条件则调度到这个targetPod相反(不同)的node上。nodeSelector定向调度所指定的是一对标签label键值对,通过这个指定的label去匹配k8s节点,当k8s中的某个节点有这个label则会把Pod调度到这个节点上去。污点与亲和性调度有什么区别?
2024-05-14 01:44:09
941
原创 2024年大数据最新探索云原生技术之容器编排引擎-Kubernetes K8S详解(4)(1),看了这篇文章我才真正理解了
requiredDuringSchedulingIgnoredDuringExecution: # Node节点必须满足指定的所有规则才可以,相当于硬规则,类似于定向调度。- key: role # 匹配存在标签的key为role的节点,并且value是"user111"或"admin111"的节点。effect: NoExecute # 添加容忍的规则,这里必须和标记的污点规则相同。effect: NoExecute # 添加容忍的规则,这里必须和标记的污点规则相同。
2024-05-14 01:43:33
970
原创 2024年大数据最新我与 优快云 的 2024 年终总结_年终总结 csdn,2024年最新从外包公司到今日头条offer
这些都是我与 优快云 的成长见证2022年我也花了很多时间在搭建、维护、更新和优化自己的网站(有两个:和),第一个网站用的 Hexo 框架中的 Butterfly 主题,第二个网站用的是 WordPress 模板里的子比主题。一路上也是遇到了许多问题和困难,不过好在也都一一解决了。除了维护网站,我其他的大部分时间都花在了更新文章(主要还是在优快云、掘金)。还有一部分时间花在了学习,主要是在哔哩哔哩上浏览一些免费的课程,当然还有牛客上一些大佬分享的技术。
2024-05-14 01:42:55
268
原创 鸿蒙开发实例|分布式文件服务_将固定于某个地点的某个文件系统,扩展到任意多个地点、多个文件系统,众多的节点组(3)
通过计算机网络将分布在不同地点的节点相连,利用网络进行节点间的通信和数据传输,从而将固定于某个地点的某个文件系统,扩展到任意多个地点/文件系统,众多的节点组成的文件系统网络即为分布式系统。简单来讲,DFS为分布在网络上任意位置的资源提供一个逻辑上的树形文件系统结构,从而使用户访问分布在网络上的共享文件更加简便。分布式文件系统的突出优点就是可以屏蔽文件系统的物理位置,人们在使用分布式文件系统时,无须关心数据是存储在哪个节点上或者是从哪个节点获取的,而只需像使用本地文件系统一样管理和存储文件系统中的数据。
2024-05-12 22:38:33
892
原创 鸿蒙开发实例|分布式文件服务_将固定于某个地点的某个文件系统,扩展到任意多个地点、多个文件系统,众多的节点组(2)
实例实现了在两个手机设备上进行分布式时间读写的功能,即在手机A 上单击写入Button,将当前时间写入分布式文档。需要说明的是,利用Context.getDistributedDir()接口可以获取属于自己的分布式目录,然后通过libc或JDK 接口,可以在该目录下创建、删除、读写文件或目录。(6) 当两台设备有同名文件时,如果元数据进行同步则会产生冲突,分布式文件服务会根据时间戳将文件按创建的先后顺序重命名,因此,为避免此类场景出现,应用在文件名上可以进行相应设备区分,例如,deviceID+时间戳。
2024-05-12 22:37:57
377
原创 鸿蒙开发实例|分布式文件服务_将固定于某个地点的某个文件系统,扩展到任意多个地点、多个文件系统,众多的节点组(1)
需要说明的是,利用Context.getDistributedDir()接口可以获取属于自己的分布式目录,然后通过libc或JDK 接口,可以在该目录下创建、删除、读写文件或目录。首先,在未写入的情况下直接进行读取,读取结果如图2所示,未写入的情况下读取内容为空。由Phone B 写入当前时间,Phone A 进行读取时,读写效果如图4 所示。由Phone A 写入当前时间,Phone B读取当前时间,读写效果如图3所示。■ 图4 Phone B写入当前时间,Phone A读取B写入的时间。
2024-05-12 22:37:21
649
原创 高频算法题 —— 检测循环依赖(拓扑排序)_检查循环依赖 leetcode
【代码】高频算法题 —— 检测循环依赖(拓扑排序)_检查循环依赖 leetcode。
2024-05-12 22:36:45
348
原创 收藏,数据仓库建设与框架终于有人给讲明白了_建设数据仓库和数据集市
数据仓库的数据是从原有的分散的数据库数据抽取来的。操作型数据与DSS分析型数据之间差别甚大。第一,数据仓库的每一个主题所对应的源数据在原有的各分散数据库中有许多重复和不一致的地方,且来源于不同的联机系统的数据都和不同的应用逻辑捆绑在一起;第二,数据仓库中的综合数据不能从原有的数据库系统直接得到。因此在数据进入数据仓库之前,必然要经过统一与综合,这一步是数据仓库建设中最关键、最复杂的一步,所要完成的工作有:(1)要统一源数据中所有矛盾之处,如字段的同名异义、异名同义、单位不统一、字长不一致,等等。
2024-05-12 05:28:11
582
原创 收藏,数据仓库建设与框架终于有人给讲明白了_建设数据仓库和数据集市(2)
数据仓库的数据是从原有的分散的数据库数据抽取来的。操作型数据与DSS分析型数据之间差别甚大。第一,数据仓库的每一个主题所对应的源数据在原有的各分散数据库中有许多重复和不一致的地方,且来源于不同的联机系统的数据都和不同的应用逻辑捆绑在一起;第二,数据仓库中的综合数据不能从原有的数据库系统直接得到。因此在数据进入数据仓库之前,必然要经过统一与综合,这一步是数据仓库建设中最关键、最复杂的一步,所要完成的工作有:(1)要统一源数据中所有矛盾之处,如字段的同名异义、异名同义、单位不统一、字长不一致,等等。
2024-05-12 05:27:35
600
原创 收藏,数据仓库建设与框架终于有人给讲明白了_建设数据仓库和数据集市(1)
数据仓库的数据是从原有的分散的数据库数据抽取来的。操作型数据与DSS分析型数据之间差别甚大。第一,数据仓库的每一个主题所对应的源数据在原有的各分散数据库中有许多重复和不一致的地方,且来源于不同的联机系统的数据都和不同的应用逻辑捆绑在一起;第二,数据仓库中的综合数据不能从原有的数据库系统直接得到。因此在数据进入数据仓库之前,必然要经过统一与综合,这一步是数据仓库建设中最关键、最复杂的一步,所要完成的工作有:(1)要统一源数据中所有矛盾之处,如字段的同名异义、异名同义、单位不统一、字长不一致,等等。
2024-05-12 05:26:59
650
原创 收藏!2024 年最具潜力 44 个顶级开源项目,涵盖 11 类 AI 学习框架、平台_序列大数据的智能计算 开源项目
除此之外,它还结合了高性能和修补低级模型细节的能力,例如:同时使用高级 api,并使用 NVIDIA 的 CUDA 工具包实现自己的自定义操作符。该系统可从人脸中提取高质量的特征,称为人脸嵌入(face embeddings),可用于训练人脸识别系统,从而实现对人脸的验证。MLflow 是机器学习生命周期的开源平台,开放接口,可与任何机器学习库、算法、部署工具或编程语言一起使用,基于 REST API 和简单的数据格式而构建。不过和传统的分布式计算系统不同的是,Ray 使用了混合任务调度的思路,性能更强。
2024-05-12 05:26:23
779
原创 大数据最全微服务项目:尚融宝(55)(核心业务流程:放款,中高级大数据开发面试中你不得不会的知识点
【代码】大数据最全微服务项目:尚融宝(55)(核心业务流程:放款,中高级大数据开发面试中你不得不会的知识点。
2024-05-11 20:50:01
234
原创 大数据最全微服务项目:尚融宝(55)(核心业务流程:放款(1),2024年最新大数据开发学习路线
【代码】大数据最全微服务项目:尚融宝(55)(核心业务流程:放款(1),2024年最新大数据开发学习路线。
2024-05-11 20:49:25
450
原创 大数据最全微服务项目:尚融宝(52)(核心业务流程:充值服务(1),终于彻底把握了
【代码】大数据最全微服务项目:尚融宝(52)(核心业务流程:充值服务(1),终于彻底把握了。
2024-05-11 20:48:49
359
1
原创 大数据最全开源 SPL 打破数据库计算的封闭性_spl数据库,腾讯大数据开发开发面试经验
把外部数据存储在数据库中,又会形成众多中间表,面临中间表的各种问题。而且有些互联网上取过来的数据常常是多层的 json 或 XML 格式,在关系数据库中还要建立多个关联的表来存储,会进一步加剧中间表的问题。
2024-05-11 20:48:12
1178
原创 【HTML③】JavaScript基础、使用JavaScript制作网页特效、使用前端库及UI框架快速开发_javascript网站制作(1)
a.数据类型,JavaScript属于弱类型语言,在JS中没有明确的数据类型表示,它根据变量的值自动确定数据类型;//java中对每个变量都有明确的类型定义//js中变量的定义,是根据值来确定类型的JavaScript中分三种类型表示所有数据:(1)number类型(int,float,double)(2)string类型(字符、字符串)(3)boolean逻辑类型(true,false)使用typeof(变量)函数可以检测一个变量的数据类型b.变量的声明及使用。
2024-05-10 22:16:05
714
原创 【HTML CSS JS】耗时一下午,整理出了一个精美的响应式登陆注册表单(附源码)_源码 响应式登录页面
400;500;600;700;margin: 0;left: 50%;width: 45%;top: 0;left: 0;form {
2024-05-10 22:15:29
1008
原创 【Hive】(四)Hive DDL 数据定义语言详解_hive中不属于ddl语言(1)
内部表数据存储的位置是hive.metastore.warehouse.dir(默认:/user/hive/warehouse),外部表数据的存储位置由自己制定(如果没有LOCATION,Hive将在HDFS上的/user/hive/warehouse文件夹下以外部表的表名创建一个文件夹,并将属于这个表的数据存放在这里);在外部表(原始日志表)的基础上做大量的统计分析,用到的中间表、结果表使用内部表存储,数据通过SELECT+INSERT进入内部表。默认创建的表都是所谓的管理表,有时也被称为。
2024-05-10 22:14:53
564
原创 【Hive】(十四)Hive 项目实战之电子商务消费行为分析_hive项目实战
这里通过UDF自定义 MD5加密函数 ,对地址、邮箱等信息进行加密。-- md5 udf自定义加密函数Clean and Mask customer_details 创建明细表。
2024-05-10 22:14:17
725
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人