- 博客(658)
- 资源 (10)
- 收藏
- 关注
原创 【软考备考】管道一过滤器(Pipe-Filter)的架构风格
在 软考中我们常见的几个关键字:管道一过滤器(Pipe-Filter)的架构风格。。我 也是在软考 试题中财发现 有这样的描述。所以来了解一下。
2025-03-31 15:20:56
619
1
原创 【数据仓库】数据库仓库分层
数据中心的用户希望数据是由他们熟悉的术语表现的。数据集市(Data Mart),也叫数据市场,数据集市就是满足特定的部门或者用户的需求,按照多维的方式进行存储,包括定义维度、需要计算的指标、维度的层次等,生成面向决策分析需求的数据立方体。但是,实际情况下,我们所面临的数据状况很有可能是复杂性高、且层级混乱的,我们可能会做出一套表依赖结构混乱,且出现循环依赖的数据体系,比如下面的右图。该层是在DWD层的数据基础上,对数据做一些轻微的聚合操作,生成一些列的中间结果表,提升公共指标的复用性,减少重复加工的工作。
2025-03-31 11:20:20
945
原创 【软考备考】系统架构设计论文完整范文示例
本文以某省级智慧政务平台建设项目为背景,针对传统政务系统存在的"信息孤岛"、扩展性差、维护成本高等问题,提出了一套基于微服务与云原生技术的解决方案。通过领域驱动设计方法划分业务边界,采用Spring Cloud Alibaba微服务框架实现服务治理,基于Kubernetes构建容器化运行环境,结合服务网格技术完善服务间通信机制。在数据层面,通过数据中台实现政务数据共享,采用多级缓存与读写分离策略提升系统性能。安全方面构建了包含身份认证、访问控制、数据脱敏的全方位安全体系。
2025-03-28 16:05:05
1015
原创 【软考备考】系统架构案例分析示例(一)
某大型电商企业计划开发新一代电商平台,要求支持:日均PV 1亿以上促销期间峰值QPS 10万+商品SKU超5000万支持多平台接入(Web、App、小程序等)实现秒杀、拼团等营销功能。
2025-03-28 09:25:39
1044
原创 阿里云通用数据开发流程
DataWorks提供数据集成服务,可以支持多种数据源类型,根据预设的调度周期同步业务系统的数据至MaxCompute。通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。
2025-03-14 15:27:41
814
1
原创 阿里云dataworks入门操作
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎,为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起,DataWorks不断沉淀阿里巴巴大数据建设方法论,支撑数据中台建设,同时与数万名政务、央国企、金融、零售、互联网、能源、制造、工业等行业的客户携手,不断提升数据应用效率,助力产业数字化升级。产品架构DataWorks十多年沉淀数百项核心能力,通过。
2025-03-14 10:54:35
971
原创 【管理】管理者最容易犯的错就是抛开权力只谈责任
管理一个公司或者项目 或者团队其实很简单,那就是建立规章制度,工作流程,工作机制,协同机制。而不是带有感情色彩的一顿乱指挥,责权利协同考虑进行,而不是永远只谈责任。
2025-03-12 17:47:52
43
原创 【人工智能】数据挖掘与应用题库(501-600)
21、一个完善的ETL系统必须具有流程步骤控制能力,系统的划分和流程调度的能力,有合理的调度算法,有日志和警告系统,且有较高的可靠性。14、ETL数据加载策略包括时间戳的加载方式、全表对比的加载方式、通过读取日志表进行加载的方式、全表删除后再进行加载的方式。答案:贪婪模式表示尽可能多的匹配,匹配模式:(.*),非贪婪模式表示尽可能少的匹配,匹配模式:(.*?12、ETL数据抽取的周期是根据业务的需求制定的,如按小时抽取,或者按天、月、季度、年等抽取。
2025-03-06 16:30:09
869
1
原创 java中使用java扩展包下的mail实现邮件发送
Java中经常需要使用发送邮件的场景 ,比如日志告警,某些任务运行情况,当无人值守的时候,系统出现了问题,需要系统自动发送邮件给到运维人员。所以实现自动发送邮件是java开发人员必掌握的技能之一。
2025-03-06 09:22:15
1182
原创 人工智能】数据挖掘与应用题库(401-500)
29、在爬取某些网页的时候,有些数据在网页源代码中找不到,这种数据被称为Ajax数据,有些Ajax数据在浏览器中可以找到,有些则需要借助于抓包工具如Fiddler找到。66、DataFrame中获取某一列的值有两种写法,一种是通过括号+引号,例如jobInfo['职位名'],另一种是.获取,例如jobInfo.职位名。9、异常值又称为离群点,是指数值明显偏离其余观测值的数据。35、免费的代理IP不靠谱,时效快,付费的代理IP比较靠谱,但是会有使用限制,比如IP限制,或者账户、密码限制。
2025-03-05 17:33:36
2603
原创 【人工智能】java流式返回数据接口
最近由于需要接入deepseek,而且使用的java的后端框架,平时的接口都是返回实体数据,使用deepseek由于模型在思考的过程中比较耗时,有使用流输出和非流输出两种方式。事件流格式:使用简单的文本格式传输数据,每条消息以"data:"开头,并以两个换行符"\n\n"结束。如果web服务器使用的是nginx,还要配合nginx配置,如果不配置,就无法通过流的方式输出到客户端。单向通信:SSE是单向的,服务器可以向客户端推送数据,但客户端不能向服务器发送数据。SseEmitter的使用方法。
2025-02-28 17:54:32
1288
原创 【人工智能】数据挖掘与应用题库(301-400)
57、字符串函数replace用于替换字符串中指定的字符串,有两个常用参数,第一个参数表示被替换的字符串,第二个参数表示用于替换旧字符串的新字符串。79、Scrapy项目中,默认为ROBOTSTXT_OBEY = True,即遵守Robots协议,如果需要禁用Robots协议,将次参数注释掉。92、创建多个进程,目的是为了利用CPU的多核,让CPU同时执行多个任务。5、在数据框book_info中,进行频率统计,用book_info['出版社'].value_counts(),默认是升序排列。
2025-02-28 17:35:22
1519
原创 【人工智能】数据挖掘与应用题库(201-300)
scrapy项目中,XPath语句最后需要加上extract方法,例如response.xpath('//title/text()').extract()在Scrapy项目中,使用XPath格式为response.xpath,例如response.xpath('//title/text()')34、以下描述是否正确,贪婪模式表示尽可能多的匹配,匹配模式:(.*),费贪婪模式表示尽可能少的匹配,匹配模式:(.*?67、Selenium中,获取元素的属性通过get_attribute('class')。
2025-02-27 17:13:35
1040
原创 【人工智能】数据挖掘与应用题库(101-200)
78、Pytorch中,如果一个变量依赖的变量的requires_grad属性为True,则该变量的requires_grad也会被置为True,即也会自动计算该变量的梯度。答案:加载全模型所用的是models模块的load_model ()函数,加载全模型所用的是模型对象的load_model()方法。答案:谷歌公司推出的深度学习框架,基于数据流图的开源平台,2.x版本已整合Keras作为推荐的API。77、关于有Pytorch中的Variable对象,下列说法正确的是?
2025-02-26 16:59:51
1298
原创 【人工智能】数据挖掘与应用题库(1-100)
23、基于大量的统计数据,确定因变量与某些自变量的相关关系,建立一个相关性较好的回归方程(函数表达式),此为回归分析。26、若向量α=(1,3,-1,-2),β=(-1,1,-2,3),则α与β的内积为( )11、神经网络一般包括3层: 输入层、中间层(隐藏层)、输出层,激活函数通常位于( )60、神经网络一般包括3层: 输入层、中间层(隐藏层)、输出层,激活函数通常位于( )99、若向量α=(1,3,-1,-2),β=(-1,1,-2,0),则α与β的内积为( )
2025-02-26 15:29:24
801
原创 机器学习中降维的主要算法主成分分析(PCA)、线性判别分析(LDA)、潜在语义分析(LSA)和t-分布邻域嵌入算法(t-SNE)
LDA是一种监督学习的降维方法,其目标在于找到一个低维度的表示,使得同类别的数据点尽可能接近,而不同类别的数据点尽可能远离。本文将详细介绍四种常用的降维方法:主成分分析(PCA)、线性判别分析(LDA)、潜在语义分析(LSA)和t-分布邻域嵌入算法(t-SNE)。t-SNE是一种非线性降维方法,其目标在于找到一个低维度的表示,同时保留原始数据中的局部结构和非线性关系。t-SNE在高维数据的可视化方面表现出色。LSA是一种基于矩阵分解的降维方法,旨在找到一个低维度的表示,同时保留原始数据中的语义信息。
2025-02-17 10:58:50
1025
1
原创 【人工智能】人工智能学习基础知识汇总
例如:tup1=('Google',‘baidu',1997,2000)tup1[0]的值为'Google'2. 阈值(也叫临界值):在许多分类模型中,模型预测的结果不是negative(负类)/positive。2. 基于树的算法(如决策树、随机森林等)不考虑特征的大小,通常不需要进行数据缩放,离散化也叫分箱(binning),是指把连续的特征值划分为离散的特征值(划分为不同的箱。机器学习算法是实现人工智能落地的引。1. 神经网络概念:是一种运算模型,由大量的节点(或称神经元)之间相互联接构成。
2025-02-14 17:18:03
2597
1
原创 【人工智能】临时抱佛脚准备明天的人工智能考试,试题与答案汇总
反向传播算法反向传播算法是一种用于训练神经网络的算法,其核心思想是计算代价函数对参数的梯度,通过梯度优化方法更新参数,从而使得模型产生更好的预测效果。实现过程可以分为两个步骤:前向传播和反向传播。前向传播:将输入数据传入网络,经过一系列的矩阵乘法和非线性变换后得到模型的输出值。同时,记录下每层的输入和输出值。反向传播:计算代价函数对模型参数(权重和偏置)的梯度,并利用梯度下降方法更新参数。反向传播的具体实现可以使用链式法则,即从输出层开始,依次计算每一层的误差并向前传递。最终得到的梯度可以用于更新参数。
2025-02-14 15:07:54
948
原创 【人工智能】通过python练习机器学习中的8大算法
python一系列练习在前面几节中基本练习了一遍,本篇通过机器学习的算法加强python的训练。我印象中常用的几种算法有:线性回归、逻辑回归,决策树,向量机SVM,KNN-近邻,朴素贝叶斯,K-means,神经网络tensorflow。记起来的也就这些,那么久通过python去撸一遍看看效果。马上开搞。
2025-02-13 15:54:34
1431
原创 【人工智能】python部署到linux系统运行
前言前面博主练习了python的一些基本操作还有更早之前的python的数据结构,算法,变量,函数,类python的模块,,python提供http接口,python连接数据库等等这些练习,还接入deepseek,程序都能运行起来,不过都是在Windows系统上运行的,从练习经验来说,在Windows通过编辑工具Pycharm去运行python程序很简单,用到库和包,就直接去安装就行。那么如果将程序放到linux上去要怎么操作呢。博主就按照小白的思路去逐步学习和练习,我遇到的问题肯定新手也遇到过。
2025-02-13 09:42:01
1077
原创 【人工智能】通过python连接mysql数据库
上一节练习了通过python来读取本地文件的操作,搞得满头大汗,这就是调试程序的过程,在上一节中我们使用到了pandas 库来读取文件,这和Java中方法 的调用类型。练习的过程中,虽然遇到了些小问题,不过,最后还是成功读取到了文件。在文件操作过程中,我们需要注意文件编码的问题。这一节我们尝试通过python连接mysql数据库。检查环境是否安装了mysql库,我是已经安装了的。那就可能是代码的原因或者需要重启电脑?导库发现库无法安装,
2025-02-12 15:25:10
412
原创 【人工智能】python读取文件操作
前言上一节联系了python提供http接口给外部调用,已经成功了。很简单的代码,但是返回内容还是需要优化,现在返回的是HTML的内容,我们应该返回字典数据更好,或者是JSON数据,这个放到以后练习,本节练习python读取文件操作马上开干这里使用到了pandas库。我们直接调用库里的方法就行。运行一下看看竟然报错说找不到文件,我检查了路径,已经创建了文件,那么python中读取文件的路径是怎么的,或者需要放在什么路径下?于是搜索解决说可能是转义的问题于是修改代码。
2025-02-12 11:11:49
347
原创 【人工智能】python如何提供API接口供他人调用
上面几节把python折腾了一翻,最后也使用python对接了deepseek,那么python如何提供API接口供他人调用呢。我们在这里做一个实验,我们一遍接入deepseek,一遍通过deepseek教我们怎么通过python提供api我们向deepseek提问:python如何提供API接口供他人调用输出内容:通过deepseek的回答,我们可以看到好像需要一个叫Flas的框架于是就按照deepseek的提示进行安装根据deepseek的提示增加框架和代码运行,报错。
2025-02-11 15:46:52
1248
原创 腾讯云大数据套件TBDS与阿里云大数据能力产品对比
通过建设数仓,以数据可视化和数据应用的方式赋能业务,TBDS - 数据仓库(简称 TCHouse)提供数据集成和开发处理,完成数仓分层建模,搭配海量数据查询引擎,提升数据查询性能,满足实时/在线数据分析的需要。DataWorks数据治理包含数据治理中心、数据质量、数据地图等多个产品,覆盖数据湖仓中事前、事中、事后的数据生命周期,通过数据治理健康分、质量规则、数据大血缘等能力,将书面的数据治理规范落地成平台化的产品能力,让数据治理不再只是一个 “阶段性项目”,而是一个“可持续的运营项目”。
2025-02-11 10:19:34
1248
原创 【人工智能】python类库全家桶汇总
前几节学习了python的基础知识,包括数据结构和算法,函数,类,最终也通过python接入了deepseek.感觉非常简单。我们学习python的最终目的就是构建人工神经网络,实现人工智能。万丈高楼平地起,人工智能是个抽象的概念,我们初步分解那就是,智能,推理,神经网络,神经元,函数,连接。翻译到编程语言,神经网络,就是成百上千上亿的函数和函数关系组成了神经元和神经网络,使整神经网络的输出像人一样有了智能一样,也就是人工智能。那么可以说人工智能就是人工神经网络,人工神经网络就是无数的python函数。
2025-02-10 16:28:33
535
1
原创 【人工智能】Java接入deepseek亲测有效
* 出于与 OpenAI 兼容考虑,您也可以将 base_url 设置为 https://api.deepseek.com/v1 来使用,但注意,此处 v1 与模型版本无关。* deepseek-chat 模型已全面升级为 DeepSeek-V3,接口不变。 通过指定 model='deepseek-chat' 即可调用 DeepSeek-V3。* deepseek-reasoner 是 DeepSeek 最新推出的推理模型 DeepSeek-R1。通过指定 model='deepseek-reas
2025-02-10 11:42:16
3730
2
原创 【人工智能】刚学完的python,马上接入现在deepseek试试
安装完后,检查安装是否成功 python --version 如果显示版本信息说明安装成功了、这里注意的是python 不会报错,但是没显示版本信息,说明系统环境上还是没有python的。前面几节基本把python语言的基本语法,数据结构和算法学完了,现在来开始实战,使用python开发语言接入deepseek。之前我们有安装python在windows。于是从官网上下载进行安装。下载下来,双击安装就行,这里不赘述。导入包 通过快捷键导入模块。代码报错了,那就运行看看。
2025-02-08 16:30:11
2067
20
原创 【人工智能】python中module的练习
这是由你自己编写的模块,以供你的项目或其他程序使用。通过将相关功能组织成模块,你可以更好地组织代码并实现代码的重用性。下面进行练习。
2025-02-08 14:57:33
882
原创 【人工智能】python中也有类-练习python中类的操作技巧
类定义了一组相关的属性和方法,用于创建具有特定特征和行为的具体对象,那么和Java中的类应该差不多,python中的类也有封装,继承、多态。完成python中类的练习,基本就能实现实体业务的逻辑。#定义一个类MyEmptyPerson 用class修饰。#创建类的对象,并调用类的属性函数。python中也有类的概念。
2025-02-08 14:39:55
440
原创 【人工智能】python中函数的练习使用技巧
上面几节基本把python中的数据结构和基本的算法都练习了一遍,所以之前的程序是实现不了什么业务功能的,打印输出一个语句,在业务方面没有任何意义,要能实现业务功能至少需要函数级别。学习任何一门编程语言,都是这几个阶段。基础的数据结构和算法,这个阶段属于基础阶段,第二阶段就是函数 类 模块 框架 这个阶段是进阶, 第三阶段就是 大项目大工程的结构 ,第四阶段就是大规模项目的优化。python中函数的练习使用技巧。#有返回值的函数调用并接收返回值。通过运行结果来分析程序代码。#有返回值的函数定义。
2025-02-08 11:25:08
332
原创 【人工智能】python中的循环语句使用
上一节练习了python中的 if elif esle控制语句的语法、很简单简洁,这一节来练习python中的循环语句。#通过while break结构来运行循环 ,while后跟布尔条件,加一个冒号: 使用break: 来退出循环。#通过while esle结构来运行循环 ,while后跟布尔条件,加一个冒号: 使用esle: 来退出循环。#for esle结构循环。通过运行结果来分析代码。
2025-02-08 11:01:55
261
原创 【人工智能】python之控制语句练习
我们都知道程序等于数据结构和算法的集合、前面几节练习的都是数据结构,字符串,列表,元组,字典都是存储数据的结构。下面我们来练习算法,也就是我们经常操作的if esle ,for 循环的等等这类都是就是算法,正是数据结构加算法组成了程序。下一行缩进,执行条件下的内容,显然因为布尔值是false ,所以不会打印。#多个条件组合判断,多个分支,通过if elif else 组合。接下来就是来分析一下条件语句的语法和使用技巧。#通过not 置换布尔值。#变量,赋予一个布尔值。
2025-02-08 10:20:16
237
原创 【人工智能】这次再来练习python中有的dict而Java没有的东西
字典允许我们通过键(key)快速查找、添加、修改或删除对应的值(value)。键必须是唯一的,并且通常是不可变的类型(如字符串、数字或元组),而值可以是任何数据类型。是一种内置的数据类型,它代表了一个无序的键值对集合。来定义,并且每个键值对之间用冒号。对于没见过的概念,那我就搜索看看。#字典赋值,就是类似JSON结构。分隔,键值对之间用逗号。#稍微复杂一点的字典赋值。# 删除字典中的键值对。好,那我们就来练习一下。#打印字典和字典长度。#获取字典键对应的值。#判断值是否在字典中。#往字典中添加键值对。
2025-02-08 10:04:09
539
原创 【人工智能】python之set集合练习
上一节学习了元组,虽然在Java中我没有遇到过元组的概念,但是通过学习现在还是了解了,元组是一个有序的不可变更的集合,可以说只要愿意学,就能知道的多一点。这一次来练习一个python中的set,看看它是不是和Java中的set是一样的。#通过add()函数往集合中添加元素,并打印出新的集合的内容。#这两行我看不出是什么意思,所以我打印了个分割线方便查看。那就是判断某个元素是否在集合中并返回布尔值。#集合赋值,并打印集合的类型和长度。通过运行结果,我们来分析代码。#移除集合中的元素并打印。
2025-02-08 09:44:16
883
原创 【人工智能】这次来练习一下python中和Java不一样的元组
Java中没有元组的概念,python中有元组的概念,于是我搞不清元组是什么,就去搜索看看。现在对元组有了点了解,它首先是个集合,然后外加了两个修饰词,一个是有序,第二个是不可变。#元组的定义,这个上一节的list定义很像,只是这里使用的是 tuple() 和 ()#反过来通过元组值获取值在元组中的下标(位置)下面来根据运行结果分析一下代码。#元组赋值,也是和列表差不多。那么现在我们来练习一下元组。#打印元组和元组类型。#元组拼接并打印输出。
2025-02-08 09:23:43
431
原创 【人工智能】python学习路上一发不可收拾
没想到python真的那么简单,前几节陆续练习了python编辑工具的破解,python的打印语句,python的变量,python的常用函数 type() ,str() ,len(),python的运算符,还有python的字符串。真的是真正意义上的从0开始动手练习python、其实真实的学习就是这么一个过程,下面进一步练习,这一节练习python的列表操作。数组的添加元素,删除元素一系列操作。运行没问题,我们来分析每一行代码。数组列表里赋不同类型的值。打印看看变量数组的类型。声明一个空的列表变量。
2025-02-08 09:06:24
289
原创 【人工智能】人生苦短只用python之字符串的练习
上一节操作了了一遍python的加减乘除和比较运算,感觉很简洁没什么难度,代码量极少。现在来练习一下python中的字符串。打印字符串长度,这里使用到了len()函数。前面我们有使用到type()函数,str()函数。几个变量分别赋予字符串对应下标值。又是一个拼接字符串打印输出。可以同时几个变量一起赋值。截取字符串并打印输出。
2025-02-07 14:42:16
608
原创 【人工智能】这python写的有点上头
上一节练习了python的变量,实在是太简单,python中的类型都是弱类型,不用声明具体的类型,变量赋值 ,赋的什么类型的值,变量就是什么类型。本节来看看python中的运算和字符串比较。拼接字符串输出,和数字5转换成字符串拼接。这三个是什么意思一时没看懂。首先运行一下看看结果。一行行看,加减乘除模。
2025-02-07 11:13:48
250
原创 【人工智能】python之变量的使用
上一节初步学习了python的注释语法和打印语句还有就是函数type()的调用。变量my_string_variable 赋值字符串 "My String variable"我们运行一下看看输出结果,居然报错了。这一节看看python中变量的使用。将错误的代码删除,运行成功!将字符串拼接打印输出。
2025-02-07 09:51:43
594
原创 【人工智能】完蛋,学两天python发现Java很难
昨天搞完了开发工具,重要破解了,按照计划我从git上拉取了一个小项目练手,原本想从国际仓github拉取的,没想到国内网总是打不开,于是从csdn的 git上进行拉取 ,也就是个小练习项目。我写代码就喜欢一行行看,每行都得看到,这相当于查漏补缺。就这样我把python给编写起来了,真是快啊。不过个人觉得以#开始的更加简洁。直接运行,运行没问题。这是一行注释,以#开始。
2025-02-07 09:17:30
325
java统一认证中心单点登录系统源码,开箱即用
2023-08-23
SpringCloud项目测试开发环境部署文档
2023-08-21
微服务逆向生成工程源码(兼容mysql,oracle,postgresql和达梦数据库)
2023-07-31
【java面试题】java面试宝典基础知识版
2023-03-04
软件需求规格说明书模板
2023-02-01
软件项目过程文档模板汇总
2023-01-12
java怎么实现收银台
2023-10-11
springtool suite4配置 IEDA对应的maven Runer参数在哪配
2023-05-10
Thinkpad X13 windown 10笔记本 的部分 按键经常失灵.怎么解决?
2023-04-21
TA创建的收藏夹 TA关注的收藏夹
TA关注的人