- 博客(170)
- 资源 (6)
- 收藏
- 关注
RSS订阅
原创 开启追梦之旅
如果决意去做一件事了，不要公开宣布个人目标，只管安安静静的去做。因为那只是你自己的事，别人不知道你的情况，也不可能帮你实现梦想。千万不要因为虚荣心而炫耀。也不要因为别人的一句评价而放弃自己的梦想。其实最好的状态，是坚持自己的梦想，听听前辈的建议少错几步。1.我曾七次鄙视自己的灵魂：第一次，当它本可以进取时，却故作谦卑；第二次，当它在空虚时，选择用爱欲填充；第三次，在...
2020-04-26 16:38:43
442
原创 【调度】2017-Rethinking elastic online scheduling of big data streaming applications
计算、通信成本，顶点语义、实例、子图构造、单DAG图、多DAG图。在大数据流计算环境中，输入到计算平台的数据流的速率 r。每个顶点的实例数都是可以由每个顶点所拥有的指令数来确定的。多数据流图的调度模型：越公平的策略，就是使得下面的值越大。每个顶点可以创建n个不用的独立实例，实例在不同机器上运行。
2025-04-13 01:31:59
110
原创 【资源分配】2020-Generalizable Resource Allocation in Stream Processing via Deep Reinforcement Learning
【代码】【资源分配】2020-Generalizable Resource Allocation in Stream Processing via Deep Reinforcement Learning。
2025-04-13 01:31:07
137
原创 【软考备考】一篇带你梳理完软件设计师必考知识（全网资源整合）
原理性问答，固定回答：父图中（即第一层数据流图）中某个加工（数据处理）的输入输出数据流必须与子图中的输入输出数据流在数量和名字上相同，父图的一个输入/输出数据流对应于子图中几个输入/输出数据流，而子图中组成的这些数据流的数据项全体正好是父图中的这一个数据流。3、问题三的找数据流，分为两部分：图一和图二中那些数据流是对应不上的，那么就是图二中缺少的数据流；2、问题二的找数据存储，在图二中，与数据存储连的线（数据流）的线的名称一般就代表了 数据存储的存储名称，可以在对应文字到题干中找到对应描述。
2025-04-12 18:02:03
859
原创 【产品经理课程】总结产经面试必做准备和必学理论知识
需求：来源方法（用户研究）:访谈法（核心用户）、情景实验法（问卷：问卷星、金手指）、数据分析、建立用户模型（0-1用户角色：注重核心业务 1-100-用户画像：了解用户行为）1.渠道（应用市场、专业网站、行业数据调查报告网站、搜索引擎、目标用户访谈）（例如竞品的微博网站、客服、大数据导航、艾瑞、易观、百度指数、蝉大师）搜索关键词–筛选出竞品。（第一种方式：可以分为战略层（定位、核心用户画像、核心需求）、范围层（功能对比）、结构层（核心功能流程对比）、框架层（系统整体结构）、表现层（视觉））
2025-03-27 23:16:52
747
原创 【软件测试】一篇总结软件测试的基础知识
软件测试：使用技术手段检查产品是否符合设计要求、用户使用需求和实现一致性。目的：确保产品质量、发现缺陷定义：一个过程；目的：是否满足要求和需求；发现缺陷：预期结果和实际结果差别，定位bug原则：早介入、不能穷尽测试、验证有缺陷；软件质量：国外ISO、国内GBT测试方向：功能（界面UI、业务功能、易用性、安装卸载、兼容性（浏览器和操作系统）、）、安全性、性能、可靠性Bug：程序中的错误，编写 程序的错误缺陷：开发维护程序的错误和问题、不满足需求文档和用户要求的；（功能问题、不易使用）
2025-03-27 23:11:29
334
原创 【梳理总结】一文带你从底层原理认知思考和表达这件事
之前看到了《金字塔原理》一书的讲解视频，形成了上一篇文章，核心思想:思考和表达的逻辑可以按照搭建金字塔的总分结构进行构建。但上述只说了一些技巧方面的方式方法没有从根本的原理上让大家理解思考和表达在我们人类的脑子到底是怎么一回事？这样就很难让大家从认知上明白到底哪一环出了问题，应该如何提升。所谓的思考和表达对于大脑来说是怎样的，之间有有什么样的关联？
2025-03-16 13:14:02
890
原创 【金字塔原理】如何有效提升思考和表达能力
每个人都能够思考，例如一些经历的一些事情，看过一些理论都会引起大脑的思考，但这不代表每个人都会思考，是否有些时候思考的不够清晰和深入，思考过程混乱，最后就脑海里一团乱麻就不了了之了，没有对本次的思考进行归纳总结，等到下次同样的事情又会引起你的思考，相同的过程又要从头来一遍，并且每次都停留在思考的阶段，没有得出有效的结论和指导下次行动的措施和方法，从而使得这一切都是空谈和虚无缥缈的东西。有效的表达也不是每个人张嘴就说的，表达是一种传达思想的途径和方式，语言是承载思想的。
2025-03-13 23:53:37
264
原创 【snmp离线安装】了解国产操作系统OS以及离线安装教程
简单网络管理协议（SNMP） 是专门设计用于在 IP 网络管理网络节点（服务器、工作站、路由器、交换机及HUBS等）的一种标准协议，它是一种应用层协议。
2023-09-08 18:16:47
567
原创 【Redis】知识体系结构构建以及常见考题汇总
redis基于内存的nosql数据库、常用于mysql的缓存数据库特点：基于内存、单线程（执行命令是单线程，为了确保原子性命令）、IO多路复用、键值对存储的数据库
2022-12-26 23:37:50
930
原创 【计算机网络】知识体系构建以及常见考题汇总
网络：是一套完善体系、是一个联通计算机的网状集合> 计算机网络定义：将 多个独立 *计算机系统* 之上的*应用软件* 利用*通信设备以及线路* 进行资源共享、数据通信、分布式处理、提高可靠性、负载均衡的完善系统是网络。
2022-10-22 00:45:00
1157
原创 【SQL】以mysql为例系统学习DQL理论知识
sql是什么？一种计算机语言，一种操作数据库的结构化查询语言> SQL 是关系型数据库的标准语言，所有的关系型数据库管理系统（RDBMS），比如 MySQL、Oracle、SQL Server> 二、数据库是什么？大量数据的集合，按照数据结构来组织、存储和管理数据的仓库
2022-10-19 15:37:25
703
1
原创 【慕课-湖南大学】服务设计与商业模式
内容：【物到非物】产品承载功能和服务系统（系统按类型划分为接触点来分析设计：（物理的：导视系统环境空间、数字的：挂号系统、人际的接触点：服务过程中客户与服务/人交互的地方），其中接触点中用户感受不好的就是：痛点）、【服务要素：有形到无形】无形的价值通过有形的方式显性化（可感知类型的：视觉化）呈现出来。服务体验路程、关键接触点、每个接触点上用户的心理状态（注意力、态度、情绪、想法）、接触点和接触点之间的交互历程（动作、交互类型）、接触点之间的联系关系（单向、双向）、每个接触点上可能的设计机会点和阻碍。
2022-09-13 23:14:40
1372
原创 【Linux面试题】全网汇总总结：Linux基础、常用命令、shell脚本、常见笔试题
【Linux面试题】全网汇总总结：Linux基础、常用命令、shell脚本Linux基础知识Linux常用命令shell基础知识shell笔试题Linux基础知识Linux常用命令shell基础知识shell笔试题
2022-07-14 22:04:36
893
原创 Flink搭建部署-standalon模式、on yarn模式（包含hadoop、zookeeper部署）
Flink搭建部署-standalon模式、on yarn模式（包含hadoop、zookeeper部署）1、Flink虚拟机环境部署2.1、standalone模式2.2、on yarn模式三级目录1、Flink虚拟机环境部署软件版本flink1.12.5jdk1.8zookeeper1.12.5hadoop1.12.52.1、standalone模式机器名称担任角色node01jobmanagernode02-06t
2022-05-03 17:03:08
2780
原创 【思维导图】Linux运维-相关知识，实操基本命令、shell编程脚本
【思维导图】Linux运维-相关知识，实操基本命令、shell编程脚本整体架构思维导图整体架构思维导图linux基础：了解linux设计包含内核以及之间的逻辑设计等，一般怎么使用，采用vm工具学习，其中在安装时学习磁盘分区（一般分为三个区），有关linux 的目录结构，每个目录下一般包含什么文件。linux实操基础篇：主要是远程链接有关ssh相关，linux中有关vi和vim编辑器的基础，一些常用命令：主要分为，系统相关命令，网络相关，用户管理，文件和文件夹操作，帮助命令。进阶篇：
2022-03-22 12:20:35
1708
原创 【Alink-Python版本】学习&实践-数据源、数据处理、回归、分类、聚类
【Alink】学习&实践-数据源、数据处理、回归、分类、聚类Alink学习链接汇总1、数据源读取1.1、读取CSV文件（分批流）1.2、按行读入文件（分批流）1.3、读取Kafka数据（流式）（1）部署单节点kafka（使用kafka中的zookeeper）（2）使用Alink流式写入/读取topic数据解析json数据+sql格式转化2、数据处理（边用边总结）3、回归3.1、线性回归训练（批式）&预测（批式和流式）（1）批式（2）流式4、分类5、聚类数据导出导出CSV文件按行导出到文件导出
2022-03-19 18:08:44
2933
3
原创 【大数据】思维导图-数据采集、存储、数据仓库、计算框架、资源管理&任务调度、部署、可视化
【大数据】思维导图大数据常用流程图思维导图大数据常用流程图大数据技术分为多个层次思维导图参考学习路线图：黑马和尚硅谷http://www.itheima.com/https://www.gulixueyuan.com/大数据相关学习路线分为：数据保存到数据库中，分为关系型数据库（常用mysql）以及非关系型数据库（Hbase分布式列式数据库），redis键值对数据库，以及clickhouse列式数据库。数据采集工具：实时产生的日志或者文件视频等数据、以及已经存储到数据库里的数据需要查
2022-03-18 12:09:39
6105
原创 机器学习【基于sklearn库】-回归、分类、聚类
机器学习-回归、分类、聚类1.是什么？2.一些基础概念（建议先看具体例子再返过来看概念）mse均方误差、r2等等衡量标准过拟合和欠拟合方差var和偏差bias3.按照标签的多少和有无来分类：3.1.监督学习回归一次方线性回归原理损失函数/代价函数（衡量model内部函数哪个更好的方法）计算模型中函数的方法：线代投影/最小二乘法求导（简单损失函数可以计算出来）梯度下降法（复杂损失函数无法直接计算出来，梯度下降法迭代计算最优参数）衡量拟合程度方法：相关系数/决定系数r2（跨model衡量拟合程度）多项式（多次方
2022-03-17 00:07:00
3270
1
原创 【基础阶段】思维导图：UI、前端、Java基础、Python基础、数据库以及软件测试
思维导图：UI、前端、Java基础、Python基础、数据库以及软件测试
2022-03-12 15:55:56
2328
原创 大数据-Hadoop是什么，如何部署
大数据-Hadoop是什么，如何部署1.是什么？2.架构2.1 HDFS(分布式文件系统)2.1.1NameNode（简称nn）2.1.2DataNode（dn）2.1.3Secondary NameNode（2NN）2.2 YARN（资源管理器/协调者）2.2.1 Resource Manager2.2.2 NodeManager2.2.3 AppllicationMaster2.3 MapReduce（计算）3.Hadoop目录结构3.1bin3.2etc（配置文件）3.3sbin（启动关闭命令）3.4
2022-03-11 22:55:44
3891
1
原创 Alink-流批一体机器学习算法平台是什么、如何使用
Alink-流批一体机器学习算法平台是什么如何使用maven创建Alink基于PyFlink的Alink是什么Alink是基于Flink流批一体的机器学习平台，提供一系列算法，可以帮助处理各种机器学习任务Alink和FLink有什么关系？借助Flink在批流一体化方面的优势，Alink能够为批流任务提供一致性的操作。 FlinkML 是 Flink 社区现存的一套机器学习算法库，这一套算法库已经存在很久而且更新比较缓慢。Alink 是基于新一代的 Flink，完全重新写了一套，跟 FlinkM
2022-03-04 12:42:00
2421
原创 【日志问题】JDK Logging、Commons Logging和Log4j、Slf4j和Logbacck的介绍和简单使用
【日志问题】JDK Logging、Commons Logging和Log4j、Slf4j和Logbacck的介绍和简单使用是什么简介如何使用log4j +slf4j1.导入依赖2.配置文件log4j.rootCategory = [ level ] , appenderName, appenderName配置日志信息输出目的地AppenderAppender的一些选项3.使用方式是什么产生原因：因为System.out.println()使用起来太麻烦，需要删除和添加什么是日志？日志就是Loggi
2022-02-21 21:24:59
482
原创 ssh登录&免密登录遇到的问题总结
ssh登录&免密登录遇到的问题总结1.解决 ssh_exchange_identification: read: Connection reset by peer问题2.Linux启动SSH服务出现“Permissions 0737 for '/etc/ssh/ssh_host_rsa_key' are too open”3.ssh连接很久才能连上解决3.1查看问题：打开命令行输入ssh root@ip -v加上-v参数查看详细信息3.2解决措施：多个方法3.3其他问题：ssh 登录出现的几种错误以
2021-12-28 22:31:18
1264
原创 【Docker】3.Docker Compose安装与应用、开源项目
【Docker】3.Docker Compose1.了解2.安装3.使用（官方例子）3.1结构4.开源项目（官方例子WordPress）1.了解以前docker使用：镜像--容器，采用手动方式#docker build 、run而且使用使用命令行只能一次启动一个容器然后dockerfile使用：自己创建一个镜像，可以自己定义镜像包含哪些东西，但无法运行起一个应用，只是启动一个容器，但是应用项目中需要启动很多的容器进行配置Docker compose：可以运行起多个容器采用yaml配置
2021-12-05 22:47:27
587
原创 【Docker】2.容器数据卷 、DockerFile、Docker网络
【Docker】2.容器数据卷 、DockerFile、Docker网络1.2容器数据卷使用容器卷Mysql数据挂载具名挂载&匿名挂载1.3DockerFile1.4Docker网络1.2容器数据卷问题：数据在容器中存储，那么我们容器删除，数据就会丢失，相当于数据删库，需要数据可以持久化，存储到本地。那么如何容器与本地之间有个数据共享/同步？卷如何挂载？技术：就是卷技术，也就是目录的挂载，将我们容器内的目录，挂载到linux本机上。首先容器产生的数据持久化到容器的数据库中，如果容器中
2021-12-05 17:19:30
1124
原创 【Docker】1.了解、理解原理、使用教程和命令、commit镜像
【Docker】容器虚拟化技术是什么、如何使用的常用例子是什么问题：【软件跨环境迁移问题】开发和运维之间的代码同步，现在改为配置环境信息和代码一块同步【一个服务器上多个应用独立运行】微服务多个应用不能互相影响为什么不用虚拟机：1.虚拟机（virtual machine）就是带环境安装的一种独立系统（应用程序、操作系统、硬件系统）Docker容器，只对软件进程所需的环境和资源进行隔离虚拟2.虚拟机技术是对hypervisor层实现硬件资源划分隔离，硬件虚拟化技术。Docker容器是操作系
2021-12-04 15:53:56
718
原创 【并行度】2021-AuTraScale: An Automated and Transfer Learning Solution for Streaming System Auto-Scaling
运算符性能模型：运算符的实际处理性能通常被定义为处理的数据元组数量 与 处理时间的比率然而，观察到的运算符的数据处理时间由于阻塞，包含有大量的等待时间，因此不能准确的反应运算符的实际处理能力。因此参考DS2中真实速率的概念（ V. Kalavri, J. Liagouris, M. Hoffmann, D. Dimitrova, M. Forshaw, andT. Roscoe, “Three steps is all you need: fast, accurate, automatic s
2021-11-04 11:37:28
316
2
原创 【调度器】Storm基础知识源码&结合《Storm源码分析》
EvenScheduler调度器：调度器实现IScheduler接口，实现两个方法：该拓扑是否调度的条件两个：拓扑设置的numworkers大于已经分配给该拓扑的worker数量该拓扑未分配的executor数量大于0调度方法：返回一个reassignment：<executor，【node+port】>集合slot排序方法：...
2021-09-16 16:41:04
164
原创 【综述】2020-Resource Management and Scheduling in Distributed Stream Processing Systems
在本文中关注其中的两个方面:1.operator parallelisation—configuring the degree of parallelism for streaming logic, and 2.task scheduling—deciding the placement of streaming tasks on distributed resources.运算符的并行化：配置流逻辑的并行度task任务的调度：决定流任务在分布式资源上的位置...
2021-08-31 09:58:05
278
原创 【并行度】2017Xie-2017-Adaptive-topology-decomposition-for Storm
问题：现有的分解storm拓扑结构的方法不能确保最优的性能。拓扑结构需要手动预设拓扑结构所需的worker数量。实验验证了适当的worker数量设置会影响集群的性能。问题-动机：当一个拓扑结构提交到storm集群中，根据人工预先设定的应分解的worker数量，或者手动进行重新平衡（但如果不分析提交拓扑结构或者监测集群的状态，很难找到合适的worker参数。）worker设置不当会影响到集群的性能，所以要找到一个更好的方式来分解拓扑结构。动机实验：为了发现合适的参数，做实验发现可能影响集群性能
2021-08-26 10:46:21
213
1
原创 【并行度+状态迁移】2016-Elastic stateful stream processing in storm
问题：由于数据源产生数据的速度不可预测，所以流处理系统对动态性要求很高、需要适应能力。本文方法采用两种机制来扩展运行时的动态适应性： automatic elasticity and stateful migration1.自动弹性：在框架层面：实现了扩展决策，即它允许根据扩展策略自动调整每个应用的运算符的并行实例数量，本文提出一个简单的基于阈值的策略（根据传入的工作负载弹性地改变每个运算符的并行实例数量）。由于框架层面实现了弹性，storm可以与底层的扩展系统耦合，通过根据需要获取和释放计算
2021-08-19 20:57:55
227
原创 【调度】2021-BAN-Storm: a Bandwidth-Aware Scheduling Mechanism for Stream Jobs
知识：storm调度器机制：worker数量在拓扑结构执行时保持不变（静态）。数据流方面（数据传输速率）会有很大变化，但例如默认调度器使用静态配置没有考虑到，会导致系统的吞吐量。该情况下，storm需要暂停正在执行的拓扑结构，重新编译改变配置重新部署，这就造成昂贵的延迟开销。问题：目前流处理系统没有考虑通信模式、计算资源的异质性，这会导致将高通信的任务映射到不同且成本高的远程节点上，增加通信成本和延迟。本文方法：提出一个考虑任务之间的通信（历史通信）、和其他重要调度方面（异质性：机器的计
2021-08-19 11:00:50
298
原创 【调度】【公开源码】2013-Adaptive Online Scheduling in Storm
Storm模型： A Storm application is modeled as a topology, i.e. a graph where nodes are operators and edges represent data flows among such operators. storm的应用建模为一个拓扑结构，DAG有向无环图，其中图中的节点是运算符，边代表着运算符之间的数据流 A Storm cluster can run topologies (Storm’s jargon
2021-08-08 17:24:46
397
1
原创 【调度】2020-A3‑Storm: topology‑, trafc‑, and resource‑aware storm scheduler for heterogeneous clusters
问题：目前，流处理引擎（SPE）在调度时忽略了拓扑结构、executor之间的关系，频繁通信的task在调度时必须考虑其他方面的问题：资源供应、task的计算需求、通信worker node节点之间的物理距离等等。频繁通信的task可能会在不同的计算节点上，从而增加了网络延迟。默认调度器问题：当storm集群是一个由两个worker node节点充当supervisor调度下图线性拓扑时：spout a分配到supervisor 1bolt a分配到supervisor 2bolt b分
2021-08-05 11:03:36
294
原创 【调度】2020-TOSS: A Topology-based Scheduler for Storm Clusters
在DSPS中（例如storm）调度问题上有性能瓶颈：如何在集群中的所有可用节点中部署storm应用拓扑的组件。TOSS基于结构的调度器：1.节点间的流量2.考虑基于拓扑结构形式的调度器3.减少运行时重新调度的开销目的：通过缩短总体通信成本来减少进程间的平均延迟，同时平衡多个集群节点的负载。原理：TOSS在静态拓扑结构上识别具有大量通信的边，将这种通信密集型的边分到一组slot中（由α自我调整参数管理的slot）。将一组executors分配到工作负载最小的节点上。优点：1.通过分析拓扑结
2021-08-02 21:04:56
349
5
storm-core-1.1.2.jar
2020-11-17
loadbalancer-master.zip
2020-03-09
spring搭建环境所需要的jar包
2018-12-11
mysql5.5的 64位 和32位的安装工具 和开发工具sqlyog
2018-11-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人