- 博客(262)
- 资源 (4)
- 收藏
- 关注
RSS订阅
转载 转载-微信公众号 低并发编程
文章目录首页通讯-网络基础通讯-tcp计算机基础-门电路文件系统IO计算机处理tcp线程池多线程共享变量算法动态规划中间件redisredis哨兵RDB架构设计方案[可扩展架构的方法论AKF 可扩展立方体](https://mp.weixin.qq.com/s?__biz=Mzk0MjE3NDE0Ng==&mid=2247495798&idx=1&sn=669cdc9d268fbc363741f06ef8808065&chksm=c2c58adbf5b203cd0bae850
2022-05-20 15:27:14
2826
原创 常见软件并发量与对应架构
操作系统限制软件限制javatomcatNginxMySQL单机应用何时进行集群各个性能级别的架构方案qps 100qps 1000qps 1wqps 10wqps 1000w其他需求案例：淘宝从几百到千万级并发的十四次架构演进之路！2000年-C10K(单机1w并发问题)C10M(单机1000w并发)
2021-02-26 18:41:38
6430
3
原创 前端react集成 OIDC身份验证
用户信息: OIDC 提供了一种标准化的方式来获取有关已验证用户的基本信息,如用户名、电子邮件地址等。安全性: OIDC 建立在 OAuth 2.0 的安全基础之上,提供了更强的安全性和隐私保护。身份验证: OIDC 允许客户端应用程序验证用户的身份,确保只有授权的用户才能访问应用程序。单点登录 (SSO): OIDC 支持单点登录,使用户只需登录一次就可以访问多个应用程序。ID Token：包含 EU 身份认证信息的 JWT 格式数据，是用户的身份凭证；它允许客户端验证用户身份，并获取一些基本用户信息。
2024-08-09 09:56:59
1392
原创 jest测试
测试fetchData()返回一个Promise。Jest会自动查找目录下文件名为。测试某函数在调用时是否抛出了错误。您可以使用 --config。标记来指明配置文件的路径。每个test前后执行。
2024-05-29 16:52:08
489
转载 AutoML自动化机器学习
NNI：由微软官方维护的自动深度学习框架，并支持 TensorFlow，PyTorch 等主流深度学习框架。降低机器学习模型的开发门槛，算法的选择、训练、调优、部署等一系列过程都可以交给自动化组件来完成。传统的机器学习中，模型的选择一般由机器学习专家根据经验，以及交叉验证的结果来对比决定。开源框架：例如 Auto-Keras，auto-sklearn 等开源工具本地完成。Auto-Keras：深度学习框架 Keras 官方维护的自动深度学习框架。Classification：分类问题相关的训练方法。
2024-05-24 17:35:24
123
原创 容器底层技术
在实践中，你不需要从头开始做它们，人们已经做了管理具有更好用户界面的容器的系统。FreeBSD jail 基本上采用chroot并在其基础上进行构建，通过添加机制来隔离和控制文件系统之外的其他系统资源的使用。它最初并不是为了虚拟化，而是作为一个避免进程争夺硬件并实现配额的系统, 但在容器中非常有用。这些进程涉及特定的全局资源，例如挂载点、进程ID、用户ID、进程间通信、网络或时间。还允许跨cgroups进行隔离，给人一种在独自使用系统的错觉。Chroot是自UNIX早期版本以来可用的内核机制，
2024-05-21 15:23:31
472
转载 机器学习入门
# 机器学习 分支1. 监督学习 Supervised Learning2. 无监督学习 Unsupervised Learning3. 半监督学习 Semi-supervised Learning4. 强化学习 Reinforcement Learning (前沿学科，偏向于学术研究领域)
2024-05-16 17:20:47
78
转载 ChatGPT 入门原理技巧
ChatGPT可以 【编辑】 问题，重新【save & submit】，相当于重置 context window。Context window: 是指多轮对话中模型在生成回复时所考虑的上下文范围,第一反应——更多聊天 = 更多更混乱的context window = 无法修复。Alignment: 是指模型的输入和输出之间的一致性，将问题与回答对齐。超长聊天 > 超长的context window = 健忘。混乱聊天 > 混乱的context window = 懒惰。需要花费算力在识别与理解需求上。
2024-04-24 13:58:36
94
原创 【AWS】step-functions服务编排
同步，至少执行一次workflows，最多可以运行五分钟。异步，仅执行一次workflows，可以运行长达一年。任务状态可以调用任何 AWS 服务或 API。配置工作流，工作流中的每个步骤称为一个状态。
2024-02-05 14:51:40
963
原创 读书笔记【程序员修炼之道-务实的最高境界 v2】
你有选择权软件开发不限地域，可以选择改变组织，换组织，对组织提出要求学习新技术不害怕错误承认错误，不找借口，提供解决方案选择不要放任：软件熵，技术债，破窗不做破窗的那个人石头汤: 渐进的骗局正向思考：做催化剂，吸引、欺骗人参与渐进反向思考：牢记全景，不要做被欺骗的温水青蛙够好即可的软件就是最好的让用户参与权衡，知道何时止步把质量视为 需求问题管理知识组合知识有时效性，会过时。管理知识组合 类似 管理金融投资：- 定期投资（持续学习）- 长线成功关键是 多样化投资（扩展技能）
2024-01-26 17:46:26
302
转载 JSON Path
JSONPath 之于 JSON，就如 XPath 之于 XML。JSONPath 可以方便对 JSON 数据结构进行内容提取。在JsonPath表达式执行后进行调用，其输入值为表达式的结果。
2023-11-13 13:54:57
164
原创 测试工具：hurl
Hurl 是一个命令行工具，它运行以简单的纯文本格式定义的 HTTP 请求。它可以发送请求、捕获值并评估对标头和正文响应的查询。从 HTTP 响应中提取可选值，并存储在命名变量。官网：https://hurl.dev/
2023-10-30 14:08:13
808
原创 influxDB
用户（user）、保留策略（retention policy）、连续查询（continuous query）和时序数据的逻辑容器。Bucket 结合了 database 和 retention period 的概念。最佳实践：（ 时间/毫秒，数据条数，当其中一个先达到时批量插入）InfluxDB 数据模型将时间序列数据 存储到存储桶和测量中。Measurement、tage相同的一组数据。InfluxDB 数据都存储在存储桶中。类似 SQL 的查询语言。时间序列数据的逻辑分组。存储 随时间变化的值的。
2023-08-09 09:45:30
445
翻译 clickhouse
ALTER 仅支持 *MergeTree ，Merge以及Distributed等引擎表。在集群设置中，可以使用ON CLUSTER子句以分布式方式运行此类查询。数据导入到ClickHouse是通过INSERT INTO方式完成。单机性能不差（占用资源多、建议单机单应用）包含有当前正在处理的请求列表。能通过http请求直接查询。可用mysql驱动连接。OLAP离线数据处理。
2023-07-29 16:52:25
397
原创 k3s安装使用
在某些Linux发行版中，SELinux可能会阻止K3s的正常运行，使用该环境变量可以显示SELinux警告信息，以便进行调试和排除故障。在某些Linux发行版中，安装K3s时可能会出现container-selinux软件包版本不匹配的问题，使用该环境变量可以跳过安装该软件包。从 Kubernetes Dashboard 版本 v3 开始，底层架构发生了变化，需要全新安装。AutoK3s 是用于简化 K3s 集群管理的轻量级工具，您可以使用 AutoK3s 在任何地方运行 K3s 服务。
2023-07-28 11:54:59
1575
原创 HTTP MIME/Content-Type (Body 类型)
HTTP MIME/Content-Type (Body 类型)原始格式：raw 文本：text/xxx text/plain text/html text/css text/javascript text/xml application/xxx application/octet-stream binary msgpack application/json GraphQL application/xml application/pdf application/zip 表单相关
2023-06-28 16:47:16
1545
翻译 java feign接口调用
后端HTTP库技术：（在后端服务器端发送HTTP请求和处理HTTP响应的工具）RetrofitOkhttpFeignFeign是声明式Web Service客户端使用了注解和反射机制来生成HTTP客户端代码，使得开发者可以通过简单的接口定义来调用HTTP服务，而无需编写大量的样板代码。Feign还提供了负载均衡和服务发现等功能，使得开发者可以更加方便地使用分布式系统。
2023-05-06 17:53:58
870
原创 Terraform
编写一些 配置文件 就可以管理多个云平台上的基础设施。//resource块 resource "" "" {//resource块体 < 资源参数 > = "参数值" < 资源参数 > = "参数值" //metadata块 metadata {//metadata块体 参数 = "参数值" } }: 每个 Terraform 提供者都有自己的文档，描述其资源类型及其参数。
2023-04-28 15:08:09
1396
原创 prometheus 实践
计算范围向量中时间序列的增加量算法：第一个样本 - 最后一个样本计算范围向量中时间序列的每秒平均增长率算法：（第一个样本 - 最后一个样本）/ 时间(秒)源数据粗粒度，用rate按秒计算会有很多空值，形成断点、断链rate比increase适合 源数据细粒度的情况长尾效应：使用了平均值，很容易把峰值削平。体现不出访问量激增的情况不够灵敏，适合做分期长期趋势或告警规则计算范围向量中时间序列每秒的瞬时增长率算法：取最后两个数据，算差值最多可向后查询 5分钟：灵敏，适合短期predict_linear
2023-03-29 16:17:22
611
翻译 Prometheus 监控系统
时间序列中某个时间点的单个值（包含一个 float64 值和一个毫秒精度的时间戳）主要用作监控，基于时序，主动对指标抓取、存储、查询、绘图，并根据规则发警报。Prometheus 的维度数据模型, 标识相同指标的特定维度实例。更改任何标签值，包括添加或删除标签，都将创建一个新的时间序列。数据支持float64，对字符串和毫秒分辨率时间戳的支持有限。从其他系统（例如长期存储）透明读取时间序列作为查询的一部分。将所有数据存储为时间序列【时间戳，指标数据】通过一个指标+一组标签，表示时间序列。
2023-03-23 11:36:10
382
转载 Flink
概念：数据 流与批无界数据流有界数据流Flink安装批处理 DataSet API（略）流处理 DataStream APISource算子流式分析核心概念时间语义使用 Event Time 事件时间WaterMark 水位线迟到元素Window 窗口时间窗口计数窗口State 状态状态管理CheckPoint
2023-02-28 17:16:06
201
原创 Spark入门概念
Spark支持三种分布式部署方式，分别是standalone、spark on mesos和 spark on YARN。原理是把输入数据以某一时间间隔批量的处理，当批处理间隔缩短到秒级时，便可以用于处理实时数据流。防止故障：在程序发生崩溃的时候，Spark可以恢复此数据，并从停止的任何地方开始。单机使用时，Spark还可以采用最基本的local模式。，需要上一个RDD全部分区处理完成操作后才能计算。窄依赖：当前RDD的计算只依赖上一个RDD的。宽依赖：当前RDD的计算依赖上一个RDD的。
2023-02-07 17:32:53
506
原创 HBase入门概念
所以更新与删除操作 需要用追加（Timestamp，Type）来特殊实现。一行row， 实际物理存储的是一个个cell（kv）HBase基于HDFS存储，只能顺序读写，追加记录，存储在HDFS集群中的HBase表的目录结构是…Get, Put, Scan, 和 Delete。在逻辑视图里，表可以被看成是一个稀疏的行的集合。增加、修改、删除 column family。，拆分文件夹，一个store一个文件夹。在物理上，它的是区分列族 存储的。逻辑上数据是稀疏的，有空值。创建、删除 table。
2023-02-02 17:28:03
296
原创 Hive入门概念
元数据包括：表名、字段名、字段类型、关联HDFS文件路径等这些数据库的Meta信息。将SQL语句转为 MapReduce Job查询HDFS。删除：元数据与HDFS都会删除。数据：存储在HDFS。
2023-02-01 17:01:50
184
原创 java时间处理
Date对象里存的是自 格林威治时间 (GMT、 UTC) 从1970年1月1日0点至Date对象所表示时刻所经过的毫秒数。它有ZoneOffset和ZoneRegion两个子类，分别代表偏移量表示法和区域表示法。但 Sysytem.out.println函数在打印时间时，会取操作系统当前所设置的时区。Java中和时区相关的类有TimeZone、ZoneId。和最基本的String一样，是不变类型，不单。只是 年、月、日、时分秒，纳秒这样的数字。包含日期，时间，还有毫秒数。使用Calender计算。
2023-01-06 17:07:34
660
BCclassSettings.bcpkg
2019-12-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人