- 博客(161)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 这就是大A的2023年的回测数据
回测期间：20230101:20231220。回测期间：20230101:20231220。回测期间：20230101:20231220。回测期间：20230101:20231220。回测期间：20230101:20231220。回测期间：20230101:20231220。回测期间：20230101:20231220。回测期间：20230101:20231220。回测期间：20230101:20231220。回测期间：20230101:20231220。回测期间：20230101:20231220。
2023-12-22 08:54:26
242
原创 embedding和Faiss
5.搜索引擎的革命者，搜索会更专业，广告的方式可能得重新找模式了。4.看来接下来就是大数据微调了。1.先是向量化，faiss。
2023-11-28 19:05:12
300
原创 如何学习java
就是 从代码到成为程序的过程所以这很明显就是我们的编译原理和os 打交道这很明白就是 操作系统和另一台机器打交道，那么就是计算机网络。
2023-09-21 11:04:42
249
原创 国内编程牛人
λ-calculus（惊愕到手了欧耶，GetBlogPostIds.aspx）http://yinwang0.wordpress.com/当然我在扯淡。@Milo YipMilo Yip - 博客园。酷壳 – CoolShell.cn。刘未鹏 | Mind Hacks。风雪之隅-Laruence的博客。老罗的Android之旅。網誌 - BYVoid。robbin的自言自语。
2023-09-01 13:35:46
114
原创 存量时代的面经
Spring，说来惭愧，接触spring 已经接近十年了通过这个项目，我把spring重写的学习了一遍1，早上先debug 的一个项目的源码是长长的的调用链刚好前几天看了设计模式是知乎上写的真的很棒然后，早上又搜spring源码怎么学习就有bean的生命周期springboot的启动过程然后说spring是一个百万行的大框架了现在要先看 mybatis的 源码挺好的然后还是先看了看spring security 的还有 spring schedule的。
2023-09-01 13:25:30
1067
原创 Java 面试题2023
3、如何确定当前对象是个垃圾4、GCrooot 包括哪些？5、JVM对象头包含哪些部分6、GC算法有哪些7、JVM中类的加载机制8、分代收集算法9、JDK1.8 和 1.7做了哪些优化10、内存泄漏和内存溢出有什么区别11、JVM中栈上分配和内存逃逸解释12、如何定位CPU100%占用13、在程序中如何判断是否有内存泄漏14、JVM参数调优15、JVM运行区域分为几块，作用是什么16、GC算法有哪些，收集器有哪些。
2023-08-07 16:53:29
538
原创 Iceberg 初见
Iceberg是一个开源的大数据存储和计算平台，它提供高性能、可扩展和一致性的数据存储和查询能力。Iceberg是一个开源的大数据存储和计算平台，它的设计目标是为了解决传统数据仓库在处理大规模数据时的性能问题。分区可以是静态的，也可以是动态的，动态分区可以根据数据的内容自动创建。另外，Iceberg支持分区和索引等特性，可以加速数据的过滤和查询操作。它可以提供低延迟的数据写入和查询能力，支持实时数据的处理和分析。它支持快速的数据写入和查询操作，可以实时地处理和分析日志数据。
2023-07-17 17:08:14
798
原创 Presto、Spark 和 Hive 即席查询性能对比
Spark 则是一个基于内存的分布式计算框架，可以快速地处理大规模的数据，并且具有很高的可扩展性。Presto 可以很容易地集成到现有的数据架构中，并且可以在不同的数据源之间进行无缝的查询。它们都具有各自的优缺点，在不同的场景下都有着不同的应用价值。Spark 是一个基于内存的分布式计算框架，它可以处理大规模的数据，并且具有很高的性能和可扩展性。Hive 是一个基于 Hadoop 的数据仓库系统，它可以将结构化的数据映射到 Hadoop 的文件系统上，并且可以通过 SQL 查询语言进行查询。
2023-07-17 17:05:14
3195
原创 Alluxio+Presto=倚天+屠龙
Alluxio和Presto结合，是一种高效的数据处理架构，可以满足大规模数据处理的需求。Alluxio是一个开源的分布式虚拟文件系统，它可以将分布式存储系统中的数据进行统一管理，提供高速的数据访问和共享。大规模数据处理：Alluxio可以将分布式存储系统中的数据进行统一管理，提供高速的数据访问和共享。这样可以实现大规模数据处理。Presto可以直接查询Alluxio中的数据，实现多个数据源的快速查询。这样可以实现数据挖掘。Presto可以直接查询Alluxio中的数据，实现多个数据源的快速查询。
2023-07-17 17:02:28
301
原创 Alluxio初见
它提供了高性能的数据访问和处理能力，极大地简化了大数据应用程序的开发和部署过程。通过学习和使用Alluxio，您可以更好地应对大数据时代带来的挑战，提高数据处理的效率和性能。通过将数据缓存在内存中，Alluxio可以显著提高数据访问速度，并降低数据处理的延迟。可以使用Alluxio提供的API将数据从底层存储系统导入到Alluxio中，并在需要时从Alluxio读取数据。数据复制：Alluxio支持数据复制功能，可以将数据从一个Worker节点复制到另一个节点，以提高数据的可靠性和容错性。
2023-07-17 16:59:39
465
原创 Presto 初见
Presto的查询语言是标准的SQL语言，因此对于熟悉SQL语言的开发人员来说，学习Presto并不困难。但是，随着数据量的增加和数据处理的复杂性的提高，传统的数据处理工具已经无法满足我们的需求。总之，Presto是一个高效、灵活和易于使用的分布式SQL查询引擎，可以帮助我们更好地处理和分析大规模数据集。学习Presto查询语言：您可以使用标准SQL语言编写查询，并使用Presto文档中提供的扩展功能。实践：尝试使用Presto处理和分析实际数据集，并通过实际案例来了解Presto的优点和局限性。
2023-07-17 16:57:39
267
原创 MLflow 简介
MLflow 是一个开源的平台，旨在帮助数据科学家和工程师跟踪和管理机器学习实验。MLflow Tracking 是 MLflow 的核心组件之一，它用于跟踪机器学习实验。在 MLflow Tracking 中，每个实验都被称为一个 run，每个 run 可以包含多个参数、指标和模型。通过 MLflow，我们可以轻松地管理和跟踪机器学习实验，并共享代码和模型。通过 MLflow Projects，我们可以将代码、数据和环境打包成一个可重现的项目，并在不同的计算环境中运行。加载模型，并使用它进行预测。
2023-07-16 23:09:11
1957
原创 K8s暴露服务的三种方式
无论选择哪种方式，都需要仔细考虑其优点和缺点，并确保其符合我们的需求。首先，NodePort 只能使用主机上的端口，这意味着我们需要管理端口的分配和冲突。Ingress 是一种更高级的方式，它允许我们在 Kubernetes 集群中创建一个统一的入口点，并将流量路由到不同的服务上。LoadBalancer 是一种更高级的方式，它允许我们在云平台上创建负载均衡器，并将其配置为将流量路由到 Kubernetes 服务。LoadBalancer 的主要优点是它是高度可扩展的，并且可以自动管理端口和负载均衡器。
2023-07-07 09:44:02
1538
原创 Kubeflow 初见
在安装Kubeflow之后，我们需要创建一个Jupyter Notebook，并使用TensorFlow、PyTorch等框架进行模型训练。除此之外，Kubeflow还提供了其他一些有用的组件和工具，可以帮助我们更好地进行机器学习任务。通过学习Kubeflow，我们可以更轻松地构建、训练和部署机器学习模型，并提高工作效率和模型的可重复性。Kubeflow是一个开源的机器学习平台，它使用Kubernetes作为底层基础设施，提供了一整套机器学习工具和框架，帮助用户更轻松地构建、训练和部署机器学习模型。
2023-07-06 15:35:45
309
原创 Envoy浅谈
Envoy是一种轻量级的开源代理，可以用于构建高性能、可扩展的服务网格。总之，Envoy是一个强大的轻量级代理，可以用于构建高性能、可扩展的服务网格。如果你正在构建一个大规模的服务网格，那么Envoy是一个值得考虑的选择。Envoy是一个高性能、可扩展的代理，可以用于构建服务网格。你可以从Envoy的官方网站下载二进制文件，也可以使用包管理器进行安装。这个YAML文件定义了一个监听地址为8080的HTTP代理，它将所有流量转发到本地地址为127.0.0.1、端口为8081的上游服务器。
2023-07-06 15:32:03
456
原创 k8s 负载均衡工具Ingress
Kubernetes Ingress是一种强大的API对象，它允许您将多个服务公开到Internet上，并提供负载均衡、TLS终止和基于主机名的路由等功能。要使用Ingress，您需要安装一个Ingress控制器，并创建一个Ingress对象来定义规则。Ingress对象包含一组规则，每个规则定义了一个主机名和一个或多个路径，以及与之关联的后端服务。使用多个Ingress控制器：如果您有多个服务需要公开，则建议使用多个Ingress控制器。每个服务都可以有自己的主机名，并由不同的Ingress规则处理。
2023-07-06 15:30:15
1486
原创 k8s管理工具Kubesphere
Kubesphere是一个强大的容器管理平台，它提供了丰富的功能和工具，帮助开发者更轻松地管理和部署容器化应用。在学习Kubesphere时，需要掌握一些基本知识和技能，并不断地实践和总结经验。Kubesphere是一个开源的容器管理平台，它提供了一系列的工具和服务，帮助开发者更轻松地管理和部署容器化应用。在本文中，我们将介绍Kubesphere的主要功能和使用方法，并分享一些学习Kubesphere的经验和技巧。安装和配置完成后，就可以使用Kubesphere来管理和部署容器化应用了。
2023-07-06 15:25:27
960
原创 Kubernetes管理工具Helm
同时，我也学到了一些使用 Helm 的教训，比如需要仔细考虑应用程序的依赖关系和版本管理策略，以及需要注意 Helm 的安全性和一些常见问题。因此，在使用 Helm 时，我建议采取一些安全措施，比如使用 RBAC 来限制 Helm 的权限，并且定期更换 Helm 的凭证。在 Helm 中，你可以定义一个 Chart 依赖于另一个 Chart，并且可以指定依赖的版本范围。在 Helm 中，你可以为每个应用程序的部署配置定义一个版本号，并且可以使用 Helm 的命令行界面来查看和管理不同版本的部署配置。
2023-07-06 15:24:20
402
原创 k8s管理工具Kubesphere
Kubesphere是一个强大的容器管理平台，它提供了丰富的功能和工具，帮助开发者更轻松地管理和部署容器化应用。在学习Kubesphere时，需要掌握一些基本知识和技能，并不断地实践和总结经验。Kubesphere是一个开源的容器管理平台，它提供了一系列的工具和服务，帮助开发者更轻松地管理和部署容器化应用。在本文中，我们将介绍Kubesphere的主要功能和使用方法，并分享一些学习Kubesphere的经验和技巧。安装和配置完成后，就可以使用Kubesphere来管理和部署容器化应用了。
2023-07-06 15:22:56
760
原创 k8s 管理工具Rancher
在使用Rancher的过程中，我们可以发现它有很多出色的功能和优点，下面就让我们来总结一下Rancher的使用体验。在使用Rancher的部署功能时，我们可以轻松地将应用程序部署到不同的环境中，并进行相应的配置和管理。管理容器：Rancher提供了非常全面的容器管理功能，可以帮助我们监控和管理所有的容器应用。在使用Rancher的管理功能时，我们可以轻松地查看容器的状态、日志等信息，并进行相应的操作。功能强大：Rancher提供了非常强大的功能和工具，可以帮助我们快速地创建、管理和部署容器应用。
2023-07-06 15:19:54
642
原创 docker deploy rancher
docker run --privileged -d --name rancher --restart=unless-stopped -p 80:80 -p 443:443 rancher/rancher:latest
2023-07-04 09:17:02
499
原创 在学习k8s时候，pod services 和deployment
通过 Deployment，可以定义应用程序的期望状态和所需副本数，并且 Kubernetes 控制器将负责确保集群中始终存在指定数量的 Pod。Pod（Pods）： Pod 是 Kubernetes 最基本的调度和管理单位，它是一个或多个紧密关联的容器的组合。综上所述，Pod 是最小的可调度单元，Service 提供网络访问，Deployment 管理 Pod 和 ReplicaSet 的创建和更新。它为一组具有相同功能的 Pod 提供统一的访问入口，并与后端 Pod 的 IP 地址和端口相关联。
2023-06-29 18:14:13
1039
原创 大数据从入门到精通，第十四天
以上是第十四天的主要学习内容，需要具备一定的大数据处理和编程基础。读者需要熟悉Java或Scala等编程语言，同时了解分布式计算、MapReduce等基本概念。在学习过程中，可以结合实际案例和项目来提升自己的能力和经验。同时，需要注意数据安全和隐私保护问题，在任何时候都要确保遵守相关法律法规并严格遵守数据处理的伦理和准则。
2023-06-10 20:26:17
88
原创 大数据从入门到精通，第十五天
以上是第十五天的主要学习内容，需要具备一定的云计算和编程基础。读者需要了解常见的编程语言如Java、Python等，并掌握Linux系统的基本操作和管理技能。在学习过程中，可以结合实际案例、云平台提供的开发工具和API来进行。
2023-06-10 20:25:14
92
原创 大数据从入门到精通，第十三天
以上是第十三天的主要学习内容，需要具备一定的数学、统计和编程基础，同时也需要对于NLP、图像处理、时间序列、推荐系统等领域有一定的了解。在学习过程中需要注重实践和应用，尝试将机器学习和深度学习模型应用到实际场景中去，并通过实验和案例来提升自己的能力和水平。
2023-06-10 20:24:05
85
原创 大数据从入门到精通，第十二天
以上是第十二天的主要学习内容，需要具备一定的数学、统计和编程基础，同时也需要有一些实际应用场景的经验。在学习过程中需要注重实践和实验，通过反复尝试和调整来提升模型的性能和鲁棒性，并加深对于机器学习的理解和掌握。
2023-06-10 20:23:15
79
原创 大数据从入门到精通，第十一天
以上是第十一天的主要学习内容，需要具备一定的分布式系统和编程基础，同时也需要一些领域知识的支撑。在学习过程中需要不断应用所学知识，通过实践掌握方法和技巧，加强对于大数据处理和分析的理解和应用能力。
2023-06-10 20:23:03
78
原创 大数据从入门到精通，第九天
以上是第九天的学习内容，需要有一定的编程经验和计算机基础，并且需要结合实际案例进行练习和实践，熟悉大数据处理的整个流程和技术栈，掌握大数据处理中常用的工具和技术。同时，需要灵活运用所学知识，结合业务需求进行问题解决和优化。以上是第九天的拓展学习内容，需要有一定的数学基础和编程能力，同时也需要一些领域知识的支撑。在学习过程中需要不断应用所学知识，通过实践掌握方法和技巧，加强对于大数据处理和分析的理解和应用能力。
2023-06-05 19:45:06
612
原创 大数据从入门到精通，第十天
以上是第十天的主要学习内容，需要有一定的编程基础和统计学知识，同时也需要有一定的设计感觉。在学习过程中，要不断练习和实践，通过可视化方式帮助自己更好地理解数据。
2023-06-05 19:44:08
92
原创 大数据从入门到精通，第八天
以上是第八天的拓展学习内容，需要有较为扎实的计算机基础和编程经验，建议在理解和掌握前面的基础知识之后逐步深入学习。同时，可以参考优秀的开源项目或者网络课程进行实践和进一步提升，加强对于实际问题的解决能力和创新意识。以上扩展内容需要有一定的计算机基础和编程经验，建议在理解和掌握第八天的基础知识之后逐步深入学习。同时，可以参考优秀的开源项目或者网络课程进行实践和进一步提升，加强对于实际问题的解决能力和创新意识。以上是第八天的基础学习内容，建议在理论和实践中相互结合，加强对于大数据处理和应用的认知和应用能力。
2023-06-05 19:43:00
800
原创 学习大数据的第五天
Apache Pig是一个用于分析大型数据集的高级平台，它允许通过一种类似于SQL的语言Pig Latin来进行数据处理和转换。ZooKeeper是一个可靠的、高性能的服务，可以在不同的应用程序和平台间方便地共享数据。Apache Flume是一个分布式、可靠、高可用的海量日志聚合系统，它可以将来自不同来源的数据收集到统一的数据中心，便于后续的处理和分析。Apache Storm是一个分布式、实时的计算系统，可用于在大规模数据上进行复杂的实时计算和处理。
2023-06-05 19:42:30
1636
原创 大数据从入门到精通，第七天
以上是第七天的进阶学习内容，需要有一定的计算机基础和编程知识，建议在扎实掌握第六天的基础知识之后逐步深入学习。同时，可以参考优秀的开源项目或者网络课程进行实践和进一步提升，加强对于实际问题的解决能力和创新意识。以上是第七天的一些扩展学习内容，建议在掌握了基础知识之后逐步深入研究。另外，应该注重动手实践，多参与开源项目或者搭建自己的实验环境进行实践，加强对于实际问题的理解和解决能力。在学习的过程中，可以参考开源大数据平台的搭建方式，结合实际场景进行练习和测试。
2023-06-05 19:42:25
437
原创 学习大数据的第六天
Spark Streaming是基于Apache Spark的实时流式处理引擎，它可以通过对持续输入的数据进行微批处理的方式来实现低延迟的数据分析和处理。Spark Streaming可以与Hadoop、Kafka、Flume、Twitter、ZeroMQ等多种数据源进行集成，支持广泛的数据操作和转换操作。Tableau 基于直观的拖放界面设计，使得用户可以快速创建交互式和具有仪表盘功能的数据视图，并进行数据可视化和探索。Python语言简洁易读，拥有庞大的社区和生态系统，并支持广泛的库和框架。
2023-06-05 19:41:40
724
java开发.xls
2020-05-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人