- 博客(38)
- 收藏
- 关注
RSS订阅原创 量化与优化：如何让大模型跑得更快、更省资源？（4-bit 量化、FlashAttention、TensorRT）
在大模型的训练与推理中，计算资源与存储资源的消耗常常是令人头疼的问题。为了提升效率、降低成本，我们需要对大模型进行量化与优化。本文将详细介绍 4-bit 量化、FlashAttention 和 TensorRT 的使用方法，以及如何在实际部署中结合这些技术进行优化。
2025-04-03 07:31:38
186
原创 如何部署私有 AI 大模型？（本地 GPU vs 云计算 vs 端侧 AI）
随着 AI 大模型的快速发展，越来越多的企业和个人希望将大模型部署在私有环境中，以确保数据安全、提升推理效率以及降低成本。本文将详细介绍如何在本地 GPU、云计算以及端侧 AI 环境中部署私有 AI 大模型，并给出具体实战操作指南。
2025-04-01 23:13:07
325
原创 如何构建一个 AI 驱动的数据分析系统
在现代数据分析中，将 AI 引入数据分析系统中可以极大提升效率和自动化程度。本文将从架构设计、工具选择、实现步骤等多个方面进行详细说明，帮助你构建一个 AI 驱动的数据分析系统。
2025-03-31 10:41:35
185
原创 AI + 数据：如何结合 AI 提高数据分析与查询能力？（SQL 生成、数据洞察、知识库问答）
在现代数据分析与应用中，AI 与大数据的结合正成为最具潜力的方向之一。AI 能够通过自动化 SQL 生成、数据洞察分析与知识库问答，大幅提升数据分析的效率与精准性。
2025-03-31 10:37:23
420
原创 AI 工作流自动化：从 RPA 到智能体编排（AI 任务拆解、工作流管理）
AI 在自动化工作流中正扮演着越来越重要的角色，从传统的 RPA（机器人流程自动化）到更高级的 AI Agent 编排，企业可以利用 AI 来优化任务拆解、决策制定以及复杂流程管理。本文将探讨 AI 工作流自动化的关键技术、工具以及国内外的应用案例。
2025-03-28 11:37:46
464
原创 AI Agent 如何进行工具调用？（检索增强、代码执行、数据库访问）
AI Agent 的强大能力不仅仅体现在自然语言处理上，还可以通过调用外部工具来增强自身的功能，如检索增强（RAG）、代码执行、数据库访问等。本篇文章将详细介绍如何让 AI Agent 高效调用这些工具。
2025-03-27 15:19:16
411
原创 构建你的第一个 AI Agent（Python + LangChain + LLM）
AI Agent 是指能够自主执行任务并与环境交互的智能体。与传统的 Chatbot 不同，AI Agent 具备更强的推理能力、工具使用能力，并且能够结合多个外部数据源（如数据库、API、搜索引擎等）来完成复杂任务。LangChain 是一个强大的框架，可用于构建 AI Agent，使其能够整合 LLM 并执行任务。通过本篇文章，我们使用 LangChain 和 LLM 搭建了一个 AI Agent，并集成了搜索、计算器和数据库查询等工具。同时，我们优化了 Prompt 设计，提高了模型的推理能力。
2025-03-26 17:17:54
353
原创 AI Agent 是什么？从 Chatbot 到自动化 Agent（LangChain、AutoGPT、BabyAGI）
AI Agent 已经从 Chatbot 发展到自主智能体，如 LangChain、AutoGPT 和 BabyAGI，使得 AI 能够自动执行任务，提高生产力。未来，AI Agent 可能会在更多领域，如自动化研究、智能运维、AI 机器人等方面发挥更大作用。
2025-03-25 22:30:03
409
原创 Prompt Engineering：如何写出更高效的提示词？
Prompt Engineering（提示词工程）是优化输入给 AI 模型的文本，以提高模型的输出质量和可控性。良好的 Prompt 设计可以显著提高大模型在文本生成、代码编写、逻辑推理等任务中的表现。
2025-03-25 00:29:06
441
原创 AI 在不同领域的应用案例（文本摘要、代码生成、法律 AI、医疗 AI）
新闻文章摘要：AI 可以自动生成新闻内容的摘要，帮助用户快速了解文章核心内容。法律文档摘要：自动提取法律条款和判例要点，辅助律师和法官高效工作。学术论文摘要：帮助研究人员快速掌握文献核心观点。
2025-03-24 07:00:00
244
原创 微调大模型：LoRA、PEFT、RLHF 简介
LoRA 是一种低秩适配方法，旨在减少大模型微调时的参数更新量。LoRA 通过冻结原始模型权重，仅在特定层（如 Transformer 的注意力层）插入低秩矩阵进行训练，从而降低计算成本。PEFT 是一组参数高效微调技术，包括 LoRA、Prefix Tuning 和 Adapter。其核心思想是减少模型训练的参数数量，降低资源消耗，同时保持模型性能。RLHF 是强化学习（RL）+ 人类反馈（HF）结合的一种微调方法，主要用于提升 LLM 生成结果的质量。方法优点适用场景LoRA。
2025-03-23 21:40:22
242
原创 大模型的应用与微调：如何调用 LLM？从 OpenAI API 到本地部署
本篇文章介绍了如何调用 OpenAI、DeepSeek、Manus、通义千问等大模型 API，并探讨了 LLM 本地部署的方法。在实际应用中，可以根据需求选择云端 API 或本地化部署方案，以满足不同的计算需求和隐私要求。下一篇：大模型微调与 RAG 技术（LoRA、QLoRA、向量数据库）
2025-03-20 17:55:55
420
原创 搭建自己的 AI 实验环境（本地 GPU、国内云计算平台、Colab）
本地 GPU 适合深度学习开发者，云计算平台则提供更灵活的计算资源。根据自身需求选择合适的 AI 实验环境，可以提高开发效率，降低硬件成本。在 AI 领域，实验环境的搭建至关重要。Google Colab 是一个基于云的 Jupyter Notebook 环境，支持免费 GPU 计算资源。提供 AI Notebook 环境，支持 TensorFlow、PyTorch。提供自动化 AI 开发环境，支持 Notebook 及 AutoML。提供免费 GPU 计算资源，支持 PaddlePaddle 深度学习。
2025-03-19 14:09:13
254
原创 如何选择合适的 AI 模型？（开源 vs 商业 API，应用场景分析）
在 AI 迅猛发展的今天，各类 AI 模型层出不穷，从开源模型（如 DeepSeek、Llama、Qwen）到商业 API（如 OpenAI 的 ChatGPT、Anthropic 的 Claude、Google Gemini），每种方案都有其优势与适用场景。在 AI 快速发展的时代，选对 AI 模型，才能更高效地落地智能应用，为企业创造真正的价值。：DeepSeek、Llama 3、Qwen 等正在快速发展，国内开源生态将持续提升。，如医学、法律等专业领域的数据训练，选择开源 AI 模型是更好的方案。
2025-03-19 13:44:38
367
原创 Hive & Presto SQL 查询优化指南
在实际查询时，可以结合分区优化、文件格式优化、JOIN 策略优化、SQL 语法优化等方式，提升 Hive 和 Presto 的 SQL 查询性能，减少查询延迟，提高资源利用率！🚀。
2025-03-18 17:53:16
870
原创 国内外主流 AI 大模型盘点（DeepSeek、Manus、通义千问、ChatGPT、Claude、Gemini 等）
近年来，人工智能领域的大语言模型（LLM）迅猛发展，国内外科技公司纷纷推出了具有竞争力的 AI 模型。本篇文章将盘点当前主流的大模型，包括 OpenAI 的 ChatGPT、Anthropic 的 Claude、Google 的 Gemini，以及国内的 DeepSeek、通义千问（Qwen）、Manus 等，并探讨它们的核心技术、适用场景及未来发展趋势。全球 AI 大模型的竞争日益激烈，国内厂商在开源生态、行业适配等方面持续创新。具备强大的自然语言理解和生成能力，支持代码编写、文本创作、多模态理解等。
2025-03-17 00:05:36
1027
原创 大语言模型（LLM）解析：从 GPT 到 DeepSeek（Transformer 结构、主流 LLM 的对比）
大语言模型（LLM, Large Language Model）近年来发展迅速，从早期的基于统计和规则的语言处理模型，到深度学习时代的 Transformer 结构，再到目前各国科技企业推出的大规模预训练模型，如 OpenAI 的 GPT 系列、国内的 DeepSeek、Manus、通义千问等。：随着计算资源的增加，Transformer 结构可以扩展到更大规模的模型，如 GPT-4、DeepSeek-V2 等。：针对特定任务（如对话、编程、翻译等）进行监督微调，提高模型在特定应用场景下的表现。
2025-03-16 22:14:59
255
原创 AI 是什么？核心概念与发展历程（人工智能的发展、基本概念、机器学习 vs 深度学习）
人工智能经历了数十年的发展，从符号主义 AI 到机器学习、深度学习，再到大模型时代，每一次技术进步都推动了 AI 在现实世界的应用。随着国内 AI 领域的快速发展（如 DeepSeek、Manus、通义千问等大模型的崛起），AI 正在改变人们的工作和生活方式。人工智能（Artificial Intelligence，AI）正以前所未有的速度改变世界，从语音助手到自动驾驶，从医疗诊断到金融风控，AI 正在渗透到各个行业。由于计算能力和数据不足，AI 研究陷入瓶颈，资金支持减少，AI 发展停滞。
2025-03-16 20:41:47
1157
1
原创 私有云大数据部署：从开发到生产（Docker、K8s、HDFS/Flink on K8s）
在企业级大数据架构中，私有云部署成为了许多企业的首选，尤其是对数据安全性、合规性、资源控制要求较高的场景。本文将探讨如何在私有云环境下构建大数据平台，包括 Docker 容器化、Kubernetes 资源管理，以及如何高效部署 HDFS 和 Flink。通过 Docker、Kubernetes、HDFS 和 Flink 的结合，可以在私有云环境中构建高效的大数据平台。合理的资源管理、存储优化和监控策略，将极大提升系统的稳定性和查询效率，为企业提供更强大的数据处理能力。
2025-03-16 18:17:29
1232
原创 数据流转与 API 设计：统一数据访问层的构建（GraphQL、RESTful、Flink SQL Gateway）
一个高效的 API 访问层可以提高查询效率，降低数据访问成本，并提升用户体验。本篇文章将探讨如何构建统一的数据访问层，分析 GraphQL、RESTful API 的对比，并结合 Flink SQL Gateway 进行实时数据查询优化。Flink SQL Gateway 是 Flink 提供的 SQL 查询接口，允许用户通过 REST API 运行 SQL 语句。企业可以结合这三者构建高效的数据访问层，以满足不同的业务需求，提高查询性能并优化数据流转。结构化数据，接口固定，如用户管理、订单管理等。
2025-03-15 00:30:00
798
原创 海量数据查询加速：Presto、Trino、Apache Arrow
Presto 是由 Facebook 开发的高性能分布式 SQL 查询引擎，专为交互式查询优化。它支持查询 HDFS、S3、Hive、Kafka、Druid、Cassandra 等多种数据源，并且采用 MPP（Massively Parallel Processing）架构，在无需加载数据到本地存储的情况下提供低延迟查询。Trino（原 PrestoSQL）是 Presto 的一个分支，由 Presto 原始团队维护，相较于 Presto 具备更好的资源管理能力、扩展性和性能优化。
2025-03-14 10:11:26
961
原创 大数据作业优化：资源调度、并行度、数据倾斜处理等
资源调度优化：YARN 需要动态分配资源，K8s 通过 HPA 自动扩展，Flink 采用 Adaptive Scheduler。并行度优化：合理设置分区数，避免过多或过少的 Task，Spark 通过调整，Flink 通过配置。数据倾斜处理：使用 Salting、Skew Join、Rebalance 以及 KeyBy 等方式优化数据分布。通过这些优化方法，可以有效提升大数据作业的执行效率，提高计算资源的利用率，减少任务执行时间。
2025-03-13 10:55:12
1096
原创 如何设计高效的数据湖架构？
本文介绍了不同存储选项的选择标准，探讨了 Schema 兼容性问题，并提出了数据存储优化、索引优化、小文件合并等方案。通过 Hudi、Iceberg 及 Flink/Spark 的结合，可以构建高效的数据湖架构，满足企业级数据存储与分析需求。相比于传统数据仓库，数据湖能够支持结构化、半结构化和非结构化数据，同时提供更灵活的存储与计算能力。然而，如何合理设计数据湖架构，优化存储策略、Schema 演进以及数据生命周期管理，是数据架构师必须深入思考的问题。：各大云厂商提供的对象存储，适用于云端存储方案。
2025-03-12 14:41:30
1078
原创 高效数据存储：列式存储、分区、索引优化（Parquet、ORC、数据分桶）
列式存储（Parquet/ORC）：适用于 OLAP 查询，提高 I/O 效率。数据分区：减少扫描范围，加快查询。数据分桶：提高 Join 和聚合效率。索引优化：加速查询，提高查询性能。在实际应用中，需要根据业务需求选择合适的存储优化策略，以提升大数据处理的性能和可扩展性。
2025-03-12 11:24:01
1150
原创 大数据任务调度：DolphinScheduler、Airflow 实战（调度策略、任务依赖）
DolphinScheduler 适合大数据 ETL、数仓建设，提供可视化管理。Airflow 适合灵活的数据工程和 ML 任务，扩展性更强。最佳实践建议：大数据任务（Spark、Hive、Flink）→ 推荐 DolphinScheduler复杂 Python 任务（机器学习、API 任务）→ 推荐 Airflow混合使用：可以结合两者，DolphinScheduler 调度 Airflow 任务，提高灵活性。选择合适的工具，能够大幅提升数据处理的自动化程度和稳定性！
2025-03-11 14:34:41
1133
原创 大数据实时分析：ClickHouse、Doris、TiDB 对比分析
ClickHouse、Doris 和 TiDB 作为当前流行的实时分析数据库，各自针对不同的应用场景和数据特性进行了优化。本文将对比它们的核心架构、适用场景以及查询优化方法，帮助数据开发人员选择合适的工具。ClickHouse 由 Yandex 开发，是一个高性能的列式存储数据库，采用 MPP（Massively Parallel Processing）架构，适用于大规模数据分析。，在 ClickHouse 的查询优化基础上增加了更完善的事务支持。，支持灵活的数据建模，适用于企业级数据仓库建设。
2025-03-10 10:16:42
1093
原创 数据湖架构与实时数仓实践：Hudi、Iceberg、Kafka + Flink + Spark
本篇文章介绍了数据湖架构实时数仓设计，并通过 Kafka + Flink + Spark 构建高效的数据湖方案。未来，数据湖将在存算分离数据湖仓一体化云原生大数据分析等方向持续优化，为企业提供更高效的实时分析能力。
2025-03-09 21:32:54
1317
原创 流处理实战：Flink 在实时数据处理中的应用（状态管理、Watermark、窗口计算）
下一篇计划是 《数据湖架构与实时数仓实践：Hudi、Iceberg、Kafka + Flink + Spark（数据湖融合 + 实战）》，如果你有什么建议，欢迎评论指出，一起探讨！SlidingEventTimeWindows.of(Time.seconds(15), Time.seconds(5))：窗口长度 15s，每 5s 触发一次。Flink 具备 有状态计算能力，可以在任务中 存储、更新、查询数据，避免频繁访问外部存储，提升计算效率。
2025-03-08 09:30:08
824
原创 大数据计算框架深入：Spark SQL、DataFrame、RDD 性能优化
本篇文章介绍了 Spark SQL、DataFrame 和 RDD 的优化方法，并结合实际案例进行解析。主要优化方向包括：Spark SQL：分区裁剪（Partitioning）、Broadcast Join、合并小文件。DataFrame：Predicate Pushdown、避免 UDF、利用 Pandas UDF。RDD：mapPartitions 优化、cache/persist 持久化、调整并行度。
2025-03-07 10:43:12
1078
原创 ETL 与数据治理：数据质量、血缘分析、数据标准化
(1) ETL 的概念Extract（提取）：从数据源获取数据（如数据库、API、日志等）。Transform（转换）：清洗、规范化数据，使其符合业务需求。Load（加载）：将转换后的数据存入目标存储（如数据仓库、数据湖）。示例：假设某电商平台需要分析用户购买行为，从 MySQL 订单表提取数据，将金额转换为统一货币（如美元），去除重复订单，并存入数据仓库，供 BI 分析使用。(2) ETL 的常见工具开源工具：Apache NiFi、Airflow、Flink、Spark（基于批处理或流处理）。
2025-03-06 21:41:42
1155
原创 数据建模方法论：范式建模、维度建模、Data Vault
选择合适的建模方法，不仅影响系统的性能，也决定了数据的扩展性和可维护性。Data Vault是一种面向未来、灵活的建模方法，适用于复杂的、大规模的数据仓库环境，尤其是在多数据源和历史数据管理上具有独特优势。Data Vault：适用于大数据平台，灵活且可扩展，能够处理多源数据和历史数据，但实现复杂，查询性能较低。维度建模：适用于数据仓库和BI平台，优化了查询性能和报表生成，易于理解和扩展，但会增加存储需求和数据冗余。实现复杂：由于涉及多个层次的设计和构建，初期的实现复杂，尤其是对团队的技能要求较高。
2025-03-06 15:38:38
571
原创 数据仓库架构设计：ODS、DWD、DWS、ADS 解析
DWD 层是数据仓库中承接 ODS 层的关键层次，负责对来自 ODS 层的数据进行清洗、转换、规范化等处理，形成更加结构化和高质量的详细数据。ADS 层是数据仓库的最后一个层次，它将来自 DWS 层和其他层的数据存储和组织成适合应用程序和具体业务场景的数据格式。例如，DWD 层可能存储了关于客户、产品、销售等多个维度的数据，支持根据这些维度进行详细分析，帮助企业更好地理解业务运营状况，为后续的业务优化提供数据支持。汇总数据：DWS 层的数据通常是经过聚合的，减少了数据的复杂度，便于高效查询。
2025-03-05 23:37:15
896
原创 批处理与流处理：从 MapReduce 到 Flink
随着流数据的快速增长，流处理将成为未来大数据处理的主流，尤其是在实时决策、实时分析和事件驱动系统等场景中，流处理的优势更加突出。事件时间和处理时间：Flink 支持事件时间（Event Time）和处理时间（Processing Time）两种时间模型，能够根据数据的实际时间进行流处理，而不仅仅依赖于系统时间。流处理指的是对实时数据流进行处理，一般在数据生成的同时就开始处理，并持续监控数据流的变化。批处理的特点是处理延迟高，处理的数据集是静态的，但可以通过大规模的并行计算来实现高效的数据处理。
2025-03-05 00:15:00
963
原创 数据采集与接入：Kafka、Flume、Flink CDC、Debezium（实时/离线数据获取方式）
Flink CDC（Change Data Capture）是 Flink 提供的一个增量数据采集解决方案，用于捕获数据库中的数据变化，并实时将这些变化数据推送到下游应用。Debezium 是一个开源的数据库变更捕获（CDC）工具，能够实时捕捉和推送数据库中的数据变化，支持 MySQL、PostgreSQL、MongoDB 等多种数据库。数据库之间的实时同步，数据库增量数据传输，数据湖的实时构建，企业级的数据迁移。数据库的增量同步，实时数据仓库的构建，数据库到数据湖或数据仓库的数据迁移。
2025-03-04 14:19:51
1353
原创 文件系统、关系型数据库、NoSQL 和数据湖
在选择数据存储方式时，应根据数据的特点、应用场景和扩展需求来决定。文件系统适用于简单的文件存储和非结构化数据。关系型数据库适合存储结构化数据，并且需要强一致性的场景。NoSQL适用于大规模数据、高并发读写和灵活的结构化/非结构化数据存储。数据湖适合存储和分析大规模、多样化的原始数据，尤其适用于大数据和机器学习应用。每种存储方式都有其独特的优缺点，合理选择和组合使用这些技术，能够有效支持现代大数据架构的需求。
2025-03-04 07:00:00
784
原创 大数据生态系统概览：从 Hadoop 到 Lakehouse
大数据生态经历了 Hadoop、Spark、流计算，到如今的 Lakehouse 时代，每次技术演进都在提升计算效率、优化存储方式，未来随着 AI 和大数据结合，数据智能将成为新的趋势。下一篇将探讨数据存储基础：文件系统、关系型数据库、NoSQL 和数据湖，介绍不同数据存储方式的适用场景。
2025-03-03 17:02:53
902
原创 什么是大数据？
大数据（Big Data）是指体量庞大、增长迅速、种类繁多的数据集合，它超出了传统数据库系统的存储、管理和处理能力。大数据不仅仅是数据量的增加，更重要的是如何高效地存储、处理和分析这些数据，以挖掘其中的价值。
2025-03-03 11:37:30
740
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人