- 博客(172)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 基于SpringBoot和Vue的SQL TO API平台的设计与实现
在当今数字化飞速发展的时代，数据的价值愈发凸显，高效的数据交互与共享成为企业和组织提升竞争力的关键因素。传统的数据库操作方式，往往需要专业的数据库知识和复杂的 SQL 语句，这在一定程度上限制了数据的广泛应用和快速开发。为了打破这一壁垒，实现 SQL 数据与外部系统的便捷交互，基于 Spring Boot 和 Vue 构建的 SQL TO API 平台应运而生。Spring Boot 作为一款轻量级的 Java 开发框架，以其高效、便捷的特性，极大地简化了后端开发流程，提高了开发效率和代码的可维护性。
2025-03-28 16:58:40
845
原创 MongoDB（五） - Studio 3T 下载与安装教程
本文旨在全面且深入地为你介绍 Studio 3T。从其丰富的功能特性、跨平台使用的便捷性，到详细的下载安装步骤，以及关键的连接 MongoDB 操作，都将一一展开。无论你是初涉数据库领域的新手，渴望快速上手 MongoDB 管理工具；还是经验丰富的开发者或数据库管理员，寻求提升工作效率、优化数据库操作的方法，本文都将为你提供有价值的指引，助力你在使用 Studio 3T 管理 MongoDB 的道路上畅通无阻，充分挖掘数据的潜力，为项目的成功实施奠定坚实基础。
2025-03-23 15:56:48
846
原创 MongoDB（四） - 掌握 Python 操作 MongoDB，看这一篇就够了
在当今数据驱动的时代，数据库管理与操作对于开发者而言至关重要。MongoDB 作为一款广受欢迎的非关系型数据库，以其灵活的文档模型、卓越的可扩展性和出色的性能，在各类项目中得到广泛应用。Python 作为一种简洁高效、功能强大的编程语言，为操作 MongoDB 提供了便利且强大的工具集。
2025-03-22 23:01:43
1097
原创 MongoDB（三） - 掌握 Java 操作 MongoDB，看这一篇就够了
在现代软件开发中，数据库操作是至关重要的一环。MongoDB 作为一款流行的 NoSQL 数据库，以其灵活的数据模型、高扩展性和出色的性能，被广泛应用于各类项目中。本文将详细介绍如何在 Java 项目中使用 MongoDB，从项目创建、依赖导入，到数据库、集合、文档的各种操作，以及聚合查询等高级应用，帮助读者快速掌握在 Java 环境下操作 MongoDB 的技能。
2025-03-22 22:01:45
646
原创 用通俗易懂的语言讲算法
本文旨在打破这一知识壁垒，以通俗易懂的语言，结合生动形象的生活实例，详细阐述各类常用数据分析与挖掘方法。让每一位读者，无论是否具备深厚的数学基础，都能轻松理解这些方法的核心思想，并清晰知晓在实际场景中如何运用它们。
2025-03-12 00:41:26
835
原创 MongoDB（二） - MongoDB命令详解
本文是 MongoDB 的操作指南，全面介绍了其在数据库、集合、文档、索引、用户权限管理等方面的操作。开篇点明 MongoDB 在数据管理领域的重要性，随后详细阐述各项操作。数据库操作涵盖切换、创建、查看和删除数据库；集合操作包括创建、查看和删除集合；文档操作涉及插入、更新、删除和查询，查询又分为基本查询、条件查询、数组查询等多种方式，并介绍了聚合操作和 Map - Reduce 操作。索引操作讲解了索引类型、创建、查看和删除方法。用户权限管理介绍了内置角色和权限，以及用户的创建、查看、修改和删除操作。
2025-03-10 11:34:13
1146
原创 MongoDB（一） - MongoDB安装教程（Windows + Linux）
本教程旨在为读者提供详尽且易懂的Windows和Linux系统中单机MongoDB的安装指南，从下载安装包开始，逐步深入到环境变量配置、目录与文件创建、配置文件调整，再到最后的启动与客户端访问，每一个步骤都配有清晰的操作说明和直观的截图示例，确保无论是初涉数据库领域的新手，还是寻求快速部署方案的专业人士，都能轻松上手，顺利搭建起属于自己的MongoDB运行环境，为后续的数据存储、查询与分析工作奠定坚实基础。
2025-03-08 15:07:58
2133
1
原创 Python爬虫（四）- Selenium 安装与使用教程
本文旨在为读者提供一个全面且详细的指南，帮助你从零开始学习并掌握Selenium的基础知识及其高级功能。无论你是刚开始接触自动化测试的新手，还是希望深入理解Selenium工作机制的经验丰富的开发者，本书都将为你提供所需的知识和技术细节。我们将从Selenium的基本概念入手，逐步介绍如何安装配置环境，以及如何使用Selenium进行Web页面的基本操作，如启动浏览器、打开网页、元素查找与操作等。
2025-02-24 20:58:30
1615
原创 Python数据可视化 - Matplotlib教程
在数据分析和可视化的过程中，图形的呈现往往是理解数据的重要环节。Matplotlib作为Python中最流行的绘图库之一，提供了丰富的功能和灵活的接口，使得用户能够轻松创建各种类型的图表。无论是简单的线图、散点图，还是复杂的3D图形和小提琴图，Matplotlib都能满足不同的需求。本篇文章将详细介绍Matplotlib的基本使用，包括安装、核心模块Pyplot的功能、各种图形的绘制方法以及如何自定义图表的样式和属性。
2025-02-14 17:20:34
1160
原创 Python - NumPy基础使用教程
NumPy（Numerical Python）是Python中用于科学计算的核心库之一。它提供了高性能的多维数组对象和用于处理这些数组的工具。NumPy是许多其他科学计算库的基础，如Pandas、SciPy、Matplotlib等。本文从NumPy的基础知识开始，逐步深入，介绍了NumPy数组的创建、索引与切片、数学运算、广播机制、线性代数运算、随机数生成、文件操作以及性能优化等内容。希望通过本文的学习，你能够掌握NumPy的核心功能，并能够在实际项目中灵活运用。
2025-02-12 17:04:58
1405
原创 HiveQL命令（三）- Hive函数
在大数据处理和分析的过程中，数据的转换和处理是至关重要的环节。Apache Hive作为一种流行的数据仓库工具，提供了丰富的内置函数，帮助用户高效地处理和分析存储在Hadoop分布式文件系统（HDFS）中的数据。这些内置函数涵盖了数值计算、字符串处理、日期与时间操作、条件判断、聚合计算、集合处理、类型转换以及用户定义的表生成函数（UDTF）等多个方面。本篇文章将详细介绍Hive中的内置函数，包括它们的功能、用法和示例。通过对这些函数的深入理解，用户可以更灵活地进行数据查询和分析，提升数据处理的效率和准确性。
2025-02-09 22:10:49
1378
1
原创 HiveQL命令（二）- 数据表操作
在大数据时代，数据的存储与管理变得尤为重要。Apache Hive作为一种数据仓库工具，提供了一种方便的方式来处理和分析存储在Hadoop分布式文件系统（HDFS）中的大规模数据。通过Hive，用户可以使用类似SQL的查询语言（HiveQL）来执行数据操作，而无需深入了解底层的MapReduce编程模型。本篇文章将详细介绍Hive中数据表的操作，包括创建、查看、修改和删除表的基本语法和示例。我们还将探讨分区表和分桶表的概念及其在优化查询性能方面的重要性。此外，临时表的使用场景和创建方法也将被涵盖。
2025-02-09 18:37:58
1316
原创 1905电影网中国地区电影数据分析（二） - 数据分析与可视化
在数据科学的领域，数据分析和可视化是理解和解释数据的重要工具。通过对数据的深入分析，我们能够揭示潜在的趋势、模式和关系，从而为决策提供有力支持。本项目旨在对从1905电影网爬取的电影数据进行全面的数据分析与可视化，帮助我们更好地理解电影行业的动态和特征。本项目的分析分为几个主要部分：描述性分析、类别分布分析、模式识别分析、时间序列分析和相关性分析。我们将使用Python的Pandas库进行数据处理，并通过SQLAlchemy将分析结果存储到MySQL数据库中。
2025-01-25 14:12:22
931
原创 1905电影网中国地区电影数据分析（一） - 数据采集、清洗与存储
本项目旨在通过爬取1905电影网的电影数据，展示如何使用Python及相关库进行网页数据采集。本项目将详细介绍数据采集的步骤，包括所需的Python库版本、网页分析、数据提取和保存等环节。我们将使用requests库进行网络请求，利用BeautifulSoup进行HTML解析，并将最终的数据保存为CSV文件，便于后续分析和处理。
2025-01-22 21:19:13
2048
原创 Python数据处理（三）- Pandas 数据清洗
本书旨在为读者提供一个全面的指南，涵盖了使用 Pandas 进行数据清洗的各个步骤和方法。通过详细的解释和示例代码，读者将能够掌握如何检测和处理缺失值、识别和删除重复数据、处理异常值、进行数据格式转换，以及如何选择和过滤数据。这些技能将为后续的数据分析和建模打下坚实的基础。
2025-01-19 11:30:00
839
原创 Python数据处理（二）- Pandas 文件操作
在第一部分，我们将详细介绍 CSV 文件的操作，包括如何读取和写入 CSV 文件，以及如何处理缺失值和自定义分隔符。接着，我们将探讨 Excel 文件的处理，涵盖从读取到写入的各个方面，帮助读者掌握 Excel 文件的操作技巧。最后，我们将介绍 JSON 文件的读取和写入，展示如何在数据交换中有效使用这种轻量级的数据格式。
2025-01-17 20:05:37
964
原创 Python数据处理（一）- Pandas 安装与数据结构介绍
在当今数据驱动的世界中，有效地处理和分析数据已成为众多领域不可或缺的一部分。从科学研究到商业决策，数据分析能力为理解复杂现象、发现模式以及做出明智选择提供了坚实的基础。随着大数据时代的到来，对高效且易于使用的数据处理工具的需求日益增长。Pandas 应运而生，作为一个强大的开源数据处理与分析库，它专为 Python 编程语言设计，旨在简化结构化数据分析流程。
2025-01-15 17:27:08
1168
原创 Hadoop - MapReduce编程
在当今数据驱动的时代，大数据的概念已经深入人心。随着信繁多，包括结构化数据、半结构化数据和非结构化数据。如何有效地处理、分析和利用这些数据，成为了各行各业亟待解决的问题。MapReduce是一种编程模型和处理框架，旨在简化大规模数据集的处理。本篇文章将详细介绍如何创建一个简单的MapReduce项目息技术的快速发展，企业和组织面临着海量数据的挑战。这些数据不仅体量庞大，而且种类，并使用MapReduce编程模型实现一个基本的词频统计功能。
2025-01-10 18:14:51
1222
原创 HDFS编程 - 使用HDFS Java API进行文件操作
本文将详细介绍如何使用Java编程语言与HDFS进行交互。我们将通过创建一个简单的Maven项目，逐步演示HDFS的常用Java API，包括创建目录、上传和下载文件、查看文件内容、删除文件等操作。通过这些示例，读者将能够掌握基本的HDFS操作，并为后续的大数据处理打下坚实的基础。Hadoop分布式文件系统（HDFS）是Apache Hadoop的核心组件之一，设计用于存储大量的数据，并提供高吞吐量的数据访问。
2025-01-09 16:52:24
944
原创 Python爬虫 - 豆瓣图书数据爬取、处理与存储
在数字化时代，网络爬虫技术为我们提供了强大的数据获取能力，使得从各类网站提取信息变得更加高效和便捷。豆瓣读书作为一个广受欢迎的图书评价和推荐平台，汇聚了大量的书籍信息，包括书名、作者、出版社、评分等。这些信息不仅对读者选择图书有帮助，也为出版商和研究人员提供了宝贵的数据资源。本项目旨在通过 Python 爬虫技术，系统性地抓取豆瓣读书网站上的图书信息，并将其存储为结构化的数据格式，以便后续分析和研究。我们将使用 requests 和 BeautifulSoup 库进行网页请求和数据解析，利用 pandas
2025-01-04 23:26:32
2106
2
原创 Python爬虫 - 豆瓣电影排行榜数据爬取、处理与存储
在当今数据驱动的时代，信息的获取与分析变得尤为重要。电影作为一种广受欢迎的文化产品，其相关数据的挖掘与分析不仅能帮助观众更好地选择影片，还能为电影行业提供有价值的市场洞察。本文将详细介绍如何利用 Python 爬虫技术从豆瓣电影网站获取电影排行榜数据，并将其存储到 MySQL 数据库中，以便后续进行统计分析和探索性数据分析（EDA）。我们将首先分析爬取的需求，明确要获取的电影分类及其详细信息。
2024-12-30 22:55:30
1771
2
原创 Python爬虫（三）- BeautifulSoup 安装与使用教程
本篇文章将详细介绍BeautifulSoup的基本概念、安装步骤、解析器的比较，以及如何使用该库解析HTML文档。我们将通过实际示例演示如何使用BeautifulSoup获取标签、属性和内容，帮助读者快速上手并应用于实际项目中。是一个用于解析 HTML 和 XML 文档的 Python 库，它帮助你从网页中提取数据。这个库非常灵活，并且可以与多种不同的解析器一起工作，比如 Python 内置的lxml或者html5lib。pythonrequestsbs4soupsievelxml版本。
2024-12-29 23:01:41
2737
1
原创 Python爬虫（二）- Requests 高级使用教程
在现代网络应用中，HTTP 请求和响应的处理是至关重要的。Python 的 requests 库以其简洁易用的接口，成为了开发者进行网络请求的首选工具。无论是简单的 GET 请求，还是复杂的身份认证、会话管理、代理设置，requests 都能轻松应对。本文将深入探讨 requests 库的各个方面，包括 Session 对象的使用、请求与响应的处理、SSL 证书验证、流式上传和请求、代理配置、编码方式处理以及身份认证等。Session 对象允许跨多个请求保持某些参数不变。
2024-12-29 13:57:41
2227
原创 Python爬虫（一）- Requests 安装与基本使用教程
本篇文章将详细介绍 requests 库的基本用法，包括安装、发送请求、处理响应、传递参数等内容。通过这些内容，读者将能够掌握如何使用 requests 库进行高效的网络请求，从而为后续的项目开发打下坚实的基础。希望本文能帮助您更好地理解和应用 requests 库，提升您的 Python 编程技能。requests是一个用于发送HTTP请求的Python库，它简化了与Web服务交互的过程，使开发者能够轻松地构建和解析HTTP请求和响应。其简洁易用的API设计使得即使是初学者也能快速上手。python。
2024-12-28 20:53:10
2643
原创 hdfs命令（三）- hdfs 管理命令（三）- hdfs dfsadmin命令
本文档旨在详细介绍 hdfs dfsadmin 的主要功能及其使用方法，帮助读者更好地掌握如何利用这一工具来管理和优化HDFS集群。我们将按照不同的类别组织命令，并提供详细的语法说明和实际应用示例，以便于读者快速查找所需信息并应用于实践当中。是Hadoop分布式文件系统（HDFS）提供的一个管理工具，主要用于执行与HDFS集群管理和维护相关的各种操作。这些命令通常需要以HDFS超级用户的身份运行，因为它们涉及到对整个文件系统的控制和配置调整。
2024-12-27 22:40:09
1111
原创 hdfs命令（三）- hdfs 管理命令（二）- hdfs crypto命令
本文旨在详细介绍如何使用命令行工具来管理这些加密区域，包括创建、列出、启用垃圾回收、获取加密信息、重新加密以及监控重新加密状态等操作。命令是Hadoop分布式文件系统（HDFS）中用于管理和操作加密区域（Encryption Zones, EZs）的工具。它允许用户创建、列出和管理加密区域，以及处理与加密相关的其他任务。
2024-12-27 12:59:58
667
原创 hdfs命令（三）- hdfs 管理命令（一）- hdfs cacheadmin命令
本文介绍hdfs cacheadmin命令的使用方法及其各个子命令的具体功能，帮助读者理解如何高效地管理和配置HDFS缓存，从而根据实际需求定制缓存策略。命令提供了一系列子命令用于管理和配置HDFS缓存。
2024-12-27 12:57:24
1230
原创 hdfs命令（二）- hdfs --daemon命令
在大数据时代，Hadoop分布式文件系统（HDFS）作为核心组件之一，承担着存储和管理海量数据的重任。为了确保HDFS的高可用性和稳定性，系统中运行着多个守护进程（daemons），每个守护进程负责特定的功能和任务。这些守护进程包括NameNode、DataNode、Secondary NameNode、JournalNode等，它们共同协作，维护HDFS的正常运行。本文将探讨HDFS中的hdfs --daemon命令，介绍如何启动、停止和管理这些守护进程。
2024-12-22 16:51:59
1312
原创 hdfs命令（一）- hdfs dfs命令
Hadoop分布式文件系统（HDFS）是一种基于Java的，设计用于存储和处理大规模数据集的文件系统。由于其可靠性和高效的存储能力，HDFS在大数据处理领域中得到了广泛应用。掌握HDFS的常用命令可以使用户高效地管理和操作文件系统中的数据。本文将详细介绍HDFS的基本命令和其用法，包括如何创建目录、上传和下载文件、文件管理操作（如移动、重命名和删除）、权限与所有权管理等。通过示例讲解，读者将能够直观理解每个命令的作用及其应用场景，同时附上相关示例。
2024-12-22 11:30:00
1315
原创 Hadoop生态圈框架部署（十二）- FineBI个人试用版安装与配置
在当今数据驱动决策的时代，商业智能（BI）工具成为了企业理解和利用其数据资产的重要手段。FineBI是一款强大的自助式数据分析和可视化平台，它允许用户轻松地连接到各种数据源，进行复杂的数据分析，并以直观的图表和报表形式展示分析结果。这不仅提高了工作效率，还为决策者提供了更深入的数据洞察。本指南旨在帮助您顺利完成FineBI（Windows版本）的安装与基本配置，以便您可以尽快开始使用这款强大且灵活的BI工具来探索您的数据。
2024-12-16 10:33:07
1304
原创 Hadoop生态圈框架部署（十一）- Sqoop安装与配置
随着大数据技术的迅猛发展，数据在不同系统之间的迁移和整合成为了企业级应用中的常见需求。Hadoop作为处理大规模数据集的开源框架，提供了强大的分布式计算能力，而关系型数据库（如MySQL）则因其事务处理能力和结构化查询语言（SQL）的支持，在数据管理和分析中占据着不可替代的位置。然而，如何高效地在Hadoop与传统关系型数据库之间进行数据传输，成为了众多开发者和企业面临的挑战。Apache Sqoop正是为了解决这一问题而诞生的工具。
2024-12-15 22:12:23
1033
1
原创 HiveQL命令（一）- 数据库操作
本指南旨在提供一份全面而详细的 Hive 数据库操作手册，帮助读者深入理解并熟练运用 Hive 中的数据库管理命令。我们将从最基础的创建数据库开始，逐步介绍如何查看现有数据库及其信息、切换当前使用的数据库、修改数据库属性及位置，直到最后讲解如何删除不再需要的数据库。
2024-12-13 23:10:55
1324
原创 Hadoop生态圈框架部署 伪集群版（十）- DolphinScheduler伪分布式部署
在当今快速发展的大数据时代，数据处理和分析的需求日益增长。为了满足这些需求，各种各样的工具和技术应运而生，其中分布式任务调度系统扮演着至关重要的角色。Apache DolphinScheduler 是一款开源的分布式易扩展的工作流任务调度系统，它以可视化的方式管理和调度复杂的任务依赖关系，适用于多种业务场景下的定时任务编排。随着DolphinScheduler社区的不断壮大和发展，版本迭代也愈加频繁，功能愈发强大。
2024-12-10 23:03:21
1057
原创 Hadoop生态圈框架部署 伪集群版（九）- FineBI个人试用版安装与配置
在大数据分析和业务决策的过程中，数据可视化工具起到了至关重要的作用。FineBI作为一款功能强大的商业智能（BI）平台，提供了丰富的数据处理、分析和可视化功能，帮助企业从大量的数据中提取有价值的洞察。对于Linux用户来说，FineBI的安装和配置过程可能略显复杂，但只要按照正确的步骤进行操作，便可以顺利地搭建起适用于企业需求的数据决策平台。本文将详细介绍如何在Linux环境下安装并配置FineBI，涵盖从安装包的下载、系统环境的配置，到FineBI服务的启动与数据库连接等各个方面。
2024-12-09 11:24:58
1013
原创 Hadoop生态圈框架部署 伪集群版（八）- Sqoop安装与配置
随着大数据技术的迅猛发展，数据在不同系统之间的迁移和整合成为了企业级应用中的常见需求。Hadoop作为处理大规模数据集的开源框架，提供了强大的分布式计算能力，而关系型数据库（如MySQL）则因其事务处理能力和结构化查询语言（SQL）的支持，在数据管理和分析中占据着不可替代的位置。然而，如何高效地在Hadoop与传统关系型数据库之间进行数据传输，成为了众多开发者和企业面临的挑战。Apache Sqoop正是为了解决这一问题而诞生的工具。
2024-12-07 23:02:18
1056
原创 Hadoop生态圈框架部署 伪集群版（七）- Hive部署
随着大数据技术的不断发展，数据处理和分析的需求日益增长。Apache Hive作为基于Hadoop的一个数据仓库工具，能够极大地简化对大规模数据集的查询和管理过程。它允许用户使用类似于SQL的HiveQL语言查询数据，这使得那些熟悉关系型数据库管理系统（RDBMS）的开发者可以轻松地转移到大数据平台上来。本指南旨在为想要在Linux环境中手动部署和配置Apache Hive 3.1.3的读者提供一个详尽的操作步骤集合。我们将从下载安装包开始，一直到成功启动Hive服务，并确保其能够稳定运行。
2024-12-07 21:11:22
1971
2
原创 Hadoop生态圈框架部署（九-2）- Hive HA（高可用）部署
在大数据处理领域，Hive 是一个强大的数据仓库工具，能够提供数据的查询、分析和管理功能。它基于 Hadoop 构建，允许用户使用类似 SQL 的查询语言（HiveQL）来操作存储在 Hadoop 分布式文件系统（HDFS）中的数据。本文将详细介绍如何手动部署 Hive 3.1.3，包括从下载、安装到配置的每一个步骤。此外，我们还将探讨如何在多台虚拟机上实现 Hive 的高可用性（HA），确保在集群环境中能够稳定高效地运行 Hive 服务。
2024-12-06 22:15:12
1524
原创 Hadoop生态圈框架部署（十）- Flume部署
在大数据处理和分析的生态系统中，日志数据和其他形式的数据流收集是构建可靠数据管道的关键环节。Apache Flume作为一种高效、可靠的服务，专为收集、聚合和移动大量日志数据而设计，成为了众多企业和开发者进行数据采集的首选工具。它不仅能够满足实时数据流的传输需求，还支持灵活的数据源接入和多种输出方式，适用于从不同来源捕获数据并将其加载到Hadoop等系统中进行进一步分析。本文旨在为用户提供一份详细的Flume 1.9.0手动部署教程，涵盖从下载、上传、解压、配置到环境变量设置的每一个步骤。
2024-12-04 21:44:42
1424
原创 Hadoop生态圈框架部署 伪集群版（六）- MySQL安装配置
在本文中，我们将通过一系列步骤来安装和配置MySQL数据库服务器。MySQL是一个广泛使用的开源关系型数据库管理系统，支持多种操作系统平台。本指南将指导您如何在基于Linux的系统上（以CentOS 7为例）完成MySQL的安装与基础配置，并设置远程访问权限。
2024-12-03 17:12:04
927
原创 Hadoop生态圈框架部署 伪集群版（五）- HBase伪分布式部署
本文将详细介绍HBase的伪分布式部署过程，包括从下载和安装到配置和启动的每一个步骤。通过手动部署，读者将能够深入理解HBase的配置文件及其参数设置，从而为后续的集群管理和应用开发打下坚实的基础。
2024-12-03 13:00:47
1534
上海餐饮数据集+基于Python的上海餐饮数据可视化分析+聚类分析
2025-03-29
1905电影数据集（27534行）
2025-01-11
1905电影网中国地区电影数据集（27511行数据）
2025-01-11
豆瓣图书数据集+数据分析
2025-01-09
Spark-Streaming+HDFS实战
2023-12-16
Spark-Streaming+Kafka+mysql实战示例
2023-12-12
怎么把从一个接口获取到的数据处理保存为hive内部表数据
2023-11-26
TA创建的收藏夹 TA关注的收藏夹
TA关注的人