- 博客(4)
- 收藏
- 关注
原创 Hadoop
Hadoop开发是一个针对大规模数据集处理的开源分布式计算框架。以下是关于Hadoop开发的一些关键信息和概念:一、Hadoop概述Hadoop是一个开源的分布式计算框架,主要用于处理大规模数据集。它包含两个核心组件:Hadoop Distributed File System (HDFS) 用于存储数据,而 Hadoop MapReduce 用于处理数据。Hadoop是一个由Apache基金会所开发的开源分布式系统基础架构,用于处理大数据集。
2024-06-15 14:37:02
1850
原创 Python 网络爬虫
Scrapy是一个适用于Python的快速、高层次的屏幕抓取和web抓取框架,用于抓取web站点并从页面中提取结构化的数据。它是一个框架,任何人都可以根据需求方便的修改。2、防止乱码:如果URL中含有一些非ASCII字符,如中文等,由于不同编码之间的差异,可能会造成在浏览器端乱码的情况。解析网页数据是爬虫的一个重要步骤,主要是将获取到的HTML或JSON等格式的数据转换成程序能处理的数据结构,如列表、字典等。因此,在使用网络爬虫时需要注意遵循相关法律法规和道德规范,尊重网站和用户的权益,合理使用爬虫技术。
2023-12-27 14:49:06
2136
1
原创 Python 数据分析与可视化
Python数据分析是指使用Python编程语言进行数据挖掘和数据分析的过程。Python语言因其易学、易用、灵活、强大的数据处理能力和良好的可视化效果而被广泛用于数据分析领域。
2023-12-25 15:21:26
2104
原创 Java语言
在switch语句中,expression是要进行比较的表达式,可以是变量、常量或表达式的结果。当expression的值与某个case的值相匹配时,执行该case下的代码块。如果是,执行相应的代码块。需要注意的是,在每个case的末尾都有一个break语句,用于终止switch语句的执行。例子定义了一个名为add的方法,它接受两个整数参数a和b,并返回它们的和。它通常是一个公共方法,接受一个参数,并将该参数的值赋给相应的属性。抽象方法是没有实现体的方法,它们仅声明在抽象类中,并在派生类中被实现。
2023-12-24 16:38:11
767
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人