2021-07-14 .NET高级班 109-爬虫专题(京东商城)

于 2021-07-14 08:46:20 发布
阅读量4.4w 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： VIP-.NET高级班
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zhaoxi2020/article/details/118719247
本文主要介绍了在.NET高级课程中关于京东商城的爬虫专题，涵盖了如何封装http请求类和日志类，以及具体实现商品分类和详情的爬取操作。示例代码展示了实际的使用方法。

在这里插入图片描述

一：首先封装http请求类和日志类

public class HttpHelper
{
   
   
    private static Logger logger = new Logger(typeof(HttpHelper)
了解本专栏 订阅专栏 解锁全文 超级会员免费看
博客
【朝夕教育】《鸿蒙原生应用开发从零基础到多实战》005-TypeScript 中的枚举
03-02 8420
在现代编程中，枚举是一种非常实用的类型，它可以帮助我们管理和组织一组相关的常量，使代码更加清晰和易于维护。TypeScript作为一种静态类型语言，提供了对枚举的强大支持，使得开发者能够更有效地定义和使用常量集合。在鸿蒙原生应用开发中，掌握TypeScript中的枚举，不仅可以提升代码的可读性，还能减少出错的可能性。本篇文章将深入探讨TypeScript中的枚举类型，包括数字枚举、字符串枚举以及异构枚举的使用方法。
博客
【朝夕教育】《鸿蒙原生应用开发从零基础到多实战》004-TypeScript 中的泛型
02-28 8083
在现代开发中，泛型是一种重要的编程概念，能够极大地提升代码的灵活性和可重用性。TypeScript作为一种强大的编程语言，提供了对泛型的良好支持，让开发者能够以更安全和高效的方式处理各种数据类型。在鸿蒙原生应用开发中，掌握TypeScript中的泛型，不仅能优化代码结构，还能提升应用的性能和可维护性。在本篇文章中，我们将详细介绍TypeScript中的泛型，包括泛型函数、泛型接口和泛型类等核心概念。
博客
【朝夕教育】《鸿蒙原生应用开发从零基础到多实战》003-TypeScript 中的类
02-27 7812
在当今的应用开发中，TypeScript凭借其静态类型和面向对象编程的特性，成为了越来越多开发者的首选语言。而在鸿蒙原生应用开发中，掌握TypeScript中的类的使用，不仅能提升我们的开发效率，还能帮助我们构建更加稳健和可维护的应用程序。本文将重点介绍TypeScript中的类的基本概念和高级特性，从类的定义、构造函数，到继承、多态等内容，逐步带领你深入理解面向对象编程的思想。通过实际案例，我们将展示如何在鸿蒙原生应用中灵活运用类，提高代码的复用性和可读性。
博客
【朝夕教育】《鸿蒙原生应用开发从零基础到多实战》002-TypeScript 类型系统详解
02-22 7054
变量名: 类型 = 值类型示例说明布尔类型仅接受truefalse数值类型支持整数、浮点数、二进制等字符串类型支持单引号、双引号、模板字符串模板字符串使用反引号拼接变量nullundefined需显式声明类型//布尔类型//数值类型//字符串类型${//布尔类型 let num : number = 15;//数值类型 let str : string = 'abc';//字符串类型 let str2 : string = ` hello, ${ str } `;${
博客
【朝夕教育】《鸿蒙原生应用开发从零基础到多实战》001-TypeScript概述‌
02-22 5802
随着前端开发的迅猛发展，JavaScript已成为构建现代网页和应用的核心语言。然而，随着项目规模的扩大和复杂性的增加，开发者们逐渐意识到，JavaScript在类型安全性和工具支持方面的不足可能会导致潜在的错误和维护困难。在这样的背景下，TypeScript应运而生，作为JavaScript的超集，为开发者提供了静态类型检查和更强大的开发体验。本文将对TypeScript进行全面概述，探讨其基本概念、主要特性以及在开发中的应用价值。
博客
【朝夕教育】2023年11月 .NET CORE工具案例-DeveloperSharp(Web服务负载均衡)
11-06 1万+
Web服务负载均衡是一种将Web服务请求分发到多个服务器上的技术，以提高系统的可靠性、可用性和性能。具体来说，它会将用户的请求分发到不同的服务器上，每个服务器只处理一部分请求，从而减轻单一服务器的负担，避免单点故障，并提高系统的响应速度和吞吐量。Web服务负载均衡可以实现多种算法，如轮询、加权轮询、随机、最少连接等。其中，轮询算法是最简单的一种，它将请求依次分发给每个服务器，直至所有服务器都获得请求。加权轮询算法则是在轮询的基础上，为每个服务器设置不同的权重，以更加合理地分配请求。
博客
【朝夕教育】2023年11月 .NET CORE工具案例-DeveloperSharp(RabbitMQ消息队列)
11-04 632
消息队列是一种应用程序间异步通信的方式。它通过一个存放消息的队列来解耦发送者和接收者的关系。发送者将消息直接发送到队列中，而接收者则从队列中取出消息进行处理。消息队列可以用于解决高并发、异步处理、流量削峰等问题。RabbitMQ是一款开源的消息队列软件，它实现了AMQP（高级消息队列协议）标准，被广泛应用于分布式系统中。RabbitMQ可以通过安装在不同的机器上并通过网络连接来连接不同的应用程序，实现应用程序间的消息传递。
博客
【朝夕教育】2023年11月 .NET CORE工具案例-DeveloperSharp(Redis缓存)
11-02 441
Redis是一个高性能的开源键值对存储系统，可以用作数据库、缓存、消息中间件等多种用途。Redis支持多种数据结构，包括字符串、哈希表、列表、集合和有序集合，可以对这些数据结构进行快速的读写操作。Redis还提供了一些高级特性，如事务、发布/订阅、Lua脚本等。Redis的作用和应用场景包括：缓存：Redis可以作为缓存来加速读取频繁的数据，在访问数据库之前将数据存储在Redis中，从而加快数据的响应速度。
博客
【朝夕教育】2023年11月 .NET CORE工具案例-DeveloperSharp(http请求)
11-01 378
HTTP请求是一个客户端向服务器发送请求的过程，用于获取或提交网络资源。它是基于TCP/IP协议完成的，包含了请求行、请求头、请求体等内容。HTTP请求通常由客户端发起，服务器对请求进行响应。在HTTP请求中，请求行描述了请求的类型、URL、版本等信息；请求头包含了一些请求的元数据，如Host、User-Agent等；请求体则是提交给服务器的数据。常见的HTTP请求类型包括GET、POST、PUT、DELETE等。常见的HTTP请求头包括Content-Type、Accept、Authorization等。
博客
【朝夕教育】2023年10月 .NET CORE工具案例-DeveloperSharp(图片的裁剪、缩放、与加水印)
10-30 481
PIL：Python Imaging Library，Python 中处理图片的标准库，提供了丰富的图片处理功能。OpenCV：一个流行的开源计算机视觉库，支持各种图像处理和计算机视觉任务。ImageMagick：一款功能强大的图像处理工具，可用于从命令行处理图片，支持各种常见的格式，包括JPEG、PNG和GIF等。GraphicsMagick：一个类似于ImageMagick的图像处理工具，具有更高的性能和更低的内存使用量。
博客
【朝夕教育】2023年10月 .NET CORE工具案例-DeveloperSharp(分布式唯一Id)
10-29 466
分布式唯一ID（Distributed Unique ID，简称DUID）是指在分布式系统中，为了避免ID冲突而使用的一种ID生成方式。在分布式系统中，多个节点同时生成ID，如果采用单机自增序列的方式，容易造成ID重复的问题。为了解决这个问题，产生了DUID的概念。常见的DUID生成方式有：UUID：通用唯一识别码，是一种由网络软件使用的标准，用于标识信息的唯一性。UUID是根据时间戳、硬件设备等多个因素生成的，因此非常难以重复。
博客
【朝夕教育】2023年10月 .NET CORE工具案例-DeveloperSharp(数据库读写分离)
10-25 466
数据库读写分离是指将数据库的读操作和写操作分别放置到不同的服务器上进行处理。读操作通常比较频繁，而且不需要对数据进行修改，因此可以通过增加读服务器的数量来提高系统的读取性能。而写操作相对较少，但是需要对数据进行修改，因此只需要在主服务器上进行处理即可。数据库读写分离的主要优点有：提高读取性能：通过增加读取服务器的数量，可以提高系统的读取性能，从而更好地满足用户的需求。减轻主服务器负担：将读操作放置到从服务器上进行处理，可以减轻主服务器的负担，从而提高系统的稳定性和可靠性。
博客
【朝夕教育】2023年10月 .NET CORE工具案例-DeveloperSharp(数据库负载均衡)
10-25 353
数据库负载均衡指的是将数据库的请求分配到多个数据库服务器上，并通过一系列算法和策略来确保各个服务器的负载相对平衡。这样可以有效避免单个数据库服务器的过载，提高数据库的整体稳定性和性能。负载均衡器通常会监控服务器的负载情况以及数据库响应时间，根据不同的负载情况来动态调整请求的分配策略。常见的负载均衡算法包括轮询、随机、最少连接等。本文主要介绍DeveloperSharp的使用，DeveloperSharp是一个研发中大型项目必备的系统平台，也是一个低代码平台。
博客
【朝夕教育】2023年10月 .NET CORE工具案例-DeveloperSharp(高效分页)
10-21 362
数据库分页是指将大量数据按照一定的规则分成若干页，每页只显示固定数量的数据，以方便用户浏览和管理数据。常见的规则是按照数据的主键或排序字段进行分页，通过控制每页的数据量和当前显示的页码，用户可以在整个数据集中浏览到所需的数据。数据库分页通常用于网站、移动应用程序等数据密集型应用中，以提高用户体验和系统性能。数据库分页的瓶颈主要有以下几个方面：数据库查询性能：分页操作需要进行 LIMIT 和 OFFSET 的查询操作，当数据量较大时，查询效率会显著降低，因此需要优化查询语句或使用索引提高查询效率。
博客
【朝夕教育】2023年10月 .NET CORE工具案例-DeveloperSharp(数据库访问技术)
10-20 2万+
数据库访问技术是指访问和操作数据库的方法和技术。数据库访问技术主要有以下几种：SQL：SQL（Structured Query Language）是一种专门用于管理关系型数据库的语言，它可以用来进行数据的增删改查，以及对数据库表、视图等进行创建、修改和删除等操作。JDBC：JDBC（Java Database Connectivity）是一种用于在Java应用程序中访问数据库的API。它提供了一系列的接口和类，可以通过Java代码连接和操作各种数据库。
博客
【朝夕教育】2023年10月 WPF+上位机+工业互联 099-智能停车场项目专题（登录功能实现）
10-10 640
智能停车场是一种利用先进的技术和管理手段，实现停车场智能化管理、车位智能导航、停车费用自动结算以及车辆监控等功能的停车场。该项目主要是为了解决城市停车难、车位紧张等问题，并提高停车场的利用效率和管理水平，从而方便市民的停车需求，缓解城市交通拥堵，优化城市交通环境。智能停车场项目的意义主要表现在：缓解城市停车难、车位紧张的问题，方便市民的停车需求；提高停车场的管理水平和利用效率，实现自动化管理和车位智能导航，减少人工管理和停车时间；减少城市交通拥堵，优化城市交通环境，提高城市的交通运行效率和安全性；促进智能交
博客
【朝夕教育】2023年10月 WPF+上位机+工业互联 098-智能停车场项目专题（框架搭建）
10-09 658
智能停车场是一种利用先进的技术和管理手段，实现停车场智能化管理、车位智能导航、停车费用自动结算以及车辆监控等功能的停车场。该项目主要是为了解决城市停车难、车位紧张等问题，并提高停车场的利用效率和管理水平，从而方便市民的停车需求，缓解城市交通拥堵，优化城市交通环境。智能停车场项目的意义主要表现在：缓解城市停车难、车位紧张的问题，方便市民的停车需求；提高停车场的管理水平和利用效率，实现自动化管理和车位智能导航，减少人工管理和停车时间；减少城市交通拥堵，优化城市交通环境，提高城市的交通运行效率和安全性；
博客
【朝夕教育】2023年10月 WPF+上位机+工业互联 097-智能停车场项目专题（项目介绍）
10-08 536
智能停车场是一种利用先进的技术和管理手段，实现停车场智能化管理、车位智能导航、停车费用自动结算以及车辆监控等功能的停车场。该项目主要是为了解决城市停车难、车位紧张等问题，并提高停车场的利用效率和管理水平，从而方便市民的停车需求，缓解城市交通拥堵，优化城市交通环境。智能停车场项目的意义主要表现在：缓解城市停车难、车位紧张的问题，方便市民的停车需求；提高停车场的管理水平和利用效率，实现自动化管理和车位智能导航，减少人工管理和停车时间；减少城市交通拥堵，优化城市交通环境，提高城市的交通运行效率和安全性；
博客
【朝夕教育】2023年10月 WPF+上位机+工业互联 096-WebApi（minimalApi、AOP、鉴权）
10-07 546
Web API是一种使用HTTP协议，向外部客户端（如浏览器、移动应用、桌面应用等）提供服务的技术，是一种RESTful（Representational State Transfer）架构的Web服务。Web API使用基于标准HTTP的协议，如HTTP请求、HTTP响应、HTTP状态代码、HTTP头和HTTP方法等，来处理请求和返回响应数据。Web API通常用于构建具有动态内容的Web应用程序或Web服务，例如基于客户端-服务器架构的移动应用程序、Web端的单页应用程序和其他类型的Web服务等。
博客
【朝夕教育】2023年09月 WPF+上位机+工业互联 095-分布式服务（WebService、WCF、WebApi）
10-06 483
C# 中的分布式服务包括：.NET Remoting：使用 .NET Remoting，您可以以面向对象的方式通信，使应用程序的各个部分能够在本地或通过网络相互通信。Windows Communication Foundation (WCF)：WCF 是一个基于 SOAP 协议的分布式服务平台，可以用于创建分布式应用程序。ASP.NET Web API：它提供了一种将 Web 服务与现有 Web 应用程序和浏览器应用程序集成的方式，并可用于构建 RESTful Web 服务。Azure Service Fa
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值