- 博客(6)
- 收藏
- 关注
原创 Redis 性能问题分析:
在一些网络服务的系统中,Redis 的性能,可能是比 MySQL 等硬盘数据库的性能更重要的课题。比如微博,把热点微博、最新的用户关系都存储在 Redis 中,大量的查询击中 Redis,而不走 MySQL。 那么,针对 Redis 服务,我们能做哪些性能优化呢?或者说,应该避免哪些性能浪费呢? Redis 性能的基本面 在讨论优化之前,我们需要知道,Redis 服务本身就有一些特性,比如单线程运行。除非修改 Redis 的源代码,不然这些特性,就是我们思考性能优化的基本面。 那么,有哪些 Re
2021-11-07 14:48:34
676
原创 Kafka3.0版本来了,我们应该注意到什么:
Apache Kafka 是一个分布式开源流平台,被广泛应用于各大互联网公司。Kafka 设计之初被用于消息队列,自 2011 年由 LinkedIn 开源以来,Kafka 迅速从消息队列演变为成熟的事件流处理平台。 Kafka 具有四个核心 API,借助这些 API,Kafka 可以用于以下两大类应用: 建立实时流数据管道,可靠地进行数据传输,在系统或应用程序之间获取数据。 构建实时流媒体应用程序,以改变系统或应用程序之间的数据或对数据流做出反应。 近日,Apache .
2021-10-31 15:24:58
834
原创 Python高级实例引入:
为了 方便 爬取更多我们想爬取的网页,我们引入了一个python框架——Scrapy。 1.我们先来安装它——在终端python解释器安装路径下,输入指令:pip install scrapy 当安装成功后,我们来使用它,继续在本环境下,我们创建scrapy项目,输入指令: scrapy startproject 项目名称; 2. 执行完命令后,我们打开pycharm后,会看到如下的新建项目 简单认识后,我们继续来认识scrapy框架操作原理: 这些都是隐式操作,对我们正常操...
2021-10-08 15:07:55
172
原创 Python入门之最简单的实例:
首先我们初步使用python,在python环境准备好之后:我们打开pycharm,然后写下如下代码: 上图代码如下: import urllib.request # 下载网页 # url_page = 'http://www.baidu.com' # url代表的是下载的路径 filename文件的名字 # 在python中 可以变量的名字 也可以直接写值 # urllib.request.urlretrieve(url_page,'baidu.html') # 下载图片 # url.
2021-10-08 11:17:41
241
原创 Python安装及配置及使用(2021实测最新版):
打开Python官网,如上图,然后点击download,下载自己需要的系统的版本Python;如点击windows后,出现下图: 然后点击类似如图英文格式可下载使用: 然后等待下载,然后傻瓜式安装,由于不是旧版,所以不用配置环境变量了;然后在桌面上,按下control+r,输入cmd;在出现的窗口下,输入python;如果出现版本号,即是成功; 然后我们下载Python的开发工具: PyCharm 是由 JetBrains 打造的一款 Python IDE,支持 macOS、 W...
2021-09-18 17:38:27
5153
原创 Hadoop2.x与3.x的区别:
通用性) 1.精简Hadoop内核,包括剔除过期的API和实现,将默认组件实现替换成最高效的实现(比如将FileOutputCommitter缺省实现换为v2版本,废除hftp转由webhdfs替代,移除Hadoop子实现序列化库org.apache.hadoop.Records。 2.Classpath isolation:以防止不同版本jar包冲突,比如google Guava在混合使用Hadoop、HBase和Spark时,很容易产生冲突。 3.Shell脚本重构: Hadoop 3.0对Had
2021-09-18 17:01:12
1981
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人