- 博客(5)
- 收藏
- 关注
RSS订阅原创 数据分析学习（第二篇）
一、数据分析流程Python是数据分析利器，掌握了Python的编程基础后，就可以逐渐进入数据分析的奇妙世界。笔者认为一个完整的数据分析项目大致可分为以下五个流程：1. 数据获取一般有数据分析师岗位需求的公司都会有自己的数据库，数据分析师可以通过SQL查询语句来获取数据库中想要数据。Python已经具有连接sql server、mysql、orcale等主流数据库的接口包，比如pymssql、pymysql、cx_Oracle等。而获取外部数据主要有两种获取方式，一种是获取国内一些网站上
2022-05-13 21:12:33
796
原创 benchmark学习笔记（第三篇）
目录一、基准测试的方法1.避免一些常见错误2. 设计和规划基准测试3. 获取系统性能和状态4．获得准确的测试结果5. 运行基准测试并分析结果6. 绘图的重要性二、 基准测试工具1. 集成测试工具2. 单组件式测试工具三、benchmark的使用1.sysbench使用举例（1）准备数据（2）执行测试（3）清理数据2、测试结果一、基准测试的方法1.避免一些常见错误只使用部分数据。例如应用需要处理几百GB的数据，但测试只使用1G
2022-05-13 01:03:28
2700
原创 benchmark学习笔记（第二篇）
目录一、进行基准测试的目的（以对MYSQL进行基准测试为例）二、基准测试的策略1. 集成式（full-stack）：对整个系统进行基准测试2. 单组件式（single-component）：单独（对MySQL）进行基准测试三、测试指标1.吞吐量2.响应时间3.并发性4.可扩展性一、进行基准测试的目的（以对MYSQL进行基准测试为例）对MYSQL进行基准测试呢，主要是为了达到以下的目的。（1）建立MYSQL服务器的性能基准线。这主要是为了测试MYSQ
2022-05-12 22:30:00
468
原创 数据分析学习笔记
目录一、什么是数据分析二、数据分析的目的三、数据分析的作用四、为什么利用Python进行数据分析五、数据分析过程概述六、常用库简介七、数据分析师常用的数据分析方法有哪些？（一）数据分析方法论（二）数据分析的七个方法一、什么是数据分析数据分析指用适当的统计、分析方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。二、数据分
2022-05-10 16:24:30
654
原创 Benchmark学习笔记
一、Benchmark简介Benchmark是一个评价方式，在整个计算机领域有着长期的应用，其中应用最成功的就是性能测试，主要测试负载的执行时间、传输速度、吞吐量、资源占用率等。二、Benchmark的组成Benchmark的核心由3部分组成：数据集、 工作负载、度量指标。1、数据集数据类型分为结构化数据、半结构化数据和非结构化数据。由于大数据环境下的数据类型复杂，负载多样，所以大数据Benchmark需要生成3种类型的数据和对应负载。1）结构化数据：传统的关系数据模型，可用二维表结构表示。典型场景
2022-05-10 15:23:57
693
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人