大数据-攻城狮

目的：让不同的项目使用不同的conda环境，方便管理，避免不必要的错误发生。1.创建conda虚拟环境conda create --name AMEnv python=3.82.进入我们刚创建的虚拟环境中conda activate AMEnv3.安装 ipykernelpip install ipykernel4.将我们创建的虚拟环境写入notebook的kernel环境中去python -m ipykernel install --user --name AMEnv

在做数据分析时，才读取了数据中几百万的数据就给我报错，提示内存错误。但想了想也不对，虽然我的电脑算不上高配，但也有16个G的内存，几百万的数据顶多不到3个G，怎么会提示内存错误呢？仔细查看原因，发现我使用的是python3虚拟环境开启的jupyter-notebook。猜测可能是这个原因，直接换成anaconda，并在anaconda中安装读取sql server的包pymssql，果真就成功了。...

前段时间有一个朋友说遇到一个数据分析的面试题，今天来和大家分享一下。题目是这样的：有一个姓名列表，列表中有很多名字，且有些名字是重复的，要求是找出出现次数最多的名字，以及出现的次数。上代码：from pandas import DataFrame, Seriesimport pandas as pdimport numpy as npname_list = ["张三", "李四", ...

函数：=IF(EXACT(B2,C2)=TRUE,"相同","不同")效果展示：完毕！

一、常用的数据概念集中趋势：数据聚拢位置的一种衡量均值：常用来分析连续值、分布比较均匀的值的趋势中位数：用来分析存在异常值的数据，例如某些值特别大或特别小众数：用来衡量离散值的集中趋势分为数：与其他几个值共同作用。含义：将数据从小到大排列，切分成等分的数据点。常用到的是四分位数四分位数的计算方法：Q1的位置 = (n+1)*0.25Q2的位置 = (n+1)*0.5Q3的位...

Github项目链接地址：https://github.com/Maxwellwk/DataAnalysisCase/tree/master/PrimaryCaseAAPL、GOOG、MSFT、AMZN、FB股票市场分析目的：分析每个公司的股价走势 比较亚马逊和谷歌以及微软和脸书的股价走势 通过分位数来对苹果的股价进行风险评估 彩蛋：分析唯品会的股价趋势import nump...

GitHub项目连接地址：https://github.com/Maxwellwk/DataAnalysisCase/tree/master/PrimaryCase美国航班的准点预测import numpy as npimport pandas as pdfrom pandas import Series, DataFrame# 航班数据的链接网址link = 'https://p...

前提：按照需求将处理好的DataFrame类型的数据保存在sql server数据库中，数据库需要提前建好，表可建可不建，运行代码后会自动创建，但还是建议自己建表，因为自动创建的表，表中的字段类型，可能并不是你想要的。使用时将代码中的连接信息改成自己的即可！# -*- coding: utf-8 -*-from pandas import DataFrame, Series# sql...

使用情景：在处理json类型的数据时，需要将最终的结果保存在sql数据库中，如果每条数据都连接一次数据库的话，入库效率太低，可以将同批次的数据整理成DataFrame类型后，再入库，效率成指数级增长。代码实现：# -*- coding: utf-8 -*-from pandas import DataFrame, Seriesses_list = []for i in ran...

github地址：https://github.com/Maxwellwk/DataAnalysisCaseShow/blob/master/primary_data_analysis/%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%E6%A1%88%E4%BE%8B.ipynb

问题描述：猫哥在抓取了一大批数据后（过百万）想通过navicate直接导出成excel表格，然而发现电脑和navicate都不给力，导出到一半就会卡死，关都关不掉。于是便想到了强大的pandas解决办法：利用pandas从mysql中将数据读出来，再将读出的数据写到excel表格中。代码实现：# coding=utf-8import pandas as pdfrom pa...

如何创建python3虚拟环境可以参考我的这篇文章https://blog.youkuaiyun.com/qq_26870933/article/details/81502484使用 source /虚拟环境路径/py3/bin/activate 进入python3虚拟环境pip install numpypip install pandaspip install setuptoolspi...