
Python
iFence
微信公众号:大数据报文
展开
-
【已解决】pyecharts 对 pandas数据可视化图表不显示问题
前言最近B站百大up揭晓了,想用爬虫抓点数据对数据进行分析并进行可视化。Mac用matplotlib画图一直有中文乱码的问题,所以干脆用pyecharts了。但是感觉这个库也有“bug”。就是莫名其妙的就会出现控制台打印有数据。把数据原封不动的复制到相应的图表中也可以正常显示,但是把结果直接赋值给pyecharts就没有数据,打开html文件查看,发现数据为null。如下图,中文没有问题,但是到数字就变成null了。百思不得其解,我最开始甚至怀疑是不是存在异步问题(当然这是没有道理的,因为n原创 2021-01-16 11:03:15 · 2981 阅读 · 3 评论 -
【已解决】MacOS和Windows系统Matplotlib绘图中文乱码问题
Windows系统简单,进行如下设置即可import matplotlib.pyplot as pltplt.rcParams['font.sans-serif'] = ['SimHei']plt.rcParams['axes.unicode_minus'] = FalseMac系统使用上面的方式试过了不生效。所以设置了字体的路径。import matplotlib.pyplot as pltfrom matplotlib.font_manager import FontProp...原创 2021-01-12 22:20:40 · 272 阅读 · 0 评论 -
冰冰B站第一个视频的弹幕大家都说了啥?Python爬取冰冰弹幕并分析
前言王冰冰2020年12月31日在B站发布了第一个视频,一天时间里关注破百万。各位老色批们在冰冰第一个视频的弹幕里都说了啥?用爬虫采集到了冰冰第一个视频的全部弹幕,下面我们来分析一下。需要提前声明的是,截止写这篇文章时,冰冰视频显示有13.4w弹幕,但是B站通过接口暴露出的弹幕只有1000多条。(可以指定查询弹幕时间,但是基本每天暴露的数据都是相同的,如果全部采集再去重也还是1000条左右,故本文中仅仅采集了一天的弹幕进行分析)分析导入依赖import numpy as n原创 2021-01-06 15:45:12 · 919 阅读 · 1 评论 -
datalore初体验,暨datalore加载本地文件
前言主要做大数据相关开发,今天突然想用python实现一下K-means算法。但是公司电脑没有python环境,索性装了anaconda3.8。发现多了一个机器学习相关开发工具叫datalore。刚上手感觉是jupyter notebook的的升级版,用着还挺好用的。登录账号以后还可以共享自己的项目,有点github内味了。(当然还是有很大不同的)但是问题随之也来了,测试k-means算法需要用我本地的数据。datalore这东西比较新百度找了一圈没找到,自己研究了一下。上传文件这个web原创 2020-12-04 14:55:25 · 5566 阅读 · 1 评论 -
pandas.DataFrame的类SQL操作
前言pandas的DataFrame是类似于一张表的结构,但是并没有像数据库表那样的SQL操作。虽然如此,它依然可以使用python语言的风格实现SQL中的所有操作。文章较长,建议点击右侧目录定位到自己感兴趣的章节进行重点阅读。微信公众号:大数据报文where、limit、sort by和order by首先我们讲一些常用的最基本的SQL操作。,首先创建一个DataFrame。...原创 2019-12-22 22:09:41 · 1530 阅读 · 1 评论 -
pandas连接Mysql和Oracle数据库构建DataFrame
前言在科学计算中可以可以不需要使用传统的连接MySQL和Oracle的库。使连接更加方便。避免将大量的经历浪费到科学计算之外的工作上。下面将介绍两种常用的数据库的连接微信公众号:大数据报文连接MySQL# 首先要导入这个库,如果装过Anaconda会自带这个库from sqlalchemy import create_engine# 获取与mysql的连接,格式为:协议:/...原创 2019-12-22 22:02:10 · 370 阅读 · 0 评论 -
Python for-in循环与while循环效率比较
背景在一个群里与大家学习python,群里讨论起了for循环和while循环的效率问题。当时有点好奇,因为从接触编程以来就没有考虑过这个问题,所以自己亲自进行了测试,并找了一些网上的资料。但是本文主要还是娱乐向为主,可以了解但是不要纠结这个问题微信公众号:大数据报文在看这个问题之前,有两个前提希望大家明白前提在实际编程中,选择循环的第一点并不是他的性能,而是可读性。所以大家了解...原创 2019-05-12 08:27:53 · 9149 阅读 · 2 评论 -
Python 中 json库的使用
简介python的json库比较简单易用,而且解析效果很好。库中主要用四个方法,分为两组: dumps和dump。用于将json(python的字典类型)转化为json字符串 loads和load。是上面一组方法的逆过程,即将字符串转化为python的数据类型(字典) dump和load分别是dumps和loads的封装,更加易用,所以常用的是这两个方法。Json对象转...原创 2019-09-05 19:54:18 · 1088 阅读 · 0 评论