
数据处理
文章平均质量分 68
ScratKong
劝君惜取少年时
展开
-
Python中用json.load() json.loads()加载json数据的方法
Json模块dumps、loads、dump、load函数介绍1、json.dumps() json.dumps()用于将dict类型的数据转成str,因为如果直接将dict类型的数据写入json文件中会发生报错,因此在将数据写入时需要用到该函数。 import json name_emb = {'a':'1111','b':'2222','c':'...转载 2018-08-25 10:41:34 · 44720 阅读 · 1 评论 -
Python内建模块之----base64
base64Base64是一种用64个字符来表示任意二进制数据的方法。用记事本打开exe、jpg、pdf这些文件时,我们都会看到一大堆乱码,因为二进制文件包含很多无法显示和打印的字符,所以,如果要让记事本这样的文本处理软件能处理二进制数据,就需要一个二进制到字符串的转换方法。Base64是一种最常见的二进制编码方法。 原理Base64的原理很简单,首先,准备一个包含64个字符的...转载 2018-08-25 10:53:22 · 165 阅读 · 0 评论 -
ETL讲解(很详细!!!)
ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据。ETL是BI项目重要的一个环节。 通常情况下,在BI项目中ETL会花掉整个项目至少1/3的时间,ETL设计的好坏直接关接到BI项目的成败。 ETL的设计分三部分:数据抽取、数据的清洗转换、数据的加载。在设计ETL的时候我们也是从...转载 2018-10-11 15:35:03 · 3300 阅读 · 2 评论 -
序列化:json,pickle,itsdangerous中的loads\dumps的对比分析
序列化 将原本的字典、列表等格式的内容转换成一个字符串的过程。程序间的数据传递需要一定的规范格式,序列化,反序列化做的就是这件事。将字典转换成一个字符串很简单,str(dic) 就可以办到,为什么还要又序列化模块呢? 的确,str(dic) 就可以完成字典到字符串的转换,但是怎样才能把字符串转换为字典还没解决,eval() 可以,将一个字符串类型的字典str...原创 2018-11-21 23:02:48 · 520 阅读 · 0 评论 -
冷数据、温数据、热数据,难道数据也是有温度的?
文|乡野山人左大瑞今天下午开会讨论一个业务方的需求,我去旁听,领导提了一句“热数据”,当时心里一脸蒙蔽,数据还能有温度? 一脸懵逼的网络图.jpeg临下班的时候,整理今天的会议笔记,看到了打着问号的热数据,于是决定查一查到底是什么。...转载 2019-01-23 22:46:45 · 13723 阅读 · 1 评论 -
Python加密之hashlib、hmac
Python中的用于加密的函数位于hashlib,hmac模块中,均为内置模块。import hashlib import hmachashlib模块实现了md5,sha1,sha224,sha256,sha384,sha512等算法,可以通过hashlib.algorithms_available查看>>> import hashlib>>> ...转载 2019-07-27 18:45:50 · 755 阅读 · 0 评论