haveanybody的博客

快速学习polars的高级用法

快速了解使用polars

在python类中，有很多已经定义好、具有特殊功能的隐式方法（魔法函数），如常用的__init____call__等，这些方法可以帮助我们实现一些特殊的功能。python类中的隐式方法名都以__(双下划线)开头，__(双下划线)结尾，并且都是内置定义好的，注意和自定义的私有方法区分。

在ide中debug的时候打印pandas.DataFrame经常会遇到各种显示问题，可通过各种设置解决。

在任何语言中，if/else都是常见的编程语法，而且因为python中没有switch/case，所以if/else使用频率就会更高。但是当if/else判断分支比较多，而且业务逻辑比较复杂的时候，整体代码就会显得非常臃肿。例如，下面根据不同手机品牌添加对应不同处理逻辑的程序，如果有新的手机品牌，就要不断的写elif分支。对于这种情况有没有更加优雅的写法呢？

最近做数据处理的时候经常用到oracle，遇到挺多问题，其中一个就是如题，刷完数据也不报错，但是数据库就是没数据，排查半天，简直被坑惨。总结可以从下面几个方面排查问题：1 字段大小是否合适在数据库建表的时候，经常需要用到 varchar2 类型，因为 varchar2 类型的每个字符都是占两个字节，所以如果定义的时候是 varchar2(100)，那么就表示只能存储不超过50个字符的记录。to_sql在执行的时候对这种问题是不报错的，所以如果刚好你的数据里面有了一条大于定义范围的数据，一般就会存储数据失

最近面试的时候在一家某券商企业遇到了一些关于python的问题，作为一名数据挖掘人员，虽然经常使用python，但是对于一些所以然的问题发现思考还是不深，或者以前在学习的时候有研究过，但是在工作中因为很少使用，所以就淡忘了。欢迎各位在评论区提供优质答案。1. 已知一个无序数字列表，里面只有一个元素是频数为1，找出这个元素。看到这个问题以后，笔者的第一反应是首先word count，然后找出频率值为1的元素；第二反应是利用hash code思想快速把相同的元素映射到同一个分区中；第三反应是首先对列表排

python读取hdfs上的parquet文件在使用python做大数据和机器学习处理过程中，首先需要读取hdfs数据，对于常用格式数据一般比较容易读取，parquet略微特殊。从hdfs上使用python获取parquet格式数据的方法(当然也可以先把文件拉到本地再读取也可以)：1、安装anaconda环境。2、安装hdfs3。 conda install hdfs3...

前言之前在读hive数据的时候，经常使用读hdfs parquet文件的方法，虽然封装函数一样，调用起来也方便，但是总觉得不得劲，既然我需要的是hive数据，为何不直接读hive呢？刚好今天又遇到了这个问题，就花了两个小时，研究了不同的方法，mark一下，以便查阅。好了，进入正题，下面列出了两种方法，但大体上差不多，可根据需要选择。另外，还看到使用 impala 操作hive的方法，没有详细研...

       PIL和cv2是python中两个常用的图像处理库，PIL一般是anaconda自带的，cv2是opencv的python版本。base64在网络传输图片的时候经常用到。##PIL读取、保存图片方法from PIL import Imageimg = Image.open(img_path)img.save(img_path2)##cv2读取、保存图片方法impo...

最近在做一个数据分析的任务，需要用到一些可视化的分析工具。python中首选的可视化分析工具一般就是matplotlib和seaborn，搭配pandas可以绘制很多丰富的图形，但是总觉得和那些高大上的可视化大屏、前端页面差了点感觉，因此花了半天时间研究了一下pyecharts，因为我并不是从事前端开发工作，也没有任何js、html基础，因此都是比着官网demo照葫芦画瓢，然后再凭自己感觉调试，虽然还不能和那些高大上的页面比较，不过好像也有点那味了。O(∩_∩)O哈哈~Echarts是一个由百度开源的.

关于在使用anaconda/python过程中遇到的问题和解决方法。1、Could not install packages due to an EnvironmentError: [WinError 5] 拒绝访问在windows下使用pip升级包的时候，出现了这个错误。根据提示，使用--user或者是权限问题。测试权限不行，解决方法：pip install --user --upg...

python os库中os.stat返回文件的系统状态信息，调用方式 os.stat(path)。path既可以是文件路径，也可以是目录路径。st_mode 权限模式st_ino     节点号st_dev    节点驻留的设备st_nlink   节点链接数st_uid      所有者的用户idst_gid      所有者的组idst_size    文件大小（字节）st_...

       在上一篇博客中已经介绍了怎么安装jupyterhub和增加新用户，但是必须在linux终端手动添加新用户。接下来介绍怎么添加ldap统一认证，并自动创建新用户，且不需要再手动添加密码。1、安装jupyterhub-ldapauthenticatorpip install jupyterhub-ldapauthenticator2、配置jupyterhub_config.py...

anaconda自带了jupyter，平时调试代码还是很好用的，但是没有多用户，多用户使用和权限管理不方便。JupyterHub是一个多用户Hub，提供了多用户服务，先上官网地址，更多详情配置请看官方介绍。一、jupyter配置启动使用jupyterhub是不需要启动jupyter的，不过这里也顺便介绍一下。1、安装py环境anaconda。2、生成jupyter配置文件：jupy...

1、tarfiletarfile是压缩包处理库，包括gzip, bz2 and lzma ，官方地址在这里。tarfile.open打开一个压缩包文件，可指定读写模式以及压缩类型。2、var和dir函数dir():默认打印当前模块的所有属性，如果传一个对象参数则打印当前对象的属性vars():默认打印当前模块的所有属性和值，如果传一个对象参数则打印当前对象的属性和值vars可用来...

python-opencv，python版opencv库，官方地址点这里或者这里，看到一个中文教程。 

在开发过程中，服务器往往都是无网环境，pip、conda安装库命令无法直接使用，一般有三种处理方法。1、从别的地方拷贝py环境到目标机器，易操作。但是经常要拷贝整个环境，不方便。2、从pip上下载安装包，然后本地安装，对于只有一个依赖包的库很方便，如果有多个或多级依赖包，就很麻烦，只有安装完一个才知道下一个需要什么。3、搭建anaconda本地库，即本文方法。一、安装py环境p...

        jupyter是anaconda自带的web版python代码编辑器，用来调试很方便。在开发过程中可能由于每个项目用的库版本或者Python版本不同，需要创建虚拟环境，本文介绍怎样在Jupyter中配置虚拟环境。1、在主环境执行 conda install nb_conda。2、后台启动Jupyter      nohup jupyter notebook --ip=x....

在内网环境搭建开发环境，是经常遇到的一个问题。之前写过一篇搭建Anaconda本地私服的文章，比较适合多台机器资源共享的情况，好处是一次工作，多次使用。但也有只是临时安装某台机器的情况，本文介绍如何在离线情况下快速安装py库的两种方法。虽然是离线安装，但是也至少要有一台可以访问外网的机器，并且这台机器上也有和目标机器相同的python环境（虚拟环境也可）。一、pip这是大多数人最习惯用的方...