技能篇目录：用python+sql提高工作效率

最新推荐文章于 2021-11-10 21:43:38 发布
原创 最新推荐文章于 2021-11-10 21:43:38 发布 · 809 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hive #python #shell

本文介绍了如何结合Python、Hive SQL和Shell来提高工作效率。涉及Python的数据操作包如pandas和scikit-learn，以及工具包argparse、subprocess和logging。在Hive SQL部分，涵盖了建表、查询、聚合和窗口函数等。同时讲解了Hadoop Shell的基本操作和参数传递。最后，通过实例展示了如何在Python中搭建与Hive的查询API，并实现push活动的定时投放系统，包括投放逻辑、AB测试组和效果分析。

熟练使用python和sql提高工作效率

python

  • 数据类操作包

  • pandas

  • numpy

  • scikit-learn

  • 工具类包

  • argparse

  • command、subprocess

  • logging

hive-sql

  • 建表、删除表(drop\delete)、插入等
最低0.47元/天 解锁文章
茁壮小草
关注
201806 数据处理 SQL、python、shell 哪家强...速度PK（上篇）
arielle512的博客
06-30 4265
最近在工作中，进行大量的数据处理，使用的是mysql5.7.22，发现当数据量级达到几十万之后，SQL执行速度明显变慢。尤其是当多个表join时，于是就尝试用python pandas进行数据处理，发现运行速度明显比SQL运行速度快。于是，决定比较一下千万数据量级之下，SQL、pandas、shell在数据处理上的优劣势。 配置：ubuntu系统64位，8G内存，intel i7处理器 软件环...
python处理百万级数据_百万数据在Excel、SQL与Python中的处理效率
weixin_39962199的博客
11-24 2195
摘要：村长今天主要想跟大家分享测试一下100万行的数据在Excel、SQL与Python中的处理效率有多大的差异，如下图所示：我们根据销售日期和客户名称两个维度统计2020年1月和2月的销售金额，看一下如何分别在Excel、SQL与Python中处理，且处理效率如何。1、Excel处理函数公式：=SUMPRODUCT((TEXT(数据!$A$2:$A$1000001,"YYYY-MM")=A2)*...
10个方法：用Python执行SQL、Excel常见任务
python学习者的博客
11-27 1万+
数据从业者有许多工具可用于分割数据。有些人使用 Excel，有些人使用SQL，有些人使用Python。对于某些任务，使用 Python 的优点是显而易见的。以更快的速度处理更大的数据集。使用基于 Python 构建的开源机器学习库。你可以轻松导入和导出不同格式的数据。 由于其多功能性，Python 可以成为任何数据分析师工具箱的重要组成部分。但是，这很难开始。大多数数据分析师可能熟悉 SQL 或...
python 登录虚拟机执行sql_10个方法：用Python执行SQL、Excel常见任务
weixin_36168780的博客
02-01 307
数据从业者有许多工具可用于分割数据。有些人使用 Excel，有些人使用SQL，有些人使用Python。对于某些任务，使用 Python 的优点是显而易见的。以更快的速度处理更大的数据集。使用基于 Python 构建的开源机器学习库。你可以轻松导入和导出不同格式的数据。由于其多功能性，Python 可以成为任何数据分析师工具箱的重要组成部分。但是，这很难开始。大多数数据分析师可能熟悉 SQ...
python执行sql语句慢很多_SQL：我为什么慢你心里没数吗？
weixin_39769627的博客
02-04 970
SQL 语句执行慢的原因是面试中经常会被问到的，对于服务端开发来说也是必须要关注的问题。在生产环境中，SQL 执行慢是很严重的事件。那么如何定位慢 SQL、慢的原因及如何防患于未然。接下来带着这些问题让我们开启本期之旅！- 思维导图-写操作作为后端开发，日常操作数据库最常用的是写操作和读操作。读操作我们下边会讲，这个分类里我们主要来看看写操作时为什么会导致 SQL 变慢。刷脏页脏页的定义是这样的...
该用Python还是SQL？4个案例教你节省时间
weixin_33963189的博客
03-24 231
在数据分析行业，对数据提出的每一个问题都可以用多种潜在的语言和工具包来回答。每种语言都有其优势，它们之间也存在着不同的区别。不能否认的是，有些操作用Python执行起来要比SQL更加高效。这篇文章分享了4个能够节省时间的案例，在这几个案例中，Python在探索和分析数据集方面远远优于SQL。描述性统计假设你正在探索新的数据集，可以使用许多不同的方法来统计描述这些数据，并得到总...
Python 执行sql条件查询语句速度很慢的解决方法
GodLordGee的博客
09-25 6542
问题描述 今天写程序碰到一个问题，程序刚开始运行的好好的，到了后面，数据库中的文件越来越多的时候，程序运行开始变慢，到了后来， 一条条件查询语句，竟然要用一分钟之久，要知道只有几万条数据（虽然数据内容很大） 解决方法 这个问题，困扰我好久，我之前一直在优化自己的程序，想要提高程序运行速度，可是却收效甚微，最终在同事的帮助下解决了问题。 解决问题的方法就是添加索引 给联合查询语...
拒绝SQL恐惧：用Python+pyqt打造任意Excel数据库查询系统
最新发布
09-08
这使得即使是不具备专业IT技能的业务人员也能够高效地进行数据分析和处理，极大地提升了工作效率。 系统的设计充分考虑了用户体验，界面清晰易懂，操作简单直观。系统还提供了帮助文档和使用教程，以便用户能够快速...
精选资源
python+SQLsever+tkinter学生宿舍管理系统
01-09
1. Python：作为后端开发语言，Python以其简洁明了的语法和丰富的库资源，使得开发效率大大提高。本系统利用Python的数据库操作库如pyodbc或pymssql，实现了与SQL Server数据库的交互。 2. SQL Server：作为关系型...
精选资源
计算机专业-毕业设计：基于Python+Django的博客系统的设计与实现.zip
09-09
Python是广泛应用于Web开发的动态编程语言，而Django则是一个强大的开源Web框架，它遵循模型-视图-控制器（MVC）架构模式，旨在简化开发过程并提高效率。 在描述中提到，这是一个适合工作项目、毕业设计或课程设计...
精选资源
Excel+Python+SQL+XLWINGS
06-13
这不仅简化了操作，也提高了工作效率。 XLWINGS库是Python操作Excel的重要工具，它的优势在于： 1. **低门槛**：XLWINGS几乎不需要VBA编程基础，大部分情况下只需在Excel中调用Python脚本即可。 2. **高性能**：它...
聊聊sql优化的15个小技巧
11-10 9531
前言 sql优化是一个大家都比较关注的热门话题，无论你在面试，还是工作中，都很有可能会遇到。 如果某天你负责的某个线上接口，出现了性能问题，需要做优化。那么你首先想到的很有可能是优化sql语句，因为它的改造成本相对于代码来说也要小得多。 那么，如何优化sql语句呢？ ​ 我的个人技术博客：https://susan.net.cn​​​​​​​ ​ 这篇文章从15个方面，分享了sql优化的一些小技巧，希望对你有所帮助。 最近无意间获得一份BAT大厂大佬写的刷题笔记，一下子打通了我的任督二脉，越来越觉得算法没
Oracle 存储过程详解（procedure）
鱼丸丶粗面
10-22 1万+
文章目录1 概述2 语法2.1 创建2.2 调用2.3 修改、删除3 Debug 1 概述 1. 存储过程是什么：事先经过编译并存储在数据库中的一套 sql 语句 2. 存储过程的优点 (1) 提高 sql 执行效率 ：'预编译' 后存储于内存中，故使用时，无需再次编译 (2) 减少 '网络流量(I/0)'：减少 sql 与服务器之间的上下文交换 (3) 提高系统的 '安全性' ：减少 sql 注入的危险、权限控制 3. 存储过程的缺点 (1) 增加数据库服务器的 '负荷'
IT审计管理平台—攻克企业审计工作难题
freebuf_kill的博客
09-07 548
IT审计管理平台，是一套自带知识库并支持企业内部IT审计工作的信息系统，将IT审计过程系统化，提升管理效率。 由于IT内部审计工作的专业性和复杂性，企业在开展内部审计的过程中都不同程度遇到了诸多问题，比如审计力量严重不足、审计任务重审计人员少、专业结构失衡、审计复合型人才紧缺、审计理念落后、业务水平偏低、审计成果的利用程度不高等等。 国家层面法律（如信息安全保护法）、监管层面要求（如银监会、保监会关于金融机构信息科技的风险管理指引）、权威机构的指导意见或实施细则（如信息系统等保评测）等等对IT审计合规方面
超实用干货|Python+SQL无敌组合，菜鸟必读！
热门推荐
allweak的博客
06-19 2万+
SQL是结构化查询语言Structured Query Language的简称，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统。 在正式讲解代码之前，先来科普一下数据库相关的知识。 数据库是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。数据库系统具有如下特点： ① 数据结构化 实现整体数据的结构化，这里所说的“整体”结...
一通骚操作，我把SQL执行效率提高了10000000倍！
weixin_33958366的博客
05-28 357
作者：风过无痕-唐场景我用的数据库是mysql5.6，下面简单的介绍下场景课程表：create table Course( c_id int PRIMARY KEY, name varchar(10) )复制代码数据100条学生表:create table Student( id int PRIMARY KEY, name varchar(10) )复制代码数据70000条学生成绩表S...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值