- 博客(25)
- 收藏
- 关注
RSS订阅原创 pycharm如何自动导入第三方库或模块
pycharm如何自动导入第三方库或模块 1、打开pycharm 双击 打开pycharm，展示如下图片 2、开始导包 2.1 点击左上角：file —>> Settings —>> 2.2 然后找到：Project pythonProject —>> Project Interpreter —>> 点击右边的 ‘+’ 号进入到搜索 —>&...
2020-03-15 18:42:38
3094
原创 Python之常用模块&包
Python之常用模块&包 一、模块&包概念 1.1 模块的概念 在计算机程序的开发过程中，随着程序代码越写越多，在一个文件里代码就会越来越长，越来越不容易维护。 为了编写可维护的代码，我们把很多函数分组，分别放到不同的文件里，这样，每个文件包含的代码就相对较少，很多编程语言都采用这种组织代码的方式。在Python中 一个.py文件就称之为一个模块（Module）。...
2020-03-12 19:33:52
4008
2
原创 Python之装饰器
Python之装饰器 在python这个国家里，装饰器以及后面讲到的迭代器，生成器都是十二分重要的高级函数。 如果将装饰器比作取经路上的一个大boss，那么想干掉它必须拿到三件法宝。 装饰器是一个函数，是为了其他函数增加功能使用的。 法宝一：作用域 ''' L_E_G_B: 从内到外，B是python内置变量 L: a = 7 E: a = 5 ...
2020-03-11 19:15:25
440
原创 Python之函数
Python之函数 一、函数是什么？ 函数一次来源于数学，但编程中的「函数」概念，与数学中的函数是有很大不同的，具体区别，我们后面会讲，编程中的函数在英文中也有很多不同的叫法。在BASIC中叫做subroutine(子过程或子程序)，在Pascal中叫做procedure(过程)和function，在C中只有function，在Java里面叫做method。 函数能提高应用的模块性，和代码的重复利...
2020-02-29 09:44:59
349
原创 CPU、内存、磁盘、IO流查询
CPU、内存、磁盘、IO流查询 查看CPU信息 总核数 = 物理CPU个数 X 每颗物理CPU的核数 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数 查看物理CPU个数 cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l 查看每个物理CPU中core的个数(即核数) cat /proc/cpuinfo| g...
2020-02-06 09:55:24
233
原创 linux后台执行命令：&和nohup
linux后台执行命令：&和nohup 当我们在终端或控制台工作时，可能不希望由于运行一个作业而占住了屏幕，因为可能还有更重要的事情要做，比如阅读电子邮件。对于密集访问磁盘的进程，我们更希望它能够在每天的非负荷高峰时间段运行(例如凌晨)。为了使这些进程能够在后台运行，也就是说不在终端屏幕上运行，有几种选择方法可供使用。 & 当在前台运行某个作业时，终端被该作业占据；可以在命令后面加...
2020-02-06 09:54:55
295
原创 hive四种导入方式
hive四种导入方式 建表语句 create table test( name string, friends array, children map<string, int>, address struct<street:string, city:string> ) row format delimited fields terminated by ‘,’ collect...
2020-02-06 09:52:38
191
原创 sqoop数据迁移
sqoop数据迁移 查看所有的数据库 sqoop list-databases -connect jdbc:mysql://hadoop1:3306 -username root -password root 查看text库中所有表 sqoop list-tables -connect jdbc:mysql://hadoop1:3306/test -username root -password...
2020-02-06 09:51:43
161
原创 数据库基本操作
数据库基本操作 创建新表 CREATE TABLE usertbl(name VARCHAR(20), signupdate DATE); 插入数据 INSERT INTO usertbl(name, signupdate) VALUES('张三', '2013-12-22'); 选择记录 SELECT * FROM user_tbl; 更新数据 UPDATE user_tbl set na...
2020-02-06 09:49:03
191
原创 MongoDB、Redis、elasticSearch、hbase的对比
MongoDB、Redis、elasticSearch、hbase的对比 MongoDB 优点： 最大的特点是表结构灵活可变，字段类型可以随时修改。 插入数据时，不必考虑表结构的限制 不需要定义表结构这个特点给表结构的修改带来了极大的方便 缺点 给多表查询、复杂事务等高级操作带来了阻碍 适用场景 MongoDB很适合那些表结构经常改变，数据的逻辑结构没又没那么复杂不需要多表查询操作，数据量又比...
2020-02-06 09:48:22
468
原创 MySQL优化
MySQL优化 1、索引优化 索引本身就很大，索引往往以文件的形式存储在磁盘上 （1）性能下降的原因 1)查询语句写的烂 2)索引失效 3)关联查询太多的join 7种join 4)服务器调优设置(缓冲、线程等) （2）概念：索引就是帮助MySQL高效的获取数据的数据结构 （3）优势：降低数据库的IO成本，通过索引列数据排序，降低数据排序的成本，降低了CPU的消耗 （4）劣势：索...
2020-02-06 09:47:42
125
原创 linux设置开机启动
linux设置开机启动 1、新建一个批处理文件xxxx.sh，内容模板如下 cd 要启动的程序路径 ./程序名 2、修改批处理文件的权限 chmod 777 xxxx.sh 3、vim /etc/rc.local 增加启动项 /home/xxxx.sh >> /home/xxxx.out & 4、执行命令： ll /etc/rc3.d/ 正常情况，这里会有S99local...
2020-02-06 09:40:10
191
原创 hive 自定义UDF操作步骤
hive 自定义UDF操作步骤 需要自定义类，然后继承UDF 然后在方法envluate()方法里面实现具体的业务逻辑，打包上传到linux(以免出错打包成RunningJar) 创建临时函数： 1.add jar /udf/xxx.jar 2.Create temporary function mytest as ‘包名.类名’ 3.显示UDF函数 show functions like my...
2020-01-19 11:14:54
237
原创 oracle 12C 《服务器、客户端安装》
1、下载database和client database和client下载地址 http://www.oracle.com/technetwork/cn/database/enterprise-edition/downloads/index.html 2、两个解压到同一个目录 3、管理员身份安装服务端的database的setup.exe 4、服务器安装步骤（orcl和oracle均更...
2020-01-19 11:14:21
1499
原创 count(*) 和 count(1)和count(列名)区别
count(*) 和 count(1)和count(列名)区别 执行效果上： count(*)包括了所有的列，相当于行数，在统计结果的时候，不会忽略列值为NULL count(1)包括了忽略所有列，用1代表代码行，在统计结果的时候，不会忽略列值为NULL count(列名)只包括列名那一列，在统计结果的时候，会忽略列值为空（这里的空不是只空字符串或者0，而是表示null）的计数，即某个字段值为NU...
2020-01-19 11:13:29
150
原创 maven打包插件
maven打包插件 <build> <pluginManagement> <plugins> <!-- 编译scala的插件 --> <plugin> <groupId>net.alchim31.maven</groupId> <artifactId>scala-ma...
2020-01-19 11:13:09
196
原创 you-get安装及使用
you-get安装及使用 1、安装python 下载地址：https://www.python.org/downloads/ 配置环境变量：我的电脑 --> 属性 --> 高级系统设置 --> 环境变量 --> PATH --> 加入python的bin路径 2、安装ffmpeg -version https://ffmpeg.org/download.html 配置...
2020-01-19 11:12:25
488
原创 log4j.properties
#log4j.rootLogger=warn,a1 #lot4j.appender.a1.Target=System.out #log4j.appender.a1=org.apache.log4j.ConsoleAppender #log4j.appender.a1.layout=org.apache.log4j.PatternLayout #log4j.appender.a1.layout.Co...
2020-01-19 11:11:57
153
原创 BigDecimal的运算——加减乘除
BigDecimal的运算——加减乘除 1、初始化（尽量用字符串的形式初始化） BigDecimal num12 = new BigDecimal("0.005"); BigDecimal num22 = new BigDecimal("1000000"); BigDecimal num32 = new BigDecimal("-1000000"); 2、加法 add()...
2020-01-19 11:10:51
869
原创 ASCII（American Standard Code for Information Interchange，美国标准信息交换代码）
ASCII（American Standard Code for Information Interchange，美国标准信息交换代码） ASCII（American Standard Code for Information Interchange，美国标准信息交换代码）是基于拉丁字母的一套电脑编码系统，主要用于显示现代英语和其他西欧语言，其最多只能用 8 位来表示（一个字节），即：2**8 =...
2020-01-19 11:10:06
1718
原创 rowkey设计原则和方法
rowkey设计原则和方法 rowkey设计首先应当遵循三大原则： rowkey长度原则 rowkey是一个二进制码流，可以为任意字符串，最大长度为64kb，实际应用中一般为10-100bytes，它以byte[]形式保存，一般设定成定长。 一般越短越好，不要超过16个字节，注意原因如下： 1、目前操作系统都是64位系统，内存8字节对齐，控制在16字节，8字节的整数倍利用了操作系统的最佳特性。 2...
2020-01-19 11:09:23
315
原创 spark精华面试题
spark精华面试题 1、driver的功能是什么？ 1）一个Spark作业运行时包括一个Driver进程，也是作业的主进程，具有main函数，并且有SparkContext的实例，是程序的人口点； 2）功能：负责向集群申请资源，向master注册信息，负责了作业的调度，，负责作业的解析、生成Stage并调度Task到Executor上。包括DAGScheduler，TaskScheduler。 ...
2020-01-19 11:08:32
298
原创 python基础教程
Python基础教程 一、简介 1.1 python语言介绍 python的创始人：Guido Van Rossum Python下载地址：https://www.python.org/ Python文档下载地址：https://www.python.org/doc/ Pycharm下载地址：https://www.runoob.com/w3cnote/pycharm-windows-instal...
2020-01-19 11:06:26
2498
1
原创 ubuntu使用教程
ubuntu使用教程 一、 Ubuntu简介 Ubuntu（乌班图）是一个基于Debian的以桌面应用为主的Linux操作系统，据说其名称来自非洲南部祖鲁语或科萨语的“ubuntu”一词，意思是“人性”、“我的存在是因为大家的存在”，是非洲传统的一种价值观。 Ubuntu的目标在于为一般用户提供一个最新同时又相当稳定，主要以自由软件建构而成的操作系统。Ubuntu目前具有庞大的社区力量支持，用户可...
2020-01-19 11:05:15
4090
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人