- 博客(26)
- 收藏
- 关注
RSS订阅
原创 autopep8-pycharm自动规范化代码配置
1、PEP8？一种编码规范，如英语之于语法，尤为重要。不断进步发展，紧跟时代潮流 2、官方文档及翻译地址？官方文档：https://legacy.python.org/dev/peps/pep-0008/中文文档：https://blog.youkuaiyun.com/ratsniper/article/details/78954852#fn:7 3、懒人的PEP8神器—autopep8?autopep8是一...
2018-04-22 12:23:27
5574
5
转载 爬虫简介
关于本文档的PDF版请转至百度网盘链接PDF版本更清晰链接：https://pan.baidu.com/s/19_Nl_-ob_ecK-zYDjU4dVQ 密码：so58爬虫简介 目录 爬虫简介... 1 什么是爬虫？... 2 产生背景？... 2 关键技术概述？... 2 分类？... 2 通用网络爬虫。... 2 聚焦网络爬虫：... 2 增量式网络爬虫... 3 Deep Web爬虫......
2018-04-21 21:45:41
2405
转载 Python-PEP8中文规范链接
今天受到了大神的启发，明白了代码规范的重要性问题。大神强烈给我推荐PEP8规范写了三个月的python竟然不知道PEP8规范，因此差点作为笑话。看了几篇PEP8规范的博客，发现下面这个博客翻译文档翻译的最好，后附链接。点击打开链接https://blog.youkuaiyun.com/ratsniper/article/details/78954852#fn:7...
2018-04-20 21:23:04
479
原创 读书笔记——魔鬼经济学
读书笔记_2020.10.02.note※书名 BOOK TITLE魔鬼经济学基本信息 BASICS作者：史蒂芬*列维特 出版社： 阅读进度：阅读心得 LEARNINGS提问题更重要：为什么穷人可以买的起一个50美元的耳机？ 专家们——从犯罪学家到房地产经纪人到政治科学家——如何利用事实的 为什么知道衡量什么，以及如何衡量，是理解现代生活的关键。到底什么是魔鬼经济学？ 为什么要给自己找一个主题呢？根本不需要任何主题，只需要找出一个问题，然后解决它，这就...
2020-10-08 18:35:31
806
原创 2020-09-20
房地产思考提示：个人对房地产的一些思考文章目录系列文章目录 前言 一、pandas是什么？前言提示：每个人都需要住房子，那么房地产到底是什么，房地产的价值是由什么决定的，这成了一个思考的问题，当前有很多人对市场都有很多的思考，但是个人认为这些思考仍需要补充，所以把自己对房地产的思考放在网络上，希望可以对房地产思考这件事上添加一点自己的绵薄之力。一、房地产价值？房地产具有可投资性，具有市场流通性，具有市场可使用性，所以，房地产的价值是不是应该从这几方面来思考。..
2020-09-20 19:09:15
137
原创 求连续操作（登录）数量（次数）最大的记录（用户）
求登录时长### DATEDIFF(d,LoginTime,getdate()) as diffDate ,计算登录次数，登录时间为顺序来计算rownumber### ROW_NUMBER() over(partition by Name order by LoginTime desc) as rn合并起来select top 1 Name,diffRn,COUNT(diffRn)as LoginCount from( select Name,diffDat.
2020-07-07 00:57:39
630
原创 j设计模式-享元模式-共享内存资源-减少内存消耗
享元模式分为内部状态和外部状态，在设置外部状态的时候可以直接在方法中添加外部状态类。把对象内部不可变的信息（如类型）称为内部状态，把少量可变的信息（如位置）提取到对象外部，如客户端来决定可变信息，这种可变信息称为外部状态...
2020-07-04 22:37:04
145
原创 hadoop安装
Hadoop安装需要依赖java，因此需要先判定有没有java文件 1、java -version可以查看当前的java版本 如果有的话 2、将Hadoop文件解压在~/app/这个目录中，此目录为用户的app目录 然后进入app/hadoop目录中更改Hadoop的配置，更改Hadoop的依赖的java的环境变量 然后更改用户的环境变量，该环境变...
2018-11-09 13:53:09
116
转载 什么是ext2档案系统
Superblock进行磁盘分割的时候，每个磁盘分割槽就是一个档案系统而每个档案系统开始的位置block就称为superblocksuperblock的作用是存储像是档案系统的大小、空的和填满的区块以及他各自的总数和其它诸如此类的信息等档案系统inodeFilesystem, 每个档案不止有档案的内容数据，还包括档案的种种属性，例如:所属群组、拥有者、能否执行、时间、特殊属性等等。...
2018-11-09 13:52:39
166
原创 sqoop笔记
sqoop主要的作用是将hdfs中的数据库文件导入到mysql中，必须保证mysql中的变量名称和源数据库中的名称及类型必须一样配置sqoop下载压缩包，解压，可以的话可以配置环境变量，不常用的话不需要配置环境变量需要将jdbc驱动包加载到lib文件中。查看sqoop配置完成的命令sqoop help导入的时候需要注意用什么字符串来进行切分，通常的做法是使用'\t'，但是在sqo...
2018-11-09 13:51:16
154
原创 hbase下的JAVAAPI的使用逻辑
JAVA API操作命令1、创建table创建table 1、用连接工厂初始化一个connection 2、设置tableName; 3、创建htable 4、设置HColumnDescriptor,设置列族 5、将列族添加到HTable中。 6、结束资源 ...
2018-11-09 13:50:18
119
原创 hive_hbase整合
create external table t_exit_hbase_data(//存储列的信息key string,value string)stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties('hbase.columns.mapping'=':key,f1:name')t...
2018-11-09 13:49:32
239
原创 MapReducer的分区器的使用partition使用
Mapper Mapper的每次输入只执行一次 Reducer 只要key相同的,都会传入到values进行 Partiton分区器 默认的分区器采用的分区方式为计算hashcode的值，从而进行分区，默认的分区类HashPartitioner，该类继承了Partitioner这个分区类 该类需要实现的方法为int getPartition()，...
2018-11-09 13:48:57
206
原创 Hadoop运行mapre官方程序实例
1、运行grep案例，grep是官方提供的搜索文件中的单词的出现次数 根据正则表达式来进行搜索 1.1进入share目录下的hadoop/mapreduce目录环境，可以看到可以运行 官方实例的jar包，然后记住目录，返回到hadoop目录下执行该jar对应的命令 2、同理，可以使用的方式进行wordcount实例的启动。 ...
2018-11-09 13:48:35
501
原创 自定义对象的mysql输出
1、首先，自定义对象，该对象需要实现序列化功能才可以在网络上运行，实现序列化功能需要继承 java.io.Serializable 这个接口，这个接口定义了空方法，不需要实现任何功能，表示具有序列化功能的一个空接口不过需要定义一个序列号，例如如下: private static final long serialVersionUID = 1L; 然而，hadoop中关于序列化对象的...
2018-11-09 13:48:04
487
原创 MapReducer的分区器的使用partition使用
Mapper Mapper的每次输入只执行一次 Reducer 只要key相同的,都会传入到values进行 Partiton分区器 默认的分区器采用的分区方式为计算hashcode的值，从而进行分区，默认的分区类HashPartitioner，该类继承了Partitioner这个分区类 该类需要实现的方法为int getPartition()，...
2018-11-09 13:47:34
364
原创 MySql数据显示到echarts上面
环境搭建： maven: 中央仓库，可以从远程下载jar包 log4j用来打印日志的工具 c3p0连接池的中间件C3P0 commons-dbutils连接数据库的工具包 jQuery3.2.1.min.js 选择器 echarts.min.js用于展示的echarts包 Google的解析json的工具gson2.2.4 ...
2018-11-09 13:46:43
3527
原创 pip install MySQL-python安装失败。如何解决
pip install mysqlclientpython3 中还是不支持MySQL-python，因此可以试着安装mysqlclient来解决这个问题。
2018-05-09 15:20:49
8841
1
原创 活泼的python设计模式
# Python 设计模式标签（空格分隔）： python 设计模式项目地址：https://github.com/jieshenboy/jeckdesign---常见的设计模式及相关代码（16个设计模式）。#### 1、工厂方法#### 2、建造者模式#### 3、原型模式#### 4、适配器模式#### 5、修饰器模式#### 6、外观模式#### 7、享元模式#### 8、模型-视图-控制器...
2018-05-03 18:08:32
177
原创 阿里技术详解图册
阿里技术详解图册阿里技术算法篇链接：https://pan.baidu.com/s/1MYj-zulVFkTsMDK6jWexgw 密码：d2pn阿里技术研发篇链接：https://pan.baidu.com/s/1OSaAesNzFS4HASrYWEV3Ew 密码：7phy...
2018-04-25 19:32:05
742
原创 Python前六行
#!/usr/bin/env python3# -*- coding: utf-8 -*-' a test module '__author__ = 'Who'第一行表示可以直接在Linux/Unix/Mac上运行第二行表示.py文件本身使用标准UTF-8编码；第四行表示模块的文档注释第六行可以使用__author__把作者添加进去。...
2018-04-24 17:39:32
437
原创 python-reduce-神秘的第三参数
reduce竟然有第三个参数廖雪峰老师的reduce教程里面有三个参数的那个代码。from functools import reduceCHAR_TO_FLOAT = { '0': 0, '1': 1, '2': 2, '3': 3, '4': 4, '5': 5, '6': 6, '7': 7, '8': 8, ...
2018-04-23 21:30:58
958
原创 python中字符串修改报错-'str' object does not support item assignment
字符串是不可修改值，因此可以将字符串相加
2018-04-23 21:21:07
9411
原创 时间杀手—for循环—如何找出两个list中的相同元素
import numpyimport datetimea = numpy.random.randint( 5,1000,100000 )b = numpy.randomstartt1 = datetime.datetime.now()l11 = sorted(list(set(a)))l22 = sorted(list(set(b)))l3 = []x = 0for i in l1...
2018-04-23 16:20:36
1725
原创 R语言-模型协方差检验anova-模型拟合时没有用同样大小的数据集
笔者在使用R语言进行数据分析的时候，，遇到了这样的问题，同时对模型使用aic准则进行变量筛选的时候遇到了别的问题这就奇怪了，，，what f....???????????，，，模型建立的时候如果有缺失值的话，往往会出现别的问题，因此我查看数据是否有缺失值。因此该问题的出现时因为缺失值，我将缺失值删除以后一切都ojbk。。。。模型顺利的跑出来了，anova也顺利地对比了两个模型。。。。...
2018-04-21 20:42:16
3183
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人