- 博客(12)
- 收藏
- 关注
RSS订阅原创 python文件和数据格式化
文件的使用 文件的类型 文件的理解 文件是数据的抽象和集合 文件是存储在辅助存储器上的数据序列 文件是数据存储的一种形式 文件展现形态：文本文件和二进制文件 文本文件 vs 二进制文件 文本文件和二进制文件只是文件的展示方式 本质上，所有文件都是二进制形式存储 形式上，所有文件采用两种方式展示 文本文件 由单一特定编码组成的文件，如UTF-8编码 由于存在编码，也被看成是存储着的长字符串...
2019-01-22 21:01:14
2238
原创 python组合数据类型
集合类型及操作 集合类型的定义 集合类型的定义：集合是多个元素的无序组合 集合类型与数学中的集合概念一致 集合元素之间无序，每个元素唯一，不存在相同元素 集合元素不可更改，不能是可变数据类型 集合用大括号{}表示，元素间用逗号分隔 建立集合类型用{}或set() 建立空集合类型，必须使用set() >>> A = {"python",123,("python",123)} ...
2018-12-19 17:04:08
875
原创 PostgreSQL入门
下载安装 官网下载，这里下载Windows版，傻瓜式安装，安装时会设置一个超级用户postgres的密码，设一个好记的。 开始使用 打开程序PSQL就进入了pg的控制台 postgres=# 写SQL语句的好习惯：关键字使用大写，字段名等使用小写 因为postgres用户具有很高的权限，通常我们不会直接以这个身份登录，而是会另外创建一个新用户，比如创建一个和当前系统用户同名的数据库用户 po...
2018-12-05 14:21:34
304
转载 HDFS集群搭建
hadoop的配置文件官方路径：http://hadoop.apache.org/docs/r2.8.4/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml 前期准备 a．准备4台linux机器，并做好基础配置： b． IP地址； c． hostname（一律小写+数字）； d． 域名映射/etc/hosts； e． jdk； f． 关闭防火墙； ...
2018-10-26 23:34:43
252
原创 数据分析案例——IP归属地分析
根据用户上网数据，完成上网IP归属地分析统计，并进行相应排序。 简介 给定的access.log是电信运营商的用户上网数据，第一个字段是时间，第二个字段是ip地址，第三更字段是访问的网站，其他字段可以忽略不计。 ip.txt是ip地址和归属地的规则数据，里面的数据是根据ip地址的十进制从高到低排序。 第一个字段是网段的起始IP地址，第二个字段是网段的结束IP地址，第三个字段是网段的起始IP地址对...
2018-10-26 19:20:03
1810
3
原创 数据分析案例——流量统计
使用java处理日志文件，完成需求。 简介 http.log日志文件中，是电信运营商记录用户上网访问某些网站行为的日志记录数据，一条数据中有多个字段用空格或制表符分隔。 例如："18611132889 http://v.baidu.com/tv 20 5000"是一条上网行为，第一个字段代表手机号码，第二个字段代表请求网站的URL， 第三个字段代表请求发送的数据即上行流量（20字节），第四个字段...
2018-10-26 19:18:12
4245
2
原创 数据分析案例——51job爬虫
介绍一个java爬虫的案例，使用jsoup进行HTML解析，进而获得数据。 简介 爬虫为获取数据的一种方式，目前流行Python爬虫，Python具有许多支持爬虫的框架。本文中使用java做一个简单的爬虫。 需求 爬取51job网站的信息数据，爬取大数据相关岗位，主要爬取公司名称，职位名称，地区，薪资情况，发布日期。 工具jsoup jsoup 是一款Java 的HTML解析器，可直接解析某...
2018-10-26 19:15:37
2812
2
原创 解决eclipse中文注释宽窄不一
在使用eclipse编辑代码时，经常出现中文注释前边几个字变宽，而后边的字体很小的情况，看起来十分难受。通过下面的方法，终于解决了这个问题，强迫症患者的福音！ 打开 eclipse，windows -> Preferences -> Genneral -> Appearance -> Colors and Font 在右侧选中 “Text Font” 点击 “Edit” ...
2018-10-26 19:11:53
663
原创 Linux命令总结
文件夹操作 查看目录信息 ls / :查看根目录下的子节点（文件夹和文件）信息 ls al:-a是显示隐藏文件 -l是以更详细的列表形式显示 -h是以字节形式显示大小 ls -l 有一个别名：ll 路径的表示方法有两种 绝对路径：/xx/yy 相对路径：..:相对于当前目录的上级 .:当前目录 切换工作目录 cd /root:切换到root目录 cd ~:同上 cd:同上 cd -:回到上...
2018-10-26 17:21:35
337
原创 线程池工具类
package cn.edu360; import java.util.concurrent.ExecutorService; import java.util.concurrent.Executors; public class ThreadPoolUtils { // 整个应用程序只创建一个线程池 private static ExecutorService threadP...
2018-08-23 14:26:58
1292
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人