学习笔记3 hive数据分析（实例）

1. 目的：
   分析企业新闻舆情的正负面性与该公司是否有非法集资风险的关系。

2. 思路：
   将两张表连接成一张新表；根据“id:企业唯一标识、positive_negtive:新闻正负面性、public_date:发布日期、label”进行数据去重。

3. 操作：
   1.使用xftp将数据集远程传输到本地中。
   2.创建数据库

create database if not exists mytask;

3.选择操作某数据库

use mytask;

4.创建表

create external table test(id string ,positive_negtive string,public_date string) row format delimited fields terminated by '，';

5.导入数据

load data local inpath '/task/news_info.csv' into table test;

6.连接两张表
将数据集news_info和entprise_info 通过相同的企业ID合并成一张表，筛除没有关联的数据，并存储所需数据。

create external table test1(n_id string ,n_attitude string,n_label string) row format delimited fields terminated by '，';
```sql
insert into test1 select n1.id,n1.positive_ndgtive,n1.public_date,e1.label from news info n1,entprise info e1 where n1.id = e1.id;

7.数据查重
以“id:企业唯一标识、positive_negtive:新闻正负面性、public_date:发布日期、label”作为标准进行查重。
再建表保存去重的数据。

create external table test2(n_id string ,n_attitude string