python--从hbase查询数据

echodouble

于 2018-07-06 11:30:58 发布

阅读量3.8k

点赞数

分类专栏： python 数据处理

本文链接：https://blog.youkuaiyun.com/echodouble/article/details/80938524

版权

数据处理同时被 2 个专栏收录

13 篇文章

订阅专栏

python

11 篇文章

订阅专栏

本文介绍了一种从HBase数据库中根据指定设备ID及时间范围查询数据，并将查询结果导出为CSV文件的方法。使用Python语言实现，通过HBase API获取数据后，利用Pandas进行数据处理并保存为CSV格式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import pandas as pd
device_id = ***
start_time = time_utils.string_to_timestamp("2018-06-29_04-00-00") * 1000
end_time = time_utils.string_to_timestamp("2018-06-29_07-00-00") * 1000
hbase = hbase_utils.HbaseUtil()
row_start = hbase.get_row_key(device_id, start_time)
row_stop = hbase.get_row_key(device_id, end_time)
result = hbase.scan_table("数据表", row_start=row_start,
                          row_stop=row_stop, include_timestamp=False)

result_ = []
for i in result:
    result_.append(i)

cols = ["cf:DeviceId", "cf:DataTime"]
# 取出十分钟数据中最后300条数据
# print result
pd_clos = ["DeviceId", "DataTime"]
all_data = np.array([[int(row[1][col]) for col in cols] for row in result_])
all_data = pd.DataFrame(all_data, columns=pd_clos)

data_time = []
for i in all_data["DataTime"].values:
    data_time.append(time_utils.timestamp_to_string(i /1000))
all_data["DataTime"] = data_time
all_data = pd.DataFrame(all_data)
all_data.to_csv('D:// '+ str(device_id) + '.csv')