m0_75260099的博客

编写Java代码实现对MongoDB中日志数据的查询操作，可以包括基本的查询（如按时间范围查询、按商品名称查询）和复杂的查询（如多条件组合查询）。使用Java API连接到MongoDB数据库，确保连接过程正确，可以通过主机名、端口号等方式连接到MongoDB服务器。实现对日志数据的分类统计，例如统计某个时间段内的日志数量、按商品类别统计销售额等，确保统计结果准确。在MongoDB中创建一个新的数据库，然后在该数据库中创建一个用于存储电子商务日志数据的集合。1、连接MongoDB。1. 按时间范围查询。

2. Hadoop环境准备：安装并配置Hadoop环境，确保Hadoop的各个组件可以在伪分布式模式下运行。《大数据存储》，谭旭，人民邮电出版社，2022，ISBN 978-7-115-59414-3。4. 熟悉MongoDB的聚合框架和MapReduce工具，以及简单聚合命令的使用。1. 理解索引的概念及其在MongoDB中的重要性和作用。3. 掌握如何创建、删除索引以及如何强制使用索引。5. 查看查询计划并评估单字段索引效果。6. 查看查询计划并评估复合索引效果。2. 创建单字段索引。

输入命令mongod --dbpath /software/mongodb/data/db --logpath /tmp/mongodb.log –fork 启动MongoDB。查询name为Alice的文档：db.users.find({name:"Alice"})删除名为Bob的文档：db.users.remove({ name: "Bob" })1. 熟悉MongoDB的基本操作，包括CRUD（增加、读取、更新、删除）。2. 理解MongoDB的文档型数据库特性和Shell的使用。

按price降序排序：db.collection.find({ price: { $exists: true } }).sort({ price: -1 }).pretty()按age升序排序：db.collection.find({ age: { $exists: true } }).sort({ age: 1 }).pretty()查询“age”大于25的文档：db.collection.find({ age: { $gt: 25 } }).pretty()（2）根据特定条件查找文档。

2. Hadoop环境准备：安装并配置Hadoop环境，确保Hadoop的各个组件可以在伪分布式模式下运行。1. 在MongoDB官网下载需要的版本并将安装包上传到namenode的software目录中。《大数据存储》，谭旭，人民邮电出版社，2022，ISBN 978-7-115-59414-3。3. 使用MongoDB shell客户端连接MongoDB实例。2. 启动MongoDB服务，并确认服务已成功启动。再次输入mongo报错，证明MongoDB服务已关闭。10. 关闭MongoDB服务。

打开 Redis 的配置文件，作者的配置文件在/software/redis中，找到protected-mode yes，修改为protected-mode no，保存后重新启动Redis ：sudo systemctl restart redis。这里显示的是 root，说明 Redis 是以 root 用户权限启动的（不推荐在生产环境中以 root 用户运行服务，最好用一个专门的用户来运行）。2. 编写简单的Java程序，连接到本地Redis服务，并进行简单的读写操作，验证连接成功。

本实验旨在帮助学生熟悉Redis的安装、配置和基本使用，包括启动Redis服务、使用命令行客户端进行操作、配置Redis、进行多数据库操作以及掌握键值相关和服务器相关的命令。《大数据存储》，谭旭，人民邮电出版社，2022，ISBN 978-7-115-59414-3。进入 /software/redis 后，会自动生成一个文件 redis.conf。使用命令 cat /data/6379/redis.conf 查看文件内容。使用redis-server --daemonize yes进入。

（3）查询特定列的数据：get 'currency_transactions', '123456ABC#20241201', 'transaction:location'（1）创建表：create 'currency_transactions', 'info', 'transaction', 'meta'根据钞票交易数据的业务需求，设计合适的HBase表结构，考虑如何存储和检索钞票交易数据。使用基础的HBase查询语句，探索钞票交易数据的结构和特征，确保数据可以正确存储和访问。

虽然不会影响程序功能，但日志系统无法正常工作。编辑hive-site.xml文件，找到 javax.jdo.option.ConnectionURL 配置，添加 allowPublicKeyRetrieval=true 参数。2. Hadoop环境准备：安装并配置Hadoop环境，确保Hadoop的各个组件可以在伪分布式模式下运行。《大数据存储》，谭旭，人民邮电出版社，2022，ISBN 978-7-115-59414-3。学习Hive的基本概念和操作，创建Hive表来映射到HDFS中的数据文件。

设计一个简单的表结构，例如学生信息表（Students），包含两个列族：基本信息（info）和成绩信息（scores）。删除一条学生记录，例如删除student1的记录：deleteall 'Students', 'student1'使用 create 'Students', 'info', 'scores' 命令创建表。使用 get 'Students', 'student1' 命令查询特定学生的信息。2. 掌握HBase的基本操作，包括表的创建、删除、数据的查询、插入和删除等。

使用 cp /usr/cx/hadoop-2.7.1/etc/hadoop/mapred-site.xml.template /usr/cx/hadoop-2.7.1/etc/hadoop/mapred-site.xml 命令复制mapred-site.xml.template文件并重命名为mapred-site.xml。使用命令vi /usr/cx/hadoop-2.7.1/etc/hadoop/hdfs-site.xml 配置hdfs-site.xml 文件进行配置。

本篇博客由作者女朋友亲情赞助，本人所撰写内容见资源文件。