Zebra项目：分析、实施与测试

最新推荐文章于 2024-10-19 08:41:52 发布
最新推荐文章于 2024-10-19 08:41:52 发布
阅读量5k 收藏 9
点赞数 4
CC 4.0 BY-SA版权
分类专栏： 探索大数据-从Hadoop到Flink 文章标签： zebra howard2005
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/howard2005/article/details/79425120
Zebra项目是一个电信运营商用户上网数据分析应用程序。它涉及日志数据处理、Maven管理、Avro序列化、Zookeeper协调服务等多个技术层面。项目分为ZebraProject、zebra_jobtracker、zebra_engine1_01、zebra_engine1_02和zebra_engine2等模块，实现了数据收集、逻辑切片、RPC通信和数据库落地等功能。项目测试包括启动各引擎和检查数据库中统计结果的完整性。

目录

第一部分 Zebra项目概述

一、Zebra项目介绍

二、日志数据结构分析

三、数据以| 分割后，每个数据项的含义

四、Zebra项目整体架构

（一）技术架构

（二）工程架构

五、Zebra业务说明

1、数据项含义

2、应用大类说明

3、应用小类说明

4、业务字段处理逻辑

5、zebra业务说明

六、Zebra项目设计思想

1、单机思想

2、四个进程职责

3、重要的分区思想

第二部分 Zebra项目实施过程

一、创建Maven项目ZebraProject

1、添加四个子模块

2、修改ZebraProject的pom.xml文件，添加依赖和插件

3、在main目录创建源目录avro，添加协议文件和模式文件

4、利用avro插件基于模式文件和协议文件生成相应的类和接口

5、配置全局的属性文件env.properties

6、创建GlobalEnv类定义全局变量，读取env.properties属性文件

二、zebra_jobtracker模块V1.0

1、修改pom.xml文件，添加对ZebraProject的依赖

2、编写FileCollector类

3、编写FileToBlock类

4、编写StartJobTrakcer类——利用线程池启动线程

三、zebra_engine1_01模块V1.0

1、修改pom.xml文件，添加对父工程ZebraProject的依赖

2、编写ownenv.properties文件

3、编写ownenv类，定义变量并且读取ownenv.properties属性文件

4、编写ZkConnectRunner，负责一级引擎节点创建

5、创建StartEngine1_01类，利用线程池启动ZkConnectRunner线程

6、创建rpc服务器端接收jobtracker客户端传递过来的任务

四、zebra_jobtracker模块V1.1

1、创建ZkConnectRunner类，获取两个一级引擎的节点数据（ip和port）

2、创建RpcCilentRunner线程类，负责向一级引擎发送文件切片

3、修改StartJobTracker类，添加发送切片的线程

4、测试jobtracer能否将任务发送到一级引擎

五、zebra_engine1_02模块V1.0

1、修改pom.xml文件，添加对项目ZebraProject的依赖

2、创建ownenv.properties文件

3、编写OwnEven类，读取ownenv.properties属性文件

4、编写ZkConnectRunner，负责一级引擎节点创建

5、创建RpcFileSplitImpl类，实现RpcFileSplit接口

6、创建RpcServerRunner类

7、创建StartEngine1_02类，利用线程池启动ZkConnectRunner线程和RpcServerRunner线程

8、测试一级引擎两个节点能否收到jobtracker发送的文件切片

9、修改zebra_jobtracker模块的RpcClientRunner

10、测试一级引擎两个节点能否收到jobtracker发送的全部文件切片

六、zebra_engine1_01模块V1.1

1、创建MapperRunner类，负责读取文件切片，按|分割、封装成zebra业务对象

2、修改ZkConnectRunner类，添加两个静态方法

3、修改StartEngine1_01类

4、创建RpcClientRunner，负责向二级引擎发送处理后的map

5、修改StartEngine1_01类，将RpcClientRunner线程添加到线程池

七、zebra_engine1_02模块V1.1

1、修改ZkConnectRunnet类，添加两个静态方法

2、创建MapperRunner类

3、创建RpcClientRunner类

4、修改StartEngine1_02类

5、测试一级引擎能否收到jobtracker发送的全部文件切片

八、二级引擎zebra_engine2模块

1、修改pom.xml文件，添加对父工程ZebraProject的依赖

2、创建ZkConnectRunner，负责创建二级引擎节点

3、创建OwnEnv类

4、创建ReducerRunner类

5、创建RpcSendHttpAppHostImpl类

6、创建RpcServerRunner

7、创建数据库连接池配置文件c3p0-config.xml

8、创建日志属性文件log4j.properties

9、创建ZebraDB类，让二级引擎处理的数据落地到数据库

10、创建StartEngine2类，通过线程池来启动线程

11、创建数据库zebra，导入建表脚本

九、测试整个Zebra项目

1、启动二级引擎StartEngine2

2、启动两个一级引擎StartEngine1_01和StartEngine1_02

3、启动StartJobTracker

4、切换到StartEngine1_01的控制台

5、切换到StartEngine1_02的控制台查看输出信息

6、切换到StartEngine2的控制台查看输出信息

7、打开数据库zebra，查看是否有17980条记录在表里

十、课后作业

第一部分 Zebra项目概述

一、Zebra项目介绍

如图所示，电信运营商的用户通过连接到互联网中的各种网络设备访问一个网站时，其访问信息会通过基站在网络中传递，基站可以收集所有用户的访问日志数据。

Zebra项目是对电信运营商收集的用户上网数据进行分析的一个应用程序。通过分析得到的结果可以展现不同小区的上网详情。

二、日志数据结构分析

日志数据文件下载链接：https://pan.baidu.com/s/1fyGCeYvc9MFUPXZmeOwnHw 提取码：tz41

日志里的某一条数据（以下为一整行数据，以| 为分割符

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据学习笔记24：利用MR改造Zebra项目
howard2005的专栏
01-21 986
文章目录一、提出任务1、Zebra项目概述2、日志数据结构分析3、数据项的含义3、具体任务二、准备工作1、启动hadoop服务2、上传数据文件到HDFS3、创建Maven项目MRZebra4、修改pom.xml文件，添加依赖5、创建log4j.properties文件三、完成任务1、创建HttpAppHost（Zebra业务对象）2、创建ZebraMapper3、创建ZebraReducer4、创...
62.大数据之旅——电信日志项目05-电信日志数据处理
零零天
01-25 3892
一、zebra项目介绍与分析 如图所示，电信运营商的用户通过连接到互联网中的各种网络设备访问一个网站时，其访问信息会通过基站在网络中传递，一个基站负责收集某一片小区用户的上网数据，这些收集的数据都以日志信息进行存储。所有的用户上网行为都会有所记录。比如用户通过3G/4G下载某个app应用，或者登陆、使用某一个App软件，以及通过App发送的数据都会记录。 这样一来，我们就可以根据日志文件，来分析...
Zebra项目总结
DoNOtTOBeAL0Ser的博客
10-28 3607
四个工程的作用 Zebra项目是一个比较底层的分布式项目。在这个项目中让我们初步了解了分布式编程的一些特点。   在Zebra项目中，任务是把一个电信日志文件中的数据提取出来，然后对里面的数据进行提取。 分为四个projects。分别为：contract   engine1-01  engine1-02  engine2  jobtracker   整个任务是用maven来管理，con
Zebra 开源项目使用教程
gitblog_00082的博客
08-16 1091
Zebra 开源项目使用教程 项目介绍 Zebra 是一个功能强大的开源项目，旨在提供高效的扫描解决方案。该项目由 ae6623 开发，适用于多种行业，特别是零售、医疗和制造业。Zebra 项目通过连接人员、资产和数据，帮助企业获得竞争优势，并做出更好的决策。 项目快速启动 环境准备 在开始之前，请确保您的开发环境已安装以下工具： Git Node.js (推荐版本 14.x 或更高) npm ...
大数据正式Zebra1
菜鸟零号 kungfu~peng
02-27 1138
Zebra1进程进程程序加载到内存中之后被cpu所计算的过程，进程是计算机资源分配和任务调度的最小单位三个维度进程物理内存维度：每一个进程都要分配一个连续的内存空间【首尾地址】执行角度/逻辑角度：每个进程都可以被cpu计算，每一个进程都能挂起然后让另外的进程被cpu计算--对于单核cpu而言，每一个时刻只能执行一个进程【对于Windows而言，默认是一个核处理，对于linux而言，有几个核就可以用...
大型网络中的Zebra-vtysh应用：案例研究与分析
[大型网络中的Zebra-vtysh应用：案例研究与分析](https://opengraph.githubassets.com/d5c5c7078e789e39ac705525f7155a6753fb03b50580e2cf3f97440341f1f8d8/huwan/mini-vtysh) # 摘要 Zebra与vtysh是网络管理领域的...
【监控与分析】：Zebra打印机命令行监控，实时数据获取与处理
本文全面探讨了监控与分析技术在Zebra打印机管理中的应用。第一章介绍了监控与分析的基本概念。第二章深入讨论了Zebra打印机命令行工具的使用，包括其安装、配置和基本监控操作。第三章专注于实时数据获取技术，包括...
【条码打印系统构建指南】：Zebra CLI与条码生成，打造高效标签打印
[【条码打印系统构建指南】：Zebra CLI与条码生成，打造高效标签打印](https://roskod.ru/wp-content/uploads/2017/10/maxresdefault-1024x576.jpg) # 摘要 本文全面介绍了条码打印系统的基础知识，深入探讨了Zebra...
全天候网络健康监控：Zebra-vtysh与监控工具的完美结合
![全天候网络健康监控：Zebra-...本文深入探讨了网络健康监控的重要性，详细介绍了Zebra-vtysh工具的基础知识、配置、调试与维护，并分析了网络监控工具的理论、选择标准与实际部署。文章进一步阐述了Zebra-vtysh与
zebra client的日志
anzhuangguai的专栏
11-23 742
命令在 log stdout 全局变量在 (gdb) p zlog_default $4 = (struct zlog *) 0x7ffff0335018 (gdb) b 定义在 /* va_list version of zlog. */ static void vzlog (struct zlog *zl, int priority, const char
大数据平台建设实施方案
12-23
大数据平台建设实施方案
Zebra斑马移动打印机(包含CPCL和ZPL中文开发手册)
06-11
Android 源码, 包含CPCL和ZPL中文开发手册PDF文档
Java使用Zpl调用斑马打印机
12-26
Java使用Zpl命令调用斑马打印机，简单明了，运行可用，
大数据项目流程1
Romantic_sir的博客
10-23 757
1、将工程打成jar包放到linux中运行。 2、启动nginx目的是为了产生日志，还有负载均衡和反向代理以后更新，重点是配置文件 #user nobody; worker_processes 1; #error_log logs/error.log; #error_log logs/error.log notice; #error_log logs/error.lo...
大数据项目大致流程
热门推荐
LYQ的博客
09-29 1万+
1、提出需求-需要和多个部门负责人进行协商：关于项目的可行性分析 2、需求分析-进行需求调研（研究竞品）、市场调研，如果是给甲方做产品，需要和甲方协商需求细则 3、技术选型-需要多个开发部门的人员参与协商     考虑的角度：数据的生成、数据采集、源数据的存储、数据清洗、消息中间件、数据分析引擎、结果数据的存储、数据的展示 4、可行性分析-预研工作：搭建技术平台，测试可行性 5、指标分析-需求和指...
大数据项目流程介绍
Hxm6440的博客
10-25 349
需求：制作西红柿炒蛋
如何实施大数据治理项目？
alankuo的专栏
10-19 819
实施大数据治理项目需要有系统的规划和执行步骤，需要企业高层的支持和各部门的协作，需要选择合适的工具和技术，需要持续监控和优化。只有这样，才能确保大数据治理项目的成功实施，为企业的发展提供有力的数据支持。
大数据项目流程v1
grace♥的博客
10-22 378
jar包--flume--nginx--kafka--hive 1，打jar包 在idea中，右击项目中的package 2，在hdp-4上Alt+P打开新窗口 把jar包拖进去， java jar frame-1.0-SNAPSHOT.jar 在网页上检查运行结果 3，启动nginx cd /usr/local/nginx/sbin...
【论文阅读】ZebraPose: Coarse to Fine Surface Encoding for 6DoF Object Pose Estimation
weixin_46564151的博客
03-26 6027
【论文阅读】ZebraPose: Coarse to Fine Surface Encoding for 6DoF Object Pose Estimation 粗读一遍后的一些不理解的地方 deeply learned dense maps sparse templates hierarchical binary grouping correspondence problem，对应和关联问题，2D和2D对应、3D和3D对应都比较直接，但是对于6D pose estimation来说需要2D和3D的对应
测试工序中SN码如何与具体测试项目绑定？
最新发布
04-22
<think>好的，我现在需要回答用户的问题：“如何在测试工序中将SN码与具体的测试项目绑定”。用户之前已经询问过关于电子车间工序划分的问题，现在想深入了解测试工序中SN码与测试项目的绑定方法。我需要结合用户提供的引用内容和之前的回答来构建一个详细的解决方案。 首先，回顾用户提供的引用内容。引用[1]提到了测试用例的要素，包括测试输入、操作步骤、预期结果等，这可能与测试项目的数据记录有关。引用[2]讨论了MES系统与设备集成的方式，特别是产品与包装盛具的绑定、标签打印接口、上下料校验等，这些都可能涉及到SN码的管理。引用[3]则涉及生产订单和品质验收流程，可能与测试后的数据记录有关。 在用户之前的回答中，测试工序的SN码关联部分提到测试结果实时写入SN数据库，例如5G频段功率值等参数。这可能意味着每个测试项目的结果需要与对应的SN码关联，以便追踪和分析。 接下来，我需要思考如何将SN码与具体的测试项目绑定。可能的步骤包括： 1. **数据采集与绑定机制**：在测试设备中集成扫码枪或RFID读取器，自动获取SN码，并将测试项目的数据与SN码关联。引用[2]中提到设备数据上传账号和产品与盛具的绑定，这可能涉及到MES系统的接口，确保数据准确上传。 2. **MES系统接口设计**：根据引用[2]，设备可以通过MES的接口发送数据，包括SN码和测试结果。需要设计API或中间件来处理这些数据，确保每个测试项目的数据正确绑定到对应的SN码。 3. **测试用例与SN码的关联**：引用[1]中的测试用例要素，特别是测试输入和预期结果，可能需要与SN码绑定。例如，每个测试用例执行时，系统自动记录对应的SN码，并将结果存储在数据库中。 4. **实时数据写入与校验**：在测试过程中，实时将测试结果（如通过/失败、具体参数）与SN码一起写入数据库，并进行校验，防止数据错乱。引用[2]中的设备上下料校验接口可参考，确保数据完整性。 5. **防错机制与异常处理**：如果测试项目未完成或失败，系统应阻止SN码进入下一工序，并触发警报。引用[2]提到的工装夹治具校验和上料校验，类似的机制可用于测试工序。 6. **标签与追溯系统**：测试完成后，可能需要在产品标签中包含测试结果信息，引用[2]中的标签打印接口可以用于生成带有SN码和测试项目结果的标签，便于后续追溯。 7. **数据存储结构设计**：在数据库中，每个SN码应有对应的测试项目数据表，记录每个测试项的结果、时间戳、操作员等信息。这需要合理的数据库架构支持。 需要验证这些步骤是否符合用户提供的引用内容，并确保解决方案的可行性。例如，引用[2]中的产品与包装盛具绑定和标签打印接口，可以应用到测试工序的数据绑定中。同时，引用[1]中的测试用例要素，如操作步骤和预期结果，需要与SN码关联，确保测试过程的可追溯性。 可能遇到的挑战包括设备接口的兼容性、数据实时传输的延迟、以及如何处理测试过程中的异常情况。解决方案可能包括使用工业协议（如OPC UA）确保设备通信，部署缓冲队列处理数据流，以及设计重试机制应对网络中断。 最后，需要将这些思考整理成一个结构化的回答，涵盖技术实现、系统集成、数据管理等方面，并引用相关的引用内容支持观点。</think>### 测试工序中$SN$码与测试项目绑定的技术方法 在电子制造流程中，测试工序的$SN$码与测试项目绑定是实现产品全生命周期追溯的核心环节。以下从**数据采集机制**、**系统集成逻辑**和**质量控制策略**三个维度详细阐述实现方法： --- #### 一、数据绑定技术实现 1. **硬件层绑定** - **自动扫码设备**：在测试工位部署工业级扫码枪（如$Datalogic$ $Gryphon$系列，解码速度$500次/秒$），通过$RS-232$或$TCP/IP$协议实时读取$SN$码 - **测试夹具集成**：在$ICT$测试治具中嵌入$RFID$读写模块（工作频率$13.56MHz$），实现$SN$码与测试项目的物理绑定[^2] 2. **软件层映射** - **MES系统接口**：通过$RESTful$ $API$实现测试数据与$SN$码的关联 ```json { "sn": "A2035XG17892", "test_items": [ { "item_id": "T-5G-01", "result": "PASS", "parameters": { "freq_offset": "±12ppm", "tx_power": "23.5dBm" }, "timestamp": "2023-08-20T14:23:56Z" } ] } ``` - **数据库设计**：采用$NoSQL$数据库（如$MongoDB$）存储测试数据，数据结构示例： $$ \text{Collection: } test\_logs $$ $$ \text{Document: } \{ \text{sn: string, test\_items: array, equipment\_id: string } \} $$ --- #### 二、系统集成关键点 1. **设备通信协议** - 测试设备需支持$OPC$ $UA$协议（统一架构），确保$SN$码与测试数据的时序一致性 - 通信参数示例： - 采样间隔：$100ms$ - 数据包格式：$JSON$或$XML$ 2. **异常处理机制** - **防错规则**：若测试项目未完成（如$WiFi$吞吐量测试未达$867Mbps$），系统自动阻止$SN$码流入下一工序 - **重测逻辑**：建立异常代码映射表，例如： | 错误代码 | 含义 | 处理方式 | |---|---|---| | E-702 | 射频校准超差 | 触发自动复测 | | E-911 | 电源纹波超标 | 锁定设备并报警 | 3. **数据校验算法** - 采用$CRC32$校验（生成多项式$0x04C11DB7$）确保$SN$码与测试数据的完整性 - 校验公式： $$ \text{CRC} = \sum_{i=0}^{n-1} data[i] \cdot x^{n-1-i} \mod G(x) $$ --- #### 三、质量追溯应用 1. **正向追溯** - 通过$SN$码可查询全部测试项目原始数据，例如： ```sql SELECT * FROM test_logs WHERE sn = 'A2035XG17892' AND test_items.item_id = 'T-5G-01' ``` 2. **反向分析** - 当某批次产品出现$5G$频段故障率异常（如$>0.5\%$），可通过$SN$码聚类分析定位： - 测试设备编号 - 操作员工号 - 测试时间分布 3. **报表生成** - 自动生成$CPK$（过程能力指数）报表，计算公式： $$ CPK = \min\left( \frac{USL - \mu}{3\sigma}, \frac{\mu - LSL}{3\sigma} \right) $$ - 示例数据： | 测试项目 | USL | LSL | $\mu$ | $\sigma$ | CPK | |---|---|---|---|---|---| | 蓝牙RSSI | -30dBm | -90dBm | -45dBm | 2.1 | 1.79 | --- #### 四、典型实施案例 某智能穿戴设备工厂通过以下配置实现绑定： 1. **硬件配置** - 测试工位：$NI$ $PXIe-8880$控制器 + $STS$测试系统 - 扫码设备：$Zebra$ $DS9308$工业扫码器（支持$DPM$直接部件标记解码） 2. **软件配置** - MES模块：$Siemens$ $Camstar$测试管理组件 - 数据接口：$WebSocket$实时传输（带宽占用$<5Mbps$） 3. **效果指标** - 测试数据绑定准确率：$99.998\%$（$6\sigma$水平） - 异常响应时间：$<800ms$ - 数据存储延迟：$<50ms$ ---
评论 18
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

酒城译痴无心剑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值