1. 项目缘起:为什么选择讯飞AIUI来做OCR?
大家好,我是老陈,一个在AI和智能硬件圈子里摸爬滚打了十来年的“老码农”。最近几年,服务机器人、教育机器人越来越火,很多朋友,包括一些刚入行的开发者,都来问我:想给机器人加个“眼睛”,让它能看懂书本、说明书或者包装盒上的字,该从哪里下手?
说实话,方案有很多。你可以自己从头训练一个深度学习模型,但那对算力、数据和时间的要求都不低,更像是研究院的课题。你也可以用一些开源OCR库,比如Tesseract,识别效果不错,但放到机器人这种资源(算力、内存)有限的嵌入式设备上,集成和优化又是另一个大坑,尤其是对Android开发不太熟的朋友,光交叉编译就能折腾好几天。
所以,当我接触到讯飞AIUI智能机器人平台时,感觉找到了一个特别好的平衡点。它本质上是一个集成了多种AI能力(语音、视觉、语义)的机器人软硬件开发平台。我们今天要重点聊的印刷体OCR识别,就是它视觉能力的一部分。它的好处非常直接:
- 开箱即用:你不用关心模型怎么训练、怎么压缩、怎么部署。讯飞已经把训练好的、优化过的OCR引擎,以SDK或WebAPI的形式封装好了。
- 云端结合,效果有保障:特别是他们的WebAPI,调用的是讯飞云端的强大模型。对于印刷体文字,像书籍、文档、打印字体,识别准确率非常高,而且能处理多种语言和排版。
- 与机器人硬件深度集成:这是最关键的一点。AIUI SDK已经帮你把机器人上的摄像头、麦克风、扬声器这些硬件外设的调用接口封装好了。你不用再痛苦地去写Camera2的复杂代码,或者处理不同Android版本下的权限问题,SDK里提供了现成的
CameraHelper之类的工具类,几行代码就能让机器人“睁开眼睛”拍照。
简单来说,这个平台把AI算法和机器人硬件的脏活累活都干了,我们开发者可以更专注于业务逻辑和应用场景的创新。比如,你可以做一个“绘本阅读机器人”,让它识别绘本上的文字并朗读出来;或者做一个“药品说明书识别助手”,帮助老人理解用药说明。
接下来,我就手把手带你走一遍,如何从零开始,在讯飞AIUI机器人上,构建一个属于你自己的印刷体OCR识别应用。我会把我在集成过程中踩过的坑、总结的经验都分享出来,保证你跟着做就能跑通。
2. 万事开头难:平台准备与环境搭建
任何第三方服务的集成,第一步永远是“拜码头”——去对应的开放平台注册、创建应用、拿到钥匙(API Key)。讯飞这边流程已经非常产品化了,照着做就行,但有几个细节我得特别提醒你,能省下不少排查问题的时间。
2.1 讯飞开放平台“三部曲”
首先,打开浏览器,访问讯飞开放平台官网。注册和登录的流程这里就不赘述了,我们直奔主题。
-
创建应用:登录后进入控制台,找到“创建应用”按钮。这里你需要填应用名称、应用分类等信息。这里有个关键点:
应用平台记得选择 “Android”。虽然我们后续主要调用WebAPI,但这个选择会影响后续SDK下载和配置的匹配度。应用场景根据你的实际情况选,比如“智能硬件”或“教育”都可以。 -
添加服务:应用创建成功后,进入应用详情页。在页面上找到“添加服务”或“能力列表”相关的区域。在琳琅满目的AI能力中,找到 “文字识别” 这个大类别。点进去,你会发现里面有很多细分的识别能力:印刷体、手写体、网络图片、表格、车牌等等。我们这次的目标是 “印刷体文字识别”,请务必确认你添加的是这个服务,而不是别的。
-
获取凭证:添加服务后,页面会刷新,最重要的信息就会出现:
APPID、API Key和Secret。请立刻、马上、妥善地保存好这三个值,最好复制到一个本地的文档里。它们就像是你家门的钥匙(APPID)和密码(API Key/Secret),后续代码里全靠它们来验证身份,调用服务。特别是APPID,是一串数字,很容易复制错。
注意:讯飞对免费用户有调用量限制,比如每天500次。做实验和原型开发完全够用,但如果你打算做产品化测试,记得关注一下配额。
2.2 项目工程与SDK导入
拿到“钥匙”后,我们就要开始搭建开发环境了。假设你已经安装好了Android Studio,并创建了一个新的Android项目(建议最低API Level不低于21)。
讯飞AIUI的开发,主要依赖两个部分:AIUI SDK(负责与机器人硬件交互、基础通信)和OCR能力包(具体实现文字识别)。通常,讯飞会提供一个集成的SDK包。
-
下载SDK:回到开放平台你创建的应用页面,一般会有“SDK下载”的选项。选择对应的Android SDK包进行下载。下载后解压,你会看到里面通常包含
*.aar文件、jar包、so库文件以及非常重要的文档和示例代码。 -
导入项目:
- 将下载的
*.aar文件(例如iflyaiui-xxx.aar)复制到你项目的app/libs/目录下。 - 在项目的
build.gradle文件中,确保repositories里包含了flatDir指向libs目录:android { ... } repositories { flatDir { dirs 'libs' } } - 在
app模块的build.gradle文件的dependencies块中,添加依赖:dependencies { implementation fileTree(dir: 'libs', include: ['*.jar']) implementation (name: 'iflyaiui-xxx', ext: 'aar') // 替换为你的aar文件名 // 其他依赖... } - 如果SDK包里还有单独的
jar或so库,也需要按照文档说明放置到正确位置(比如jniLibs目录)。
- 将下载的
-
权限配置:在
AndroidManifest.xml文件中,添加必要的权限。OCR识别涉及摄像头和网络,基本权限如下:<uses-permission android:name="android.permission.INTERNET" /> <uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" /> <uses-permission android:name="android.permission.CAMERA" /> <uses-feature android:name="android.hardware.camera" /> <uses-feature android:name="android.hardware.camera.autofocus" />关于Android 6.0+的动态权限:上面只是声明了权限,在Android 6.0(API 23)以后,
CAMERA这类危险权限需要在运行时动态申请。讯飞AIUI机器人开发中有一个“捷径”:平台签名。如果你使用的是讯飞官方的机器人设备,其系统可能已经预置了平台签名,使得你的应用在安装时就被授予了这些权限,避免了弹窗申请。但为了通用性,我建议你在代码里还是做好动态权限申请的兼容,这样你的应用在普通Android手机上也能测试。权限申请代码我们后面会看到。
环境搭好了,钥匙也拿到了,接下来就是最核心的编码环节了。
3. 核心编码实战:让机器人“看见”并“读懂”
这部分我们分三个核心环节来讲:初始化、拍照、识别。我会把代码掰开揉碎了讲,你跟着写就行。
3.1 初始化:启动机器人的“感官”
初始化的逻辑,通常放在应用的Application类或者主Activity的onCreate里。因为机器人能力(如摄像头、音频)在整个App生命周期都可能用到,放在Application里更合适。这里我以Application为例。
public class MyApplication extends Application {
private Context mContext;
// 替换成你从开放平台获取的APPID和API Key
private static final String APPID = "你的APPID";
private static final String API_KEY = "你的API_KEY";
private static final String WEBOCR_GENERAL_URL = "https://webapi.xfyun.cn/v1/service/v1/ocr/general"; // 印刷体WebAPI地址
@Override
public void onCreate() {
super.onCreate();
mContext = getApplicationContext();
initAIUIRobot();
}
private void initAIUIRobot() {
// 1. 初始化AIUI基础能力(日志、公共模块等)
StarLogAbility.getInstance().initAbility(this);
// 2. 初始化机器人公共能力,并设置机器人类型(例如教学机器人)
StarCommonAbility.getInstance().initAbility(this, RobotType.TYPE_TEACHING, new StarCommonAbility.onResultCallback() {
@Override
public void onResult(boolean isSuccess, String hardCode) {
if (isSuccess) {
// 根据硬件模块初始化成功的回调,进行特定设置
switch (hardCode) {
case PartCode.HARDWARE_PARTCODE.CODE_EMOJI:
// 例如:设置机器人初始表情
EmojiHelper.doEmojiBase();
break;
case PartCode.HARDWARE_PARTCODE.CODE_GPIO:
// 例如:设置麦克风阵列的拾音方向
GPIOHelper.getInstance().setMainMic(0);
break;
case PartCode.HARDWARE_PARTCODE.CODE_CENTER_LIGHT:
// 例如:关闭腹部灯光
CenterLightHelper.takeCenterLightOff();
break;
default:
break;
}
} else {
Log.e("MyApplication", "硬件初始化失败: " + hardCode);
}
}
});
// 3. 初始化OCR识别能力
// 这里初始化的是一个我们封装的OCR工具类,它内部会处理与WebAPI的通信
OcrHelper.getInstance().init(APPID, API_KEY, WEBOCR_GENERAL_URL);
Log.i("MyApplication", "AIUI机器人及OCR能力初始化完成");
}
}
这段代码干了三件事:启动基础服务、根据机器人类型初始化硬件模块、初始化我们自己的OCR工具类。注意,OcrHelper是我自己封装的一个类,目的是把讯飞WebAPI的调用细节(比如网络请求、参数组装、结果解析)包装起来,让主业务代码更干净。它的init方法主要就是保存了APPID和API Key。
3.2 相机控制:调用机器人的“眼睛”
接下来,我们在主Activity里,使用AIUI SDK提供的CameraHelper来操作摄像头。这比直接用Android原生Camera API简单太多了。
public class MainActivity extends AppCompatActivity implements CameraHelper.GetBitmapListener {
private CameraHelper cameraHelper;
private FrameLayout previewLayout; // 用于显示相机预览的容器
private ImageView resultImageView; // 用于显示拍下照片的视图
private Bitmap currentBitmap; // 当前拍到的照片Bitmap
@Override
protected void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
setContentView(R.layout.activity_main);
// 检查并申请相机权限(兼容非平台签名环境)
if (checkSelfPermission(Manifest.permission.CAMERA) != PackageManager.PERMISSION_GRANTED) {
requestPermissions(new String[]{Manifest.permission.CAMERA}, REQUEST_CAMERA_PERMISSION);
} else {
initCamera();
}
initViews();
}
private void initCamera() {
previewLayout = findViewById(R.id.camera_preview);
cameraHelper = new CameraHelper(this);
// 设置预览视图容器
cameraHelper.openCamera(previewLayout);
// 设置相机准备就绪的回调(可选)
cameraHelper.setOnCameraPrepareListener(new CameraHelper.OnCameraPrepareListener() {
@Override
public void onPrepared() {
runOnUiThread(() -> Toast.makeText(MainActivity.this, "相机就绪", Toast.LENGTH_SHORT).show());
}
});
// 设置拍照获取图片的回调,这个接口是关键!
cameraHelper.setGetBitmapListener(this);
}
// 实现 GetBitmapListener 接口的方法,当拍照时,照片会通过这个回调传过来
@Override
public void getBitmap(Bitmap bitmap) {
// 这个回调可能在非UI线程,所以更新UI要切回主线程
runOnUiThread(() -> {
currentBitmap = bitmap;
resultImageView.setImageBitmap(bitmap);
resultImageView.setVisibility(View.VISIBLE);
previewLayout.setVisibility(View.GONE); // 拍照后隐藏预览,显示结果图片
// 这里可以触发下一步,比如显示一个“识别”按钮
});
}
// 在布局中放一个按钮,调用这个方法进行拍照
public void onTakePhotoClick(View view) {
if (cameraHelper != null) {
cameraHelper.takePreView(); // 调用此方法触发拍照,结果会从上面的getBitmap回调返回
}
}
@Override
protected void onDestroy() {
super.onDestroy();
if (cameraHelper != null) {
cameraHelper.releaseCamera(); // 一定要记得释放相机资源
}
}
}
看到没?我们几乎没有直接操作Camera对象,CameraHelper帮我们管理了预览、拍照、回调等一系列复杂操作。takePreView()方法一调用,拍好的Bitmap就直接送到getBitmap方法里了,非常直观。
3.3 识别处理:将图像转化为文字
拍好照片后,我们拿到了currentBitmap。直接把这整张图传给OCR API可能不够好,因为背景可能很杂乱。通常,我们会先让用户裁剪出只包含文字的区域,或者自动做一些预处理。为了简单演示,我们假设用户会手动裁剪,然后对裁剪后的Bitmap进行识别。
我们在Activity里再加一个“识别”按钮,并实现其点击事件:
// 假设 mCropBitmap 是用户裁剪后的Bitmap
private void onOcrButtonClick() {
if (mCropBitmap == null) {
Toast.makeText(this, "请先拍照并裁剪图片", Toast.LENGTH_SHORT).show();
return;
}
// 网络请求最好放在子线程
new Thread(() -> {
// 调用我们封装的OcrHelper进行识别
String ocrResultJson = OcrHelper.getInstance().ocrForFont(mCropBitmap);
// 解析并显示结果
runOnUiThread(() -> displayOcrResult(ocrResultJson));
}).start();
}
那么,这个神秘的OcrHelper内部到底是怎么工作的呢?我们来揭开它的面纱,这是连接讯飞云端的核心:
public class OcrHelper {
private static OcrHelper instance;
private String appId;
private String apiKey;
private String webOcrUrl;
public static OcrHelper getInstance() {
if (instance == null) {
instance = new OcrHelper();
}
return instance;
}
public void init(String appId, String apiKey, String webOcrUrl) {
this.appId = appId;
this.apiKey = apiKey;
this.webOcrUrl = webOcrUrl;
}
public String ocrForFont(Bitmap bitmap) {
if (bitmap == null || appId == null || apiKey == null) {
return "参数错误";
}
try {
// 1. 将Bitmap转换为Base64字符串
ByteArrayOutputStream baos = new ByteArrayOutputStream();
bitmap.compress(Bitmap.CompressFormat.JPEG, 80, baos); // 压缩一下,减少传输数据量
byte[] imageBytes = baos.toByteArray();
String imageBase64 = Base64.encodeToString(imageBytes, Base64.NO_WRAP);
// 2. 组装请求体JSON
JSONObject requestJson = new JSONObject();
JSONObject header = new JSONObject();
header.put("app_id", appId);
header.put("status", 3);
JSONObject parameter = new JSONObject();
JSONObject ocr = new JSONObject();
ocr.put("language", "cn|en"); // 识别中英文
ocr.put("location", "false"); // 是否返回文字位置信息
parameter.put("ocr", ocr);
JSONObject payload = new JSONObject();
JSONObject image = new JSONObject();
image.put("encoding", "base64");
image.put("image", imageBase64);
image.put("status", 3);
payload.put("image", image);
requestJson.put("header", header);
requestJson.put("parameter", parameter);
requestJson.put("payload", payload);
// 3. 生成鉴权签名 (X-Param)
String curTime = String.valueOf(System.currentTimeMillis() / 1000);
String xParam = Base64.encodeToString(parameter.toString().getBytes(StandardCharsets.UTF_8), Base64.NO_WRAP);
String checkSum = MD5Util.encode(apiKey + curTime + xParam); // 需要自己实现或引用一个MD5工具类
// 4. 发送HTTP POST请求
OkHttpClient client = new OkHttpClient.Builder().connectTimeout(10, TimeUnit.SECONDS).build();
RequestBody body = RequestBody.create(requestJson.toString(), MediaType.parse("application/json; charset=utf-8"));
Request request = new Request.Builder()
.url(webOcrUrl)
.addHeader("X-Appid", appId)
.addHeader("X-CurTime", curTime)
.addHeader("X-Param", xParam)
.addHeader("X-CheckSum", checkSum)
.post(body)
.build();
Response response = client.newCall(request).execute();
if (response.isSuccessful()) {
String result = response.body().string();
// 5. 解析返回的JSON,提取文字内容
JSONObject resultJson = new JSONObject(result);
// 具体解析逻辑根据API返回格式来,通常结果在 payload.result 下
JSONObject payloadObj = resultJson.optJSONObject("payload");
if (payloadObj != null) {
JSONObject resultObj = payloadObj.optJSONObject("result");
if (resultObj != null) {
return resultObj.optString("text", "识别结果解析失败");
}
}
return "未找到有效识别结果";
} else {
return "网络请求失败: " + response.code();
}
} catch (Exception e) {
e.printStackTrace();
return "识别过程发生异常: " + e.getMessage();
}
}
}
这段代码是核心中的核心。它完成了以下几件关键事:将图片编码为Base64、按照讯飞API要求的格式组装JSON、生成带有时间戳和MD5校验的复杂签名(这是讯飞WebAPI的通用鉴权方式)、发送网络请求、最后解析返回的JSON数据得到识别出的文本。签名部分 (X-Param, X-CheckSum) 是新手最容易出错的地方,一定要仔细对照官方文档,确保字符串拼接的顺序和编码方式正确。
4. 调试优化与经验之谈
功能跑通只是第一步,要让应用稳定好用,还得花点心思。这里分享几个我实战中总结的点。
4.1 权限处理的“双保险”策略
前面提到平台签名,但你不能指望所有运行环境都有。所以,健壮的代码应该包含动态权限申请。
// 在Activity中
private static final int REQUEST_CAMERA_PERMISSION = 1001;
private void checkAndRequestCameraPermission() {
if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.M) {
if (checkSelfPermission(Manifest.permission.CAMERA) != PackageManager.PERMISSION_GRANTED) {
// 如果用户之前拒绝过,并且勾选了“不再询问”,这里可以给个友好提示
if (shouldShowRequestPermissionRationale(Manifest.permission.CAMERA)) {
// 解释为什么需要相机权限
new AlertDialog.Builder(this)
.setMessage("需要相机权限来拍摄文字图片")
.setPositiveButton("确定", (dialog, which) -> requestPermissions(new String[]{Manifest.permission.CAMERA}, REQUEST_CAMERA_PERMISSION))
.setNegativeButton("取消", null)
.show();
} else {
requestPermissions(new String[]{Manifest.permission.CAMERA}, REQUEST_CAMERA_PERMISSION);
}
} else {
initCamera(); // 已有权限,初始化相机
}
} else {
initCamera(); // 低版本系统,直接初始化
}
}
@Override
public void onRequestPermissionsResult(int requestCode, @NonNull String[] permissions, @NonNull int[] grantResults) {
super.onRequestPermissionsResult(requestCode, permissions, grantResults);
if (requestCode == REQUEST_CAMERA_PERMISSION) {
if (grantResults.length > 0 && grantResults[0] == PackageManager.PERMISSION_GRANTED) {
initCamera();
} else {
Toast.makeText(this, "未获得相机权限,无法使用拍照功能", Toast.LENGTH_LONG).show();
}
}
}
4.2 图像预处理:提升识别率的“神助攻”
直接拍出来的照片丢给OCR,效果可能打折扣。在调用OcrHelper之前,可以给Bitmap“美颜”一下:
- 缩放:如果图片分辨率过高(比如4000x3000),可以先按比例缩放到一个合理尺寸(如1024宽度),能显著减少数据量,加快传输和处理速度,且对印刷体识别精度影响很小。
Bitmap scaledBitmap = Bitmap.createScaledBitmap(originalBitmap, 1024, (int)(1024 * originalBitmap.getHeight() / (float)originalBitmap.getWidth()), true); - 裁剪与纠偏:确保画面主体是文字区域。可以引导用户手动裁剪,或者尝试用边缘检测算法自动框出文本区域。如果图片拍歪了,可以进行旋转矫正。
- 简单二值化(可选):对于光照均匀的文档,可以尝试转为灰度图,再通过阈值处理变成黑白图,能有效去除彩色背景干扰。但讯飞的云端API本身抗干扰能力很强,这一步通常不是必须的,处理不好反而会丢失信息。
4.3 网络与性能考量
- 子线程操作:无论是网络请求(
OcrHelper.ocrForFont)还是稍复杂的图片处理,务必放在子线程(如AsyncTask、Thread、RxJava、Coroutine)中执行,避免阻塞主线程导致界面卡顿。 - 超时与重试:在构建
OkHttpClient时,合理设置连接和读取超时(比如各15秒)。对于网络请求失败,可以考虑加入简单的重试逻辑(比如重试一次)。 - 结果缓存:如果应用场景中可能对同一张图片进行重复识别,可以考虑在本地缓存识别结果(Key可以用图片的MD5值),避免不必要的网络请求,节省配额。
4.4 解析与展示结果
讯飞OCR API返回的JSON结构比较丰富,除了最基础的文本字符串,还可能包含每个字的位置坐标、置信度、行信息等。我们的示例只提取了最终文本。如果你需要做更高级的交互,比如在图片上高亮显示识别出的文字,就需要解析location字段,获取每个文字块的坐标信息,然后在ImageView上叠加绘制。
踩过几次坑之后,我发现最耗时间的往往不是核心功能的实现,而是这些边边角角的细节:权限没处理好导致闪退、图片太大上传超时、签名算法写错一个字符导致一直鉴权失败、没在子线程做网络请求导致ANR……把这些细节都考虑到,你的应用离真正“可用”就更近了一步。
最后,再啰嗦一句,讯飞开放平台给免费用户的500次/日调用额度,用来做原型开发和功能验证是绰绰有余的。但在调试阶段,特别是反复调用时,记得在代码里打印好日志,或者用平台提供的“额度查询”功能,看看剩余次数,别一不小心就把额度用光了,等到关键演示的时候才发现调用失败。好了,整个从平台申请到代码实现、调试优化的闭环,我都毫无保留地分享给你了。拿起你的开发板,动手试一试吧,遇到问题,多查文档,多看看官方示例,你会发现给机器人赋予“视觉阅读”能力,并没有想象中那么难。
323



被折叠的 条评论
为什么被折叠?



