mac环境 Android项目集成opencv

• 使用mac电脑开发，Android Studio开发工具
• opencv 4.10.0

一、下载opencv库

1、opencv库

• opencv官网下载地址：选择了opecv4.10.0

2、下载opencv项目编译最小库

• opencv 移动端库可以在github上下载：opencv-mobile
• 此opencv库支持多种平台，移动端编译最小库。免去了自己重新删除组合上一步中官方opencv库到项目里，可以直接拖入项目的CMake文件同文件夹下直接配置使用。
  

二、新建Android项目

1、新建项目

• 新建Native C++项目
• 选择Java开发语言
• 构建语言可以选择kotlin也可以选择Groovy，区别是kotlin会生成build.gradle.kts 构建文件，我这里选择了Groovy生成buld.gradle文件的选项。

踩坑点提示：

• 如果选择了kotlin构建语言，此时项目里的自动生成的构建文件为build.gradle.kts，而后期添加opencv时会自动生成新的build.gradle文件，会覆盖原build.gradle.kts文件的功能造成失效，需要更改build.gradle.kts的内容到build.gradle，否则项目会编译失败。
• 因为后期会使用cpp，所以直接创建Native C++项目更为方便，项目会自动生成一些cpp必要的库和demo文件。
• 选择C++14

2、运行项目

• 检查是否能运行

三、引入opencv库

1.引入module

• File–>New–>Import Module
• 选择下载好的OpenCV-android-sdk/sdk文件夹
• 注意此处使用了官网中下载的opencv-4.10.0-android-sdk.zip解压后的OpenCV-android-sdk文件下sdk文件夹。

2.修改opencv的build.gradle文件

• 修改build.gradle文件中sdk编号，与app的build.gradle中的sdk编号一致。
• 注释’kotlin-android’插件
• 重新编译成功

3.app添加对opencv模型的依赖

• File --> Project Structure --> Dependencies

• 添加成功后会在settings.gradle中自动生成opencv的配置
  

4. 项目中添加opencv并配置Cmake

• 定位到CMakeLists.txt所在文件夹，即：项目/app/src/main/cpp
• 将下载的opencv-mobile-4.10.0-android放到此文件夹下
• 注意此处使用的文件为第二步中移动端opencv项目编译最小库，即opencv-mobile-4.10.0-android，非opencv官网下载的库。这个库比官网下载的要小很多。
• 修改CMAkeLists.txt文件，添加opencv环境配置

cmake_minimum_required(VERSION 3.22.1)

project("yoloposedemo")


set(OpenCV_DIR "${CMAKE_SOURCE_DIR}/opencv-mobile-4.10.0-android/sdk/native/jni")
find_package(OpenCV REQUIRED core imgproc)

add_library(${CMAKE_PROJECT_NAME} SHARED
        pre_image.cpp)

# jnigraphics-lib 需要link，否则无法在cpp中使用#include <android/bitmap.h> 中的方法
cmake_minimum_required(VERSION 3.22.1)

project("yoloposedemo")

add_library(${CMAKE_PROJECT_NAME} SHARED
        native-lib.cpp)

target_link_libraries(${CMAKE_PROJECT_NAME}
        ${OpenCV_LIBS}
        android
        log)

补充： 若直接拖入官网下载的opencv会报错如下：

错误1：opencv的any.h报错

• 添加ncnn库，并在cmake中配置完ncnn库，编译报错：

错误2：编译成功，运行报错C/C++ Failed

:app debug:x86 failed to configure C/C++ Failed C/C++ configuration.

• 开始项目新建时选择了支持c++14，但是添加完ncnn后又删除会抛以上错误 C/C++ Failed
• 尝试注释掉build.gradle(Module :app)中的

        externalNativeBuild {
            cmake {
                cppFlags '-std=c++14'
            }
        }

• 运行成功，再次去掉对 cppFlags '-std=c++14’的注释，运行成功。具体原理未知，但直接使用手机端的库拖入项目cpp文件夹下则可避免。
• 后续发现直接删除项目app/.cxx 文件，再重新编译也会解决这个问题

5.添加opencv处理

1）新建cpp文件

• 在CMakeLists.txt同路径下新建pre_image.cpp文件

2）修改CMake文件

• 在CMakeLists.txt中添加对pre_image.cpp的支持

add_library(${CMAKE_PROJECT_NAME} SHARED
      pre_image.cpp)

3) 在MainActivity.java文件中添加native方法

//获得Canny边缘
    public native void getEdge(Object bitmap);

• 光标移动大这个方法等待1s或光标定位到这个方法使用快捷键alt+Enter，弹出框选Create JNI function for getEdge
• 选择在pre_image.cpp中新建JNI方法。

4）添加getEdge方法的内容，使用了opencv的Canny方法

#include <jni.h>
#include <string>

#include <android/bitmap.h>
#include <opencv2/opencv.hpp>

using namespace cv;


extern "C"
JNIEXPORT void JNICALL
Java_com_test_yoloposedemo_MainActivity_getEdge(JNIEnv *env, jobject thiz, jobject bitmap) {
    // TODO: implement getEdge()

    AndroidBitmapInfo info;
    void *pixels;

    CV_Assert(AndroidBitmap_getInfo(env, bitmap, &info) >= 0);
    CV_Assert(info.format == ANDROID_BITMAP_FORMAT_RGBA_8888 ||
              info.format == ANDROID_BITMAP_FORMAT_RGB_565);
    CV_Assert(AndroidBitmap_lockPixels(env, bitmap, &pixels) >= 0);
    CV_Assert(pixels);
    if (info.format == ANDROID_BITMAP_FORMAT_RGBA_8888) {
        Mat temp(info.height, info.width, CV_8UC4, pixels);
        Mat gray;
        cvtColor(temp, gray, COLOR_RGBA2GRAY);
        Canny(gray, gray, 45, 75);
        cvtColor(gray, temp, COLOR_GRAY2RGBA);
    } else {
        Mat temp(info.height, info.width, CV_8UC2, pixels);
        Mat gray;
        cvtColor(temp, gray, COLOR_RGB2GRAY);
        Canny(gray, gray, 45, 75);
        cvtColor(gray, temp, COLOR_GRAY2RGB);
    }
    AndroidBitmap_unlockPixels(env, bitmap);

}

5) CMake文件中再次配置jnigraphics-lib

• 由于pre_image.cpp中使用了<android/bitmap.h>中的方法，因此需要在CMakeList.txt中配置一下jnigraphics-lib，否则编译成功但运行时报错

find_library(jnigraphics-lib jnigraphics)

target_link_libraries(${CMAKE_PROJECT_NAME}
        ${OpenCV_LIBS}
        android
        log
        ${jnigraphics-lib})

6.新建xml文件用于ui展示

<?xml version="1.0" encoding="utf-8"?>
<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"
    android:orientation="vertical"
    android:layout_width="fill_parent"
    android:layout_height="fill_parent">

    <LinearLayout
        android:orientation="horizontal"
        android:layout_width="fill_parent"
        android:layout_height="wrap_content">

        <Button
            android:id="@+id/checkImgBtn"
            android:layout_width="wrap_content"
            android:layout_height="wrap_content"
            android:text="选图" />
        <Button
            android:id="@+id/buttonDet"
            android:layout_width="wrap_content"
            android:layout_height="wrap_content"
            android:text="渲染" />
    </LinearLayout>

    <ImageView
        android:id="@+id/showImg"
        android:layout_width="fill_parent"
        android:layout_height="fill_parent"
        android:layout_weight="1" />

</LinearLayout>

7.修改MainActivity.java

• 添加按钮点击方法

package com.test.yoloposedemo;

import androidx.appcompat.app.AppCompatActivity;

import android.graphics.Bitmap;
import android.graphics.BitmapFactory;
import android.health.connect.datatypes.ActiveCaloriesBurnedRecord;
import android.os.Bundle;
import android.view.View;
import android.widget.Button;
import android.widget.ImageView;
import android.widget.TextView;

import com.test.yoloposedemo.databinding.ActivityHomeBinding;
import com.test.yoloposedemo.databinding.ActivityMainBinding;

public class MainActivity extends AppCompatActivity {

    // Used to load the 'yoloposedemo' library on application startup.
    static {
        System.loadLibrary("yoloposedemo");
    }

    private ActivityHomeBinding homeBinding;
    private ImageView imageView;
    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);

        homeBinding = ActivityHomeBinding.inflate(getLayoutInflater());

        setContentView(homeBinding.getRoot());

        //
        Button checkImgBtn = homeBinding.checkImgBtn;
        checkImgBtn.setOnClickListener(new View.OnClickListener() {
            @Override
            public void onClick(View arg0) {
                loadImage();
            }
        });

        //
        Button buttonDet = homeBinding.buttonDet;
        buttonDet.setOnClickListener(new View.OnClickListener() {
            @Override
            public void onClick(View arg0) {
                detectImage();
            }
        });

        //
        imageView = homeBinding.showImg;
        loadImage();
    }

    private void loadImage() {
        String imageName = "dog";

        int imageResourceId = getResources().getIdentifier(imageName, "drawable", getPackageName());
        imageView.setImageResource(imageResourceId);

    }

    private void detectImage() {
        Bitmap bitmap = BitmapFactory.decodeResource(getResources(), R.drawable.dog);
        getEdge(bitmap);
        imageView.setImageBitmap(bitmap);
    }

    /**
     * A native method that is implemented by the 'yoloposedemo' native library,
     * which is packaged with this application.
     */

    //获得Canny边缘
    public native void getEdge(Object bitmap);
}

8.运行效果

参考文章

OpenCV On Android最佳环境配置指南(Android Studio篇)