Electron 鸿蒙端侧 OCR 实战:把鸿蒙设备的眼睛借给桌面应用

桌面端的中文票据识别一直不太行:tesseract 会把字距拆开,表格线和编号也常丢。鸿蒙设备上有一套离线、中文效果更好的 Core Vision Kit,但 Electron 过不去:上游没有 HarmonyOS 运行时,系统 OCR 又只对 ArkTS 开放。这个库绕开的办法是把图片用 hdc 送进设备上一个零权限 agent 的沙箱,让它在设备上识别,再把 JSON 拉回桌面;没有设备、或者设备识别失败,就退回本机 tesseract。桌面和设备的交界只有 job id、envelope 和一份 OcrResult。

仓库地址:https://atomgit.com/lqjmac/electron-ohos-ocr
版本地址:https://atomgit.com/CPF-Electron
三方库框架:https://atomgit.com/oh-tpc

0. 环境与实测设备

三方库适配信息:

三方库Electron 版本鸿蒙化版本仓库地址社区社区地址
electron-ohos-ocrv40.1.06.0.0(20)https://atomgit.com/lqjmac/electron-ohos-ocrCPF-Electron 鸿蒙社区https://atomgit.com/CPF-Electron

实测环境:

项版本/型号
Electronv40.1.0(peer 依赖 >= 20,库核心也支持纯 Node 18+)
Node.js18+
DevEco Studio5.x+(自带 hdc 工具链与 hvigor;构建 agent HAP 用)
实测设备HarmonyOS 2in1 模拟器(127.0.0.1:5555,3120×2080),OpenHarmony 7.0.0.105,API 26;414 ms 那次更早运行没有记录设备型号
设备能力基线Core Vision Kit textRecognition 自 API 12 可用;agent 工程 compatibleSdkVersion 5.0.5(17)、targetSdkVersion 6.0.0(20)
hdcDevEco Studio SDK toolchains 自带;需支持 -b 沙箱传文件与 aa start --ps
local 后端tesseract.js(WASM,主进程运行;首次使用时下载语言数据)
测试vitest 4 个文件 56 项全过(后端选择、hdc 协议解析、tesseract 映射、模型契约;子进程与 worker 全 mock,不需要真机)

表里的测试数和构建输出来自仓库验证记录(2026-11-13)。那天的机器是 macOS arm64,Node 24.12.0、npm 11.12.1、TypeScript 5.9.3、Vitest 3.2.7;鸿蒙侧用 DevEco Studio 自带的 hvigor 和 API 26 SDK,hdc 连的是 127.0.0.1:5555 的 2in1 模拟器。下面的日志、错误码和命令输出都能在那份记录或源码里对上,没有补写“应该能跑”的结论。

1. 414 ms 那张图,和后来那个 1001400001

设备代理页:55 个文本块、414 ms

这张图拍的是设备代理页,桌面应用在另一头。414 ms 是设备上的读数,触发者却在桌面:窗口底部一行写着 Triggered from Electron via: hdc shell aa start --ps job <id>。标题栏 ElectronOcrAgent,副标题 vision-on-device · Core Vision Kit (API 12+),右上角 status installed、last job none;左边是刚被识别的整屏截图,右边第一行 55 blocks · 414 ms · 3120×2080 px,下面 55 条编号文本,连目录树里的 ✓C harmonyos、{} oh-package-lock.js、oh-package.json5 都抓出来了。按钮 Photo picker smoke test 旁边写着 done in 414 ms。识别由桌面应用通过 hdc 拉起 Ability 触发,设备上没有人去点按钮。

截图那次运行比 11 月 13 日的验证记录早。仓库当前版本的代理页已经换成中文界面(代理页截图),后来在 2in1 模拟器上,图能解码、Ability 能起、envelope 能写回来,recognizeText 却返回 1001400001。桌面 auto 回退本机 Tesseract,最终 tesseract-local、7 行、237 ms,状态栏写“设备已连接,但端侧识别失败,已回退本机”。协议没变,变的是设备镜像里有没有 OCR 模型。414 ms 那次每个环节都返回成功;1001400001 这一次,失败落在哪一段,得把探测和识别分开看。

2. 各个目录放什么

仓库工程结构

仓库顶层是 src/、test/、example/、ohos/ 和文档目录;ohos/library 是设备侧 HAR,ohos/example 是代理 HAP,test/ 是 56 项 vitest,example/ 是桌面“取字”工作台。

3. 从推图到收回 JSON,难的是边界

一次 device 识别的完整数据流都在这张图里(hdc 命令一览详见架构文档;图里的 …/files 指 ./data/storage/el2/base/haps/entry/files):

┌──────────────────── Electron 桌面应用(Main 进程) ────────────────────┐
│  OhosOcrEngine(prefer: 'auto')                                       │
│    ├─ device 后端:spawn hdc(argv 数组,无 shell 插值)                │
│    └─ local  后端:tesseract.js worker(主进程)                        │
└──────────────────────────────┬────────────────────────────────────────┘
                               │ USB / 网络
┌──────────────────────────────▼────────────────────────────────────────┐
│ 鸿蒙设备 / 模拟器(API 12+) com.ohos.electronocr.agent                │
│   ① hdc file send -b <bundle> 本地.png …/files/ocr/in/<job>.png       │
│   ② hdc shell aa start -b <bundle> -a OcrAgentAbility                 │
│        --ps job <id> --ps lang CHINESE                                │
│        └─ 设备侧:读图 → textRecognition.recognizeText                │
│                    → 写 ocr/out/<job>.json → 删图 → 自退出             │
│   ③ hdc file recv -b <bundle> …/ocr/out/<job>.json 本地.json(轮询)  │
└────────────────────────────────────────────────────────────────────────┘

验证记录里的命令长这样:

hdc file send -b com.ohos.electronocr.agent \
  image.png ./data/storage/el2/base/haps/entry/files/ocr/in/probe002.png

hdc shell aa start -b com.ohos.electronocr.agent -a OcrAgentAbility \
  --ps job probe002 --ps lang CHINESE

hdc file recv -b com.ohos.electronocr.agent \
  ./data/storage/el2/base/haps/entry/files/ocr/out/probe002.json result.json

-b 把远端路径解释成 bundle 沙箱相对路径,不需要 run-as,也不需要设备 root。job id 由 crypto.randomUUID() 去掉横线后取前 16 位,既当文件名又当 --ps 参数;桌面端在 startAgent 里用 ^[0-9a-z-]{8,64}$ 校验一次,agent 拿到什么就用什么拼路径,不再校验第二遍。校验放在发起方,是因为 job id 只由库生成,agent 再多查一遍,反而要多维护一份正则。并发任务因此不会串台:轮询只认自己那个 <job>.json。

目录约定只有两级:filesDir/ocr/in/<job>.png 和 filesDir/ocr/out/<job>.json。桌面不拼绝对路径,只拼 ./data/storage/el2/base/haps/entry/files 这个沙箱相对前缀,剩下的交给 -b。默认值是 entry 模块的 filesDir;换成 HAR、feature 模块或别的 bundle 时它可能变,sandboxFilesDir 就是为这个留的覆盖项。job id 取代原文件名,有三个实际原因:同一张 receipt.png 可以连续识别多次,不会互相覆盖;--ps 只接受短字符串,16 位十六进制比中文文件名安全;原文件名只用于界面展示,设备端不需要知道它。

HdcRunner.run 用 spawn(hdcPath, argv),路径、bundle、job id 全是独立的 argv 元素。图片路径来自拖拽或文件选择,如果拼进 shell 字符串,一个带空格或分号的文件名就能多带一个参数。库内没有一处 exec 或 shell: true,-t <target> 也先在 buildArgs 里拼成数组再交给 spawn。硬超时到点直接 SIGKILL,避免一个挂死的 hdc 拖住主进程。

pushImage 并不只是给 file send 套个壳。agent 刚装上、一次都没跑过时,hdc file send -b 会失败,错误固定有两种:“Invalid bundle name”(hdc 还认不得这个 bundle)和“no such file or directory”(agent 创建的 ocr/in、ocr/out 还没出现)。两种都意味着沙箱是冷的,代码的处理是先做一次“报废的 aa start”把目录焐出来,再重试一次:

// src/backends/device-backend.ts · pushImage()
/** Step 1: `hdc file send -b` into the agent sandbox. */
async pushImage(localPath: string, jobId: string): Promise<void> {
  const remote = this.remoteInPath(jobId);
  const run = await this.guard('file send', () =>
    this.runner.run(
      ['file', 'send', '-b', this.agentBundle, localPath, remote],
      this.commandTimeoutMs,
    ),
  );
  if (run.code !== 0 || /fail|error/i.test(run.stdout + run.stderr)) {
    if (isBundleMissing(run.stdout, run.stderr)) {
      throw new OcrError(
        'AGENT_NOT_INSTALLED',
        `Agent "${this.agentBundle}" is not installed — build ohos/ in DevEco Studio and run: hdc install ohos/example/build/default/outputs/default/entry-default-signed.hap`,
      );
    }
    if (isSandboxCold(run.stdout, run.stderr, this.sandboxFilesDir)) {
      await this.warmupSandbox();
      const retry = await this.guard('file send (retry)', () =>
        this.runner.run(
          ['file', 'send', '-b', this.agentBundle, localPath, remote],
          this.commandTimeoutMs,
        ),
      );
      if (retry.code === 0 && !/fail|error/i.test(retry.stdout + retry.stderr)) {
        return;
      }
      throw new OcrError(
        'BACKEND_FAILED',
        `hdc file send failed (${retry.code}) after sandbox warmup: ${(retry.stderr || retry.stdout).trim()}`,
      );
    }
    throw new OcrError(
      'BACKEND_FAILED',
      `hdc file send failed (${run.code}): ${(run.stderr || run.stdout).trim()}`,
    );
  }
}

isSandboxCold 只看两个特征,不猜别的错误:

// src/backends/device-backend.ts
/**
 * True when a `hdc file send -b` failure means the agent sandbox is cold:
 * hdc reports "Invalid bundle name" until the app has run at least once,
 * and "no such file or directory" while the agent-created `ocr/in` and
 * `ocr/out` directories do not exist yet. Both are fixable by one
 * throwaway `aa start` (see {@link DeviceOcrBackend.warmupSandbox}).
 */
export function isSandboxCold(stdout: string, stderr: string, sandboxFilesDir: string): boolean {
  const text = `${stdout}\n${stderr}`;
  if (/invalid bundle name/i.test(text)) {
    return true;
  }
  return /no such file or directory/i.test(text) && text.includes(sandboxFilesDir);
}

warmupSandbox 用 boot 加新 job id 起一次 Ability,然后在 15 秒内轮询 ocr/out/boot<id>.json。文件出现说明目录已经建好,信封内容直接忽略;aa start 自己失败或者轮询超时,它会清掉缓存的 promise、抛 BACKEND_FAILED,下一次识别重新焐,一次冷启动失败不会被记成永久状态。第一次识别和第一百次识别的用户路径因此一样,代价只是第一次多一次 Ability 启动。把“焐热”写进协议、不写进文档,是我在这条链路上做得最对的一个决定。

第三封信由 collectResult 负责:

// src/backends/device-backend.ts · collectResult()
/**
 * Step 3: polls `hdc file recv -b` until the agent result file exists,
 * then parses the envelope. Rejects with `AGENT_TIMEOUT` on deadline.
 */
async collectResult(jobId: string): Promise<AgentEnvelope> {
  const remote = this.remoteOutPath(jobId);
  const localPath = path.join(os.tmpdir(), `electron-ohos-ocr-${jobId}.json`);
  const deadline = Date.now() + this.agentTimeoutMs;
  let lastError = '';
  for (;;) {
    const run = await this.guard('file recv', () =>
      this.runner.run(['file', 'recv', '-b', this.agentBundle, remote, localPath], 15000),
    );
    if (run.code === 0 && this.fileOps.existsSync(localPath)) {
      break;
    }
    lastError = (run.stderr || run.stdout).trim();
    if (Date.now() >= deadline) {
      throw new OcrError(
        'AGENT_TIMEOUT',
        `Agent did not write ${remote} within ${this.agentTimeoutMs} ms (last hdc error: ${lastError})`,
      );
    }
    await sleep(this.pollIntervalMs);
  }
  try {
    const raw = this.fileOps.readFileSync(localPath);
    return parseAgentEnvelope(raw, jobId);
  } finally {
    try {
      this.fileOps.removeFileSync(localPath);
    } catch {
      // Best effort only.
    }
  }
}

轮询间隔 500 ms,总超时 60 秒,单条 file recv 自己还有 15 秒上限;命令超时和等待结果超时是两回事。前者是某条 hdc 卡住,抛 BACKEND_FAILED;后者是 agent 没写文件,抛 AGENT_TIMEOUT。前者通常重试命令能过,后者要去看 hilog 里 agent 有没有起来。只有 run.code === 0 且本地临时文件真的出现才跳出循环;否则到点抛 AGENT_TIMEOUT,message 里带上最后一次 hdc 的 stderr,排查时不用再猜是“文件没写”还是“路径不对”。解析出来的 envelope 无论成败都会在 finally 里删掉本地临时文件。file send 用 30 秒的默认上限,aa start 和 warmup 只给 15 秒。拉起 Ability 正常在一秒内返回,真卡住时多等 15 秒也不会好。

成功和失败各长这样:

{
  "ok": true,
  "job": "<job>",
  "backend": "vision-kit",
  "result": {
    "id": "vision-on-device",
    "source": "<job>.png",
    "language": "CHINESE",
    "blocks": [{ "text": "有光咖啡", "confidence": 0.0 }],
    "durationMs": 142
  }
}
{"ok":false,"job":"probe002","error":{"code":"OCR_VISION_ERROR","message":"Failed to run OCR, please try again. (code 1001400001)"}}

桌面侧把 source 覆盖成本地文件名,界面上不会出现 job id;durationMs 是设备端 recognizeText 的墙钟时间,不含 hdc 传输。device 结果的 confidence 恒为 0.0,因为 Core Vision Kit 不返回逐行置信度,库不编数字。parseAgentEnvelope 对 ok:false 保留 agent 给的 code,对非 JSON 直接抛 AGENT_ERROR;OCR_VISION_ERROR 在 recognizeFile 里映射成 VISION_ERROR,其它 agent 错误映射成 AGENT_ERROR。

4. 设备在,模型不在

1001400001 第一次露面时,看起来像 file send 没把图推进去。手动跑一遍 probe002,责任才分清:send、start、recv 都返回成功,file recv 也真的拿到了文件,内容就是前面那封带 1001400001 的失败信封。

设备侧 hilog 把链路切得更细:

VisionOcr: pixel map decoded 1000x760
VisionOcr: vision pipeline failed: code=1001400001 message=Failed to run OCR, please try again.
ElectronOcrAgent: job probe002 failed: ... (code 1001400001)
ElectronOcrAgent: ability destroyed

日志第三行是验证记录里原样抄过来的,中间的省略号在记录时就截断了,跟 agent 的输出无关。图解码成 1000×760 了,说明沙箱路径、-b、文件读取都没问题;失败发生在 recognizeText 里面。单独试 textRecognition.init(),模拟器返回的是另一段:

VisionOcr: textRecognition.init unavailable: Run timed out, please try again later. (code 200)

我一开始把 1001400001 当成权限问题:agent 装好后第一次 aa start 没有弹窗、也没有错误页,看着像被系统拦下了。翻 module.json5 才看到 requestPermissions 是空数组,它只读自己的沙箱,系统那里没有可授权的入口。图片那条误判也一样:file recv 拿到了 JSON,说明 hdc 链路是通的,可那封 JSON 是失败信封,里面没有识别结果。

hilog 的顺序比错误码更能说明问题。pixel map decoded 先出现、vision pipeline failed 后出现,说明图已经从沙箱读出来、解码也成功,失败落在识别引擎里;如果只有 job failed 而没有 pixel map decoded,要回头查沙箱路径和 file send;如果先出现的是 init unavailable,那通常是设备没有 Core Vision Kit 服务,连识别入口都没进去。1001400001 的 message 永远是那句“Failed to run OCR, please try again.”,能区分的只有数字本身。

到这里可以对上号了:2in1 模拟器镜像能解码图片,但没有 Core Vision Kit 的 OCR 模型。协议是通的,图片格式也正常。桌面侧第一次探测仍然会把 device 判成健康:hdc 在、设备在、agent 也装了,跑起来才失败。回退只能放在识别调用这一处,启动探测拦不住这种失败。

auto 的行为是:探测到 device 就先走 device;device 中途失败,且 prefer 不为 device,就再用 local 跑一次。验证记录里的最终结果是 tesseract-local、7 行、237 ms,状态栏原文是“设备已连接,但端侧识别失败,已回退本机”。验证主机上的 doctor 输出:

[OK] hdc executable (hdc)
[OK] connected targets: 127.0.0.1:5555
[--] agent "com.ohos.electronocr.agent" installed on device
[OK] sandbox dir used by file send/recv: ./data/storage/el2/base/haps/entry/files
[OK] local tesseract.js backend

Active backend (auto): local

换成测试 bundle 后 [--] 变 [OK],最后一行变成 Active backend (auto): device。[--] 只表示这一项没通过;探测不确定是另一档,doctor 打的是 [? ]。这两种符号分开,是为了不把“没装”和“问不出来”混成同一个状态。

后端选择本身写在 getBackendInfo 里:

// src/engine.ts · getBackendInfo()
/**
 * Probes both backends and reports which one `auto` would pick. Use this
 * for the "backend" indicator in your UI. Never throws.
 */
async getBackendInfo(): Promise<BackendInfo> {
  const device: DeviceProbe = await this.device.probe();
  let localAvailable = false;
  try {
    localAvailable = await this.local.isAvailable();
  } catch {
    localAvailable = false;
  }
  let active: OcrBackendKind | null = null;
  if (this.prefer === 'local') {
    active = localAvailable ? OcrBackendKind.Local : null;
  } else if (this.prefer === 'device') {
    active = this.deviceHealthy(device) ? OcrBackendKind.Device : null;
  } else {
    active = this.deviceHealthy(device)
      ? OcrBackendKind.Device
      : localAvailable
        ? OcrBackendKind.Local
        : null;
  }
  return {
    active,
    prefer: this.prefer,
    device: {
      hdcFound: device.hdcFound,
      deviceConnected: device.deviceConnected,
      targets: device.targets,
      agentInstalled: device.agentInstalled,
      error: device.error,
    },
    local: localAvailable,
  };
}

探测顺序是 hdc list targets → 有目标 → hdc shell bm dump -n <agentBundle>。agentInstalled 有三态:true、false、null。null 表示 dump 既没输出“不存在”也没在文本里找到 bundle 名,这时 deviceHealthy 仍然放行:探测不确定不该直接掐掉 device,失败留给识别调用去暴露。prefer: 'device' 和 'local' 是严格模式,getBackendInfo 只报告,不偷偷换路。

两个后端的差别和选中条件:

device 后端local 后端
引擎Core Vision Kit(API 12+,端侧离线)tesseract.js(WASM,主进程)
置信度不提供,固定 0.00~100 归一化到 0~1
前置条件hdc + 已连接设备 + 已装 agent首次下载语言数据
选中条件hdc + target + agent 已装auto 兜底;prefer: 'local' 强制

recognizeFile 的回退写在 recognizeFileWithFallback 里(recognizeBytes 另有一份等价分支):

// src/engine.ts · recognizeFileWithFallback()
/**
 * Auto-fallback recognition: tries the preferred backend first; when the
 * *device* backend fails mid-run (cable unplugged, agent crash) and the
 * local backend is usable, the run is retried locally once.
 */
async recognizeFileWithFallback(
  imagePath: string,
  options: RecognizeOptions = {},
): Promise<OcrResult> {
  const backend = await this.pickBackend();
  try {
    return await backend.recognizeFile(imagePath, options);
  } catch (error) {
    if (backend.kind === OcrBackendKind.Device && this.prefer !== 'device') {
      const localOk = await this.local.isAvailable().catch(() => false);
      if (localOk) {
        try {
          return await this.local.recognizeFile(imagePath, options);
        } catch (fallbackError) {
          throw decorate(OcrBackendKind.Local, fallbackError);
        }
      }
    }
    throw decorate(backend.kind, error);
  }
}

重试要同时满足三个条件:失败的是 device 后端、prefer 不为 device、local 的 isAvailable() 为真。local 也失败时抛出的是 local 的错误:这时用户更需要知道本机也识别不了,设备那边失败过什么已经是次要信息。非 OcrError 的异常交给 decorate 包装,device 侧给 BACKEND_FAILED,local 侧给 VISION_ERROR,上层只需要看 code。

对应的测试不碰真机,device 和 local 都是 mock:

// test/engine.test.ts · describe('mid-run fallback')
describe('mid-run fallback', () => {
  it('retries locally when the device backend fails mid-run', async () => {
    deviceState.available = true;
    deviceState.failWith = 'cable unplugged';
    const engine = new OhosOcrEngine();
    const result = await engine.recognizeFileWithFallback('a.png');
    expect(result.id).toBe('tesseract-local');
  });

  it('does not fallback when prefer is device', async () => {
    deviceState.available = true;
    deviceState.failWith = 'agent crash';
    const engine = new OhosOcrEngine({ prefer: 'device' });
    await expect(engine.recognizeFileWithFallback('a.png')).rejects.toMatchObject({
      code: 'BACKEND_FAILED',
    });
  });

  it('surfaces the device error when local is unavailable', async () => {
    deviceState.available = true;
    deviceState.failWith = 'agent crash';
    localState.available = false;
    const engine = new OhosOcrEngine();
    await expect(engine.recognizeFileWithFallback('a.png')).rejects.toMatchObject({
      code: 'BACKEND_FAILED',
      message: expect.stringContaining('agent crash'),
    });
  });
});

三项断言分别覆盖“device 失败后用 local”“prefer: 'device' 不降级”“local 也不可用时暴露 device 错误”。56 项测试里,device-backend 18 项、engine 12 项、models 7 项、tesseract-backend 19 项,全部在 mock 的子进程和 worker 上跑。这也是为什么协议能改得动:改 aa start 的参数顺序,先在 test/ 里那组 argv 断言上炸掉,不用等真机。

5. 设备侧:信封先落盘,异常后抛

代理 Ability 从 Want 里读 job 和 lang,onCreate 首启和 onNewWant 复用都接住了;窗口内容 ready 后跑 runJob,跑完 terminateSelf()。onCreate 先把参数存进 pendingJob,等 onWindowStageCreate 的 loadContent 回调到了再跑;onNewWant 到来时 Ability 已经在前台,直接复用实例跑新任务。没有 job 参数的启动停在 pages/Index,那是给人手动用相册做冒烟测试的入口。

干活的是 OcrAgent:

// ohos/example/src/main/ets/ocr/OcrAgent.ets · runJob()
/**
 * Runs one job end to end. Always writes the result envelope, then either
 * resolves (success) or rejects with the failure that was already written.
 */
static async runJob(
  context: common.UIAbilityContext,
  jobId: string,
  language: OcrLanguage,
): Promise<void> {
  const filesDir: string = context.filesDir;
  const inDir: string = `${filesDir}/ocr/in`;
  const outDir: string = `${filesDir}/ocr/out`;
  const inPath: string = `${inDir}/${jobId}.png`;
  const outPath: string = `${outDir}/${jobId}.json`;
  hilog.info(DOMAIN, TAG, 'job %{public}s start, filesDir=%{public}s', jobId, filesDir);

  await OcrAgent.ensureDir(inDir);
  await OcrAgent.ensureDir(outDir);
  OcrAgent.pruneOutputs(outDir).catch((): void => {});

  let bytes: Uint8Array;
  try {
    bytes = OcrAgent.readImage(inPath);
  } catch (error) {
    const message: string =
      `Input image not found or unreadable: ${inPath} (${visionErrorMessage(error as Object)})`;
    hilog.error(DOMAIN, TAG, '%{public}s', message);
    await OcrAgent.writeText(
      outPath,
      OcrAgent.errorEnvelope(jobId, 'AGENT_INPUT_MISSING', message),
    );
    throw new Error(message);
  }

  try {
    const run: VisionRun = await VisionOcr.recognizeBytes(
      bytes,
      `${jobId}.png`,
      language,
    );
    await OcrAgent.writeText(outPath, OcrAgent.okEnvelope(jobId, run.result));
    hilog.info(
      DOMAIN, TAG,
      'job %{public}s done: %{public}d blocks in %{public}d ms',
      jobId, run.result.blocks.length, run.elapsedMs,
    );
  } catch (error) {
    const message: string = visionErrorMessage(error as Object);
    const failed = error as BusinessError;
    const code: number =
      failed === null || failed === undefined ? -1 : failed.code;
    hilog.error(
      DOMAIN, TAG,
      'job %{public}s failed: %{public}s (code %{public}d)', jobId, message, code,
    );
    await OcrAgent.writeText(
      outPath,
      OcrAgent.errorEnvelope(jobId, 'OCR_VISION_ERROR', message),
    );
    throw new Error(message);
  } finally {
    // The image is already in memory; do not leave a copy in the sandbox
    // when recognition fails (failed jobs used to accumulate inputs).
    await OcrAgent.removeFile(inPath);
  }
}

ensureDir 要自己逐级 mkdir,因为 fileIo.mkdir 不递归。已存在的目录返回 13900015,不算错误;其它错误会先 stat 确认类型,确实没建成目录才抛。readImage 先看 stat.size,0 字节直接失败并写 AGENT_INPUT_MISSING 信封。识别成功写 ok 信封,失败写 OCR_VISION_ERROR 信封,成功和失败都以 writeText 落盘,然后 finally 删掉输入图。

注释里那句 the host never waits for a file that will never appear 是整个设计的出发点:如果失败时不写文件,桌面会一直轮询到 AGENT_TIMEOUT,错误原因(模型缺失、图片损坏、引擎失败)永远埋在设备里。写完信封再抛异常,代理状态页能显示错误,桌面拆开 JSON 也知道该报哪个码。输出文件不会马上删,下一次任务按 mtime 清掉一小时前的项,沙箱不会无限长。

设备侧识别在 HAR 里的 VisionOcr.recognizeBytes:image.createImageSource → createPixelMap → textRecognition.recognizeText,finally 里 release 掉 PixelMap 和 ImageSource。Core Vision Kit 不给逐行置信度,所以每个块固定 0.0;同一个文本出现两次会去重,因为 HAR 的 OcrResult 要求块文本唯一。这份实现是从 flutter_ohos_ocr 原样搬过来的,文件头注释里写了出处;模拟器上它停在前面那个 1001400001。

agent 的 module.json5 里 requestPermissions 是空数组,exported: true 只为了让 aa 工具能拉起它。图片进的是 agent 自己的沙箱,识别完删除,全程无网络。job id 在 agent 侧不校验,因为能执行 hdc shell 的人本来就能直接读写这个沙箱;真正的边界在 hdc 的访问控制,不在 id 的正则。桌面侧仍然校验,是因为库要保证自己生成的 id 在 --ps 里不会因为长度或字符出问题;图片路径也由宿主通过 -b 写进固定目录,agent 不接收任意绝对路径。

6. 桌面这边:白名单只有一个出口

preload.ts 只暴露四个方法,底层是四个固定的 ipcRenderer.invoke 通道。渲染进程拿不到 ipcRenderer、process 或 require:

// src/preload.ts · 白名单与唯一的 invoke 出口
/** Channel names the renderer is allowed to invoke — nothing else. */
const ALLOWED_CHANNELS: readonly string[] = [
  OCR_IPC_CHANNELS.isAvailable,
  OCR_IPC_CHANNELS.backendInfo,
  OCR_IPC_CHANNELS.recognizeFile,
  OCR_IPC_CHANNELS.recognizeBytes,
];

function assertChannel(channel: string): void {
  if (!ALLOWED_CHANNELS.includes(channel)) {
    throw new Error(`electron-ohos-ocr: channel "${channel}" is not whitelisted`);
  }
}

/** Single invoke funnel with whitelist + argument validation. */
async function invoke(channel: string, ...args: unknown[]): Promise<unknown> {
  assertChannel(channel);
  if (channel === OCR_IPC_CHANNELS.recognizeFile) {
    const [imagePath] = args;
    if (typeof imagePath !== 'string' || imagePath.trim().length === 0) {
      throw new Error('recognizeFile requires a non-empty image path string');
    }
  }
  if (channel === OCR_IPC_CHANNELS.recognizeBytes) {
    const [bytes] = args;
    if (!(bytes instanceof Uint8Array) || bytes.length === 0) {
      throw new Error('recognizeBytes requires non-empty Uint8Array bytes');
    }
  }
  return ipcRenderer.invoke(channel, ...args);
}

const api: ElectronOhosOcrApi = {
  isAvailable: () =>
    invoke(OCR_IPC_CHANNELS.isAvailable).then((value) => value === true),
  getBackendInfo: () =>
    invoke(OCR_IPC_CHANNELS.backendInfo) as Promise<BackendInfo>,
  recognizeFile: (imagePath: string, options: RecognizeOptions = {}) =>
    invoke(OCR_IPC_CHANNELS.recognizeFile, imagePath, options) as Promise<OcrResult>,
  recognizeBytes: (bytes: Uint8Array, options: RecognizeOptions = {}) =>
    invoke(OCR_IPC_CHANNELS.recognizeBytes, bytes, options) as Promise<OcrResult>,
};

contextBridge.exposeInMainWorld('electronOhosOcr', api);

两道校验是有意重复的。preload 这一侧挡住的是渲染进程传错类型,主进程的 registerOcrIpcHandlers 挡的是绕过 preload 的其他调用方;两边都只收非空字符串和非空 Uint8Array。错误以 plain object 回到渲染进程,invoke 正常 reject,不会挂住。示例的 webPreferences 是 contextIsolation: true、nodeIntegration: false、sandbox: false;最后一项是为了让 preload 能 require 本库;要开 sandbox: true,就把 preload 改成纯 IPC 转发。这个取舍写在注释里,比藏在配置里好排查。

四个通道之外没有通用 invoke;页面即使被注入脚本,能调的也只有这四个方法,路径和字节还要再过一次校验。

主进程模块作用域建一个 OhosOcrEngine,registerOcrIpcHandlers(engine) 注册四个通道,will-quit 时 engine.dispose() 终止 tesseract worker。渲染进程只做两件事:拿 getBackendInfo().active 做后端徽标,调 recognizeFile 拿 OcrResult。切换后端时业务代码一行不改,因为两边返回的是同一份模型。

local 后端有一处和 device 不一样:tesseract 的中文模型常在汉字之间插空格,直接展示会变成“端 侧 文 字”。normalizeCjkSpacing 只折叠两个汉字之间的空格,汉字和拉丁字母、数字之间的空格保留,所以“项目 HarmonyOS OCR 接入”不会被粘成一串。collectTesseractBlocks 把 blocks → paragraphs → lines 展平、去重,再用页级文本按行兜底;置信度从 0…100 归一到 0…1。

local 后端的代价要提前算。第一次识别会创建 tesseract worker 并加载对应语言的 traineddata:chi_sim 和 eng 各一份,仓库的示例把 .traineddata.gz 放在 example/tessdata;没有这份数据时 tesseract.js 会尝试下载,下载失败或目录里缺文件,createWorker 直接报 VISION_ERROR,不会返回空结果。worker 按语言缓存在 Map 里,同一语言第二次识别不再加载模型。验证记录里另一次纯本机识别是 1000×760 文档、7 块、210 ms;回退那次是 237 ms,两个数都只算 worker.recognize 的墙钟,不含首次加载。机器冷启动、语言包很大或图片分辨率高时,第一次会明显慢于这个数。

7. npm run verify 与 HAP 打包输出

桌面侧:

npm install
npm run verify

最近一次输出:

Test Files  4 passed (4)
     Tests  56 passed (56)

verify 依次跑 tsc --noEmit、vitest run、tsc -p tsconfig.json。四个测试文件分别 18、12、7、19 项,覆盖后端选择、hdc 输出解析与协议、tesseract 结果映射、模型校验;子进程和 worker 全部 mock。

示例应用单独构建:cd example && npm install && npm run build。本机 Tesseract 的语言数据不进 git,macOS 上先跑 npm run fetch:tessdata 把 chi_sim 和 eng 下到 example/tessdata,或者用 ELECTRON_OHOS_OCR_TESSDATA 指向已有目录;没有语言数据时 local 后端会在创建 worker 时失败,报 VISION_ERROR,不会静默返回空结果。

设备侧:

cd ohos/example && ohpm install

export DEVECO_SDK_HOME="<DevEco SDK 路径>"
export NODE_HOME="<DevEco Node 目录>"

hvigorw \
  --mode module -p product=default -p module=library@default assembleHar --no-daemon
hvigorw \
  --mode module -p product=default -p module=entry@default assembleHap --no-daemon

hdc install -r ohos/example/build/default/outputs/default/entry-default-signed.hap

产物是 library.har 17 KB、entry-default-unsigned.hap 130 KB,两次都是 BUILD SUCCESSFUL。仓库里 signingConfigs 是空占位,SignHap 会跳过;验证时装的是本机调试签名,测试包的 bundle 临时改成了签名 profile 的名字。HAP 的安装输出是 msg:install bundle successfully.。

自动探测可以单独跑:

npx electron-ohos-ocr-doctor [--hdc /path/to/hdc] [-t target] [-b bundle]

它逐项检查 hdc、目标、agent 和 tesseract,最后打印 auto 会选的后端。doctor 全绿也不代表识别一定成功:模拟器那轮就是全绿之后 recognizeText 才报 1001400001。

这一轮的验证集中在 2in1 模拟器的失败路径、HAR/HAP 编译和 56 项单测;414 ms 的成功读数是更早一次运行,不能算作这一轮的结论。

仓库里的文档各管一块:仓库说明写双后端、HAR/agent 结构、hdc 环境准备与已知限制;OpenHarmony 接入说明是中文鸿蒙侧说明,含 2in1 模拟器缺模型的记录;架构文档讲协议顺序、envelope、沙箱布局和失败矩阵;API 文档列完整签名、错误码和 HAR API;验证记录记 2026-11-13 的构建、56 项测试与模拟器日志。

8. 失败点与边界

这个库解决的是“桌面应用怎么借设备的 OCR”,不是“Electron 在鸿蒙上跑”。device 后端依赖 hdc、已连接设备和已安装的 agent;local 后端在纯 Node 里也能跑,但中文质量取决于 traineddata。两个后端之间不共享运行时,只共享一份 OcrResult 和同一套 OcrError.code;device 结果的置信度固定 0.0,local 的 0…1 只代表 tesseract 自己的把握,不代表正确率。

桥的边界可以按失败点分。设备不在线时,auto 不会进 device,getBackendInfo 里 deviceConnected 为 false,识别直接走 local;prefer: 'device' 是严格模式,pickBackend 找不到设备就抛 UNSUPPORTED,不换路。bundle 不存在时,file send 或 aa start 会抛 AGENT_NOT_INSTALLED,message 里带着安装命令;agent 装了但没写结果文件,60 秒后是 AGENT_TIMEOUT,message 里带最后一次 hdc 的 stderr;hdc 本身找不到是 HDC_NOT_FOUND;两个后端都不可用时,auto 也抛 UNSUPPORTED,这一情况与 prefer 无关。auto 下 bundle 缺失、agent 超时、hdc 报错这些 device 失败会再试一次 local;设备不在线则一开始就选 local。用户看到的是结果或一个错误码,失败原因留在各条命令的 stderr 和 getBackendInfo().device.error 里。

短期的清单上只有证据:把 sandboxFilesDir 从配置项改成从 agent 日志或 bm dump 自动读,省掉换工程形态时手改路径。1001400001 这类“设备在、模型不在”的失败,仍然会先落到 device,再回退 local;这条路径现在有测试、有日志、有界面提示。

相关推荐

直播预告|码道能力全景 :工具、模式与智能体如何协同

同样是用 AI 写代码,为什么有人效率翻倍,有人却在反复返工?11月 17 日 19:00-20:30 ,本期直播围绕「码道能力全景 :工具、模式与智能体如何协同」展开,将从三个角度拆这个问题。能力、实战、规范三块拼齐,帮你判断什么场景该用、怎么用得更稳!

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 3

KMP/CMP 接入鸿蒙圆屏穿戴:表盘信息降级与 60 KB 内存账

本文介绍基于KMP/CMP架构的圆屏布局与内存降级库roundfit-kmp,通过纯Kotlin Multiplatform实现圆屏弦宽计算、内存预算与档位决策,统一ArkTS与原生端逻辑。在466px圆屏上,四档(glance/essential/compact/full)动态调整内容可见性,确保界面与内存估算一致。核心机制包括:逐高度计算可用宽度、跨N-API同步计划数据、固定坐标系下的弹性取舍。实验验证了预算、字号、档位对渲染结果的影响,实现“同一份计算,多端一致”的高效表盘适配。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 12

React Native 鸿蒙圆屏穿戴实战:20 KB 预算下的消息一瞥

本文详解在 React Native OpenHarmony 环境下,以零 SVG/Canvas、无原生模块限制,仅用 View 的 borderRadius 与 overflow 实现 208px 进度弧的渲染方案。通过半圆裁剪与三角函数定位拼接弧形,结合四档适配(full → glance),严格控制 28KB 内存预算,基于槽位存活表动态隐藏非关键元素,实现手表端高效、可验证的渐进式界面降级。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 12

Flutter 鸿蒙圆屏穿戴实战:让信息学会自己降级

在466px圆屏上,round_fit库通过弦宽公式动态计算每行可用宽度,结合几何约束、档位降级与内存预算(20KB起),实现手表端响应式布局。52项测试全通过,四页App在模拟器中完整运行,支持从full到glance四档降级,确保内容始终在安全圆内,且内存与显示效果精准可控。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 8

Qt 鸿蒙平板适配实战:一份源码,两条构建链,一个布局契约

Qt for OpenHarmony 5.12.12 与桌面 Qt 6.11 共用同一份 QML 和 C++ 源码,通过包装层差异实现跨平台兼容:鸿蒙端使用 qmlRegisterType() 手动注册类型,桌面端依赖 qt_add_qml_module() 自动注册;旋转逻辑封装为静态纯函数,确保几何计算一致。布局基于窗口尺寸动态解析,支持横竖屏、多栏、侧轨/底栏切换,实测于华为 MOR-M1 真机运行稳定,测试通过率 100%。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 12

Qt 鸿蒙端侧 OCR 实战:当系统 API 只给了 ArkTS 入口

本文介绍基于 Qt 与 OpenHarmony 的 OCR 桥接方案,解决 C++ 无法直接调用 textRecognition 的问题。通过在同进程内监听 127.0.0.1:52141,使用 HTTP/1.1 传输图片字节,由 ArkTS 侧执行识别并返回结果。项目实现轻量级桥接,支持长图分块处理,实测 3120×2080 图片识别耗时 443ms,验证了跨语言通信可行性。方案依赖系统权限与回环网络,未来可适配 NDK 接口开放。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 18

KMP/CMP 接入鸿蒙平板适配:响应式工作台与窗口旋转实战

本文介绍鸿蒙PC端ArkUI与Compose Desktop跨平台布局适配方案,通过Kotlin/Native实现统一断点逻辑(resolveTabletLayout),避免双端规则漂移。布局决策基于窗口尺寸变化,不依赖设备型号或方向,由Kotlin侧唯一计算并以JSON形式传递至ArkUI。工程上采用多平台Gradle构建,共享代码库支持桌面、移动端及OHOS,原生桥接通过N-API与版本脚本控制符号导出,确保跨语言调用稳定。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 2

Flutter 鸿蒙平板适配实战:约束是唯一的事实来源

该库基于纯 Dart 实现鸿蒙端自适应布局,核心为 TabletLayoutBuilder,仅依赖父级约束,通过 resolveTabletLayout 纯函数动态计算布局。支持多断点响应式设计,方向由宽高比推导,不依赖 MediaQuery.orientation,确保折叠屏、分屏等场景下状态保留。工作台双 Pane 常驻树上,仅切换可见性,实现零丢失预览与黄金对比测试。适配 1280×800/800×1280 预览及真实窗口(1100×643),兼容横竖屏、侧轨/底部导航切换,可发布为三方包

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 3

Electron 鸿蒙平板适配实战:把旋转变成一次纯函数计算

tablet-adaptive-electron 通过纯函数 planContentResize 实现跨平台窗口旋转,核心在于以内容区中心为锚点、结合工作区约束动态调整窗口大小与位置,避免因 setBounds 锚点偏差导致漂移。主进程与 renderer 共用断点契约,鸿蒙侧通过 ArkTS HAR 对齐适配,实现横竖屏无缝切换。验证覆盖断点、布局、IPC 等 70 项,支持 Electron 与 HarmonyOS PC 多端统一体验。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 3

KMP/CMP 鸿蒙分屏拖拽:把网页文字拖进摘录卡

“纸边摘录”是基于鸿蒙跨端框架(KMP/CMP)实现的分屏笔记工具,通过系统级拖拽事件接收浏览器选中文字,经由UDMF数据传递与ArkTS/Kotlin桥接,将纯文本转为可备注的卡片。设计上区分拖入预览、落点判断与数据写入三阶段,确保仅在有效落点导入,并避免重复或空内容。核心亮点在于严格按纯文本类型接收、UTF-8字节安全桥接、卡片状态稳定绑定,实现高效、无干扰的阅读辅助体验。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 3

KMP/CMP 鸿蒙平板适配:软键盘弹出后,怎么让备注框和提交按钮都能用

本文通过鸿蒙跨端示例,演示了在平板全屏与悬浮窗下,会议预约表单如何应对软键盘弹出导致的布局遮挡问题。采用KeyboardAvoidMode.RESIZE模式,由鸿蒙宿主动态压缩视口,Compose根据新约束重新布局,确保输入框获焦后自动滚入可见区域,确认按钮始终位于底部可触位置。关键在于:焦点变化与布局重测双触发滚动请求,避免因时序差导致内容被遮;将确认按钮置于滚动区外,保障提交操作连续性;同时验证全屏与悬浮窗两种形态下的可用性,确保用户在任意窗口尺寸下均可流畅完成填写与提交。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 2

KMP/CMP 接入鸿蒙 DID:对账文件改了一个字节,原签名还能验过吗?

本文通过鸿蒙跨端项目“文件签印”演示基于DID与SM2签名的文件篡改检测机制。在真实设备与模拟器上,同一签名验证原件通过、仅修改金额首字节的副本失败,证明验签可精准识别微小改动。系统通过读取原始字节、复用公钥与签名,确保验证结果可信。关键设计包括:异步接口适配、输入复制防干扰、阶段日志追踪、避免文本解析偏差,并强调验签依赖原始字节而非语义内容。项目实现跨端安全验证闭环,不暴露私钥或用户标识,适用于对账等高敏感场景。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 1

Cordova 鸿蒙平板适配实战:旋转屏幕,但不旋转页面状态

本文介绍 cordova-plugin-tablet-adaptive 插件在 ArkWeb 环境下的布局适配实现:基于纯 JS 与 ResizeObserver 动态测量容器尺寸,将布局逻辑封装为纯函数,通过方向锁探测与降级处理实现跨屏自适应。实测于 HarmonyOS PC(3120×2080),验证了窗口缩放下布局字段、状态与焦点的稳定迁移,确保无重载切换。插件无原生代码,仅依赖 DOM 测量,核心在于“以视口为准”的响应式设计,成功落地于 46 项测试

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 2

《机器人有点东西》启元机器人开发者直播季 第二期来啦!

带你揭秘机器人运动控制背后的技术原理,从第一条指令到第一个动作,聊聊运控开发的关键技术与实践经验!📅 直播时间:11 月 16 日 20:00-21:00。机器人运动控制的核心原理。从零开始的运控开发思路。运动调试与技术进阶经验。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 7

开源鸿蒙社区月度优秀评选|9 月批次获奖名单公示

开源鸿蒙社区月度优秀评选由,面向高校学生开发者,秉持小任务、快认定、强反馈、持续贡献原则,搭建高校常态化贡献评优体系,沉淀开源鸿蒙优质生态成果。2026 年 6 月—12 月6-8 月开展统一评选,合并批次获奖名额为三个月名额总和。9 月、10 月、11 月、12 月每月独立评选。目前,9 月批次优秀评选名单已正式产生,现予以公示。以下名单。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 8

全国第一课!启元T1 Pro走进北邮研究生课堂

北京邮电大学研究生课程《机器人认知计算》迎来一位特殊的“助教”——上纬启元旗下的启元T1 Pro机器人。在启元“具身智能产教融合创新实践平台”的支持下,方斌老师以启元T1 Pro为示范,为60余名研究生讲授“基于VLM的具身智能技术”。这是启元T1 Pro在全国高校课堂上的第一课,也标志着启元具身智能产教融合平台在高校教学中正式落地。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 8

KMP 鸿蒙电脑快捷键实战:用 Kotlin 状态机接管 Ctrl+S 与右键菜单

本文介绍Kotlin Multiplatform鸿蒙社区推出的kmp-ohos-pc-shortcut库,解决鸿蒙电脑端快捷键实现难题。基于KMP共享层构建状态机,精准处理修饰键、焦点切换、输入法干扰等复杂场景,支持Ctrl+S、Ctrl+Shift+S等多组合键,并在2in1模拟器中实现自由窗口右键菜单自动适配。全链路由Kotlin决策,ArkTS仅订阅事件,确保跨端一致性与可靠性。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 11

Flutter 修复 flutter_tts 鸿蒙分段等待与 WAV 导出:折叠屏双栏讲义朗读

针对折叠屏双栏有声讲义场景,修复了 oh-flutter/flutter_tts_ohos 在首次朗读引擎未初始化、播放等待早退及离线 WAV 导出缺失的问题。通过串行化引擎重建与播放完成等待逻辑,并按分片序号拼接带标准文件头的 WAV 文件,实现三段朗读逐段等待(模拟器18,658ms)、单次导出246ms生成173,204B有效WAV。修复后在真机上稳定运行,捕获并重排跨进程乱序分片,完整代码已开源于 atomgit.com/oh-flutter/flutter_tts_ohos

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 10

Flutter 修复 device_calendar 鸿蒙重复规则与服务链接:让周期会议日程准确展开并保留入会入口

本文修复了鸿蒙版 device_calendar 插件在周期日程同步与会议链接读取中的关键问题,包括重复频率映射错误、链接转换缺失及周期实例查询异常。通过对比模拟器与真机测试,验证了修复后可正确返回每日/每周重复日程(如7天晨会、4周研讨),并完整回读会议链接。完整代码已开源至 oh-flutter/device_calendar,支持鸿蒙系统Flutter开发,欢迎提交Issue或参与社区交流。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 10

Flutter 修复 screen_retriever 鸿蒙电脑屏幕工作区检索:让桌面贴边窗口精准避让系统 Dock 栏

基于 oh-flutter/screen_retriever 0.4.0 单包分支,修复鸿蒙端缺失实现及 Dart 3.11.5 兼容问题,恢复标准 MethodChannel 桥接,补全逻辑像素折算、系统可用工作区读取、监听注销闭环与窗口内光标采样。解决贴边窗口越界、底部按钮被遮挡等问题,实现工具窗精准贴靠桌面右下角,代码已开源至 oh-flutter/screen_retriever。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 12

Flutter 适配 wearable_rotary 鸿蒙穿戴旋转表冠:圆屏长列表单手平滑浏览

为解决鸿蒙圆屏模拟器上Flutter应用表冠滚动失效问题,作者在wearable_rotary基础上新增鸿蒙原生支持,通过onDigitalCrown接收旋转事件,实现焦点容器绑定、角度换算与整数幅度解析,使列表可双向滚动。适配后支持表冠浏览与触屏标记协同操作,代码已开源至oh-flutter/plugins,欢迎参与共建。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 22

读徐直军《走进华为的创新之旅》:让创新成为可持续的能力

华为轮值董事长徐直军在美国《时代》杂志发表署名文章《走进华为的创新之旅:看见、亲历、引领》,回顾三十余年来亲历和推动华为创新发展的历程,分享关于人才投入、研发体系建设与基础研究的思考。对于服务开发者的 AtomGit 而言,这些实践经验也带来了启发:我们应该如何支持人的创造力,如何帮助协作形成合力,又如何让今天的积累成为未来创新的基础?以下分享这篇文章,与广大开发者共同学习,并结合平台实践展开思考。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 33

启元机器人 Developer Playground 深圳开发者见面会圆满落幕

当「整活」的开发者遇上具身智能,代码不再只停留在屏幕之内,而是驱动实体机器人听懂指令、跑通一套新 Skill。11 月 14 日,启元机器人 Developer Playground 开发者见面会暨启元机器人深圳旗舰店开业仪式,在深圳卓悦中心正式启幕,来自 AI 应用、企业研发、机器人与嵌入式及高校技术团队的开发者们齐聚现场,围绕T1 变形机器人、Q1 人形机器人完成技术分享与 Robot Challenge 双赛道实操。为活动致辞。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 29

AtomGit 10月:“建设人工智能开源社区 AtomGit,释放开源活力。”

10 月 19 日,国务院新闻办公室新闻发布会上,工业和信息化部科技司司长魏巍在介绍“人工智能+制造”专项行动成效时明确提及:“建设人工智能开源社区 AtomGit,释放开源活力。未来,AtomGit 将持续携手开发者与生态伙伴,汇聚开源创新力量,共同推动人工智能技术创新与应用。AtomGit 企业版正式上线;开源实践中心上线,同步推出城市坐标计划 · 活动日历、开源人物志与五阶段开源成长路径;OpenAPI 文档全新改版;模型硬件匹配能力、企业版、热门专题页上线。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 123

诚邀报名 | 相约南京!2026 开源鸿蒙技术大会即将启幕,共探操作系统与 AI 共生演进新方向

随着人工智能技术加速发展,操作系统正迎来新一轮变革。面对、具身智能等前沿技术带来的新需求,操作系统将如何与深度融合、协同演进?二者的融合创新又将为软件开发与产业发展带来哪些新机遇?大会信息时间2026 年 11 月 28 日地点南京扬子江国际会议中心主办开源鸿蒙项目群技术指导委员会(TSC)看点主论坛 · 二十场技术分论坛 · 创新成果展区。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 43

开源鸿蒙跨平台直播|AI 时代,用 cj-tauri 开发鸿蒙 PC 应用

AI 已经把写代码这一段压平了,可改完到看见结果之间还隔着编译、重启和打包:一次全量编译要等 11 分 09 秒,一天能试几轮?要把桌面应用交付到开源鸿蒙 PC,又不想为这一端单独维护一套代码和一层桥接,路径该怎么选?开源鸿蒙跨平台系列直播第 24 期将结合 cj-tauri 的实践,分享「仓颉后端 + 系统 WebView 前端」这套组合。内容覆盖仓颉在开源鸿蒙生态里的位置、宿主与 IPC 双向桥的分工、能力白名单的最小权限模型,以及前端热更新给迭代节奏带来的变化;

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 60

报名开启|11 月 21 日北京,CANN 油气 & 化工行业 AI Meetup,共探 AI 落地路径

AI 加速走进油气化工行业,前沿技术如何落地业务、解决真实痛点,成为行业开发者共同关注的话题。为推动 AI 技术与行业场景深度融合,分享一线场景实践经验,围绕生态共建研讨,CANN 开源社区「油气 & 化工行业 AI Meetup」!本次活动聚焦三维全波形反演、AI 储层建模、油气 CV 应用、算子优化、图机器学习适配、化工智能体与分子筛选等方向,与行业伙伴、技术专家面对面交流,共探 AI 落地路径。活动时间:2026 年 11 月 21 日(周六)13:30–17:10。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 55

本期精选 G-Star 开源项目推荐|DSH 插件生态

从桌面状态反馈、界面设计和团队协作,到视觉理解、图像创作与应用操作,这些项目展示了 DSH 生态不同的扩展方向。有的解决具体体验问题,有的为 Agent 增加一类能力,也有项目把通用工具带进 DSH 工作区。欢迎前往仓库阅读 README、体验项目,并通过Star、Issue 或 PR支持作者。也欢迎更多开源项目申请加入 G-Star 计划,让你的项目被更多开发者看到。素材使用提示:本文介绍的是开源项目的技术能力。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 55

报名开启|11 月 21 日北京,CANNBot × MegaKernel Meetup,共探智能算子新方向

大模型落地浪潮下,算子开发、性能调优成为模型部署的核心难点。CANN 持续开源开放,依托 Agent 技术探索算子自动生成新范式。为促进算子开发者深度交流、共建 CANN 开源生态,11 月 21 日 CANN 开源社区在北京发起「CANNBot × MegaKernel Meetup」,现已开放报名!🙌。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 61

Flutter 修复 no_screenshot 鸿蒙窗口隐私模式切换:让一次性恢复口令页离开后恢复正常截屏

本文记录了在鸿蒙系统上使用 no_screenshot 插件实现页面截屏保护时,遇到的二次切换失效、恢复接口返回值错误及异步状态不同步问题。通过分析原生实现,修复了状态切换逻辑错误、返回值混淆及监听取消时的竞态问题,确保窗口隐私状态正确同步。修复后,模拟器与真机(畅享 100 Pro Max)均能正常实现进入/退出受保护页面后的截屏恢复,完整代码已开源于 oh-flutter/no_screenshot。

白天写代码,晚上追AI大模型,偶尔搞点八卦 开源动态|技术干货|实习机会|生态活动 我负责分享,你负责变强 93
上一篇: Cordova 鸿蒙平板适配实战:旋转屏幕,但不旋转页面状态
下一篇: KMP/CMP 接入鸿蒙 DID:对账文件改了一个字节,原签名还能验过吗?
AtomGit 代码君
AtomGit 代码君 企业官方账号 企业官方账号
博客等级 码龄6年 2万+粉丝 895原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值