【導(dǎo)讀】隨著人工智能技術(shù)的快速發(fā)展，視覺檢測(cè)技術(shù)在醫(yī)療健康領(lǐng)域的應(yīng)用越來(lái)越廣泛。傳統(tǒng)的視力檢測(cè)需要專業(yè)醫(yī)護(hù)人員操作，檢測(cè)效率較低，且難以實(shí)現(xiàn)自動(dòng)化。本項(xiàng)目基于米爾RK3576開發(fā)板，設(shè)計(jì)并實(shí)現(xiàn)了一套智能視力檢測(cè)系統(tǒng)，旨在提供一種便捷、高效的視力檢測(cè)方案。RK3576是一款高性能ARM架構(gòu)的開發(fā)板，搭載瑞芯微處理器，具備強(qiáng)大的AI推理能力，適合運(yùn)行手勢(shì)識(shí)別、圖像處理等AI任務(wù)。
一、項(xiàng)目背景與目標(biāo)
實(shí)現(xiàn)自動(dòng)視力檢測(cè)：用戶通過簡(jiǎn)單的手勢(shì)即可完成左右眼的視力檢測(cè)
AI手勢(shì)識(shí)別：利用MediaPipe實(shí)現(xiàn)精準(zhǔn)的OK手勢(shì)檢測(cè)，作為啟動(dòng)測(cè)試的交互方式
智能化流程控制：自動(dòng)識(shí)別E字方向、判斷測(cè)試結(jié)果、自動(dòng)切換測(cè)試眼別
語(yǔ)音交互：集成語(yǔ)音播報(bào)功能，提供清晰的測(cè)試指引和結(jié)果反饋
二、系統(tǒng)功能設(shè)計(jì)
2.1 功能架構(gòu)
系統(tǒng)架構(gòu)圖說(shuō)明：
架構(gòu)說(shuō)明：
RK3576開發(fā)板: 核心控制器，運(yùn)行所有業(yè)務(wù)邏輯
視頻播放模塊: 使用GStreamer進(jìn)行硬件解碼播放引導(dǎo)視頻
手勢(shì)識(shí)別模塊: MediaPipe Hands檢測(cè)OK手勢(shì)作為啟動(dòng)信號(hào)
距離檢測(cè)模塊: 串口讀取TOF傳感器數(shù)據(jù)，檢測(cè)用戶距離
語(yǔ)音播報(bào)模塊: ES8388音頻編解碼，播報(bào)歡迎詞和檢測(cè)結(jié)果
UI顯示模塊: PySide6 Qt開發(fā)，HDMI輸出到顯示屏
數(shù)據(jù)流向：
攝像頭采集圖像 → MediaPipe手勢(shì)識(shí)別 → 判斷OK手勢(shì)
TOF傳感器檢測(cè)距離 → 串口通信 → 判斷距離是否合適
隨機(jī)生成E字方向 → 顯示在屏幕上
用戶手勢(shì) → 攝像頭采集 → 手勢(shì)識(shí)別 → 對(duì)比判斷
測(cè)試結(jié)果 → 語(yǔ)音播報(bào) + 屏幕顯示
2.2 核心功能模塊
2.3 測(cè)試流程
流程說(shuō)明：
系統(tǒng)初始化 - 啟動(dòng)攝像頭、手勢(shì)識(shí)別、距離傳感器、音頻系統(tǒng)
播放引導(dǎo)視頻 - 開機(jī)自動(dòng)播放intro_guide.mp4介紹使用方法
等待OK手勢(shì) - 視頻結(jié)束后顯示提示，用戶做OK手勢(shì)啟動(dòng)測(cè)試
右眼測(cè)試 - 隨機(jī)顯示E字方向，用戶用手勢(shì)回答，3次測(cè)試后判斷結(jié)果
左眼測(cè)試 - 自動(dòng)切換到左手，重復(fù)右眼測(cè)試流程
顯示結(jié)果 - 播報(bào)雙側(cè)視力結(jié)果，顯示在屏幕上
等待重新測(cè)試 - 用戶可再次做OK手勢(shì)重新開始測(cè)試
三、硬件與電路說(shuō)明
3.1 硬件清單
Intel RealSense D435 深度攝像頭特點(diǎn)
本項(xiàng)目選用Intel RealSense D435深度攝像頭作為視覺采集設(shè)備，用于手勢(shì)圖像采集。相比普通USB攝像頭具有以下優(yōu)勢(shì)：
雙流輸出
同時(shí)支持RGB彩色流和深度流
本項(xiàng)目使用RGB流(640x480)進(jìn)行手勢(shì)識(shí)別
深度流可用于未來(lái)擴(kuò)展（如手勢(shì)分割）
高質(zhì)量圖像
RGB分辨率：1920x1080 @ 30fps
采集分辨率：640x480 @ 15fps（用于手勢(shì)識(shí)別）
內(nèi)置自動(dòng)白平衡、自動(dòng)曝光功能
適用于各種光照條件
即插即用
通過USB 3.0接口連接
提供跨平臺(tái)的librealsense SDK (pyrealsense2)
支持Linux、Windows等操作系統(tǒng)
穩(wěn)定性強(qiáng)
工業(yè)級(jí)品質(zhì)，穩(wěn)定性好
自動(dòng)曝光和對(duì)焦，適應(yīng)能力強(qiáng)
在復(fù)雜環(huán)境下仍能準(zhǔn)確識(shí)別手勢(shì)
易于集成
Python綁定支持，易于開發(fā)
幀同步機(jī)制，確保數(shù)據(jù)一致性
實(shí)時(shí)性好，滿足手勢(shì)識(shí)別需求
TOF激光測(cè)距模塊特點(diǎn)
本項(xiàng)目選用TOF（Time of Flight）激光測(cè)距模塊作為距離檢測(cè)設(shè)備，具有以下優(yōu)勢(shì)：
超寬測(cè)距范圍
測(cè)距范圍：2cm ~ 10m
覆蓋從近到遠(yuǎn)的各種使用場(chǎng)景
高精度測(cè)量
測(cè)量精度：±1cm
分辨率高，可檢測(cè)微小距離變化
快速響應(yīng)
響應(yīng)時(shí)間：<100ms
實(shí)時(shí)檢測(cè)用戶距離，適用于動(dòng)態(tài)場(chǎng)景
抗干擾能力強(qiáng)
不受光照變化影響
不受被測(cè)物體顏色和材質(zhì)影響
低功耗
功耗低，發(fā)熱小
適合長(zhǎng)時(shí)間運(yùn)行
3.2 硬件接線
RK3576開發(fā)板
│
├── USB3.0接口 ────> Intel RealSense D435 深度攝像頭
│ │
├── 串口(UART) ─────> TOF激光測(cè)距模塊
│ │
├── I2S/PCM ────────> 音頻編解碼 (ES8388) ──> 喇叭
│ │
└── HDMI ──────────> 顯示器 (HDMI OUT)
3.3 系統(tǒng)環(huán)境
操作系統(tǒng): Buildroot Linux (ARM64)
Python版本: 3.10+
AI框架: MediaPipe (Google)
視覺庫(kù): Intel RealSense SDK (librealsense)
GUI框架: PySide6
多媒體: GStreamer + ALSA
音頻格式: WAV (44.1kHz, 16bit, stereo)
四、關(guān)鍵技術(shù)說(shuō)明
4.1 AI手勢(shì)識(shí)別
使用Google的MediaPipe框架進(jìn)行手勢(shì)識(shí)別，主要特點(diǎn)：
模型: MediaPipe Hands (預(yù)訓(xùn)練模型)
輸入: RGB圖像 (640x480)
輸出: 21個(gè)關(guān)鍵點(diǎn)坐標(biāo)、手勢(shì)分類
性能: 實(shí)時(shí)推理 (30fps)
4.1.1 MediaPipe Hands 21個(gè)關(guān)鍵點(diǎn)
MediaPipe Hands 模型輸出21個(gè)手部關(guān)鍵點(diǎn)，編號(hào)從0到20：
8 12 16 20
│ │ │ │
▼ ▼ ▼ ▼
○───────────○───────────○───────────○ ← 食指、中指、無(wú)名指、小指
│ │ │ │
7 11 15 19
│ │ │ │
○───────────○───────────○───────────○
│ │ │ │
6 10 14 18
│ │ │ │
○───────────○───────────○───────────○
│ │ │ │
5 9 13 17
│ │
○───────────────────────○
│ │
4 13
│ │
○────┴───────────────────────┴────○
│ │
0 9
│ │
└────────────────────────────────┘
(手腕)
關(guān)鍵點(diǎn)索引說(shuō)明：
0: 手腕
1-4: 拇指 (掌骨→近節(jié)指骨→遠(yuǎn)節(jié)指骨→指尖)
5-8: 食指
9-12: 中指
13-16: 無(wú)名指
17-20: 小指
