單元 16 · 多感測器與實作案例

16.1 多相機

RPi5 兩組 CSI 可同時跑兩顆；libcamera 以多 Camera 呈現，各自獨立控制。

rpicam-hello --list-cameras   # 0: ov5647(1)  1: ov5647(0) 等

16.2 客製 OV 感測器接入（四步，含細節）

1. 硬體：CSI 2-lane、I2C、reset/clock GPIO 對齊 15-pin。
2. DT overlay：宣告 I2C 位址、clocks、reset-gpios、port{csi-lane=2}。
3. 驅動：drivers/media/i2c/ 有對應驅動（ov5647/5640/9281）。
4. 出圖 → 調校：先 RAW 確認，再做黑位/LSC/色彩（本課全套流程）。

16.3 完整案例：調校一顆 OV5647（七步）

1. rpicam-hello --list-cameras 確認偵測。
2. rpicam-still --raw -o t.dng 出圖 + 存 DNG。
3. 解析 RAW：Bayer order、黑位、缺陷像素（單元 7/8）。
4. 灰卡校正黑位與 LSC（單元 7/12）。
5. 色卡校正 AWB 與 CCM（單元 11）。
6. 實景微調 NR ↔ Sharpen（單元 13/14）。
7. 室內/日光/逆光回歸（單元 14）。

16.4 最佳實踐總清單

• 固定測試場景與光源，量化比較（σ、ΔE、直方圖、暗角比）。
• 一次只改一個參數，記錄前後圖與參數。
• 先 RAW 後 ISP，先校正後美化。
• 每個 tuning 改動都做回歸，確認無副作用。
• 所有測試條件寫進文件，供日後重現。

16.5 深入：客製感測器接入的除錯策略

• 循序驗證：I2C 通 → 讀 ID → media 節點 → 出圖 → RAW → 調校。
• 每次只換一個變數：先換驅動、再換 overlay、再換板子。
• 保留對照組：一顆官方模組當「基準」。

16.6 Worked Example：新感測器 bring-up 檢查清單

□ 硬體：CSI lane / I2C / reset / clock 腳位對齊
□ DT overlay：compatible / reg / clocks / reset-gpios
□ 驅動：是否有現成 / 是否需改 init table
□ dmesg：probe 成功？讀到 ID？
□ 出圖：--list-cameras / 預覽有畫面？
□ RAW：Bayer order / 黑位 / 缺陷像素
□ 調校：黑位 → LSC → AWB/CCM → NR/Sharpen

16.7 總複習：把你的完整流程寫成文件

1. 寫一份「你的感測器 bring-up SOP」。
2. 寫一份「你的調校流程與參數」。
3. 兩份都放進 repo，成為團隊資產。

進階真實情境 Worked Example：從零建立 OV5647 的完整 tuning 檔

場景：你拿到一顆全新的 OV5647，RPi5 的預設 tuning 不理想（偏暗、偏黃）。需要從零開始，按正確順序建立一份完整的 tuning JSON。

#!/bin/bash
# === 階段 1：備份預設 tuning ===
cp /usr/share/libcamera/ipa/rpi/pisp/ov5647.json ./tuning_v0.json

# === 階段 2：黑位校正（遮光拍攝）===
rpicam-still --raw --shutter 33000 --gain 1 \
  --awb off --awbgains 1,1 -o black.dng
python3 - <<'EOF'
import rawpy, numpy as np
raw = rawpy.imread('black.dng').raw_image[500:1500,500:1500]
print(f"BlackLevel: R={raw[0::2,0::2].mean():.0f} "
      f"Gr={raw[0::2,1::2].mean():.0f} "
      f"Gb={raw[1::2,0::2].mean():.0f} "
      f"B={raw[1::2,1::2].mean():.0f}")
EOF
# → 將量測值填入 tuning JSON 的 BlackLevel 區塊
# → 另存為 tuning_v1_black.json

# === 階段 3：LSC 校正（均勻灰拍攝）===
rpicam-still --raw --shutter 20000 --gain 1 \
  --awb off --awbgains 1,1 -o lsc_gray.dng
# → 用白牆/灰卡推算 LSC 網格 → tuning_v2_lsc.json

# === 階段 4：AWB/CCM 校正（色卡拍攝）===
rpicam-still --raw --shutter 20000 --gain 1 \
  --awb off --awbgains 1,1 -o colorchart.dng
# → 用色卡各色塊計算 CCM → tuning_v3_ccm.json

# === 階段 5：NR/Sharpen 微調（實景）===
rpicam-still --tuning-file tuning_v3_ccm.json \
  --shutter 20000 --gain 4 -o real_scene.jpg
# → 調整 Denoise strength + Sharpen → tuning_v4_final.json

# === 驗證 ===
rpicam-still --tuning-file tuning_v4_final.json \
  --shutter 20000 --gain 1 --raw -o verify.dng

深入原理擴充：OV5647 的 ISP 處理鏈與 BCM2712 PiSP 的硬體管線

RPi5 的 BCM2712 內建 PiSP（Programmable ISP），其硬體管線有以下特點：

• 管線順序固定：Black Level → LSC → Demosaic → NR → CCM → Gamma → Output。每個區塊的參數可調，但順序不可更改——這就是為什麼校正必須按順序進行。
• PiSP 的 Demosaic：使用方向性插值 + 假色抑制，比基礎雙線性插值品質高。但「假色抑制強度」只有一個旋鈕（strength），無法像專業 ISP 那樣分區域調整。
• HDR 合成：PiSP 支援 2-3 幀合成，但合成邏輯在硬體中（不可調）。用戶只能控制「是否啟用 HDR」和「曝光比」，無法自訂合成演算法。
• 統計回饋：PiSP 每幀產生亮度直方圖、色彩平均值等統計，供 libcamera 的 IPA（Image Processing Algorithm）模組使用。IPA 模組是software 實作的——可以替換或修改。

診斷式疑難排解表

進階挑戰題

1. 設計一個「tuning 質量自動評分器」：輸入一張色卡 RAW，自動計算平均 ΔE、暗角比、NR σ，輸出綜合評分。用這個評分器量化比較「預設 tuning」vs「你的手動 tuning」。
2. 若要將 OV5647 的 tuning 參數移植到 OV5640（不同的感測器），需要修改哪些區塊？哪些區塊可以直接複製？
3. 研究 libcamera 的 IPA 模組原始碼（src/ipa/rpi/pisp/），分析 AE/AWB 演算法的核心邏輯。若要自訂 AE 演算法，需要修改哪些檔案？

延伸閱讀

• 回顧全站：單元教學目錄。
• 對照站：Orange Pi 站 · Thor 站
• 學習路線：複習全站

專案級端到端 Worked Example：雙鏡頭立體視覺 bring-up 專案

場景：建立一套「雙 OV5647 立體視覺」系統：兩顆相機同步曝光、各自調校、輸出校正後的成對圖。整合單元 16（多感測器）、1（雙鏡頭）、4（overlay）、11/12/13（調校）、15（平台對照）知識。

# 1. 確認兩顆相機（Camera 0 + Camera 1）
rpicam-hello --list-cameras
# 預期：0 : ov5647  1 : ov5647

# 2. picamera2 同步配置（同尺寸/同參數）
python3 - <<'EOF'
from picamera2 import Picamera2
cam0 = Picamera2(0); cam1 = Picamera2(1)
cfg = lambda c: c.create_still_configuration(main={"size":(1296,972),"format":"RGB888"})
cam0.configure(cfg(cam0)); cam1.configure(cfg(cam1))
# 固定相同曝光/增益/AWB，確保兩眼一致
for c in (cam0, cam1):
    c.set_controls({"AeEnable":False,"ExposureTime":20000,
                    "AnalogueGain":1.0,"AwbEnable":False})
cam0.start(); cam1.start()
cam0.capture_file("left.jpg"); cam1.capture_file("right.jpg")
cam0.stop(); cam1.stop()
print("立體對輸出完成")
EOF

# 3. 驗證兩眼一致性
python3 - <<'EOF'
import cv2, numpy as np
l = cv2.imread('left.jpg'); r = cv2.imread('right.jpg')
print("亮度差(mean abs):", np.abs(l.astype(float)-r.astype(float)).mean())
# 目標 < 3（同場景兩眼亮度應幾乎一致）
EOF

量測/驗證 SOP：整合系統驗收

1. 逐一 bring-up 兩顆相機（autobringup.sh 各跑一次）。
2. 確認兩顆在 list-cameras 同時出現。
3. 同步拍攝，驗證兩眼亮度差 <3（灰度）。
4. 各跑 RAW 健康報告與黑位（兩顆各自校正）。
5. 色彩/暗角/雜訊各達標後，做場景回歸。
6. 輸出完整 bring-up + 調校文件。

平台間對照：多感測器能力

互動式檢核清單

• - [ ] 能列出客製 OV 接入四步（硬體→overlay→驅動→調校）。
• - [ ] 已完成雙鏡頭同步 bring-up。
• - [ ] 能驗證兩眼一致性（亮度差 <3）。
• - [ ] 已為每顆鏡頭各自完成 LSC/CCM 校正。
• - [ ] 已寫出自己的 bring-up SOP 與調校流程文件。
• - [ ] 已將兩份文件放入 repo 成為團隊資產。

第 3 輪深度加深

① Register 位元級完整工作流：RPi5 雙攝影機 I2C 地址配置

② 多層疑難排解決策樹

決策樹 A：多感測器只有一個能用

只有一個能用
├─ 檢查 A：兩個 sensor 是否在不同 I2C bus
│  ├─ 同 bus 同地址 → 地址衝突 → 調整其中一個的地址（如有 OTP）
  └─ 不同 bus → 繼續
├─ 檢查 B：config.txt overlay 是否正確指定 cam0/cam1
│  ├─ 未指定 → 加 ,cam0 / ,cam1 參數
│  └─ 已指定 → 繼續
├─ 檢查 C：CSI lane 分配是否正確
│  ├─ cam0 佔用全部 lane → cam1 無 lane 可用 → 調整 lane 分配
│  └─ 正確分配 → 繼續
└─ 檢查 D：ISP 是否有足夠 bandwidth 處理雙路
   ├─ 無 → 降低其中一路解析度
   └─ 有 → 檢查驅動程式 multi-camera 支援

③ 量測驗證完整 SOP：多感測器同步性量測

1. 方法：LED 閃爍 + 雙攝影機同時擷取 + frame timestamp 比對
2. 步驟：
   a. 設定 LED 以已知頻率（如 100Hz）閃爍
   b. 雙攝影機同步擷取 1000 幀
   c. 比對對應幀的 timestamp 差值
3. 量測指標：
   a. 平均時間差（offset）
   b. 時間差的標準差（jitter）
   c. 最大時間差
4. 判讀：offset <1ms, jitter <0.5ms = 同步良好
5. 常見偏差：I2C 時序差異 → 兩 sensor 啟動時間不同 → 首幀不同步

④ 四平台終極對照

⑤ 完整 Bring-up 專案 Checklist

• - [ ] 確認各 sensor 的 I2C 地址不衝突
• - [ ] config.txt 設定多個 dtoverlay
• - [ ] 驗證 media topology 包含所有 sensor
• - [ ] 逐一測試每個 sensor 獨立工作
• - [ ] 測試雙 sensor 同時擷取
• - [ ] 量測雙 sensor 同步性（offset + jitter）
• - [ ] 測試帶寬上限（最大解析度 × 最大幀率）
• - [ ] 整理多感測器配置文件供專案複用
• - [ ] 記錄各 sensor 組合的已知問題與 workaround