單元 7 · ISP 管線深入

7.1 管線全圖

7.2 六區塊逐一拆解（演算法 + 調校 + 設錯症狀）

7.3 Demosaic 深入（最常被忽略）

demosaic 用方向性插值重建全彩：先沿邊緣方向插值，再抑制假色。常見品質問題：

• 彩色摩爾紋（aliasing）：細密紋理上出現彩虹 → 靠假色抑制 + 光學低通濾波。
• 鋸齒（jaggies）：斜線階梯狀 → 方向性插值品質決定。
• 亮部假色：過曝區的 R/B 通道飽和順序不同 → demosaic 後的彩色邊緣。

7.4 ISP 統計回饋機制

rpicam-still --info -o /dev/null
# 輸出含 ExposureTime, AnalogueGain, ColourGains, 統計摘要

7.5 黑位量測實作（完整）

rpicam-still --raw --shutter 20000 --gain 1 -o black.dng
python3 - <<'EOF'
import rawpy, numpy as np
raw = rawpy.imread('black.dng').raw_image
roi = raw[400:1600, 400:1600]   # 中央 ROI，避開四周漏光
print('R : %.1f' % roi[0::2,0::2].mean())
print('Gr: %.1f' % roi[0::2,1::2].mean())
print('Gb: %.1f' % roi[1::2,0::2].mean())
print('B : %.1f' % roi[1::2,1::2].mean())
print('max: %d (hot pixel?)' % roi.max())
EOF

四通道均值應接近（都是黑位）。若 R/Gr/Gb/B 差異明顯 → 需分通道黑位校正（tuning 的 BlackLevel 區塊）。max 異常大 → 缺陷像素（單元 13 DPC）。

7.6 黑位與增益的關係（進階）

黑位不是常數——隨增益與溫度改變。實務：在不同增益下各測一次黑位，確認偏移是否顯著；顯著則 tuning 需分段。

for g in 1 2 4 8; do
  rpicam-still --raw --gain $g --shutter 20000 -o b$g.dng
  python3 -c "import rawpy,numpy as np;r=rawpy.imread('b$g.dng').raw_image;print('g=$g 黑位=%.1f'%r[400:1600,400:1600].mean())"
done

7.7 深入：Black Level 校正對統計的影響

黑位設錯不只是「暗部偏灰」——它會污染 AE/AWB 統計：

• 黑位過低（扣太少）→ 統計亮度偏高 → AE 把畫面調暗。
• 黑位過高 → 暗部被截黑 → 統計偏低 → AE 過曝。
• 分通道黑位不均 → AWB 判斷色偏 → 白平衡錯誤。

7.8 Worked Example：黑位與動態範圍

# 遮鏡頭：黑位 = 102（10-bit 值）
# 開鏡頭對均勻亮：飽和值 = 1023
# 可用動態範圍 = 1023 - 102 = 921 階
# 若黑位校正設錯（如扣到 200）→ 暗部 200~1023 被壓縮
# → 暗部階調損失

7.9 練習

1. 遮鏡頭拍 RAW，量測黑位四通道。
2. 檢查 max（hot pixel 候選）。
3. 把黑位值寫進「預備寫入 tuning 的清單」。

進階真實情境 Worked Example：用遮光板量測各增益下的黑位漂移

場景：你正在製作 tuning 檔的 BlackLevel 區塊，需要確認 OV5647 在不同增益下黑位的穩定性。

#!/bin/bash
# 確保鏡頭完全遮光（用遮光蓋或黑布）
echo "gain,black_r,black_gr,black_gb,black_b,max_value"
for G in 1 2 4 8 12 16; do
  rpicam-still --raw --gain $G --shutter 33000 \
    --awb off --awbgains 1,1 -o black_g${G}.dng 2>/dev/null
done

python3 - <<'EOF'
import rawpy, numpy as np
for g in [1,2,4,8,12,16]:
    raw = rawpy.imread(f'black_g{g}.dng').raw_image
    roi = raw[500:1500, 500:1500]
    r  = roi[0::2,0::2].mean()
    gr = roi[0::2,1::2].mean()
    gb = roi[1::2,0::2].mean()
    b  = roi[1::2,1::2].mean()
    mx = roi.max()
    print(f"gain={g:2d}  R={r:.1f}  Gr={gr:.1f}  Gb={gb:.1f}  B={b:.1f}  max={mx}")
EOF

深入原理擴充：BCM2712 ISP 的 demosaic 演算法與假色抑制

RPi5 的 BCM2712 ISP 使用的 demosaic 演算法，比基礎的雙線性插值複雜得多：

• 方向性插值：先偵測邊緣方向（水平/垂直/對角），沿邊緣方向插值以保留邊緣銳利度。
• 假色抑制（False Color Suppression）：Bayer pattern 的綠色像素佔 50% 但紅藍只有 25%，demosaic 後容易在高頻紋理處產生彩色摩爾紋。假色抑制會在這些區域平滑色彩差異。
• 邊緣感知降噪：在 demosaic 同時進行輕微降噪，避免放大 Bayer pattern 的固定模式雜訊。

診斷式疑難排解表

進階挑戰題

1. 設計一個實驗，量化 OV5647 在不同溫度（25°C vs 45°C）下的 dark current 差異。如何在不拆機殼的情況下改變感測器溫度？
2. 若 LSC 網格從 17×13 改為 33×25，tuning 檔大小約增加多少？畫質改善是否值得？寫出量化比較方案。
3. 從 ISP 管線圖推導：若把 BlackLevel 校正移到 LSC 之後（違反校正順序），會產生什麼具體問題？

延伸閱讀

• 下一篇：單元 8 · RAW 擷取與格式。
• libcamera IPA
• 學習路線：複習全站

專案級端到端 Worked Example：黑位量測工作站專案

場景：你要為整批 OV5647 模組建立黑位資料庫（每顆模組黑位不同）。本專案建一個「遮光量測工作站」：自動拍黑框 → 算四通道黑位 → 判斷是否需分通道校正 → 產出 BlackLevel 設定建議。整合單元 7（黑位）、2（物理）、5（拍攝）、13（雜訊）知識。

#!/bin/bash
# 遮光箱/鏡頭蓋確保全黑
for G in 1 2 4 8 16; do
  rpicam-still --raw --gain $G --shutter 33000 \
    --awb off --awbgains 1,1 -o black_g$G.dng 2>/dev/null
done

python3 - <<'EOF'
import rawpy, numpy as np
print("gain |   R   |  Gr   |  Gb   |   B   | max | hot>10σ")
for g in [1,2,4,8,16]:
    raw = rawpy.imread(f'black_g{g}.dng').raw_image
    roi = raw[500:1500, 500:1500].astype(float)
    r  = roi[0::2,0::2].mean(); gr = roi[0::2,1::2].mean()
    gb = roi[1::2,0::2].mean(); b  = roi[1::2,1::2].mean()
    hot = (roi > roi.mean() + 10*roi.std()).sum()
    print(f" {g:2d} | {r:6.1f} | {gr:5.1f} | {gb:5.1f} | {b:6.1f} | {roi.max():4d} | {hot}")
EOF

gain |   R   |  Gr   |  Gb   |   B   | max | hot>10σ
  1  |  100.2| 102.1| 101.8|  99.7 | 1080 | 3
 16  |  118.5| 120.0| 119.3| 117.2 | 1080 | 3
# 判讀：四通道差 <20 階 → 可統一 BlackLevel；差 >20 → 分通道
# 黑位隨 gain 上升（100→118）→ 需在 tuning 分段或接受誤差
# hot 固定幾顆 → 啟用 DPC（單元 13）

量測/驗證 SOP：黑位校正驗證

1. 遮光拍攝（鏡頭蓋 + 黑布，避免漏光）。
2. 在 gain=1/2/4/8/16 各拍黑框 RAW。
3. 取中央 ROI（避開四周漏光）計算四通道均值。
4. 檢查 max 與 hot pixel 數量（>10σ）。
5. 寫入 tuning 的 BlackLevel 區塊後，重拍黑框確認四通道均值被校正到接近 0。
6. 記錄黑位-增益曲線，供不同曝光設定使用。

平台間對照：黑位與統計

互動式檢核清單

• - [ ] 能依序說出 ISP 六區塊與校正順序（黑位→LSC→CCM→gamma）。
• - [ ] 已建立並驗證 black_level_lab.sh。
• - [ ] 能量測四通道黑位並判讀是否需分通道。
• - [ ] 能解釋黑位錯誤如何污染 AE/AWB 統計。
• - [ ] 已完成一次「寫入 tuning → 重拍驗證」迴圈。
• - [ ] 已記錄黑位-增益曲線。

第 3 輪深度加深

① Register 位元級完整工作流：RPi5 ISP 模組啟用控制

② 多層疑難排解決策樹

決策樹 A：ISP 模組初始化失敗

ISP 初始化失敗
├─ 檢查 A：RPi5 GPU firmware 版本
│  ├─ 過舊 → sudo rpi-update 或重裝韌體
│  └─ 最新 → 繼續
├─ 檢查 B：ISP clock 是否啟用
│  ├─ 未啟用 → 設定 clock divider register
│  └─ 已啟用 → 繼續
├─ 檢查 C：ISP 記憶體分配是否成功
│  ├─ 失敗 → CMA pool 不足 → config.txt 設定 dtoverlay=cma,cma=256M
│  └─ 成功 → 繼續
└─ 檢查 D：ISP pipeline 設定是否有 timing violation
   ├─ 有 → 調整 ISP clock 或 frame size
   └─ 無 → ISP 硬體問題

③ 量測驗證完整 SOP：ISP Pipeline 延遲量測

1. 方法：比較 RAW frame 與 ISP 輸出 frame 的 metadata timestamp
2. 步驟：
   a. rpicam-hello -k --nopreview -t 10000 --raw --info-text
   b. 同時擷取 RAW + ISP output frames
   c. 比對對應幀的 timestamp 差值
3. 量測條件：三種解析度（640×480 / 1280×720 / 1920×1080）
4. 統計：每條件 100 幀，計算 mean / std / p99
5. 判讀：mean < 15ms = 正常；std > 3ms = pipeline 有 jitter
6. 常見偏差：GPU 負載高時延遲增加；CMA 分配延遲造成首幀 spike

④ 四平台終極對照

⑤ 完整 Bring-up 專案 Checklist

• - [ ] 確認 ISP firmware 版本（vcgencmd get_throttled）
• - [ ] 確認 CMA 記憶體分配充足（≥128M）
• - [ ] 驗證 ISP pipeline clock 設定正確
• - [ ] 用 media-ctl 確認 ISP 模組在 topology 中
• - [ ] 量測 ISP 延遲（三種解析度）
• - [ ] 驗證 ISP 輸出格式（RGB / YUV / JPEG）
• - [ ] 確認 ISP 處理無 frame drop（1000 幀測試）
• - [ ] 記錄 ISP 功耗（vcgencmd measure_clock arm）