單元 2 · 影像感測器基礎

感測器把光變成 RAW

Bayer CFA

OV9281 / OV5640 都是標準 Bayer 排列，由 ISP demosaic 重建全彩。

Global shutter（OV9281）

OV9281 完整規格（公開）

2.5 深入原理：光電轉換與 ADC

每個像素 = 微透鏡 + 彩色濾波片（CFA）+ 光電二極體 + 讀出電路。光打到二極體產生電子，累積成電壓，再由 ADC 量化成 RAW 數字。

2.6 深入原理：Bayer CFA 的排列與位元深

標準 Bayer 2×2 塊有 RGGB / BGGR / GRBG / GBRG 四種起點。OV9281 的 Bayer order 決定 RAW 要怎麼 demosaic；設錯整個色彩翻轉。

10-bit RAW 在 CSI-2 以「10-bit packing」傳輸（每 4 像素塞 5 bytes），解析時若當成 8-bit 或 12-bit 讀，會看到條紋狀假影。

2.7 深入原理：Rolling vs Global Shutter 的曝光差異

Rolling shutter（OV5640/IMX219）逐列開始曝光，高速物體會扭曲；Global shutter（OV9281）全像素同時曝光，無扭曲但低光靈敏度較低（通常 pixel 較大補償）。

2.8 Worked Example：讀 IMX219 與 OV9281 的 ID

# OV9281（位址 0x36，ID register 0x300A/0x300B）
sudo i2cget -y 0 0x36 0x300a     # 0x92
sudo i2cget -y 0 0x36 0x300b     # 0x81

# IMX219（位址 0x10，ID register 0x0000/0x0001）
sudo i2cget -y 0 0x10 0x00       # 0x02
sudo i2cget -y 0 0x10 0x01       # 0x19

讀到「0x92 0x81」與「0x02 0x19」就代表兩顆感測器都活著——這是平台能力的第一個證明。

2.9 常見錯誤 / 陷阱

2.10 練習

1. 分別讀出 OV9281 與 IMX219 的 ID，記錄位址與值。
2. 拍一張 RAW，確認 Bayer order 是哪一種。
3. 解釋為什麼同一顆感測器換模式後「曝光感」會變。

2.11 進階：感測器時序與曝光行的關係

感測器把影像時間切成「行」。一幀 = 有效行 + vertical blanking；曝光時間通常以「行數」設定，實際秒數 = 行數 × 每行時間。每行時間又受輸出解析度與時脈影響。

2.12 快速參考：感測器規格小抄

2.13 看完本單元該記住的三件事

2.14 Worked Example：比較 OV9281 與 IMX219 的取樣

# 各自取一幀 RAW（回顧單元 8）
# OV9281: 1280x800 10-bit, I2C 0x36
# IMX219: 3280x2464 10-bit, I2C 0x10
python3 - <<'EOF'
import numpy as np
for name, f, w, h in [('ov9281','ov.raw',1280,800),
                      ('imx219','imx.raw',3280,2464)]:
    raw = np.fromfile(f, dtype=np.uint16).reshape(h, w)
    print(name, 'min', raw.min(), 'max', raw.max(),
          'mean', round(raw.mean(),1))
EOF

2.15 看完本單元該記住的三件事

延伸閱讀

• 下一篇：單元 3 · 感測器通訊介面。
• OV9281 產品頁
• 學習路線：複習全站

2.13 進階真實情境 Worked Example：OV9281 在 Orin Nano 上做 Line-Scan 模擬

場景：工業傳送帶需要「線掃描」（line-scan）效果來檢測產品表面缺陷。OV9281 是 area sensor，但利用其 global shutter 特性，可以用軟體模擬 line-scan：只取每幀的中間一行 pixel。

# 1. 設定 OV9281 為全解析度 1280x800, 120fps
v4l2-ctl -d /dev/v4l-subdev0 --set-fmt-video=width=1280,height=800,pixelformat=GREY
# 2. 用 GStreamer 擷取並只取中間行（800/2=400）
gst-launch-1.0 v4l2src device=/dev/video0 ! \
  video/x-raw,format=GRAY8,width=1280,height=800,framerate=120/1 ! \
  videobox left=0 right=0 top=399 bottom=-400 ! \
  multifilesink location=line_%04d.raw
# 3. 逐行拼成完整影像（Python）
python3 - <<'EOF'
import numpy as np, glob
lines = [np.fromfile(f, dtype=np.uint8) for f in sorted(glob.glob('line_*.raw'))]
np.array(lines).tofile('linescan.raw')
print(f'拼接完成：{len(lines)} 行 x {lines[0].shape[0]} 像素')
EOF

設計決策：OV9281 的 global shutter 確保每幀的行間無果凍效應（rolling shutter 會扭曲），120fps 提供高密度取樣。Orin 的 VI channel 只需一路，ISP 不必啟用（直接取灰階 RAW）。

2.14 深入原理擴充：Global Shutter 的「同時曝光」不是「同時讀出」

Global shutter 感測器的每個 pixel 同時開始曝光、同時結束曝光（這是它比 rolling shutter 的優勢），但讀出（readout）仍然是逐列依次進行的。讀出速度受感測器內部 ADC 與匯流排頻寬限制。

2.15 診斷式疑難排解表

2.16 進階挑戰題

1. 設計一個測試流程，量化 OV9281 在不同 gain 設定下的 SNR 曲線（提示：拍灰卡、計算亮部/暗部 σ/mean ratio）。
2. 若你的應用需要同時使用 OV9281（global shutter）和 OV5640（rolling shutter），規劃一張「特性比較表」涵蓋：時序特性、適用場景、DTB 配置差異、ISP 調校注意事項。
3. 嘗試用 Argus 的 `--exposure-time` 參數固定不同曝光值，觀察 OV9281 在「運動物體」下的果凍變化，寫出你的觀察結論。

2.17 專案級端到端 Worked Example：感測器特性實驗台專案

場景：你負責驗收一批新的 OV9281 模組，需要建立一座「感測器特性實驗台」，把單元 2 的光→RAW、Bayer、global shutter 知識變成可重複的量測流程，最終產出一份「每顆模組的感測器特性報告」。

# Step 1 · 上電 + 讀 ID（驗證感測器活著）
sudo i2cget -y 0 0x36 0x300a   # 0x92
sudo i2cget -y 0 0x36 0x300b   # 0x81
# Step 2 · 全遮鏡頭：量黑位
argus_camera --mode 0 --capture-auto 1 --raw-file blk.raw --duration 1
python3 - <<'EOF'
import numpy as np
raw = np.fromfile('blk.raw', dtype=np.uint16)
print('黑位 mean', round(raw.mean(),1), 'max', raw.max())  # 預期接近 datasheet 標稱
EOF
# Step 3 · 雷射亮點：判定 Bayer order（回顧 8.17 方法）
# Step 4 · 高速轉盤：確認 global shutter 無果凍
#   （若出現傾斜/彎曲 → 可能被切成 rolling 模式）
# Step 5 · 曝光階梯：確認響應線性（回顧 10.9）
for e in 1000 2000 4000 8000 16000; do
  v4l2-ctl -d /dev/v4l-subdev0 -c exposure=$e
  argus_camera --mode 0 --capture-auto 1 --raw-file e$e.raw --duration 1
done

專案輸出：每顆模組一份 sensor_report.csv（ID、黑位、Bayer order、shutter 型態、曝光線性斜率）。這份報告就是後續 ISP 調校（單元 11–14）的「感測器本質」基線。

2.18 量測/驗證 SOP：感測器基本特性驗證

1. ID 驗證：讀 ID register 與 datasheet 比對（OV9281 → 0x92 0x81）。
2. 黑位量測：全遮鏡頭取 RAW，記錄 min/mean；與 datasheet 標稱差 > 10% 需追查。
3. Bayer order：雷射亮點法判定起點；設錯 → 色彩全錯（回顧 8.17）。
4. Shutter 型態：高速移動物體下檢查有無果凍；確認 DTB mode 與感測器實際模式一致。
5. 曝光線性：固定增益逐級拉曝光，檢查 RAW 亮度是否線性。
6. 雜訊基線：量各增益的 σ，找出「甜蜜點」與上限（回顧 13.6）。

2.19 平台間對照：感測器基本特性

2.20 互動式檢核清單：感測器特性驗收

• - [ ] 能畫出「光子 → 電子 → 電壓 → ADC → RAW」流程並標出可調點。
• - [ ] 能說出 OV9281 / OV5640 / IMX219 的解析度、快門、I2C 位址。
• - [ ] 完成一次「全遮黑位 + 雷射 Bayer + 曝光階梯」量測並記錄。
• - [ ] 能用高速移動物體分辨 global 與 rolling shutter。
• - [ ] 能解釋「換模式後曝光感變了」的根本原因（每行時間）。
• - [ ] 能寫出感測器特性報告並說出它如何餵給後續調校。

2.21 Register 位元級完整工作流：OV9281 ID 讀取與曝光設定

# Step 1: Read — 讀目前曝光高位
cur=$(i2ctransfer -y 0 w2@0x36 0x35 0x00 r1)
echo "current exp hi = 0x$cur"

# Step 2: Modify — 曝光 = 0x0500（5 行）
exp_hi=0x05; exp_mid=0x00; exp_lo=0x00

# Step 3: Write — 依序寫入三個位元組
i2ctransfer -y 0 w2@0x36 0x35 0x00 r1   # 確認讀回
i2ctransfer -y 0 w3@0x36 0x35 0x00 $exp_hi
i2ctransfer -y 0 w3@0x36 0x35 0x01 $exp_mid
i2ctransfer -y 0 w3@0x36 0x35 0x02 $exp_lo

# Step 4: Verify — 回讀三個位元組組合成完整值
r_hi=$(i2ctransfer -y 0 w2@0x36 0x35 0x00 r1)
r_mid=$(i2ctransfer -y 0 w2@0x36 0x35 0x01 r1)
r_lo=$(i2ctransfer -y 0 w2@0x36 0x35 0x02 r1)
echo "verify: 0x$r_hi 0x$r_mid 0x$r_lo"

2.22 多層疑難排解決策樹

1. 灰卡拍出彩色？
   ├─ 是 ┐
   │   2. 嘗試 4 種 Bayer 起點（RGGB/BGGR/GRBG/GBRG）
   │      ├─ 有一種正確 → DTB pixel_phase 設錯
   │      └─ 全部不對 ┐
   │      3. 感測器實際輸出格式與 DTB 宣告不符？
   │         ├─ 是 → 查 datasheet 確認真正的 Bayer order
   │         └─ 否 → ISP demosaic 問題（回歸單元 7）
   └─ 否 → 色彩正常

1. 高速移動物體拍出有果凍（直線彎曲）？
   ├─ 是 ┐
   │   2. OV9281 register 0x0106 設定為 global shutter 模式？
   │      ├─ 否 → 設為 0x01（global 模式）
   │      └─ 是 ┐
   │      3. DTB mode 是否宣告正確的 shutter 型態？
   │         ├─ 否 → DTB mode 改為 global
   │         └─ 是 → 硬體問題：serializer 或 GMSL link 延遲
   └─ 否 → 無果凍

2.23 量測驗證完整 SOP

1. ID 驗證：i2ctransfer -y 0 w2@0x36 0x30 0x0a r1 → 預期 0x92；r1 at 0x300B → 0x81。
2. 黑位量測：全遮鏡頭取 RAW → raw.min()；與 datasheet 黑位標稱差 > 10% 需追查。
3. Bayer order 判定：雷射亮點法——照亮點位置，取 RAW，四個 2×2 通道各取 max，哪個通道最亮即為該色的 Bayer 通道。
4. Shutter 型態：高速移動物體（>1m/s）拍照；有果凍 → rolling，無果凍 → global。
5. 曝光線性：固定增益，曝光從 1000→32000 逐級拍 RAW，計算 mean vs exposure 之 R²；R² > 0.98 = 線性良好。
6. 雜訊基線：各增益（1/2/4/8）下取 RAW，量平坦區 σ；找出 σ 暴增點 → 定增益上限。
7. 位元深驗證：RAW 檔案大小 = width × height × 2（10-bit unpacked 用 16-bit 存）。

2.24 四平台终极對照

2.25 完整 Bring-up 專案 Checklist

• - [ ] i2cget 讀 OV9281 ID（0x300A=0x92, 0x300B=0x81），記錄成功/失敗
• - [ ] i2cget 讀 IMX219 ID（0x0000=0x02, 0x0001=0x19），記錄成功/失敗
• - [ ] 全遮鏡頭取 RAW，記錄黑位 min/mean，與 datasheet 比對
• - [ ] 雷射亮點法判定 Bayer order，記錄結果
• - [ ] 高速移動物體確認 shutter 型態（global vs rolling）
• - [ ] 曝光階梯（1000→32000）取 RAW，畫出亮度曲線並算 R²
• - [ ] 各增益（1/2/4/8）取 RAW 量 σ，畫出 σ vs gain 曲線
• - [ ] 確認 RAW 檔案大小 = width × height × 2 bytes
• - [ ] 記錄感測器規格：解析度、像素尺寸、I2C 位址、ID register
• - [ ] 產出 sensor_report.csv（ID、黑位、Bayer、shutter、線性斜率）