深入淺出Camera技術原理與架構分析

Camera攝像頭是我們生活當中極其常見的產(chǎn)品了，遍布生活方方面面，也與我們自身息息相關, 以下是一些常見不同種類的攝像頭:

雖然攝像頭種類繁多，但其主要架構與成像原理是相通的，硬件架構如下所示, 決定其整體質量的就是鏡頭, 圖像處理芯片,傳感器三大組件:

1). 外界物體通過鏡頭生成的光學圖像投射到圖像傳感器(Sensor);

2). 圖像傳感器(Sensor)將光信息轉為變?yōu)閿?shù)字圖像電信號;

3). 上一步的信號送到DSP芯片進行計算，并轉換為主流標準的RGB/YUV圖像格式;

4). 接下來通過數(shù)據(jù)線或其它通道傳入CPU，并生成文件用于展示, 此時人就看到了圖像;

基于以上基礎原理，再繼續(xù)分析其核心框架:

上面架構圖中主要涉及到了MIPI，CSI，ISP等幾個核心概念，下面進行逐一介紹

1. MIPI

由國際MIPI聯(lián)盟為移動應用處理器制定的開放標準移動產(chǎn)業(yè)處理器接口(Mobile Industry Processorinterface)。

MIPI聯(lián)盟即移動產(chǎn)業(yè)處理器接口（MIPI）聯(lián)盟，由美國德州儀器（TI）、 意法半導體（ST）、 英國ARM和芬蘭諾基亞（Nokia）4家公司共同成立，旨在定義并推廣用于移動應用處理器接口的開放標準。

2. CSI

主機處理器與攝像頭模塊之間的高速串行接口;專門針對攝像頭芯片的接口而設計, 有速率高，低功耗的特點, 極大的支持了高清攝像頭領域的發(fā)展。

CSI層級定義如下:

1). 應用層（Application Layer）

該層主要用于不同場景對數(shù)據(jù)的處理過程，對于發(fā)送方，多為camera生成數(shù)據(jù)，對于接收方，多為SOC對數(shù)據(jù)進行處理。

2). 協(xié)議層（Protocol Layer）

CSI-2協(xié)議可以使用SOC上的一個物理接口實現(xiàn)多條數(shù)據(jù)流的傳輸。協(xié)議層規(guī)定了如何對多條數(shù)據(jù)流進行標記和交織，從而使每條數(shù)據(jù)流能夠正確地重建。

(1).像素字節(jié)轉換層（Pixel/Byte Packing/Unpacking Layer）

CSI-2能夠支持多種多樣的像素格式，對于發(fā)送方，在數(shù)據(jù)發(fā)送之前，需要根據(jù)像素格式，將像素數(shù)據(jù)轉換為對應的字節(jié)流；對于接收方，在將數(shù)據(jù)提供給應用層之前，需要將字節(jié)流數(shù)據(jù)轉換為像素數(shù)據(jù)。

(2).低級協(xié)議層（Low Level Protocol）

LLP指的是SoT與EoT之間的數(shù)據(jù)包字節(jié)流協(xié)議，LLP的最小單元為字節(jié)。

(3).Lane管理器（Lane Management）

為了適應不同場景下對帶寬的要求，CSI-2規(guī)定了Lane的數(shù)量是可拓展的。因此，在面臨多Lane同時傳輸時，發(fā)送方需要對字節(jié)流進行公平分流（distributor），接收方則需要對多Lane數(shù)據(jù)進行合并（merger）。

3).物理層（PHY Layer）

PHY層指定了傳輸媒介，在電氣層面從串行bit流中捕捉“0”與“1”，同時生成SoT與EoT等信號。CSI的硬件部分包括C-PHY、D-PHY，實際上使用的主要是D-PHY。

2. ISP

ISP(Image Signal Processor)即圖像信號處理器，用于處理圖像信號傳感器輸出的圖像信號。

它在相機系統(tǒng)中占有核心主導的地位，是構成相機的重要設備。ISP 通過一系列數(shù)字圖像處理算法完成對數(shù)字圖像的效果處理。

小優(yōu)智能科技采用了領先的攝像頭硬件與算法處理技術，在3D視覺與建模領域深耕多年，并取得了重要且具有較大影響力的技術專利與研究成果。

注：圖片來源包圖網(wǎng)、知乎。