mipi-2

MIPI 成像连接

高性能、低功耗

概述

嵌入式视觉系统是现代应用大量高级功能的基础,包括增强视觉、汽车、机器视觉、医疗以及智慧城市摄像头等。现代视觉系统需要高分辨率、高帧速率以及不断提升的像素深度,这为数据速率和内存带宽带来了巨大的挑战。Xilinx 为摄像头传感器捕获与显示提供了成本优化的、基于 MIPI 的高性能解决方案,其支持 D-PHY、CSI-2 和 DSI 协议。此外,Xilinx 还提供许多图像传感器应用所需的图像信号处理 IP,用于色彩转换、校正与平衡等。每种设计都有独特的需求,Xilinx 器件的灵活性可助力开发者实现这些需求并为其解决方案实现差异化。

Xilinx MIPI IP 核

input

CSI-2

接收器及发射器控制器子系统

  • 支持 1-4 PPI 信道
  • 支持多种数据类型(RAW、RGB、YUV)
  • 针对 CCI 接口提供的 AXI IIC 支持
  • 基于虚拟通道 ID (VC) 的滤波
  • 输出端支持单、双及四像素
  • AXI4-compliant可为 4K 分辨率的图像和处理器提供支持的接口
  • 资源数量少
output

DSI

发射器控制器子系统

  • 支持 1~4 信道
  • 支持所有强制数据类型
  • 虚拟通道(1 至 4)可编程 EoTp 生成支持
  • 低功耗 (LP) 及超低功耗 (ULP) 模式生成
  • 多信道互操作性
  • 为数据包报头生成 ECC
  • 为数据字节生成 CRC(可选)
  • 根据数据格式转换像素字节
  • 访问更多寄存器的 AXI4-Lite 接口
  • 符合 AXI4 标准,支持输入视频流

Xilinx 器件不仅支持多种 MIPI 配置,从单个链路到多个链路,再到不同的数据速率和数据类型,不一而足,而且还可在单个器件上混合收发数据路径。此外,Xilinx 器件还具有可扩展性,仅受 I/O 数量限制。为了进一步加速或优化解决方案,可编程逻辑不仅可实现集成整个图像信号处理 (ISP) 链,同时随着 ISP 算法的改进,仍将保持可扩展性和现场可升级性。

在 Xilinx 产品间提供 MIPI 支持

成本优化的产品组合 高性能器件
  • 低成本 7 系列器件,可使用外部电阻器网络实现 D-PHY 兼容性
  • D-PHY 每信道数据速率高达 800Mb/s,图像分辨率达 800 万像素
  • 更高数据速率需要外部 D-PHY
  • 所含器件:
  • 高性能器件内建对 D-PHY 物理层的支持
      Zynq UltraScale+™ MPSoC 每信道数据速率高达 2500Mb/s,图像分辨率达 1600 万像素
    • Versal™ ACAP 每信道数据速率高达 3200Mb/s,图像分辨率达 3200 万像素
  • 此外,这些器件还为实时处理、图形处理、视频编解码、波形、数据包处理以及机器学习/人工智能引擎提供了专用引擎
  • 包含的器件:
应用

应用

Xilinx 可通过成本优化的高性能器件为摄像头传感器捕获与显示提供基于 MIPI 的解决方案,成本优化的高性能器件可在一系列广泛的市场间实现边缘类应用


汽车

Xilinx 汽车 (XA) 产品系列可在 ADAS、自动驾驶、车载信息娱乐及驾驶员信息、电气化以及联网应用中解决各种行业难题。有了灵活应变的架构,客户不仅能实现低时延计算,而且还能连接一系列广泛的接口,其中包括 MIPI。随着 MIPI 协议的增强版在工具链中发布,Xilinx 高度灵活的芯片可以适应:让客户设计其具有最新接口的系统,以尽可能实现最快的数据传输。

automotive-tile

industrial-tile

工业

智慧城市与智慧零售具有一系列从云端到边缘的复杂计算需求。Xilinx 工业视觉解决方案在提供低时延和高可靠性的同时,还可提供具有最佳性能、功耗及成本的摄像头与图像处理平台。Xilinx 产品包括异构嵌入式处理、I/O 灵活性、基于硬件的确定性控制解决方案,以及能够在整个工业生命周期处理恶劣环境的综合解决方案等。Vitis™ 统一软件平台和 Vitis™ AI 开发环境可简化 Xilinx 硬件平台间的加速应用及 AI 推断开发,有助于视频安全设备制造商和 AI 开发商快速创建可扩展的差异化产品。


消费电子

消费类产品采用机器学习提高自主性、用户交互性和情景感知性。数码单反相机、打印机和视频会议等传统应用现在随支持摄像头的机器人和无人机、电视、虚拟实境耳机以及智能家用电器一起提供。Xilinx 随机器学习、视频压缩及各种广泛的 AV 接口提供高分辨率 MIPI 接口,以实现灵活应变的低成本单芯片解决方案。这种高度的集成性将为新一轮沉浸式消费类视频及影像产品实现日益增强的自主性和分析性。

consumer-tile

aerospace-tile

航空航天

凭借超过 30 年的技术传承与支持,Xilinx 可为实现陆基、机载和空间系统的新一轮发展提供最广泛的产品系列。Zynq® UltraScale+™ MPSoC 器件的商用级与国防级产品可满足 MIPI 传感器成像与连接的要求。现已提供的平台种类繁多,其中包括无人机和机器人平台,其基于 ZU7EV 器件,可在软件可编程平台上为双路 4Kp60 MIPI 连接提供强大的支持。


广播与专业 A/V

无论应用是会议协作、数字影院还是传统广播,MIPI 都允许集成最新传感器技术,充分满足广播及专业视频捕获应用需求。MIPI IP 与任意媒体连接、视频编解码器单元 (VCU) 以及支持 8K 的视频处理元件相结合,可实现智能数字标牌、4K UHD 广播、机器学习协作,以及高质量、低比特率直播流媒体等应用的最新发展。

broadcast-tile
评估套件

评估套件

Xilinx 为摄像头传感器捕获与显示提供了成本优化的、基于 MIPI 的高性能低功耗解决方案,其支持 D-PHY、CSI-2 和 DSI 协议。


成本优化的产品组合平台

一系列广泛的工业及医疗 IoT 应用可在我们的成本优化组合平台上充分利用 MIPI 支持。这些技术包括视觉引导机器人、安全摄像头、智慧城市、智慧零售、内窥镜以及机器视觉等。

sprtan-board

Spartan-7 SP701 评估套件

SP701 评估套件配备业界最佳性能功耗比 Spartan®-7 FPGA,适用于需要传感器融合的设计,如工业网络、嵌入式视觉和汽车等应用。SP701 视频接口包括 MIPI CSI、DSI 和 HDMI。SP701 通过 Pmods 和 FMC 连接器提供高 I/O 可用性和 I/O 扩展功能,使其成为 Spartan-7 FPGA 用户最大的 IP 开发平台。
了解更多 >

包含 Spartan-7 XC7S100 FPGA

系统逻辑单元 (K) 102
存储器 1,100Kb DRAM、4,320Kb 块 RAM
DSP slice 160
最大 I/O 引脚数 400
其它功能 8 个时钟管理块 (1MMCM + 1 PLL)
1 个模数转换器 (XADC)
1 个配置 AES / HMC 模块
zybo-board

Zybo Z7: Zynq-7000 ARM/FPGA SoC 开发套件

如果您希望使用我们的 Spartan-7 FPGA 或 Zynq-7000 SoC 系列进行设计,请首先使用这些套件。Digilent 的 Zybo Z7 基于 Zynq-7000 器件构建,将双通道 Arm® Cortex®-A9 处理器与 7 系列可编程逻辑进行了完美集成。Digilent 的 Zybo Z7 基于 Zynq-7000 器件构建,将双通道 Arm® Cortex®-A9 处理器与 7 系列可编程逻辑进行了完美集成。 Zybo Z7 套件提供一个支持视频的特性集,其中包括一个与 MIPI CSI-2 兼容的 Pcam 连接器、HDMI 输入输出、DDR3L 高带宽,以及其它多媒体与连接外设等。

包含 Zynq-7000 XCZ7010 SoC 或 XC7Z020 SoC

器件 XCZ7010 XC7Z7020
系统逻辑单元 (K) 28 85
存储器 1,024MB DRAM
2.1Mb Block RAM
1,024MB DRAM
4.9Mb Block RAM
DSP slice 80 220
最大 I/O 引脚数 100 125
其它功能 2 个时钟管理块 (1MMCM + 1 PLL) 4 个时钟管理块 (1MMCM+1PLL)
1 个模数转换器 (XADC) 1 个模数转换器 (XADC)
1 AES 与 SHA 模块 1 AES 与 SHA 模块

高性能器件平台

对于人工智能或以视频为中心的工业、医疗成像、内窥镜以及医疗保健边缘人工智能等应用而言,我们的高性能器件平台可带来更高的性能以及更多的特性。如果您的应用具有视频编码或机器学习需求,请查看我们基于 Zynq UltraScale+ MPSoC 的高性能产品线。

mpsoc-board

Zynq UltraScale+ MPSoC ZCU104 评估套件

ZCU104 评估套件可帮助设计人员为监控、高级驾驶员辅助系统 (ADAS)、机器视觉、增强实境 (AR)、无人机和医学成像等嵌入式视觉应用快速启动设计。该套件采用带视频编解码器的 Zynq® UltraScale+™ MPSoC EV 器件,支持嵌入式视觉应用的许多常见外设及接口。随附提供的 ZU7EV 器件配备四核 ARM® Cortex™-A53 应用处理器、双核 Cortex-R5F 实时处理器、Mali™-400 MP2 图形处理单元、支持 4KP60 的 H.264/H.265 视频编解码器和 16nm FinFET+ 可编程逻辑。
了解更多 >

包含 Zynq UltraScale+ XCZU7EV-2FFVC1156 MPSoC

系统逻辑单元 (K) 504
存储器 38 Mb
DSP slice 1,728
视频编解码器单元 (VCU)
1
最大 I/O 引脚数
464
ultra96-board

Ultra96-V2 Zynq UltraScale+ ZU3EG

Ultra96-V2 是基于 Arm 的开发板,基于 Zynq UltraScale+™ MPSoC 构建。Ultra96-V2 提供商业及工业温度级,使用 Microchip 经过认证的无线电模块精心设计。随附的 Infineon Pmics 可进行额外的电源控制和监视。工程师可选择使用集成无线访问点功能通过 Webserver 连接到 Ultra96-V2,或者使用提供的 Linux Matchbox Windows 环境,并在集成的 Mini DisplayPort 视频输出上查看该环境。提供了多个应用示例和车载开发选项作为示例。
了解更多 >

包含 Zynq UltraScale+ MPSoC ZU3EG A484

系统逻辑单元 (K) 154
存储器 7.6 Mb
DSP slice 360
视频编解码器单元 (VCU)

最大 I/O 引脚数
252
vck190-board

Versal AI Core 系列 VCK190 评估套件

VCK190 是首款 Versal™ AI Core 系列评估套件,可帮助设计者使用 AI 和 DSP 引擎开发解决方案,与当前服务器级 CPU 相比,该解决方案可提供超过 100 倍的计算性能。
VCK190 套件包含 Versal AI Core 系列 VC1902 器件,凭借广泛的连接选项和标准化开发流程,在产品组合中提供最佳的 AI 推断及信号处理吞吐量。
了解更多 >

包含 Versal VC1902 ACAP

AI 引擎 400
DSP 引擎 1,968
系统逻辑单元 (K) 1,968
LUT 数 899,840
应用处理单元 双核 Arm® Cortex®-A72
实时处理单元 双核 Arm Cortex-R5F
最大 I/O 引脚数 770
可编程 NoC 端口 28
集成型内存控制器 4

目标平台

专门为满足无人机和机器人开发的极端视觉及传感器处理需求而设计的平台。

uav-board

自主控制与机器人

无人机与机器人平台 (URP) 可满足设计机器人和无人机应用时遇到的典型处理需求。它是一款基于 Zynq UltraScale+ MPSoC 的平台,提供广泛的处理功能。小型封装电路板集成板载传感器、软件和 FPGA 逻辑。URP 具有电机控制单元、位置传感器、障碍物检测接口和通信资源,可用于大量应用。
了解更多 >

主要功能与优势

  • 全面集成高性能导航传感器
  • 多摄像头与传感器融合
  • 高带宽连接
  • 实时处理内核上自动驾驶仪板载托管
  • 可靠的高速电机控制解决方案
  • 高性能视频处理基础架构
  • 高层次综合支持快速算法开发与实现
  • H.265 编解码器 VCU 支持 4K60fps
  • 尺寸:135 mm x 68.4 mm x 10 mm
  • 板载高效电源
  • 支持 NVMe SSD、PCIe、千兆位以太网、DisplayPort、HDMI
  • 高级调试支持
  • 工业温度 (-40℃ +85℃)

内部组件

  • 双 4K 摄像头接口
  • 高性能 DDR4 内存 64 位 + 8 位 ECC
  • 导航传感器
  • 位置传感器
  • 四路运动控制接口
  • 支持 NVMe SSD、PCIe、以太网、DisplayPort、HDMI
系统逻辑单元 (K) 504
存储器 38 Kb
DSP slice 1.728
视频编解码器单元 (VCU) 1
最大 I/O 引脚数 464
技术文档

技术文档

Default Default 标题 文件类型 日期
开始设计

开始设计

设计范例 说明 器件支持

放大

Spartan-7 SP701 应用范例
本示例主要展示一个带有 PCAM 摄像头模块的 CSI-2 子系统 IP (Digilent) 和一个带显示器的 DSI 子系统 IP,PCAM 摄像头模块是 MIPI CSI 摄像头模块常用的接口。这些都由 MicroBlaze™ 软处理器控制,所有 IP 都集成在 Vivado® 中。D-PHY 使用无源组件实施在 SP701 评估套件上。
Spartan®-7

放大

Zynq UltraScale+ MPSoC ZCU102 和 Versal ACAP VCK190 应用范例
本设计主要演示如何在 Zynq® UltraScale+™ ZCU102 电路板或 Versal™ ACAP VCK190 电路板上使用 MIPI CSI-2 RX(解码和处理视频数据)和 MIPI DSI TX 子系统。该系统接收由 IMX274 图像传感器捕获的图像。处理后的图像随后既可在 HDMI 监控器上显示,也可在 MIPI DSI 显示器上显示。
Zynq UltraScale+ MPSoC
Versal ACAP