系统框架
实际的图像融合不能单独的存在以构成系统，它是连接实际采集信息和系统控制之间的纽带。图2给出了一个标准的图像融合系统的框架，由图的描述可看出系统的框架可分为4个部分：图像配准、图像预处理、图像融合、输出和图像后处理。
在融合前期最重要的工作就是图像配准，除非是给出的为了融合而融合的图像，否则都需要进行图像配准。配准的目的是使图像满足时问和空间上的一致。在实际工程中，导致采集的图像时空不一致的因素很多，比如，摄像头的视野不同、镜片的焦距不同、图像单位时间的帧数的差异、摄像头的移动等。而且，实际工程中的图像的空间和时间上的差异在融合中是很难把握，现在也没有通用的标准来衡量这些误差。这些其他因素产生的误差是不能简单地运用融合算法来消除的。因此，只有先完成图像的配准工作，后期的图像预处理和融合算法才有意义。实际配准的过程是以一幅图像作为基础，把其他的图像通过一定算法复合在其上。
图像预处理是融合前期的一步工作。很多研究人员认为图像预处理过程并不必要，因为图像预处理过程并不是为了在视觉上的优化，而且这个过程常常是不能被用户观察到的。实际上，对于一些有先验知识的图像，在预处理阶段可以把对先验知识表示加入到图像中，这样出来的图像再去融合，就能得到比较好的结果。如果不加预处理阶段，一味地对图像用融合方法进行融合，得到结果的可靠性就自然降低了不少。
经过融合后，系统将输出一幅图像，理论上这幅图像将含有所有输入图像的有用信息。输出的这幅图像可以直接用于用户观测，或者经过后期处理，即图像信息应用，直接用于控制系统。由于融合过程中已经对图像进行了很好的信息抽取，此时后期处理阶段就相对
会容易很多。对于一个控制系统，这个模块起到了控制器的作用。
