主题：【原创】如何提高多帧图像的分辨率（上） -- 驿路梨花
【声明】
1、前天在新兵营里，梨花多了一句嘴，结果捅了马蜂窝，在四方城和数值分析的砸砖下，下定决心，写个帖子。。。
2、写之前，偶先说明啊，这个帖子没什么意思的，大家直接送花就可以了，要是往下看。。。就手下留情吧，里面的BUG很多很多。
3、里面的一些基本概念实在不好解释，看不懂的还是请出百度大神吧，这实在没办法科普。第一次往科技探索里发主题帖，诚惶诚恐之中。。。
如何提高相片分辨率（上）
买数码相机的时候是有不同的像素的，比如700万，500万。。。像素越高，说明照出来的相片越清晰。这个对应的就是图像分辨率的概念：分辨率越高的图像越清晰。所以偶们在看帅哥或者美女的时候，总希望分辨率越高越好，手机拍出来的图片总是差强人意吧。。。
拍照的时候，相机距离景物的举例是很近很近的，所以这种分辨率的提高仅仅依赖于光学仪器的精密度提高就可以完全达到视觉感官上的效果。但在很多领域，照相设备离被拍照物体的距离相当的远，比如卫星遥感照片，那仅仅依靠对仪器精密度的提高是远远不够的。虽然说木PP木真相，但有时候，有PP也木真相。。。那么，偶们需要真相，那么就得想办法把低分辨率的相片提高为较高分辨率的相片。
老崔家的小关在新兵营里有个帖子说：从理论上来说，对同一物体以不高的分辨率拍足够多的照片，通过某种算法的设计可使分辨率提高到一定水平。这就是一种提高相片分辨率的方法，下面就大略的描述一下这个方法（但偶可能会讲的不太清楚，不清楚的举手吧，不过偶自己也可能不清楚）。
首先，偶们要知道相片是个怎么回事的东西。。。相片之所以有图像，很简单，有的地方黑，有的地方白。偶们把黑黑白白分成了256个等级，每个等级代表不同的黑白程度，偶们把这个等级称之为图像的灰度值。每一点不同的灰度值就代表了每一点处不同的黑白程度，组成到一起就成了一幅图像。
而这个点又是怎么分的呢？这就是本文最开始提到的像素的概念了。偶们把一张相片划成N*N的格子，每个格子就代表一个像素点，像素越多,画面就越精细,同样的屏幕区域内能显示的信息也越多，所以像素高的图片越清晰 —— 当然这格子划分的极小，划分大了就成了筛子。。。那是绿坝。所以，偶们现在的任务，就是想办法把N*N的图片转化为M*M的图片（显然，M>N）。
再次，偶们要知道这个转换的基本数学工具 —— 傅里叶变换。偶们把灰度图像通过傅里叶变换，转化为频率域中的频率高低，接下来偶们所有的工作都是在这个频率域里面进行计算完成；等在频率域里的工作完成后，再通过反傅里叶变换，就能得到新的高分辨率的灰度图像，偶们的任务就完成了。而图像的细节描述是依赖于高频率，也就是说，如果频率越高，那么图像将越清楚，分辨率就越高。
如果不知道傅里叶变换，就想象：大家把一张模糊不清的照片交代梨花照相馆，过了一段时间，大家取回的照片是很清晰很清晰的，而这个通过傅里叶变换在频率域里的折腾就相当于梨花照相馆。。。下面主要叙述的就是梨花照相馆的工作流程。。。
这出现了一个问题：采样定理说（这个都熟悉吧，不熟悉的。。。&&￥￥%%），当你采样后的频率高于一定频率后会导致混叠现象。也就是说，频率不能太高了，如果太高了，就会和低频的搞到一块去，你就认不出来了。打个比方，县长低，省长高，大家都认识，但如果太高成了皇帝，就会自动的微服私访，混在平民百姓中，大家反而就不认识了。但为了使图像更清楚，需要把这个皇帝找出来，而这个找皇帝的过程，称之为解混叠，现在梨花照相馆的主要任务就是想办法找出这个皇帝（当然，不止一个，五代十国，N个皇帝）。
找皇帝虽然不是件容易的事情，但上访的人多了，大家就想了很多很多的解混叠的算法，这里讲的只是一种 —— 现在终于回到老崔家的小关引出的那个正题上来了：如何利用多帧图像融合来提高分辨率。。。
本帖一共被 1 帖 引用 (帖内工具实现)
先花
捏捏
皇帝老儿私访，油菜！
稍微有点容易含糊。或许从采样频率解释更简单。
比如老早那个说法（为了和谐略改）：挨个挑可能有冤枉的，隔一个挑可能有漏网的。
挨个挑就是很高的采样率，但成本太高。隔几个挑一个有可能就漏过频率很高的那部分。
那么还是隔开挑，不过挑多次，然后拿这些挑出的结果来“拼出漏掉的部分”
【声明】
1、关于如何提高多帧图像的分辨率的简易解释参见潜了又潜的回复。
2、偶隐隐感觉偶可能说不清楚。。。而且写的不怎么好看，感觉在写论文。。。
如何提高多帧图像的分辨率（中）
（上）说到要提高图像的分辨率的原理，就是要从一大堆频率中找出那个超出一定频率的高频信号，这就涉及一个反混叠的问题。图像的反混叠大致遵循这样一个原则：在大量的样本中寻找那个混在平民百姓中的皇帝（也就是潜了又潜说的因为采样频率而漏掉的那个部分）。
而大量的样本如何构建的呢？有两种途径，第一，我们手上只有一张照片，那么就想办法把这张照片扩展到N张；第二，我们本来就有N张照片，也就是这篇文章的题目 —— 关于多帧图像的超分辨率。
先说第一种途径。比如我们看到一张极其模糊的人脸照片的时候，我们的第一反应是什么？啊，那是个人的脸！对了，但为什么不是别的东西呢？因为偶们看到了人的眼睛、鼻子、嘴，还有脸型。。。根据偶们脑子里的常识知道，那是人脸！这里头就有两个概念，第一是脑子里的常识，一般称之为先验模型；因为有这个模型，我们会去找眼睛、鼻子、嘴和脸型，这就构成一个函数F{眼睛，鼻子，嘴，脸型，其他特征}，这把F称之为插值函数。
第一眼看完后，那么如果再看一眼，会看什么？我们会把这个F函数去比对一下这张模糊不清的图片，看是不是真的人脸，能够确认了的时候，那么实际上F函数就成了这张照片的一个近似，F函数中的各个项会有自己的数值。然后，我们再换一个人看这张照片，因为感观不同，就会产生一个新的函数G。。。依此类推，我们就有了一个足够的样本。这其中，F可能把眼睛看的比较清楚，G可能把鼻子看的比较清楚。。。这样一凑起来，这张照片就比原来清楚些。这就是单帧图片经常采用的帧内插值， 双线性插值、三次样条插值等。。。
但很显然，这样合在一起的照片较之原照片是放大的，实际上也就是说，在这个处理过程中采样频率通过插入函数的近似代替被人为的放大了，这就存在一个插值失真的问题。当如果偶们要还原成原图片的采样频率的时候，这时，那张人脸就仍会是模糊不清的。。。
从理论上说，如果只有一幅低分辨率的图像的信息，要精确地获得高分辨率图像是不可能的，因为人们无法恢复因低采样率而丢失掉的高频信息，进而不能真正地提高分辨率（只是通过放大来提高了采样频率，并且用插值法估测了丢失的高频信号）。而这一途径又是有研究意义的，因为在很多情况下，我们能获得照片数量只有有限的一些，比如近地卫星的遥感图片等。
而对于第二种途径，也就是我们手上已经有无穷多的的照片的时候 —— 当然，这些照片的分辨率并不令人满意，但数量是绝对足够的。比如挂在天上的两颗北斗一代卫星，它们属于地球静止卫星，每天都挂在离我们35860公里固定地方，理论上可以对同一目标进行无穷多的扫描。偶们把通过多帧图片来实现提高分辨率的方法，称之为图片数据的融合。
做这样一个比喻，桌子上有个苹果，那么如果我还知道相机参数，那么我一定能拍到一组低分辨率的苹果画面（虽然每张看起来并不一定就能认出是苹果）。而图片融合的实质是一个上述过程的求逆问题。也就是：如果已经得到了一组低分辨率的观测图像，并已知成像参数，如何去估计出真实物体 —— 这到底是苹果还是梨子？如果有足够多的PP，那么偶们能否准确的知道呢？答案是肯定的。
从数学原理上是容易解释的：因为光学成象的孔径有限制，就是说这所成的像的光谱是空域有界的，在边界之外都是0，这就构成了一个解析函数。而对于解析函数来说，根据某个定理（名字偶忘了），如果这个解析函数在某一有限区闭上为已知，那么一定就会处处已知，当然是要有足够条件 —— 也就是老崔家的小关说的：从理论上来说，对同一物体以不高的分辨率拍足够多的照片，通过某种算法的设计可使分辨率提高到一定水平。
但对于图像处理来说，应该如何实现呢？
欢迎
学术圈里面还有一种做法是"偷"出高分辨率图像来.
比如你看出来是个鼻子, 但很模糊, 没关系, 咱只要知道这是个鼻子, 就找个高分辨率的鼻子贴上去, 跟真正的鼻子象不象没关系, 只要是个鼻子就行. 贴上去也象那么回事.
不过这种东西, 只够写paper混论文, 胡弄胡弄, 实际操作起来不好使. 还是花等你的下文
解析函数在有限但连通区域内的闭环积分为0
鲜花已经成功送出。
此次送花为【有效送花赞扬，涨乐善、声望】
[返回] [关闭]
给大家一些感官映像