第6章-摄像机未标定的P5P问题.docx

《第6章-摄像机未标定的P5P问题.docx》由会员分享，可在线阅读，更多相关《第6章-摄像机未标定的P5P问题.docx（19页珍藏版）》请在优知文库上搜索。

1、第九章摄像机未标定的P5P问题所谓PNP问题是指通过控制点和它们的图像点求解摄像机的方位问题,也称为透视N点问题（PerspectiveNPoint）或N点定位问题，是计算机视觉、摄影测量学乃至数学领域的一个重要研究课题，其研究成果可直接应用于机器人定位、导航等。自从PNP问题首次于1981年提出后，由于其在物体定位方面的重要应用价值，引起了人们的广泛重视，已有很多相关的文章问世7。在传统的研究方法中，均假定摄像机的内参数是已知的且在运动过程中是不变的。为了获取高质量的图像，目前数字摄像机都具有自动变焦的功能，也就是说机器人在运动过程中摄像机内参数可能经常发生变化。因此，要求摄像机内参数是已知

2、的而且在运动过程中保持不变，已很难满足实际应用的要求。本章针对五参数针孔摄像机模型，主要讨论摄像机在运动（运动参数未知）过程中其内参数是未知的且可以发生变化时，如何通过5个控制点以及它们的图像点，来求解所对应的内参数、方位以及运动参数。证明了下述结论：已知5个控制点在世界坐标系中的坐标，以及它们在摄像机作一般刚体运动前、后两幅图像中的图像坐标，当5个控制点中任意4个点均不共而且摄像机运动前、后的两光心的连线不通过任一个控制点时，则可线性地确定摄像机关于世界坐标系的方位、运动前、后所对应的内参数以及运动参数。本章的研究成果在机器人视觉中具有一定的理论意义和应用价值。9.1PNP问题概述9.1.1

3、PNP问题的定义PNP问题的定义是：已知个控制点在世界坐标系中的坐标巧,与，,与对应的图像点在像平面中的坐标皿7,皿2,，皿，求摄像机的内参数矩阵以及摄像机坐标系关于世界坐标系的方向与位置（R，）,如图6-1所示。其中A为旋转矩阵，表示摄像机的方向；（是平移向量，表示摄像机的位置。（1）当摄像机内参数矩阵是已知的，则上述问题是经典的PNP问题。（2）摄像机内参数矩阵是未知的，上述问题称为摄像机未标定的PNP问题。图9-1PNP问题示意图9.1.2已有结论目前，对于摄像机内参数已知且在运动过程中保持不变的P3P问题、P4P问题和P5P问题有如下结论：P3P问题最多有4个解且解的上限可以达到；P4

4、P问题当4个控制点共面时，问题有唯一解，当4个控制点不共面时，问题最多可能有4个解且解的上限可以达到；P5P问题至多有两个解且解的上限可以达到。对于摄像机内参数未知且在运动过程中是变化的PNP问题,相关的研究报导还很少。在许多实际问题中（如基于主动视觉系统的任务），摄像机内参数需要经常被调节而发生变化，因此不能假定摄像机内参数已知且在运动过程中是不变的。这样，研究未标定的PNP问题就具有十分重要的意义。如果摄像机使用五参数模型，对于未标定的P3P、P4P问题，其约束方程的个数均少于待求未知参数的个数，所以未标定的P3P、P4P问题总是有无穷多解。对于摄像机为四参数模型的未标定P5P问题，文献2

5、给出了下述结果：当5个控制点中任意4个不共面，或者存在4个共面的控制点但任意三个图像点不共线时，未标定的P5P问题的解仅有两种可能：（1）至多有4个解；（2）有无穷多解。无穷多解的情形是可以发生的，但极其少见。该文同时给出了至多有4个解和有无穷多解的代数条件，以及求解未标定P5P问题的具体算法。9.1.3本章所研究的问题不论是经典的PNP问题还是未标定的PNP问题，大都是使用单幅图像。由于机器人在运动过程中通常可以获得控制点的多幅图像，我们可以通过两幅图像来求解PNP问题吗？这正是本章所要研究的问题。确切地说本章讨论下述问题：假定摄像机作一般刚体运动，运动参数未知，且在运动过程中内参数可以发生

6、变化。已知5个控制点在世界坐标系中的坐标，以及它们在运动前、后两幅图像中的图像坐标，求摄像机运动前、后关于世界坐标系的方位，运动前、后所对应的内参数以及运动参数。本章假定摄像机模型为针孔五参数模型，即摄像机内参数矩阵为：fuSuK=Ofvv0OOl其中九，九分别称为图像平面、V轴的尺度因子，（%,%尸为主点坐标，S表示摄像机的畸变因子。我们先分析一下问题求解的可能性。两个内参数矩阵有10个独立的参数、两个旋转矩阵有6个独立的参数、两个平移向量有6个独立的参数，一共有22个参数需要待定。每个控制点可提供4个二次约束方程，一共有20个二次约束方程。方程的个数比待定参数的个数少两个，如果运动前、后的

7、场景图像中不能提供其它信息的话，该问题总有无穷多解，是不可解的。那么，图像中提供怎么样的信息就可以变为可解的问题呢？通过研究我们发现，如果两幅图像中包含有特征点或特征线（当然它们的空间几何信息是未知的）等信息，该问题就成为一个可解的问题。更准确地说，如果运动前、后两幅图像间的基本矩阵是已知的，则该问题是可解的,这是因为基本矩阵可提供8个约束方程，一共可得到28个非线性约束方程。直接求解由这28个（22个未知数）非线性方程所构成的方程组是极其困难的。本章采取一种新的求解方法，整个求解过程都是线性的。首先我们利用运动前、后两幅图像中的特征对应信息以及三维仿射变换保持体积比不变的性质，仿射重构5个控

8、制点，然后利用5个控制点和它们的仿射重构求解三维仿射变换矩阵，最后由三维仿射变换矩阵求解摄像机运动前、后所对应的内参数以及运动前、后关于世界坐标系的方位和运动参数。在本章其它几节，我们将详细讨论这种方法。9.2问题的数学描述与求解基本思路9.2.1问题的数学描述令世界坐标系为OvV-孙2,控制点关于世界坐标系的坐标记为X,摄像机运动前后所对应的坐标系分别为G-XyZ与-%y2，控制点关于这两个坐标系的坐标分别记为X、x(2)o令摄像机运动前关于世界坐标系的方位为(R即%=&+r(9.1)摄像机作一般刚体运动(&tc),即X=4”+tc(9.2)摄像机运动示意图如图9-2所示，于是，摄像机运动后

9、关于世界坐标系的方位为(RCR/即X=&+勺+力(9.3)记摄像机运动前、后所对应的内参数矩阵分别为：-f(l)JUS“一K(I)=0fU)JVV001%S/2)K=0N户001问题的数学描述：已知空间5个控制点关于世界坐标系的坐标为茗=(XQ,2J(T,2,.M，以及运动前的图像坐标为乙=(限,匕,I)TaY2,5)、运动后的图像坐标为或二(公2),匕(2),1)Ta=I2求解K,K，R,Rc,t,tj命题：如果已知摄像机运动前、后两幅图像间的基本矩阵，当5个控制点满足下述条件、(II)时，则可线性地确定长,K，R,R0在本章中，我们总假定下述条件(I)、(II)成立：(I)在5个控制点中，

10、任意4个点均不共面；(II)摄像机运动前、后的两光心的连线不通过任一个控制点。图9-2摄像机运动示意图9.2.2求解基本思路对于运动前后的图像坐标欣，)=(%(),匕/尸、町=(%(2),J2)/)Ta=1,2,.,5),我们有=K1Rxi+Kt(9.4)(9.5)加2)=K尺&芭+爪(2)(&/+)其中心)(i=1,2,.,5;j=1,2)是未知的非零常数。记。=KQ)R(9.6.1)4=KZ(9.6.2)苞=血q；(9.6.3)A=K6(K)(9.7.1)则式（9.4）、（9.5）可化为q=K(9.7.2)D=(.)(9.8)印加2)=)+q(9.9)式（9.6.3）有明显的几何意义：（Q

11、q）是三维空间中的仿射变换，即工?是控制点Xj的仿射重构。下面给出命题证明的基本思路：由基本矩阵求解A；由三维仿射变换保持体积比不变的性质确定X7的仿射重构工?；由控制点X7和它的仿射重构Ka）确定仿射变换（。q）;由仿射变换（。/）确定K,K，R,RW。以下几节将详细实现上述各个步骤。9.3命题的证明1 .由基本矩阵方求解Afl3f23f33(9.10)假定由图像匹配点已计算出基本矩阵为fll/12f2if22fl3f32通过方程方7=0,可以计算出第二幅图像中的极点，=(e,1,小于是，存在非零常数5。使得s-1efA=F其中O1-e,2-1Oef1e，2el从方程(9.12)可直接计算出

12、f21+eIS1A=s0A(三)=s0f11+e,2s1s力2*eIS2于23+eIS3fl2+e2S2fl3+e2S3S2S3其中S=(51,52,53)是未知的非零向量。2 .由仿射重构确定S与引将A=SOX(三)代入(9.9)式，并注意到q=kd于是我们有42)吗=%N(三)X)+ke,其中左是未知的非零常数。令Z(I)=CZI),用2)=NlZ2),三丁)=37)(0=50左-1),于是(9.8)、可分别化为靖欣D=Wa)耳吗=A(三)xf+ef将式(9.16)代入式(9.17),有(9.(11)(9.(12)(9.(13)(9.(14)(9.(15)(9.(15)(9.(16)(9.

13、(17)(9.(18)笋)*2)=%由S)MO+e从式（9.18）可计算出用，)=储)(三)=%=/4(9.19)4(町门+24(町口+4其中Cii沅：2),，4=匕(9.20)bi=一（力M+启甲+于23），bri=f11u+力2甲+f13（9.21）由假定（口），必有Z(三)0(i=l,2,.否则必有ai-c,i-0即公”=eJ，匕=瑞这表明控制点U必在摄像机运动前、后两光心的连线上，与假定（II）矛盾。因此式（9.19）可写成：用D=簿)(三)=7/(9.22)(樽)s+J其中r_于2MP)+力2中+力3(923)J2),03将式（9.22）代入式（9.16）,有工;)=Z(三)S(9.24)下面确定未知非零向量s：由（9.6.3）式知，芭与芭之间相差一个三维仿射变换，换句话说西必是芭的仿射重构，由E与芭相差一个公共的非零常数因子，所以芭.与E之间也相差一个三维仿射变换，即3?也必是吃仿射重构。令LLV（X”/,乙,巧），T）=V（E叫耳叱门明吊）（lijk.-4c,而一-瑶UF+4；M)-端T=-端*)+4的*4_-d(jki+diki-dijf+4=O(9.25)j)(