Reconstruccion3D: Descripción y primeros pasos

En esta práctica se abordará el tema de la reconstrucción de puntos 3D a partir de dos cámaras calibradas. Para ello, gracias al entorno de Gazebo, contamos con un robot que incorpora un par estéreo calibrado del que se conoce su posición y separación. Al mundo de Grazebo se le han añadido una serie de objetos 3D de forma que las cámaras puedan captarlos para efectuar la reconstrucción. Así mismo, también tenemos a nuestra disposión un visor de puntos 3D a través del cual podremos ver el resultado. Al igual que en la práctica anterior, se parte de un script donde poder añadir código y una serie de librerías que facilitarán muchas operaciones.

Para efectuar una reconstrucción es necesario conocer la posición que ocupa el punto 3D en las dos imágenes. Obviamente no se dispone de dicha información, por lo que hay que escoger un punto en una de las imágenes y buscar su homólogo en la otra. Es importante escoger bien los puntos, ya que cuanta más textura contengan más fácil será encontrarlos en la otra imagen. En principio con realizar un simple filtro de bordes se podrían obtener puntos suficientes para efectuar una buena reconstrucción. Sin embargo, buscar cada uno de los puntos por toda la otra imagen conlleva un coste computacional muy alto. Es necesario acotar la búsqueda de alguna forma. 

Una de las principales técnicas empleadas para la reducción del tiempo de matching es el cálculo de la línea epipolar. En reconstrucción 3D, la línea epipolar de un pixel es la recta resultante de la proyección en la otra imagen de todos los posibles puntos 3D que proyectan en el pixel elegido. Por tanto, el homólogo de un punto en la imagen A se encuentra siempre a lo largo de esa línea epipolar en la imagen B. Para calcularla es necesario conocer al menos dos puntos 3D que se encuentren en el rayo de retropoyección del pixel. Este rayo es el formado por la posición del pixel en el mundo y el punto focal de la cámara. Si proyectamos de nuevo esos dos puntos en el plano de la otra imagen podremos unirlos para obtener la línea epipolar.

La librería de pyProgeo nos facilita mucho estas acciones. Con dos simples funciones, 'graficToOptical' y 'backproject' se puede hacer un cambio de coordenadas necesario y retropoyectar el punto. La instrucción 'backproject' sólo nos devuelve un punto en 3D que pertenece al rayo, pero uniendo con la posición de la cámara podemos formar una recta, de donde sacar todos los puntos que queramos.

A continuación se puede proyectar los puntos del rayo en la otra imagen, realizando el proceso inverso con las funciones 'project' y 'opticalToGrafic'. Es posible que alguno de los puntos no caigan dentro de la imagen, pero no pasa nada porque están en el mismo plano. Con proyectar dos es suficiente para formar la epipolar. Una vez los dos puntos estén proyectados, se puede extraer de ellos la ecuación de la recta que los une, de la forma y = x*m + b.



 Debido a que las dos cámaras se encuentran a la misma altura, la pendiente de la recta debería de ser cero. He podido comprobar que efectivamente obtengo un 0 casi siempre, aunque con algunos decimales, por lo que puedo decir que de momento voy por el buen camino. En la próximas entradas del blog continuaré con esta práctica, buscando la forma de encontrar el homólogo del punto inicial en la epipolar que acabo de calcular.