Ir al contenido principal

Reconstruccion3D: emparejamiento de puntos y cálculo del punto 3D



Como se comentaba en la entrada anterior, una vez tenemos la línea epipolar calculada podemos buscar el punto homólogo correspondiente. Para ello es necesario establecer una métrica para comparar ambos puntos. Tomar simplemente los valores RGB de los puntos no parece la forma más fiable, puesto que puede ser que haya más de un punto similar. Lo ideal sería tomar una región o parche centrada en los puntos. De esta forma la comparación será mucho más fiable y discriminante a lo largo de la epipolar.

Es necesario establecer una métrica para comparar ambos parches. Una de las más sencillas es el MSE (Mean Square Error), que promedia el resultado de restar los valores en escala de grises de cada uno de los elementos del parche. Existen otras métricas como comparar histogramas o la correlación, pero considero que es mejor comenzar con la más simple.


Como se trata de una diferencia, hay que calcular el MSE entre todas las posibles combinaciones a lo largo de la epipolar. El punto con menor MSE será el selecionado como punto homólogo.

Una vez tenemos el mismo punto localizado en ambas imágenes, podemos obtener el punto 3D calculando el lugar donde se corten ambos rayos de retroproyección. Para esta tarea he decidido emplear el mismo código que algunos de mis compañeros:



La función lineLineIntersect recibe como argumentos cuatro puntos, dos por cada rayo de retroproyección. En caso de que los rayos no se corten exactemente la función devuelve el punto intermedio de la distancia entre las dos rectas. Sin embargo, si las distancia entre las dos rectas es mayor que uno se considera que el matching no es correcto y devueve un None. Este detalle es muy importante, porque en caso de mal emparejamiento la distancia entre las rectas superará el umbral y el punto será descartado.

Finalmente, gracias a la función 'drawPoint' y el visor que incorpora la práctica podemos dibujar los puntos resultantes en un mundo 3D para comprobar el resultado

Comentarios

Entradas populares de este blog

FollowLine: primera aproximación

Para poner en práctica las ideas expuestas en la entrada anterior he realizado una primera aproximación al algoritmo de comportamiento. En el enunciado de la práctica se recomienda usar un controlador tipo PID para estimar el error, pero para este intento he decidido omitirlo. El objetivo es simplemente aprender a controlar el robot actuando en consecuencia al error cometido. He extraído tres puntos de control a diferentes alturas de la imagen referencia, con los que he dibujado la línea ideal de trayectoria en recta. En cada iteración calculo el punto medio del ancho de la línea y estimo la distancia con el punto de referencia, en principio solo para el punto a media altura. Según la magnitud del error he fijado una serie de reglas para establecer la velocidad de avance y de giro. Si el error es muy grande la velocidad de avance debe de ser pequeña y la de giro grande. Sin embargo, cuando el error es pequeño la velocidad de avance se puede aumentar al mismo tiempo que se disminuye la

FollowLine: diseño con un PID

En esta siguiente aproximación me he centrado en introducir el controlador PID en el sistema. Tras estudiar su funcionamiento teórico me he decantado por crear una nueva clase que contenga las tres constantes fijas: Kp, Kd y Ki, además de un método que compute la fórmula y devuelva el resultado. Las constantes anteriormente mencionadas no tienen ningún tipo de valor por defecto, dependen mucho del problema a tener en cuenta. Por ello, he obtenido sus valores óptimos mediante prueba y error. Realmente es un trabajo costoso y que toma tiempo, pero si se hece bien el resultado puede ser muy bueno. Para este caso en concreto, he comprobado que apenas se producen cambios en el comportamiento del robot cuando omito la constante Ki, por lo que la fijaré a 0. No entiendo bien porque parece funcionar mejor sin ella, pero realmente lo hace. También he observado que cuando Kd es mucho más grande que Kp el robot sigue las rectas increiblemente, sin oscilar, pero es poco estable en curvas. Sin e