Si puedo tomar una foto con una cámara, así que yo sé que la distancia de la cámara al objeto, como un modelo a escala de una casa, quiero convertir esto en un modelo 3D que puedo maniobrar alrededor de así que me pueden comentar sobre las diferentes partes de la casa.

Si yo sentarse y pensar acerca de tomar más de una imagen, el etiquetado de la dirección y la distancia, yo debería ser capaz de averiguar cómo hacer esto, pero, pensé que me iba a preguntar si alguien tiene algún papel que pueden ayudar a explicar más.

Qué idioma explicar en no importa, ya estoy buscando el mejor enfoque.

Ahora estoy considerando la posibilidad de mostrar la casa, a continuación, el usuario puede poner en algún tipo de asistencia para la altura, tales como la distancia de la cámara a la parte superior de la parte de la modelo, y dado lo suficiente de esto sería posible comenzar el cálculo de alturas para el resto, especialmente si hay un arriba-abajo de la imagen, a continuación, las imágenes de los ángulos en los cuatro lados, para calcular alturas relativas.

A continuación, las partes tendrá que difieren en el color para ayudar a separar las distintas partes del modelo, espero que también.

  • supervisado + no supervisado aprendizaje de la demostración: youtube.com/watch?v=UzxYlbK2c7E#t=54m50s
  • Gracias por la sugerencia sobre el video.
  • Agregado de procesamiento de imágenes a las etiquetas, ya que es una de modelado y procesamiento de la imagen tipo de tarea. Tal vez algunos de los expertos en este mundo también puede ayudar!!!
  • Algunos otros DIVERTIDOS enlaces: make3d.cs.cornell.edu insight3d.sourceforge.net
  • La pregunta suena como el deseo es la reconstrucción 3D a partir de una sola imagen, que creo que no es muy factible. Estéreo de reconstrucción (utilizando múltiples puntos de vista) o de la estructura-de-movimiento de ambos requieren al menos dos imágenes.
InformationsquelleAutor James Black | 2011-10-09

6 Comentarios

  1. 13

    De investigación ha logrado avances significativos y en estos días, es posible obtener bastante buena, en busca de formas 3D a partir de imágenes 2D. Por ejemplo, en nuestro reciente trabajo de investigación titulado «Síntesis de Formas en 3D a través del Modelado Multi-Vista de Mapas de Profundidad y Siluetas Con Profundo Generativo Redes» dio un gran paso en la solución del problema de la obtención de formas en 3D a partir de imágenes 2D. En nuestro trabajo, nos muestran que no sólo se puede ir de 2D a 3D directamente y obtener un buen aproximado de reconstrucción 3D, pero también se puede aprender de la distribución de formas en 3D de una manera eficiente y generar/sintetizar formas en 3D. Abajo es una imagen de nuestro trabajo muestra que somos capaces de hacer reconstrucción 3D incluso de una sola silueta o de mapa de profundidad (en la izquierda). La realidad sobre el terreno de formas 3D se muestra a la derecha.

    Reconstrucción 3D — Cómo crear el modelo 3D a partir de 2D de la imagen?

    El enfoque que tomamos tiene algunas relacionadas con las contribuciones a la ciencia cognitiva o la manera en que funciona el cerebro: el modelo que hemos construido acciones de los parámetros para todas las categorías de formas en lugar de ser específicos para una única categoría. También, se obtiene la constante de representaciones y elimina la incertidumbre de la entrada de la vista en cuenta a la hora de producir una forma en 3D como de salida. Por lo tanto, es capaz de, naturalmente, dar significativa resultados aún muy ambiguas entradas. Si usted mira la citación a nuestro papel en el que se puede ver aún más el progreso sólo en términos de ir a partir de imágenes 2D a 3D, formas.

    • ¿Esto requiere imágenes de objetos de color blanco o no de fondo?
    • Sí. No requiere de fondo debido a que los datos se utilizó no tenía antecedentes.
  2. 68

    Como se ha mencionado, el problema es muy duro y a menudo también se conoce como multi-objeto de vista de la reconstrucción. Generalmente es abordado por la resolución de la estéreo-vista la reconstrucción problema para cada par de imágenes consecutivas.

    Realizar estéreo reconstrucción requiere que los pares de imágenes que tienen una buena cantidad visible de la superposición de los puntos físicos. Usted necesita encontrar los puntos correspondientes de tal manera que usted puede, a continuación, utilizar la triangulación para encontrar el 3D las coordenadas de los puntos.

    Geometría Epipolar

    Estéreo reconstrucción usualmente es hecho por primera calibración de su configuración de la cámara así que usted puede rectificar sus imágenes usando la teoría de la geometría epipolar. Esto simplifica la búsqueda de puntos correspondientes, así como el final de la triangulación.

    Si usted tiene:

    se puede calcular la fundamentales y esencial matrices utilizando sólo la teoría de la matriz y el uso de estas para rectificar sus imágenes. Esto requiere de una teoría acerca de coordinar las proyecciones con homogénea coordenadas y también el conocimiento de la la cámara estenopeica modelo y la cámara de la matriz de.

    Si quieres un método que no necesita de los parámetros de cámara y obras desconocidas de la cámara de set-ups, usted probablemente debería buscar métodos para sin calibrar estéreo reconstrucción.

    Correspondencia problema

    Encontrar los puntos correspondientes es la parte difícil, que requiere que usted para buscar puntos de la misma brillo o el color, o el uso de la textura de los patrones o algunas otras características para identificar los mismos puntos en los pares de imágenes. Técnicas para este trabajo localmente buscando un mejor partido en una pequeña región alrededor de cada punto, o a nivel mundial al considerar la imagen como un todo.

    Si usted ya tiene el matriz fundamental, va a permitir a usted para rectificar las imágenes tal que los puntos correspondientes en las dos imágenes estará limitado a una línea (en teoría). Esto le ayuda a utilizar más rápido técnicas locales.

    Hay en la actualidad todavía no hay técnica ideal para resolver el problema de la correspondencia, pero los posibles enfoques que podrían caer en estas categorías:

    • Selección Manual: una persona de la mano a seleccionar los puntos correspondientes.
    • Marcadores personalizados: marcadores de lugar o el uso de patrones específicos/colores que usted puede identificar fácilmente.
    • Suma de los cuadrados de las diferencias: tome una región alrededor de un punto y encontrar el más cercano a toda la coincidencia de la región en la otra imagen.
    • Gráfico cortes: un global de optimización de la técnica basada en la optimización del uso de la teoría de grafos.

    Para implementaciones específicas que usted puede utilizar Google Scholar para buscar a través de la literatura actual. Aquí es una de las más citadas papel de la comparación de diversas técnicas:
    Una Taxonomía y la Evaluación de la Densa Dos-Marco Estéreo Algoritmos de Correspondencia.

    Multi-vista de la reconstrucción

    Una vez que se tienen los puntos correspondientes, a continuación, puede utilizar la geometría epipolar de la teoría de la triangulación de los cálculos para encontrar el 3D las coordenadas de los puntos.

    Todo este estéreo reconstrucción sería entonces repite para cada par de imágenes consecutivas (lo que implica que se necesita un orden a las imágenes o al menos el conocimiento de que las imágenes tienen muchos superposición de puntos). Para cada par de calcular diferentes matriz fundamental.

    Por supuesto, debido al ruido o inexactitudes en cada uno de estos pasos, es posible que desee considerar cómo solucionar el problema de una forma más global. Por ejemplo, si tienes una serie de imágenes que se toman alrededor de un objeto y forma un bucle, lo que proporciona más restricciones que pueden ser utilizados para mejorar la precisión de los pasos anteriores usando algo como paquete de ajuste.

    Como se puede ver, tanto en estéreo y multi-vista de la reconstrucción están lejos de resolver los problemas y están siendo investigados activamente. Al menos que usted quiera hacer en un fichero automatizado de manera más bien definido el problema se convierte en, pero incluso en estos casos, un poco de teoría es necesaria para empezar.

    Alternativas

    Si es dentro de las limitaciones de lo que quieres hacer, yo recomendaría teniendo en cuenta el hardware dedicado sensores (como el XBox Kinect) en lugar de sólo el uso normal de las cámaras. Estos sensores de uso estructurado de la luz, el tiempo de vuelo o algún otro rango técnica de imagen para generar una profundidad de imagen que se puede también combinar con el color de los datos de sus propias cámaras. Prácticamente resolver la sola vista de la reconstrucción problema para usted y, a menudo, incluyen bibliotecas y herramientas para la costura/de la combinación de múltiples puntos de vista.

    Geometría Epipolar referencias

    Mi conocimiento es bastante delgada en la mayor parte de la teoría, así que lo mejor que puedo hacer es darte algunas referencias que esperamos son útiles (en orden de importancia):

    No estoy seguro de lo útil que es todo esto, pero espero que incluye bastante útil terminología y referencias para encontrar más recursos.

    • Creo que las referencias serán una gran ayuda. A mi hijo le gusta construir con Legos y sería bueno si se puede tomar fotos y, a continuación, gire su diseño para explicar lo que las diferentes partes se para.
    • Para los Legos creo que debe ser posible desarrollar una solución que hace de todo, y se establece un modelo 3D de la capa más externa, una capa visible de su asamblea. Los Legos tienen la ventaja de ser un pequeño conjunto de bloques con formas sabidas. Es probablemente iba a hacer para un buen Tel. D. tesis doctoral 🙂
    • El comentario anterior tiene las semillas de su solución si su objetivo es la generación de modelos 3D de 2D lego imágenes – una cosa a considerar que simplifican enormemente su algorítmica de la miseria es restringir el lego de la construcción de tal forma que cada bloque en particular tiene un color único -, entonces el sistema puede recuperar los datos perdidos debido a la proyección que se formó la imagen fácilmente, de lo contrario, es todavía un nivel de Doctorado esfuerzo y un montón de heurísticas
    • Gracias, esto fue de gran ayuda.
  3. 14

    Este problema es conocido como Fotogrametría.

    Google suministro de usted con un sinfín de referencias, sólo ser conscientes de que si quieres lanzar tu propio, es un muy problema difícil.

    • Gracias. Yo no sabía el nombre, y que será de ayuda.
  4. 3

    Google Sketchup (gratis) tiene un foto de coincidencia de la herramienta que le permite tomar una fotografía y que coincida con su perspectiva para el modelado sencillo.

    EDIT: parece que usted está interesado en el desarrollo de su propia solución. Pensé que estaba tratando de obtener un modelo 3D de una imagen en una sola instancia. Si esta respuesta no es útil, me disculpo.

  5. 3

    Retirar El Deadalus Proyecto, a pesar de que el sitio web no contiene una galería con información ilustrativa acerca de la solución, el mismo post de varios de los documentos y la información sobre el método de trabajo.

    Vi una conferencia de uno de los principales investigadores del proyecto (Roger Hubbold), y la imagen de los resultados son sorprendentes! Aunque es un proceso complejo y de larga problema. Tiene un montón de complicados detalles a tener en cuenta para obtener una aproximación de los datos 3d, por ejemplo, tomar la información 3d a partir de las superficies de la pared, para que la heurística de trabajo es el siguiente: Tomar una foto con la normal de la iluminación de la escena y, a continuación, volver a tomar la foto en la misma posición con la full flash activo, entonces se restan ambas imágenes y dividir el resultado por un pre-tomado de flash de calibración de la imagen, aplicar un filtro de caja para este nuevo resultado y, a continuación, el post-proceso para la estimación de la profundidad de los valores, todo el proceso se explica en detalle en este papel (que también es publicada y/o de la referencia en la página web del proyecto)

Dejar respuesta

Please enter your comment!
Please enter your name here