Procesamiento con red neuronal

[C2020]

En https://digg.com/2020/arrival-train-la-ciotat-upscaled hay un buen ejemplo de procesamiento de vídeo, interesante.

[Rafa18]

Hombre, el 4K lo consigues simplemente digitalizando los negativos.

Digamos que es la parte más sencilla de un remasterizado ya que "tan sólo" tienes que preocuparte de que los negativos estén perfectamente límpios.

Lo que hace esa red neuronal o como se llame ese programa es "inventarse" los fotogramas faltantes para que la secuencia de video sea a 60 FPS

Por cierto, esa secuencia es famosa ya que según creo fué la primera proyección de video que se realizó en público.

[Guillermo Luijk]

Rafa hay algoritmos de reescalado que solo interpolan (que serían equivalentes a lo que comentas de grabar en 4K) y los hay que añaden información, tanto temporal (añadir frames) como espacial (mejorar el detalle de cada frame).

Cuando se habla de redes neuronales decir que esa información extra es "inventada" es una verdad a medias porque precisamente si algo son las redes neuronales es tontas, incapaces de inventarse nada que no hayan "visto" previamente durante su entrenamiento. Pero la realidad es que la red neuronal va más allá de un simple reescalado.

Aquí tienes un ejemplo:

https://www.mathworks.com/help/images/s ... rning.html

Salu2!

[Rafa18]

No sé hasta qué punto escanear un negativo a alta resolución equivale a interpolar, tu estás más puesto en estas cosas pero a mi entender reescanear un negativo dará mejor resultado que tomar una imagen previa y aumentarle el tamaño en el ordenador por muy neuronal que sea la aplicación.

Eso referente al tema de la resolución.

Por otro lado, si la película original se grabó a, no sé, supongamos 25 fps y ahora tiene 60 fps está claro que los fotogramas faltantes tienen que salir de algún sitio.

Cómo en el original no existen esos fotogramas es evidente que el programa los tiene que generar de alguna forma, en este caso usando un método más bien complejo que ciertamente da buen resultado pero a fin de cuentas no deja de ser una imágen inventada por una I.A.

Si partimos de unos supuestos 25 fps y lo pasamos a 60 fps quiere decir que más de la mitad de las imágenes son artificiales, eso sí, queda bastante bien.

[Guillermo Luijk]

No sé hasta qué punto escanear un negativo a alta resolución equivale a interpolar.

De manera general no equivale, claro que no, pero hablamos de imágenes de muy baja resolución que contienen menos detalle que el soportado por la resolución digital de partida. Dicho de otra manera de esos negativos no se puede sacar más, tienes la misma información real escaneándolos a Full HD que a 4K.

Así que si quieres más información tiene que venir de otro sitio, y eso es lo que hace la red neuronal, imitando lo que previamente ha "visto" en otras imágenes para rellenar los huecos de la película antigua. Más que información "inventada" es información "pegada" desde otras imágenes.

Salu2!

[Rafa18]

Luego está el debate de si una obra debe quedarse tal cual porque es así como fué concebida y es un reflejo de los médios técnicos de su época o si por el contrario debe ser remasterizada y mejorada cada vez que la tecnología vaya avanzando.

[Rafa18]

No sé hasta qué punto escanear un negativo a alta resolución equivale a interpolar.

De manera general no equivale, claro que no, pero hablamos de imágenes de muy baja resolución que contienen menos detalle que el soportado por la resolución digital de partida. Dicho de otra manera de esos negativos no se puede sacar más, tienes la misma información real escaneándolos a Full HD que a 4K.

Así que si quieres más información tiene que venir de otro sitio, y eso es lo que hace la red neuronal, imitando lo que previamente ha "visto" en otras imágenes para rellenar los huecos de la película antigua. Más que información "inventada" es información "pegada" desde otras imágenes.

Salu2!

¿Este tipo de sofware está al alcance del usuario medio?

[Guillermo Luijk]

Ya se usan redes neuronales en muchos programas para hacer multitud de cosas. Este caso del video me da que es un ejercicio que ha hecho el autor probablemente programando a mano.

Salu2!

[rivaner]

Luego está el debate de si una obra debe quedarse tal cual porque es así como fué concebida y es un reflejo de los médios técnicos de su época o si por el contrario debe ser remasterizada y mejorada cada vez que la tecnología vaya avanzando.

Uf, terreno pantanoso donde los haya . No creo que se pueda dar un veredicto único; habría que ver en cada caso. De todas formas yo diría que hay dos puntos a considerar: uno, si la mejora supone una intervención tal que cambia de manera sustancial la obra tal como se la conocía (caso de muchas rehabilitaciones arquitectónicas, como los añadidos de Viollet-le-Duc en Notre Dame) o si se trata de una estricta restauración a partir de un conocimiento exhaustivo del original (como la limpieza de los Velázquez de El Prado). Puede parecer que en este segundo caso posiblemente haya menos discusión pero es que, incluso si la intención es respetar la obra original, la tecnología del momento puede jugar malas pasadas, como en el Partenon donde ha sido necesario eliminar los efectos de la corrosión del metal utilizado en la restauración previa de principios del s. XX, o en Knossos, con la reconstrucción por Evans a base de cemento armado. Por eso también ha habido partidarios de "mantener la ruina y dejar morir dignamente a los edificios", como Ruskin y Morris. Contra lo que pueda parecer no es un debate tan añejo: en Europa se planteó durante la reconstrucción tras la II GM y hoy vuelve a aflorar con casi cada resto arqueológico.

Lo que lleva al segundo punto a considerar, si la obra admite o no una intervención no destructiva. Obviamente es el caso de las obras en cine y fotografía por lo que el debate aparentemente no tendría tanto sentido. Ninguno, desde luego, para la mera restauración o conservación, como lo es recuperar en lo posible los soportes dañados, pero en cuanto a la mejora es otra historia porque ahí entran en juego factores más subjetivos: ¿es necesario? ¿Cuánta mejora y en qué? ¿Aporta algo nuevo al espectador? (Aparte de que, como ha dicho Guillermo, de donde no hay no se puede sacar ).

[Rafa18]

Donde no hay no se puede sacar al no ser que uses una red neuronal por lo que se ve.

Lo veo interesante en aquellos casos donde ya no existan los negativos y haya que empezar el proceso escaneando una foto existente.

O bien tenemos una foto antigua de gran valor sentimental como pudiera ser la de un difunto y queremos tener una copia con la mayor nitidez posible.

Lo malo es que este tipo software, que yo sepa, no llega al usuario común o al menos no a corto plazo.

En el tema de restaurar obras de arte soy partidario de que se haga siendo lo más fiel posible al trabajo realizado por el autor y no inventarnos cosas que pudieran mejorar ese cuadro, foto, video, escultura, etc.

Aunque en el caso de la fotografía y vídeo siempre se puede conservar los originales y alterar las copias, o sea, mantener dos versiones por lo que el daño sería menor. Si tenemos una copia de caliad superior ¿Vale la pena conservar los originales?

A todo esto. ¿Qué os gustaba más?

¿La película original de La Guerra de las Galaxias del año 77 de la que es casi imposible encontar una copia o la Star Wars remasterizada que lanzaron al cabo de los años?

Y si digeran que fué la única modificación que se hizo...

https://en.wikipedia.org/wiki/Changes_in_Star_Wars_re-releases

Con el tiempo la película será muy diferente a cómo fué ideada y sobre todo; no es sencillo encontrar la versión "original".

[rivaner]

En el tema de restaurar obras de arte soy partidario de que se haga siendo lo más fiel posible al trabajo realizado por el autor y no inventarnos cosas que pudieran mejorar ese cuadro, foto, video, escultura, etc.

Eso es más o menos simple cuando se puede saber bien cómo era la obra original, pero es que a veces ni siquiera está claro cuál es ese original. Un caso podría ser lo de la "versión del director". Cierto que en ello hay un interés puramente comercial ya que se trata de ordeñar un poco más la vaca, pero sirve de ejemplo porque ¿cuál sería el original? ¿La película que todo el mundo vió o la que dicen que el director quería hacer y el productor no le dejó? Todavía más en el cine clásico de estudios donde el resultado final era fruto de un trabajo colectivo y el papel del director no era el del "artista" en que se ha convertido posteriormente.

Aunque en el caso de la fotografía y vídeo siempre se puede conservar los originales y alterar las copias, o sea, mantener dos versiones por lo que el daño sería menor. Si tenemos una copia de caliad superior ¿Vale la pena conservar los originales?

Es que por muy buena que sea la copia, el original es el original. Su valor histórico (y también un tanto "aurático") no son sustituíbles.

[Juanfra]

No sé hasta qué punto escanear un negativo a alta resolución equivale a interpolar.

De manera general no equivale, claro que no, pero hablamos de imágenes de muy baja resolución que contienen menos detalle que el soportado por la resolución digital de partida. Dicho de otra manera de esos negativos no se puede sacar más, tienes la misma información real escaneándolos a Full HD que a 4K.

Así que si quieres más información tiene que venir de otro sitio, y eso es lo que hace la red neuronal, imitando lo que previamente ha "visto" en otras imágenes para rellenar los huecos de la película antigua. Más que información "inventada" es información "pegada" desde otras imágenes.

Salu2!

¿Este tipo de sofware está al alcance del usuario medio?

Hace unos días conocí el software de Topaz labs para escalar y eliminar ruido. Normalmente no le habría hecho ni caso a este tipo de artículos, pero vi que lo utilizaba un fotógrafo para subir resolución de las fotografías de pajareo en las que había aplicado un severo recorte. Quedé impresionado, y por lo que decías Rafa este si está al alcance del usuario medio.
Supongo que este tipo de software utilizará el sistema del que habláis de redes neuronales (machine learning según Topaz).


Enviado desde mi iPhone utilizando Tapatalk Pro

[Guillermo Luijk]

Si el acento latino no os echa para atrás, este tutorial explica cómo hacer deepfake en vídeo. Incluye todos los pasos de entrenamiento de la red neuronal, es un ejercicio completo de deep learning. Eso sí quien lo quiera reproducir, no es inmediato, incluye instalar Python (Anaconda), que es el lenguaje de programación más popular para entrenar redes neuronales, y como no se tenga GPU los tiempos se harán inviables:

Parte 1: https://youtu.be/UpqqeJwhj1Q

Parte 2: https://youtu.be/xVjb0eYc5-I

Tengo a medias un ejercicio de calibración de sensor mediante redes neuronales sobre una tarjeta SuperChroma de 1000 parches de Hugo Rodríguez, usando una IT8 como validation set. Pero me enredé con temas de audio en mi portátil y no hay tiempo para tanta cosa a la vez [emoji14] mi idea es retomarlo las próximas dos semanas que tengo descanso forzoso.

Salu2!

[JMLA]

Exacto eso que dice Guillermo, que no es información "inventada" en el sentido de "generada matemáticamente como media de dos informaciones cercanas" (lo que hasta ahora entendemos como interpolado, etc.), sino que es información generada a través de una o interpretación estadística del entorno. Nuestro cerebro hace algo parecido continuamente, que es la interpretación de lo que nuestros sentidos captan (por ejemplo la vista) mediante un "llenado" de lo que no hay -en base a nuestra amplia experiencia visual- junto con la eliminación del ruido, para tener una percepción clara de lo que vemos. De forma totalmente inconsciente, e instantánea, por supuesto.

Poniendo un ejemplo tonto: si yo escribo "Barcelna", aun siendo conscientes de que pasa algo, que falta una "o", no dejamos de leer la palabra completa, y si la palabra estuviera en un contexto más amplio (donde la falta de la "o" pasaría más desapercibida) una gran cantidad de gente no echaría en falta la "o".

Pero lo importante no es esto, sino que si nos dan "Barcelna" y nos piden que la reescribamos, la mayoría rescribiríamos "Barcelona". En tal caso, ¿nos estaríamos "inventando la "o"?

Hace unos meses caí en una web que facilitaba este servicio para reescalar fotos online mediante redes neuronales. Subo un ejemplo de lo que probé: subí un recorte de foto comprimidísima, llena de ruido "jpg" y falta de definición y pixelada (la de la mitad de arriba), y pongo debajo lo que el programa me devolvió (a 4x de tamaño que luego yo reduje para poder comparar a igual tamaño)



Está claro que no ha puesto de donde no había, pero ese rellenado de información y esa limpieza de ruido consiguen una imagen más completa.

[Guillermo Luijk]

La verdad es que las redes neuronales logran cosas que a veces son difíciles de creer, la estoy viendo en el móvil pero aún así creo que es para flipar. En que web hiciste ese reescalado?

Salu2!

[JMLA]

Me ha costado encontrarlo, pero era ésta:
https://letsenhance.io
Lo curioso es que ahora veo que ofrecen distintas opciones de "salida" por lo que he vuelto a hacer la prueba con la misma foto y ahora me devuelve un resultado diferente, mucho peor de lo esperado: en vez de eliminar el ruido jpg parece que lo quiere interpretar como textura... pero como he agotado las 5 pruebas gratis ya no puedo enredar más entre las (pocas) opciones

[JMLA]

Otra de las pruebas de aquella ocasión:


Se ve que en estos casos la eliminación de los artefactos típicos del jpg es brutal, pero reconociendo las líneas principales del dibujo para afilar debidamente los bordes y dejarlos libres de dientes de sierra, etc. La sensación que se logra al percibir algunas partes -que no requieren el realismo de la reproducción exacta, como lo sería un texto escrito-, es muy efectiva, por ejemplo en los reflejos de las bolsas de plástico.

[Rafa18]

Lo he probado y el upscaling va bastante bien pero ninguna de las opciones que propone hace una reducción de ruido tan buena como las fotos que pasas.

Lástima.

...pero como he agotado las 5 pruebas gratis ya no puedo enredar más entre las (pocas) opciones

Siempre te puedes volver a registrar con otra dirección de email pero tal como marcas una de esas pocas opciones que ofrecen te salta un cuadro diciendo que son para usuarios de pago.

Realmente no es un servicio gratuito, esas cinco pruebas son en plan demostración para que veas qué pueden hacer.

[JMLA]

Lo he probado y el upscaling va bastante bien pero ninguna de las opciones que propone hace una reducción de ruido tan buena como las fotos que pasas.

Lástima.

Las pruebas las hice hace meses y el proyecto, como tal red neuronal, esta "vivo". Esto quiere decir que el proceso mejora en función de los trabajos que se le exijan y obviamente con las decisiones de los programadores del sistema (también se recoge el feedback del resultado). Es decir, que si por ejemplo esta herramienta se está monetizando gracias a diseñadores que buscan más textura y menos efecto acuarela, el sistema evolucionará en esa dirección, de una forma bastante darwiniana. El resultado tal cual lo descargué (no lo conservo) era mucho más grande que como se ve aquí, y tenía el fallo de no parecer tanto una foto como un dibujo. Quizá simplemente esta orientación reductora de ruido no haya "sobrevivido" al proceso evolutivo.
El resultado que yo he puesto resulta más espectacular porque yo lo volví a reducir de escala, como expliqué antes y el tamaño de subida es muy pequeño en píxeles, dando mayor sensación de nitidez.
Pero lo que queda claro es que no es un mero interpolado, sino un interpolado "smart".

...pero como he agotado las 5 pruebas gratis ya no puedo enredar más entre las (pocas) opciones

Siempre te puedes volver a registrar con otra dirección de email pero tal como marcas una de esas pocas opciones que ofrecen te salta un cuadro diciendo que son para usuarios de pago.

Realmente no es un servicio gratuito, esas cinco pruebas son en plan demostración para que veas qué pueden hacer.

Ya pero me da mucha pereza
De hecho en la oficina, después de esta pruebas, hicimos una compra de un plan, que no recuerdo si era temporal o por número de fotos (se puede consultar en la web) para un trabajo puntual, en el que necesitábamos arreglar las fotos del catálogo de un cliente, típicas fotos de 25KB de origen nisupu, con el fin de no publicarlas ni pixeladas ni borrosas, y para un trabajo así fue barato y resultón.
Por cierto, estas cosas tienen sus fallos: recuerdo que en una foto con una zona de vegetación, el programa hizo aparecer una especie de rostro entre el follaje

[Rafa18]

Aunque se ven cosas chulas pienso que es algo que aún necesita mejorar, por mi parte estaré pendiente a esta página a ver qué nos ofrece dentro de unos meses.

¿Alguien conoce alguna otra similar?