Artificial intelligence and architectural photography
També pots llegir aquest article en català.
Puedes leer este artículo también en español.
I remember it as if it were now: '–Photographers have a soul’. That's what the great Humberto Rivas told me in a portrait workshop in Barcelona more than twenty years ago.
I was a very young photographer then and maybe I thought that I could learn in two days what took a master like him a lifetime to know. That workshop had nothing to do about technique but clearly about understanding what made the person who I was supposed to portray unique and how to convey that quality into a photograph. An introspective learning that would allow me to grow both as an individual and as an artist.
I have always treasured Humberto Rivas’ statement in my mind, it has proven to be a very valuable one throughout my career. Also now when we photographers are facing a new challenge, the implementation of artificial intelligence in the creative process of photography.
This is a revolutionary step forward from our present mental framework of post-photography: an era characterized by a huge mass of images circulating online whose value is not representation anymore but their availability. The application of artificial intelligence in photography is a direct consequence of that infinite and perpetual availability.
Adobe Photoshop already incorporates its new Neural Filters and Skylum announces a very powerful Luminar AI update. There are articles available that compare with which of the two applications to obtain better results to replace the sky in a photograph –something that architecture photographers especially value in order to save us the tedious work of creating luminosity masks to do so–.
Barcelona International Convention Center | Mateo Arquitectura | Barcelona
Artificial intelligence simulates that of humans with machines capable of developing processes that allow them to learn, reason and improve their knowledge: these machines learn by processing the probability calculation of huge amounts of input data in which they seek the best combination of parameters to predict an outcome and fulfill a predetermined purpose.
The neural networks of machines carry out their learning by extracting patterns from the data that we supply them, questioning them again and again to refine and thus narrow their response according to the needs and objectives that we set for them. Machines use the experience they learn from the data we provide them, reasoning logically with a purpose that combines pre-existing models and real-life simulations to elaborate their answers.
In the specific case of the sky that we want to replace in our picture, the machine will not only learn from the entire history of photography that precedes us but also from the billions of images that we have uploaded to the internet, a colossal task for a single person.
Once the machine has completed its study and has analyzed what we need, it will be able to offer us the best sky considering the characteristics of the scene, the direction of the light, the height of the sun, the color temperature and saturation, the time of the day, the season of the year ... everything: in that sense, artificial intelligence applied to photo editing is a creative resource within our reach of an incredible potential.
But this enormous power of the machine to learn and process data raises three questions regarding the photographic processing and creation:
Batlló House | Antoni Gaudí | Barcelona
First, it is evident that the machine creates from the infinite iterations of data that it processes and that it is also capable of proposing probable alternatives from them and investigating their possibilities at a speed that we do not even imagine. If it wants to, the machine can create architectural photographs exactly the same as mine and make it impossible for an observer to distinguish whether I am the author or it.
What differentiates the machine and me is that it still has difficulties to parameterize qualities of natural knowledge that are human such as consciousness, emotions and feelings: and not only that, although the machine can recognize patterns of behavior and identify emotions, it is not efficient to deal with subjective characteristics of creativity such as novelty or surprise.
If you think of art as an emotional interpretation of the environment and of creativity as the result of contrasting it with reality from the vital experience of each individual, you will see that no two artists or two ways of looking at the world are the same. And worst of all –for the machine, that will go nuts– is that, moreover, when we create we can also be incoherent and not act logically, we can contradict ourselves. We are too human.
Second, photography is a plausible representation of reality because it is always based on expressing the author's subjective look on what he sees. Since it starts from an interpretation, a photograph cannot then have the category of truthfulness –except in the case of photojournalism, of course–: if it can transform a sky or the landscape as it can transform a face, artificial intelligence pulverizes the idea of truth in photography.
Not only that, the knowledge of artificial intelligence is induced by who trains the machine and sets a purpose for it. The quality of the data, its updating and reliability are due to the discretion and conscience of who supplies them and to the ethics of its objectives. The machine may not be reluctant to reach them and not stop until they are accomplished.
BarcelonaTech Building | Lapeña & Torres | Barcelona
Third, we are the ones who plant the data that the machine harvests and processes to answer us, draw its conclusions, learn itself and adapt to our future needs. Artificial intelligence starts from all our photographs to solve the editing of a new image that will also be incorporated into machine learning as soon as it is available on the internet creating, in fact, an endless learning loop.
In this regard, it is possible that artificial intelligence may thus determine our look as photographers by statistically proposing similar creative solutions that the machine deduces from our data. But above all, it can do it through the algorithms that do analyze our vanity, recommendation and reward behaviors on social networks.
If a photograph goes viral on Instagram, won't the machine offer it to us as a successful solution, won't we end up imitating it even not being aware of it? Let's not forget that machine learning is induced and that perhaps it is already the one that is creating the collective unconscious from which we photographers interpret reality. After all, who teaches whom? Where is the balance between deep machine learning and human creation?
Do you understand me now when I said that we photographers have a soul? Maybe we have no alternative as creators than to get to know ourselves better to be more sensitive to the uniqueness of our natural knowledge, of our unique vision of the world, of our style. That is what makes us different and what really distinguishes us as authors.
Artificial intelligence applied to photography is no different from any other creative resource: you can use it as a tool or as an instrument and that is, believe me, a huge difference.
Intel·ligència artificial i fotografia d'arquitectura
Ho recordo com si fos ara: ‘–Els fotògrafs tenen ànima'. Això em va dir el gran Humberto Rivas en un taller de retrat a Barcelona fa més de vint anys.
Jo era un fotògraf molt jove llavors i potser pensava que podia aprendre en dos dies el que a un mestre li havia portat tota una vida saber. Aquell taller no tenia res a veure amb la tècnica sinó amb entendre què feia única a la persona que se suposava que anava a retratar i com traslladar-ho a una fotografia. Un aprenentatge introspectiu que em permetria créixer com a individu i com a artista.
Sempre he tingut molt present aquesta afirmació i m'ha estat molt útil en tota la meva carrera. També ara quan els fotògrafs ens enfrontem a un nou repte, la implementació de la intel·ligència artificial en el procés creatiu de la fotografia.
Aquest és un pas endavant revolucionari des de que vam assumir el marc mental present de la post-fotografia: una massa enorme d'imatges circulant en línia el valor de les quals no és la representació sinó la seva disponibilitat. L'aplicació de la intel·ligència artificial a la fotografia és una conseqüència directa d'aquesta disponibilitat infinita i perpètua.
Adobe Photoshop ja incorpora els seus nous Neural Filters i Skylum anuncia una actualització de Luminar AI molt potent. Hi ha articles que comparen amb quina de les dues aplicacions obtenir millors resultats per reemplaçar el cel en una fotografia –una cosa que els fotògrafs d'arquitectura valorem especialment per estalviar-nos l’avorrida feinada de crear màscares de lluminositat per a fer-ho–.
Las Arenas | Rogers Stirk Harbour & Partners | Barcelona
La intel·ligència artificial simula la humana amb màquines capaces de desenvolupar processos que els permeten aprendre, raonar i millorar el seu coneixement: aquestes màquines aprenen a través de processar el càlcul de probabilitats d'ingents quantitats de dades d'entrada on busquen la millor combinació de paràmetres per predir un resultat i complir amb un propòsit predeterminat.
Les xarxes neurals de les màquines porten a terme el seu aprenentatge extraient patrons de les dades que els subministrem, qüestionant-los una i altra vegada per corregir-los i delimitar així la seva resposta segons les necessitats i objectius que els plantegem. Les màquines fan servir l'experiència que aprenen de les dades que els lliurem, raonant lògicament amb un propòsit que combina models preexistents i simulacions de la vida real per elaborar la seva resposta.
En el cas concret del cel que volem substituir en la nostra foto, la màquina no només aprendrà de tota la història de la fotografia que ens precedeix sinó també dels milers de milions imatges que hem pujat a internet, una tasca colossal per a una persona sola.
Quan ho hagi fet i hagi analitzat què necessitem, serà capaç d'oferir-nos el millor cel considerant les característiques de l'escena, la direcció de la llum, l'alçada de el sol, la temperatura i saturació del color, l'hora del dia, l'estació de l' any ... tot: en aquest sentit, la intel·ligència artificial aplicada a l'edició de fotografies és un recurs creatiu al nostre abast d'una potència descomunal.
Però aquesta enorme potència per aprendre i processar dades planteja tres qüestions relatives al procés i a la creació fotogràfiques:
Palau Güell | Antoni Gaudí | Barcelona
Primer, és evident que la màquina crea a partir de les iteracions infinites de dades que processa i que a més és capaç de proposar alternatives probables a partir d'elles i investigar les seves possibilitats a una velocitat que nosaltres ni imaginem. Si s'ho proposa, la màquina pot crear fotografies d'arquitectura exactament iguals que les meves i fer que un observador extern no pugui distingir si sóc jo l'autor o és ella.
El que ens diferencia a la màquina i a mi és que ella encara té dificultats per parametritzar qualitats de el coneixement natural que són humanes com la consciència, les emocions i els sentiments: i no només això, tot i que la màquina pot reconèixer patrons de comportament i identificar emocions, no és prou eficient per tractar amb característiques subjectives de la creativitat com la novetat o la sorpresa.
Si penses que l'art és una interpretació emotiva de l'entorn i la creativitat el resultat de contrastar-la amb la realitat a partir de l'experiència vital de cada individu, veuràs que no hi ha ni dos artistes ni dues maneres de mirar el món iguals. I el pitjor de tot –per a la màquina, que es tornarà boja– és que a més en el moment de crear també podem ser incoherents i no actuar amb lògica, ens podem contradir. Som massa humans.
Segon, la fotografia és una representació versemblant de la realitat perquè sempre es basa en expressar la mirada subjectiva de l'autor sobre el que veu. Atès que parteix d'una interpretació, una fotografia no pot tenir llavors categoria de veraç –excepte en el cas del fotoperiodisme, és clar–: si pot transformar un cel o el paisatge com pot transformar un rostre, la intel·ligència artificial tritura la idea de veritat en fotografia.
No només això, el coneixement de la intel·ligència artificial és induït per qui entrena a la màquina i li marca un propòsit al què s'até. La qualitat de les dades, la seva actualització i fiabilitat es deuen a la discreció i consciència de qui les subministra i a l'ètica dels seus objectius. La màquina pot no tenir reserves per a arribar fins a ells i no aturar-se fins aconseguir-los.
Fòrum Solar Plant | Lapeña & Torres | Barcelona
Tercer, som nosaltres els que plantem les dades que la màquina recull i processa per contestar-nos, treure les seves conclusions, aprendre i adaptar-se a les nostres necessitats futures. La intel·ligència artificial part de totes les nostres fotografies per solucionar l'edició d'una nova imatge que també s'incorporarà a l'aprenentatge de la màquina de seguida que estigui disponible a inernet creant, de fet, un bucle d’entrenament sense final.
En aquest aspecte, entra dins del possible que les màquines puguin determinar així la nostra mirada com a fotògrafs en proposar-nos solucions creatives estadísticament similars que la màquina dedueix de les nostres dades. Però sobretot, pot fer-ho a través dels algoritmes d'intel·ligència artificial que analitzen el nostre comportament de vanitat, recomanació i recompensa a les xarxes socials.
Si una fotografia es fa viral a Instagram, no ens l'oferirà la màquina com una solució d'èxit, no acabarem imitant-encara que sigui inconscientment? No oblidem que l'aprenentatge de la màquina és induït i que potser ja sigui ella la que estigui creant l'inconscient col·lectiu a partir del qual els fotògrafs interpretem la realitat. Qui ensenya a qui? On és l’equilibri entre el ‘deep machine learning’ i la creació humana?
Enteneu ara per què us deia que els fotògrafs tenen ànima? Al cap i a la fi no tenim més alternativa com creadors que buscar dins de nosaltres mateixos per a ser més conscients de la singularitat del nostre coneixement natural, de la nostra visió única de l'món, del nostre estil. Això és el que ens fa diferents i el que realment ens distingeix com a autors.
La intel·ligència artificial aplicada a la fotografia no és diferent a qualsevol altre recurs creatiu: la pots fer servir com una eina o com un instrument i aquesta és, creieu-me, una grandíssima diferència.
Inteligencia artificial y fotografía de arquitectura
Lo recuerdo como si fuese ahora: ’–Los fotógrafos tienen alma’. Eso me dijo el gran Humberto Rivas en un taller de retrato en Barcelona hace más de veinte años.
Yo era un fotógrafo muy joven y tal vez pensaba que podía aprender en dos días lo que a un maestro le había llevado toda una vida saber. En ese taller no se trataba de conocer una técnica sino de entender qué hacía única a la persona que iba a retratar y trasladarlo a una fotografía. Una enseñanza que al fin y al cabo me permitiría crecer como individuo y como artista.
Siempre he tenido muy presente esa afirmación, me ha sido muy útil en toda mi carrera. También ahora cuando me enfrento a un nuevo reto, la implementación de la inteligencia artificial en el proceso creativo de la fotografía.
Este es un paso adelante revolucionario desde que asumimos el marco mental presente de la post-fotografía: una masa enorme de imágenes circulando online cuyo valor no es la representación sino su disponibilidad. La aplicación de la inteligencia artificial en la fotografía es una consecuencia directa de esa disponibilidad infinita y perpetua.
Adobe Photoshop ya incorpora sus nuevos Neural Filters y Skylum anuncia una actualización de Luminar AI muy potente. Hay artículos que comparan con cuál de las dos aplicaciones obtener mejores resultados para reemplazar el cielo en una fotografía –algo que los fotógrafos de arquitectura valoramos especialmente por ahorrarnos el tedioso trabajo de crear máscaras de luminosidad para hacerlo–.
Industrial Facility | Acieroid | Sant Cugat, Barcelona
La inteligencia artificial simula la humana con máquinas capaces de desarrollar procesos que les permiten aprender, razonar y mejorar su conocimiento: estas máquinas aprenden a través de procesar el cálculo de probabilidades de ingentes cantidades de datos de entrada en los que buscan la mejor combinación de parámetros para predecir un resultado y cumplir con un propósito predeterminado.
Las redes neurales de las máquinas llevan a cabo su aprendizaje extrayendo patrones de los datos que les suministramos, cuestionándolos una y otra vez para corregirlos y acotar así su respuesta según las necesidades y objetivos que les planteamos. Las máquinas usan la experiencia que aprenden de los datos que les entregamos, razonando lógicamente con un propósito que combina modelos preexistentes y simulaciones de la vida real para elaborar su respuesta.
En el caso concreto del cielo que queremos sustituir en nuestra foto, la máquina no sólo aprenderá de toda la historia de la fotografía que nos precede sino también de los miles de millones imágenes que hemos subido a internet, una tarea colosal para una persona.
Cuando lo haya hecho y haya analizado qué necesitamos, será capaz de ofrecernos el mejor cielo considerando las características de la escena, la dirección de la luz, la altura del sol, la temperatura y saturación del color, la hora del día, la estación del año … todo: en ese sentido, la inteligencia artificial aplicada a la edición de fotografías es un recurso creativo a nuestro alcance de una potencia descomunal.
Pero esa enorme potencia para aprender y procesar datos plantea tres cuestiones relativas al proceso y a la creación fotográficas:
Sant Pau Hospital | Domènech i Montaner | Barcelona
Primero, es evidente que la máquina crea a partir de las iteraciones infinitas de datos que procesa y que además es capaz de proponer alternativas probables a partir de ellos e investigar sus posibilidades a una velocidad que nosotros ni sospechamos. Si se lo propone, la máquina puede crear fotografías de arquitectura exactamente iguales a las mías y hacer que un observador externo no pueda distinguir si soy yo el autor o es ella.
Lo que nos diferencia a la máquina y a mi es que ella aún tiene dificultades para parametrizar cualidades del conocimiento natural que son humanas como la conciencia, las emociones y los sentimientos: y no sólo eso, aunque la máquina puede reconocer patrones de comportamiento e identificar emociones, no es eficiente para manejarse con características subjetivas de la creatividad como la novedad o la sorpresa.
Si piensas que el arte es una interpretación emotiva del entorno y la creatividad el resultado de contrastarla con la realidad a partir de la experiencia vital de cada individuo, verás que no hay ni dos artistas ni dos maneras de mirar el mundo iguales. Y lo peor de todo –para la máquina, que se volverá loca– es que además en el momento de crear también podemos ser incoherentes y no actuar con lógica, podemos contradecirnos. Somos demasiado humanos.
Segundo, la fotografía es una representación verosímil de la realidad porque siempre se basa en expresar la mirada subjetiva del autor sobre lo que ve. Dado que parte de una interpretación, una fotografía no puede tener entonces categoría de veraz –salvo en el caso del fotoperiodismo, por supuesto–: si puede transformar un cielo o el paisaje como puede transformar un rostro, la inteligencia artificial pulveriza la idea de verdad en fotografía.
No sólo eso, el conocimiento de la inteligencia artificial es inducido por quién entrena a la máquina y le marca un propósito al que se atiene. La calidad de los datos, su actualización y fiabilidad se deben a la discreción y conciencia de quién los suministra y a la ética de sus objetivos. La máquina puede no tener reservas para llegar hasta ellos y no detenerse hasta conseguirlos.
Glòries Tower | Jean Nouvel | Barcelona
Tercero, somos nosotros quienes plantamos los datos que la máquina cosecha y procesa para contestarnos, sacar sus conclusiones, aprender y adaptarse a nuestras necesidades futuras. La inteligencia artificial parte de todas nuestras fotografías para solucionar la edición de una nueva imagen que también se incorporará al aprendizaje de la máquina en cuanto esté disponible en la red creando, de hecho, un bucle de conocimiento sin fin.
En ese aspecto, entra dentro de lo posible que las máquinas puedan determinar así nuestra mirada como fotógrafos al proponernos soluciones creativas estadísticamente similares que la máquina deduce de nuestros datos. Pero sobre todo, puede hacerlo a través de los algoritmos de inteligencia artificial que analizan nuestro comportamiento de vanidad, recomendación y recompensa de las redes sociales.
Si una fotografía se hace viral en Instagram, ¿no nos la ofrecerá la máquina como una solución de éxito, no acabaremos imitándola aunque sea inconscientemente? No olvidemos que el aprendizaje de la máquina es inducido y que tal vez ya sea ella la que esté creando el inconsciente colectivo a partir del cuál los fotógrafos interpretamos la realidad. ¿Quién enseña a quién? ¿Dónde está el equilibrio? Como posibilidad resulta inquietante.
¿Entendéis ahora por qué os decía al principio que los fotógrafos tienen alma? Al fin y al cabo no tenemos más alternativa como creadores que buscar dentro de nosotros mismos para ser más conscientes de la singularidad de nuestro conocimiento natural, de nuestra visión única del mundo, de nuestro estilo. Eso es lo que nos hace diferentes y lo que realmente nos distingue como autores.
La inteligencia artificial aplicada a la fotografía no es diferente a cualquier otro recurso creativo: los puedes usar como una herramienta o como un instrumento y esa es, creedme, una grandísima diferencia.