Content

• Com funcionen les xarxes neuronals
• Xarxes neuronals al vostre telèfon intel·ligent
• L’AI podria donar forma al futur de la fotografia

A més de la fotografia de càlcul, el maquinari de càmera d’alta qualitat i els processadors de senyal d’imatge, la fotografia mòbil d’avantguarda està cada vegada més impulsada per algorismes d’aprenentatge de màquines - també coneguda com a intel·ligència artificial (AI). Aquesta tècnica de fotografia promet millorar la qualitat impulsant cap a la qualitat com a DSLR, alhora que ofereix noves maneres creatives de filmar i editar imatges i vídeos.

La clau de l’aprenentatge automàtic és l’ús de xarxes neuronals. Aquest és un tipus d'algorisme que sovint s'assembla al cervell humà. Aquesta comparació es basa en la capacitat d'una xarxa neuronal de ser capacitada, mitjançant l'ús de dades, a reconèixer patrons, la qual cosa permet fer classificacions altament precises per a tipus de dades complexes com àudio i imatges.

Quan es tracta de fotografia, la capacitat d’observar, aprendre, generar i classificar té un ampli ventall d’aplicacions. Aquestes aplicacions poden incloure funcions com ara basar-se en tècniques fotogràfiques computacionals per millorar algoritmes de post-processament, bokeh de programari en temps real amb vídeo 4K o fins i tot canviar completament els colors de la roba que porteu.

Com funcionen les xarxes neuronals

Les xarxes neuronals són un tema molt complex, de manera que només tractarem els fonaments bàsics aquí. Per a una lectura més avançada, consulteu les guies aquí i aquí.

Les xarxes neuronals es componen de nodes, que és un significant per a on es fa algun càlcul. Cada node combina una entrada amb un pes que amplifica o atenua la importància d'aquest node particular. Diversos nodes sovint funcionen en paral·lel, creant una capa de nodes que realitza una tasca més gran. Pot ser una detecció de funcions dins d’una imatge, per exemple. Es poden resumir diversos nodes i capes i passar a altres nodes i capes, formant una xarxa més profunda amb capacitats més potents.

La sortida de cada node i capa s'escala com a funció de probabilitat. Si hi ha moltes funcions i atributs diferents, una xarxa neuronal pot qualificar l’entrada com a coincidència de probabilitats davant de tots els resultats potencials previstos. Així és com els algorismes de detecció d’imatges decideixen si una imatge s’assembla més a un gat o a una taronja, però primer heu d’explicar què cal buscar.

Les xarxes neuronals no estan programades tan bé com els algorismes tradicionals d’ordinador. En lloc d'això, s'entrenen en conjunts de dades, com ara imatges, fitxers de so, etc. Els pesos de cada node s'ajusten gradualment amb el pas del temps mitjançant un bucle de retroalimentació, en funció del funcionament de la xarxa en fer coincidir les entrades amb les sortides correctes. Aquest “aprenentatge” gradual de les normes requereix una gran preparació, temps i poder informàtic, però produeix resultats fenomenalment precisos.

Xarxes neuronals al vostre telèfon intel·ligent

Les xarxes neuronals poden funcionar amb diversos components de maquinari, incloses les parts de CPU i GPU habituals en diversos dispositius informàtics, inclòs el telèfon intel·ligent. Tot i això, algunes xarxes neuronals poden requerir més poder de processament del que aquests components de maquinari poden donar, i un maquinari dedicat pot proporcionar el processament òptim necessari.

A la plataforma mòbil Qualcomm® Snapdragon ™ 855, per exemple, trobareu l’últim processador de senyal digital Qualcomm® Hexagon ™ 690 (DSP), amb unitats de processament vectorials millorades i un nou accelerador de tensió específicament per a tasques d’aprenentatge de màquines. Altres plataformes mòbils Snapdragon també compten amb el component Hexagon DSP, amb diferents capacitats. Amb això, les xarxes neuronals no es limiten a executar-se a la DSP a Snapdragon i altres plataformes mòbils. El tipus de processador utilitzat depèn de la càrrega de treball.

Qualcomm Snapdragon 855 millora de l'aprenentatge automàtic respecte de la generació anterior

Qualcomm Technologies obre les seves capacitats DSP i d'aprenentatge automàtic a desenvolupadors de tercers a través del SDK de processament neural Qualcomm®. D’aquesta manera, les aplicacions poden fer xarxes neuronals a qualsevol dels nuclis de maquinari dins d’una plataforma mòbil Snapdragon. Per exemple, els telèfons intel·ligents de Google Pixel s’adhereixen a l’Hexagon DSP i al seu Visual Core per accelerar la seva impressionant funció de fotografia HDR +. Qualcomm Technologies treballa amb proveïdors de programari com Arcsoft, Elevoc, Polar, Loom, Mobius, Morpho i molt més, donant suport a funcions que van des del video bokeh fins a la creació d’avatar mitjançant l’aprenentatge automàtic que s’executa al DSP.

L’AI podria donar forma al futur de la fotografia

Ara ja sabem com funcionen les xarxes neuronals, la pregunta important és què podríem fer per a nosaltres i les nostres fotografies?

Les xarxes neuronals s'utilitzen per millorar diversos algorismes fotogràfics comuns. El soroll, per exemple, es pot millorar amb l'entrenament per oferir una neteja d'imatges superior adaptada a la càmera o al tipus de captura específics. Així mateix, per a poca llum, una xarxa neuronal podria detectar parts brillants i fosques de la imatge, permetent millorar llum i color en algunes parts de l'escena.

Els casos d'ús més avançats són cada cop més habituals en la fotografia de telèfons intel·ligents. Els zooms de súper resolució utilitzen xarxes neurals per combinar diverses imatges en una sola presa d'alta resolució per obtenir un zoom digital d'aspecte superior. Les xarxes neuronals també es podrien entrenar per agrupar amb precisió múltiples exposicions fotogràfiques junts per a HDR millorades i fotografies de nit.

La fotografia AI pot incloure zoom de gran resolució, bokeh en temps real i una qualitat de la imatge millorada.

El vídeo també podria beneficiar-se de l’adopció d’aquesta tecnologia. La detecció d'objectes en temps real està dissenyada per permetre a les aplicacions introduir efectes de bokeh en programari directament al vídeo mentre enregistres. Tècniques similars també admeten intercanvi i eliminació d'objectes en temps real. Això inclou canviar el fons d’un vídeo, canviar o treure colors i, fins i tot, substituir articles de roba o superposar els avatars digitals directament al vostre vídeo.

El poder de les xarxes neuronals i de la fotografia d’AI va des de les millores de qualitat per ajudar a tancar el buit de la DSLR fins a potents eines de creativitat que ajuden a fer que la producció de contingut únic faci brisa. De qualsevol forma, és una tecnologia potent que és fonamental per a les futures millores dirigides a la fotografia mòbil.

Pròxim: Regal internacional de Google Pixel 3 XL

Contingut patrocinat per Qualcomm Technologies, Inc.

Qualcomm Snapdragon, Qualcomm Hexagon, Qualcomm Adreno, Qualcomm Spectra, Qualcomm AI Engine i Qualcomm Kryo són productes de Qualcomm Technologies, Inc. i / o de les seves filials.