Gumamit ng artipisyal na katalinuhan upang lumikha ng mga 3D hologram sa real time sa iyong smartphone

Ang mga mananaliksik ng MIT ay bumuo ng isang paraan upang makagawa ng mga hologram halos halos. Sinabi nila na ang malalim na pamamaraan ng pag-aaral ay napakabisa na maaari itong gumana sa isang smartphone. May-akda: Larawan: MIT News, na may mga imahe ng iStockphoto

Ang bagong pamamaraan, na tinawag na tenor holography, ay maaaring lumikha ng mga hologram para sa virtual reality, 3D printing, medikal na imaging at marami pa – at maaari itong gumana sa isang smartphone.

Sa kabila ng maraming taon ng hype, hindi pa rin winawasak ng mga virtual reality headset ang mga screen ng TV at computer bilang mga video device. Isang kadahilanan: Maaaring gawing masama ng pakiramdam ng VR ang mga gumagamit. Ang pagkahilo at pagkahapo ng mata ay maaaring mangyari dahil lumilikha ang VR ng ilusyon ng pagtingin sa 3D, kahit na ang gumagamit ay talagang tumitingin sa isang 2D nakapirming distansya na display. Ang solusyon sa mas mahusay na visualization ng 3D ay maaaring 60 taon ng teknolohiya na muling idisenyo para sa digital na mundo: holograms.

Ang mga Hologram ay nagbibigay ng isang pambihirang pagtingin sa mundo ng 3D sa paligid natin. Plus magaganda sila. (Sige – suriin ang kalapati sa iyong Visa card.) Ang mga Hologram ay nag-aalok ng pagbabago ng pananaw depende sa posisyon ng manonood at pinapayagan ang mata na ayusin ang focal lalim upang halili na tumuon sa harapan at background.

Matagal nang hinahangad ng mga mananaliksik na gumawa ng mga hologram na nabuo ng computer, ngunit ayon sa kaugalian ang prosesong ito ay nangangailangan ng isang supercomputer para sa pisikal na simulasi, na kung saan ay ubusin ng oras at maaaring magbunga ng mas kaunting mga photorealistic na resulta. Ngayon, З Ang mga mananaliksik ay nakabuo ng isang bagong paraan upang gumawa ng mga hologram halos halos – at ang pamamaraan ng malalim na pag-aaral ay napakabisa na maaari itong gumana agad sa isang laptop, sinabi ng mga mananaliksik.

Pang-eksperimentong pagpapakita ng proxy ng 2D at 3D na holographic

Ang figure na ito ay nagpapakita ng isang pang-eksperimentong demonstrasyon ng 2D at 3D holographic projection. Ang kaliwang larawan ay nakatuon sa laruang mouse (sa dilaw na kahon) na mas malapit sa camera, at ang tamang larawan ay nasa walang hanggang desktop kalendaryo (sa asul na kahon). May-akda: Mabait na mga mananaliksik

“Dati, inisip ng mga tao na may umiiral na antas ng hardware ng consumer, imposibleng gumawa ng mga kalkulasyon ng holographic sa real time,” sabi ni Liang Shi, pinuno ng may-akda ng pag-aaral at isang nagtapos na mag-aaral sa MIT’s Department of Electrical and Computer Engineering. “Madalas sinasabing ang mga komersyal na holographic display ay lilitaw sa loob ng 10 taon, ngunit ang pahayag na ito ay nasa loob ng mga dekada.”

Naniniwala si Shi na ang bagong diskarte, na tinawag ng koponan na “tenor holography,” ay makakamit sa wakas ang mailap na 10-taong layunin. Maaaring itulak ng mga pagsulong ang pagkalat ng holography sa mga lugar tulad ng pagpi-print ng VR at 3D.

Nagtrabaho si Shi sa isang pag-aaral na inilathala noong Marso 10, 2021. Kalikasan, kasama ang kanyang tagapayo at kapwa may-akda na si Wojciech Matusik. Ang iba pang mga kapwa may-akda ay kasama sina Baichen Lee ng EECS at Laboratory ng Computer Science at Artipisyal na Intelihensiya sa Massachusetts Institute of Technology, pati na rin ang dating mga mananaliksik ng MIT na sina Changil Kim (ngayon ay nasa Facebook) at Peter Kellnhofer (ngayon ay nasa Stanford University).

Nagsusumikap para sa mas mahusay na 3D

Ang isang tipikal na larawan na nakabatay sa lens ay naka-encode ang ningning ng bawat light alon – ang larawan ay maaaring tumpak na sumasalamin ng mga kulay ng eksena, ngunit nagreresulta sa isang patag na imahe.

Sa kaibahan, nai-encode ng hologram ang parehong ningning at yugto ng bawat light alon. Ang kumbinasyong ito ay nagbibigay ng isang mas tumpak na pagsasalamin ng paralaks at lalim ng eksena. Samakatuwid, habang ang isang larawan ng “Water Lily” ni Monet ay maaaring bigyang-diin ang kulay na kalangitan ng mga kuwadro na gawa, ang isang hologram ay maaaring buhayin ang isang gawa sa pamamagitan ng paggawa ng isang natatanging 3D texture para sa bawat stroke. Ngunit sa kabila ng kanilang pagiging totoo, ang mga hologram ay mahirap gawin at ibahagi.

Una na binuo noong kalagitnaan ng 1900s, ang mga maagang hologram ay naitala na optiko. Upang gawin ito, kinakailangan upang hatiin ang laser beam, at ang kalahati ng sinag ay ginamit upang maipaliwanag ang paksa, at ang iba pang kalahati ay ginamit bilang isang sanggunian para sa yugto ng mga light alon. Ang sanggunian na ito ay bumubuo ng isang natatanging pakiramdam ng lalim ng hologram. Ang mga nagresultang imahe ay static, kaya’t hindi sila nakakuha ng paggalaw. At naka-print lamang ang mga ito, na naging mahirap upang muling manganak at ipamahagi.

Naiiwasan ng computer holography ang mga problemang ito sa pamamagitan ng pagtulad sa optical tuning. Ngunit ang proseso ay maaaring maging isang computational syllable. “Dahil ang bawat punto ng eksena ay may iba’t ibang lalim, hindi mo mailalapat ang parehong mga operasyon sa lahat,” sabi ni Shea. “Lubhang pinatataas nito ang pagiging kumplikado.” Ang pagdidirekta ng isang cluster supercomputer upang patakbuhin ang mga simulation na batay sa pisika ay maaaring tumagal ng segundo o minuto para sa isang solong holographic na imahe. Bilang karagdagan, ang mga umiiral na mga algorithm ay hindi gayahin ang oklusi na may katumpakan na photorealistic. Samakatuwid, ang koponan ni Shi ay gumawa ng ibang diskarte: pinapayagan ang computer na magturo ng pisika.

Gumamit sila ng malalim na pagsasanay upang mapabilis ang holography na binuo ng computer, na pinapayagan silang makabuo ng mga hologram sa real time. Ang koponan ay nagdisenyo ng Zvilina neural network, isang pamamaraan sa pagproseso na gumagamit ng isang kadena ng mga tensyon sa pagsasanay upang magaya kung paano iproseso ng mga tao ang visual na impormasyon. Karaniwang nangangailangan ng pagsasanay sa neural network ng isang malaki at de-kalidad na hanay ng data na hindi dating umiiral para sa mga 3D holograms.

Ang koponan ay lumikha ng sarili nitong database ng 4,000 pares ng mga imahe ng computer. Ang bawat pares ay tumugma sa imahe – kasama ang kulay at lalim na impormasyon para sa bawat pixel – na may kaukulang hologram. Upang lumikha ng mga hologram sa bagong database, gumamit ang mga mananaliksik ng mga eksenang may kumplikado at variable na mga hugis at kulay, na may lalim na pixel na pantay na ipinamamahagi mula sa background hanggang sa harapan, at may isang bagong hanay ng mga pisikal na kalkulasyon para sa oklasyon. Ang diskarteng ito ay humantong sa photorealistic data ng pag-aaral. Pagkatapos ang algorithm ay nagsimulang gumana.

Sa pamamagitan ng pag-aaral ng bawat pares ng mga imahe, naitama ng isang network ng mga tenor ang mga parameter ng kanilang sariling mga kalkulasyon, na patuloy na pinahusay ang kakayahang lumikha ng mga hologram. Ang ganap na na-optimize na network ay nagtrabaho ng mga order ng lakas na mas mabilis kaysa sa mga kalkulasyon na nakabatay sa pisika. Ang kahusayan na ito ay nagulat sa koponan mismo.

“Kami ay namangha sa kung gaano ito gumagana,” sabi ni Matusik. Sa ilang milliseconds lamang, maaaring magamit ang tenor holography upang lumikha ng mga hologram ng mga imahe na may lalim na impormasyon na ibinigay ng maginoo na mga imahe ng computer at maaaring kalkulahin gamit ang isang setting ng multi-camera o isang sensor ng LiDAR (parehong pamantayan sa ilang mga bagong smartphone). Ang advance na ito ay nagbibigay daan sa 3D holography sa real time. Bukod dito, ang isang compact na network ng tenor ay nangangailangan ng mas mababa sa 1 MB ng memorya. “Ito ay hindi gaanong mahalaga na binigyan ng sampu at daan-daang mga gigabyte na magagamit sa pinakabagong mobile phone,” sabi niya.

Ang pag-aaral ay “ipinapakita na ang tunay na pagpapakita ng holographic ay praktikal na may katamtamang mga kinakailangan sa computational,” sabi ni Joel Colin, ang pinuno ng arkitektura ng Microsoft, na hindi kasangkot sa pag-aaral. Idinagdag niya na “ang artikulong ito ay nagpapakita ng isang marka ng pagpapabuti sa kalidad ng imahe kumpara sa nakaraang trabaho,” na “ay magdagdag ng pagiging totoo at ginhawa sa manonood.” Ipinapahiwatig din ni Colin ang posibilidad na ang mga holographic display na tulad nito ay maaaring ipasadya kahit sa reseta ng ophthalmic ng manonood. “Ang mga pagpapakita ng Holographic ay maaaring iwasto ang mga pagkaligalig sa mga mata. Ginagawa nitong posible na magpakita ng mas matalas na imahe kaysa sa nakikita ng gumagamit sa mga contact o sa baso, na nagwawasto lamang para sa mga mababang pagkakasunud-sunod na pagkakamali tulad ng pagtuon at astigmatism. “

“Mahalagang paglukso”

Mapapabuti ng real-time 3D holography ang maraming mga system – mula sa VR hanggang sa 3D na pag-print. Sinabi ng koponan na ang bagong sistema ay maaaring makatulong na isawsaw ang mga manonood sa virtual reality habang iniiwasan ang pilit ng mata at iba pang mga epekto na may matagal na paggamit ng virtual reality. Madaling magamit ang teknolohiya sa mga ipinapakitang modulate ng phase ng light waves. Sa kasalukuyan, ang pinaka-abot-kayang consumer ay nagpapakita lamang ng modulate ng ningning, kahit na ang gastos ng phase-modulate display ay babagsak kung tinatanggap ng malawak.

Ang three-dimensional holography ay maaari ring pasiglahin ang pag-unlad ng three-dimensional 3D printing, sinabi ng mga mananaliksik. Ang teknolohiyang ito ay maaaring patunayan na maging mas mabilis at mas tumpak kaysa sa tradisyunal na layer-by-layer 3D na pag-print, dahil pinapayagan ka ng three-dimensional 3D na pag-print na sabay-sabay mong i-proyekto ang buong pattern ng 3D. Ang iba pang mga application ay may kasamang microscopy, visualization ng data ng medikal, at pang-ibabaw na disenyo na may natatanging mga katangian ng salamin sa mata.

“Ito ay isang makabuluhang lakad na maaaring ganap na baguhin ang pag-uugali ng mga tao sa holography,” sabi ni Matusik. “Nararamdaman namin na ang mga neural network ay ipinanganak para sa gawaing ito.”

Sanggunian: “Tungo sa real-time na photorealistic 3D holography na may malalim na neural network” Liang Shi, Baichen Lee, Changil Kim, Peter Kellhofer at Wojciech Matusik, Marso 10, 2021, Kalikasan.
DOI: 10.1038 / s41586-020-03152-0

Website ng proyekto: tenor holography

Ang gawain ay bahagyang suportado ng Sony.

Related articles

Comments

LEAVE A REPLY

Please enter your comment!
Please enter your name here

Share article

Latest articles

Ang lumalaking problema ng “malalim na heograpiya”

Ang maaaring mukhang isang imahe ng Tacoma ay talagang isang simulate na nilikha sa pamamagitan ng paglilipat ng mga biswal na imahe ng Beijing...

Bagong Milky Way Exterior Destroyers Bagong Sky Map ay Inilabas – Madilim na Mahalagang Mga Konsepto ay Maaaring Magbigay ng Bagong Eksperimento

Ang mga astronomo ay naglabas ng isang bagong celestial map ng Milky Way galaxy na pinakamalapit sa aming kalawakan. Kredito: NASA / JPL-Caltech...

Susunod na Generation Stable Pop-Up na Istraktura na inspirasyon ni Origami

Ni Harvard John A. Paulson School of Engineering at Applied Science Abril 22, 2021 Ang hindi masusunog na kanlungan na ito ay hindi natatakpan ng makapal...

Pinalitan ng DNA ang Y Chromosome na Nag-aambag ng Maikling Buhay na Buhay sa Mga Lipad ng Lalaki

Pagpapayaman ng Heterochromatin sa lahat ng mga chromosome. Immunofluorescence stain ng H3K9me3 sa male mitotic chromosome. Bar scale ay 50μm. Kredito:...

Pinapayagan ng mga polimer na kumakain ng polimer ang “biodegradable” na mga plastik na tunay na masusunog

Ang ginagamot na plastik (kaliwa) ay naghiwalay pagkatapos ng tatlong araw lamang sa karaniwang pag-aabono (kanan) at ganap na makalipas ang dalawang linggo. ...

Newsletter

Subscribe to stay updated.