Ang pag-optimize ng code ay nagdaragdag ng pagganap ng 5 beses

Ang mga teknolohiyang binuo sa pakikipagtulungan sa KAUST kasama ng Intel, Microsoft at ang Unibersidad ng Washington ay maaaring makabuluhang taasan ang bilis ng pag-aaral ng makina sa mga parallel na sistema ng computing. Kredito: © 2021 KAUST; Anastasia Serin

Ang pag-optimize sa komunikasyon sa network ay nagpapabilis sa pag-aaral ng mga malalaking modelo ng pag-aaral ng makina.

Ang pagpasok ng magaan na code sa pag-optimize sa mga aparatong network na may mataas na bilis ay pinayagan ang pakikipagtulungan na pinangunahan ng KAUST upang madagdagan ang bilis ng pag-aaral ng makina sa mga parallel computing system ng limang beses.

Ang teknolohiyang “panloob na pagsasama-sama” na ito, na binuo sa pakikipagtulungan ng mga mananaliksik at mga arkitekto ng system mula sa Intel, Microsoft at Unibersidad ng Washington, maaaring magbigay ng isang dramatikong pagpapabuti sa bilis gamit ang madaling ma-access na programmable na kagamitan sa network.

Ang pangunahing bentahe ng artipisyal na katalinuhan (AI), na nagbibigay dito ng ganitong kapangyarihan upang “maunawaan” at makipag-ugnay sa mundo, ay ang yugto ng pagkatuto ng makina, kung saan natututo ang modelo gamit ang malalaking hanay ng data ng may markang pag-aaral. Ang mas maraming data ng AI ay sinanay, mas mahusay ang posibilidad ng pagpapatakbo ng modelo sa ilalim ng impluwensya ng mga bagong input.

Ang kamakailang pag-akyat sa mga aplikasyon ng AI ay higit sa lahat dahil sa mas mahusay na pag-aaral ng makina at paggamit ng mas malalaking mga modelo at mas magkakaibang mga dataset. Ang pagsasagawa ng mga kalkulasyon sa pag-aaral ng makina, gayunpaman, ay isang labis na mabuwis na gawain na lalong umaasa sa mga malalaking arrays ng mga computer na tumatakbo kahanay sa algorithm ng pag-aaral.

“Paano magturo ng malalim na mga modelo ng pag-aaral sa isang malaking sukat ay isang mahirap na hamon,” sabi ni Marco Canini ng pangkat ng pagsasaliksik ng KAUST. “Ang mga modelo ng AI ay maaaring binubuo ng bilyun-bilyong mga parameter, at maaari naming gamitin ang daan-daang mga processor na kailangang tumakbo nang mahusay sa kahanay. Sa mga naturang system, ang komunikasyon sa pagitan ng mga nagpoproseso sa panahon ng unti-unting pag-update ng modelo ay madaling maging pangunahing bottleneck para sa pagganap.

Ang koponan ay nakakita ng isang potensyal na solusyon sa isang bagong teknolohiya sa networking na binuo ng Barefoot Networks, isang dibisyon ng Intel.

“Gumagamit kami ng bagong mga Barefoot Networks na maaaring mai-program na kagamitan sa pag-network upang maibaba ang ilan sa mga gawaing nagawa sa panahon ng pamamahagi ng machine machine,” paliwanag ni Amedeo Sapio, isang nagtapos sa KAUST na sumali mula sa koponan ng Barefoot Networks ng Intel. “Ang paggamit ng bagong nai-program na kagamitang network na ito, hindi lamang isang network, upang ilipat ang data ay nangangahulugang maaari nating maisagawa ang mga pagkalkula sa mga landas ng network.”

Ang isang pangunahing pagbabago ng platform ng koponan ng SwitchML ay ang kakayahan para sa kagamitan sa network upang maisagawa ang gawain ng pagsasama-sama ng data sa bawat yugto ng pagsabay sa yugto ng pag-update ng modelo habang natututo ang makina. Hindi lamang nito inaalis ang bahagi ng pag-load ng computing, ngunit makabuluhang binabawasan din ang paglipat ng data.

“Bagaman ang isang nai-program na paglipat ng data ng eroplano ay maaaring gumawa ng mga pagpapatakbo nang napakabilis, ang mga pagpapatakbo na magagawa nito ay limitado,” sabi ni Canini. “Samakatuwid, ang aming solusyon ay dapat na sapat na simple para sa hardware at may sapat na kakayahang umangkop upang mahawakan ang mga gawain tulad ng limitadong built-in na memorya. Nalulutas ng SwitchML ang problemang ito sa pamamagitan ng magkasamang pagdidisenyo ng isang network ng komunikasyon at isang ipinamahaging algorithm ng pag-aaral, na nakakamit ng isang bilis ng hanggang sa 5.5 beses kumpara sa modernong diskarte. ”

Sanggunian: “Scaling Ipamahagi ang Pag-aaral ng Makina sa Panloob na Pagsasama-sama” Amedeo Sapio, Marco Kanini, Chen-Yu Ho, Jacob Nelson, Panos Kalnis, Changun Kim, Arvind Krishnamurti, Masood Moshref, Dan Ports21 at Peter Richter 20 18th USENIX Symposium on Network Systems Design and Implement (NSDI ’21).
Link

Related articles

Comments

LEAVE A REPLY

Please enter your comment!
Please enter your name here

Share article

Latest articles

82% ng Mga Tao na Na-ospital Sa COVID-19 Bumuo ng Mga Neurological Problems

Isinasaalang-alang ang tomography ng utak. Ang mga pasyente na may mga karamdaman na nagpapahiwatig ng neurological ay kasangkot COVID-19 anim na beses na mas malamang...

“Gobsmacked” – Ang Melanie Wood ng Harvard ay Naging Unang Babae na Nanalo ng $ 1M Waterman Award sa Math

Si Melanie Wood ang unang babaeng nanalo ng isang Waterman Award sa matematika. Kredito: Stephanie Mitchell / Harvard Staff Photographer Kinikilala para sa mga...

Bagong Pagong na Natagpuan sa Huling Cretaceous ng Madagascar

Ang pagbabagong-tatag ng buhay ng Sahonachelys mailakavava, umaatake sa Madagascan na palaka tadpoles na si Belzebufo ay nagprotesta gamit ang isang espesyal na diyeta...

Natuklasan ng mga siyentista na ang loob ng Saturn – ang makapal na layer ng helium – ay nakakaapekto sa magnetic field ng mga...

Ang magnetikong patlang ni Saturn na nakikita sa itaas. Credit-Ancate Barrick / Jones Hopkins University Ginagaya ng mga mananaliksik ang mga kondisyong kinakailangan para...

Lumilikha ang mga mananaliksik ng cybersecurity ng mas mahusay na kanaryo – gamit ang AI upang lumikha ng pekeng mga dokumento

Ang bagong artipisyal na sistema ng katalinuhan ay lumilikha ng mga pekeng dokumento upang linlangin ang mga kalaban. Sa panahon ng World War II, ang...

Newsletter

Subscribe to stay updated.