Fa'amalosia le Fa'alogo i luga ole TPU ma le A'oa'oina ole Ala Faigata

Fa'amalosia le Fa'alogo i le TPU ma le A'oa'oina o le Ala Faigata

O le tulituliloaina o le fa'ata'ita'iga o se pese fa'alogo mo inisinia. E folafola mai e le gata o tupe maua faaopoopo, ae o le fiafia o le punou o meafaigaluega i lou finagalo. O laʻu faʻataʻitaʻiga talu ai nei i le faʻamalosia o le faʻatinoina o le Flash Attention-faʻatulagaina mo NVIDIA GPUs-i luga o le Google TPU na fanau mai i lenei mea faʻamalosi. O le sini sa mamalu: faatelevaveina se paipa fa'ailo taua. O le malaga, e ui i lea, o se masterclass i upu moni faigata o mamanu faiga faʻavae. Ose tala e fa'amanino ai le mafua'aga e mana'omia ai tulaga fa'apitoa e pei o Mewayz, lea o lo'o fa'apipi'iina ma fa'afoeina tulaga eseese fa'atekonolosi, mo le fa'atinoina o pisinisi gafataulimaina.

O Le Siren Pese o Fa'atinoga Fa'atosina

Flash Attention ose fa'ato'a fa'afoliga e fa'avavevave ai fa'ata'ita'iga Transformer e ala i le fa'amalieina o le avanoa e manatua ai. I luga o le GPU na mamanuina mo, o se togafiti mama. O la matou fa'aoga autu, o se masini e gaosia ai pepa, e fa'alagolago tele i nei fa'ata'ita'iga. I le vaʻaia o numera faʻailoga, o le faʻatusatusaga na foliga mai e faigofie: Flash Attention + tatou TPU quota = faʻavavevave gaioiga ma tau maualalo. Ou te lupe i totonu, ma le mautinoa o le lava o le ta'aloga maualalo - fagatuaga ma le fa'atulagaina o fatu, avanoa e manatua ai, ma le XLA compiler - e mafai ona ou fa'aogaina lenei pine sikuea i totonu o se pu lapotopoto, faʻapipiʻi faʻapipiʻi. O le taulaiga muamua sa na'o le fa'ato'ilaloina fa'atekinisi, ae le o le tātā o le fatu mo se taimi umi.

O le Fa'aoso o Fa'alavelave Le Va'aia

O le "manuia" muamua sa 'ona. Ina ua mavae vaiaso, sa ou maua se faataitaiga e tamoe. Ae o le manumalo na leai se aoga. O le hack sa ma'ale'ale, malepe i fa'afouga laiti uma o le faletusi. O le mea e sili ona leaga, na faia ai le toso le vaaia i luga o le paipa atoa. O le ala fa'ailoga TPU na avea ma se silo, fa'amalosia i matou e fa'atumauina fa'amaumauga tu'ufa'atasiga, mata'ituina matau, ma e o'o lava i fa'amatalaga fa'aputuga. O le mea na fa'atatau e avea o se module sili ona lelei na avea ma pusa uliuli. Na matou oo i ni faaletonu tiga:

• Debugging Hell: O meafaigaluega fa'asalalau masani sa tauaso i la tatou fatu fa'aleaganu'u, ma avea ai fa'aletonu fa'atinoga o se miti leaga e iloa.
• Team Bottleneck: Na'o a'u na malamalama i le labyrinthine code, taofi le atina'e pe a ou le avanoa.
• Aitalafu Tuufaatasi: O fa'aleleia i luga i le fa'ata'ita'iga autu e le'i faigofie ona fa'afeiloa'i i la matou tui TPU frankenstein.
• Toe Tau: Ose manatuaga lilo i luga ole TPU, na tupu mai i la matou pulega e le masani ai manatua, na i'u ai ina o'o atu i le 40% o le tau ae le'i maua.

O le Manatu Fa'afuala'au: Tu'ufa'atasiga I luga o le Fa'asa'o-Fa'asa'o

O le a'oa'oga autu e le'o fa'atatau i TPU po'o fa'ata'ita'iga algorithms. Sa faatatau i modularity. Sa matou solia se mataupu faavae: o vaega o se faiga e tatau ona sui ma felagolagomai, ae le o le uelo faatasi. E ala i le faʻamalosia o se vaega e le o se mea moni i totonu o la matou faaputuga, matou te ositaulagaina le mautu, manino, ma le gaogao mo se faʻataʻitaʻiga maualuga faʻatinoga e seasea maua i le gaosiga. O le mea lea e taua ai le filosofia o se pisinisi faʻapitoa OS pei o Mewayz. Mewayz e le o le lokaina oe i se faaputuga tasi; e uiga i le tu'uina atu o le fa'asologa o mea fa'apipi'i e mafai ai ona e fa'aogaina le mea faigaluega sili ona lelei mo le galuega—pe o se fa'ata'ita'iga fa'apitoa a le GPU po'o se fa'ata'ita'iga fa'ale-TPU-e aunoa ma le fau ma tausia e oe lava ia le mea feso'ota'i.

"O le fa'asilisiliina e fa'atuputeleina ai le lavelave fa'aleaogaina e masani lava na'o aitalafu fa'apitoa i le lumana'i e fa'afoliga o le alualu i luma. O le lelei moni e sau mai feso'ota'iga mama ma vaega e mafai ona sui, ae le o tu'ufa'atasiga fa'apitoa."

A'oa'o ma Pivoting i le Saosaoa Mautu

Na iu lava ina matou fa'amuta le fa'ata'ita'iga fa'amalosi Flash Attention. Nai lo lena, na matou faʻafeiloaʻi i le faʻatinoina o le TPU-native, e ui ina faʻagesegese i luga o pepa, na faʻamaonia le sili atu ona faʻatuatuaina ma tausia. Ua fa'aleleia atili le aofa'i o faiga fa'aoga ona o lona mautu. O le mea e sili atu ona taua, na amata ona matou fausia a matou auaunaga AI e avea ma faʻasalalauga faʻapitoa, faʻamalamalamaina lelei. O lenei suiga i mafaufauga-faʻamuamua konekarate mama i le va o vaega nai lo le mata, faʻatinoina faʻapitonuʻu-o le mea tonu lava lea e mafai ai e pisinisi ona fua ma le atamai. I totonu o se lalolagi o mea faʻapipiʻi faʻavavevave, o se faʻavae e pei o Mewayz e maua ai le faʻavae e faʻapipiʻi ai mea fou e aunoa ma le toe fausia o le uili, poʻo le tatou tulaga, e aunoa ma le taumafai e toe faʻafouina le gaioiga. O le auala faigata na aʻoaʻoina ai i matou o le saoasaoa faifaipea e le o le manumalo i taua laiti uma, ae o le faʻamautinoaina e mafai e lau 'autau atoa ona savali faʻatasi.