Ke koi ʻana i ka nānā ʻana i ka Flash i kahi TPU a me ke aʻo ʻana i ke ala paʻakikī

Ka hoʻoikaika ʻana i ka nānā ʻana o Flash i kahi TPU a me ke aʻo ʻana i ke ala paʻakikī

ʻO ka ʻimi ʻana i ka hoʻonui ʻana he mele siren no nā ʻenekinia. ʻAʻole ia e hoʻohiki i nā loaʻa hoʻonui wale nō, akā ʻo ka hauʻoli o ke kuʻi ʻana i nā hāmeʻa i kou makemake. ʻO kaʻu odyssey hou i ka hoʻoikaika ʻana i kahi hoʻokō Flash Attention kiʻekiʻe-i hoʻolālā ʻia no NVIDIA GPUs-i kahi Google TPU i hānau ʻia mai kēia mea hoʻowalewale. He hanohano ka pahuhopu: e hoʻolalelale i ka pipeline inference koʻikoʻi. ʻO ka huakaʻi, he masterclass ia i nā ʻoiaʻiʻo paʻakikī o ka hoʻolālā ʻōnaehana modular. He moʻolelo ia e hōʻike ana i ke kumu e pono ai nā paepae e like me Mewayz, ka mea e kākoʻo a mālama i ka ʻokoʻa ʻenehana, no ka hana ʻoihana hoʻomau.

Ka Mele Siren of Peak Performance

ʻO Flash Attention kahi algorithm hoʻololi e hoʻokē wikiwiki i nā kumu hoʻohālike Transformer ma o ka hoʻonui ʻana i ka ʻike hoʻomanaʻo. Ma nā GPU i hoʻolālā ʻia no, he mea kilokilo maʻemaʻe. ʻO kā mākou noi kumu, kahi mīkini hana palapala, hilinaʻi nui i kēia mau hiʻohiʻona. I ka ʻike ʻana i nā helu benchmark, ua maʻalahi ka hoʻohālikelike: Flash Attention + kā mākou TPU quota = ʻoi aku ka wikiwiki o ka hana a me nā kumukūʻai haʻahaʻa. Ua komo au, me ka hilinaʻi me ka nui o ka tinkering haʻahaʻa haʻahaʻa - ka hakoko me nā papa kuhikuhi kernel, nā wahi hoʻomanaʻo, a me ka mea hoʻohui XLA - hiki iaʻu ke hoʻokomo i kēia peg square i loko o kahi puka pōʻai. ʻO ka manaʻo mua ma ka lanakila ʻenehana, ʻaʻole ma ka puʻuwai lōʻihi o ka ʻōnaehana.

ʻO ka holo o nā mea paʻakikī ʻike ʻole ʻia

He mea 'ona ka "holomua" mua. Ma hope o nā pule, loaʻa iaʻu kahi kumu hoʻohālike e holo ai. Aka, he hakahaka ka lanakila. He palupalu ka hack, haki me kēlā me kēia waihona puke liʻiliʻi. ʻOi aku ka maikaʻi, ua hana ia i ka huki ʻike ʻole ma ka pipeline holoʻokoʻa. Ua lilo ke ala helu TPU i hoʻopaʻa ʻia i kahi silo, e koi ana iā mākou e mālama i nā palapala hoʻokaʻawale ʻokoʻa, nā lou nānā ʻana, a me ka loiloi hoʻoili ʻikepili. ʻO ka mea i manaʻo ʻia he module optimized i lilo i pahu ʻeleʻele brittle. Ua loaʻa iā mākou nā hemahema ʻeha:

• Debugging Hell: Ua makapō nā mea hana profiling maʻamau i kā mākou kernel maʻamau, e hoʻolilo i nā regressions hana i moeʻuhane weliweli ke ʻike.
• Team Bottleneck: ʻO wau wale nō ka mea i hoʻomaopopo i ke code labyrinthine, ke kāpae nei i ka hoʻomohala ʻana inā loaʻa ʻole iaʻu.
• ʻAi'ē Hoʻohui: ʻAʻole hiki ke hoʻokomo maʻalahi i ka hoʻomaikaʻi ʻana i ke kumu hoʻohālike nui i kā mākou frankenstein TPU fork.
• Nā Kūʻai Kūʻai: He leke hoʻomanaʻo pohihihi ma ka TPU, i hānau ʻia mai kā mākou hoʻokele hoʻomanaʻo pono ʻole, i hoʻokahi manawa i alakaʻi ʻia ai i ka 40% o ka nui o ke kumukūʻai ma mua o ka loaʻa ʻana.

Ka Manaʻo Modular: Hoʻohui ʻia ma luna o ka hoʻopili ʻana i ka ikaika

ʻAʻole pili ka haʻawina kumu i nā TPU a i ʻole nā algorithm nānā. E pili ana i ka modularity. Ua uhaki mākou i kahi loina kumu: pono e hoʻololi ʻia nā ʻāpana o kahi ʻōnaehana a hiki ke hoʻopili ʻia, ʻaʻole i hui pū ʻia. Ma ka hoʻoikaika ʻana i kahi ʻāpana ʻōiwi ʻole i loko o kā mākou waihona, ua kaumaha mākou i ka kūpaʻa, ka mālamalama, a me ka agility no kahi hana kiʻekiʻe hypothetical i ʻike ʻole ʻia i ka hana. ʻO kēia kahi e lilo ai ke kumukānāwai o kahi OS pāʻoihana modular e like me Mewayz. ʻAʻole pili ʻo Mewayz e hoʻopaʻa iā ʻoe i hoʻokahi ahu; e pili ana i ka hāʻawi ʻana i ka papa hoʻolāʻau e hiki ai iā ʻoe ke hoʻohana i ka mea paahana maikaʻi loa no ka hana—inā paha he GPU-specific optimization a i ʻole he kumu hoʻohālike TPU—me ka ʻole e kūkulu a mālama i ka ʻiʻo pili iā ʻoe iho.

"ʻO ka hoʻonui ʻana i ka paʻakikī o ka ʻōnaehana, ʻo ia wale nō ka hōʻaiʻē ʻenehana i ka wā e hiki mai ana i hoʻololi ʻia e like me ka holomua. ʻO ka maikaʻi maoli e loaʻa mai i nā pilina maʻemaʻe a me nā ʻāpana hiki ke hoʻololi ʻia, ʻaʻole nā ​​hui hoʻokahi hoʻokahi."

Aʻo a Pivoting i ka wikiwiki hoʻomau

Ua hoʻopaʻa hope mākou i ka hoʻokolohua Flash Attention. Akā, ua pivoted mākou i ka hoʻokō ʻana i ka manaʻo TPU maoli, ʻoiai ʻoi aku ka lohi ma ka pepa, ua ʻoi aku ka hilinaʻi a mālama ʻia. Ua hoʻomaikaʻi maoli ka ʻōnaehana holoʻokoʻa ma muli o kona kūpaʻa. ʻO ka mea nui aʻe, ua hoʻomaka mākou e kūkulu i kā mākou lawelawe AI ma ke ʻano he ʻokoʻa a wehewehe maikaʻi ʻia. ʻO kēia hoʻololi ʻana i ka noʻonoʻo - ʻo ka hoʻonohonoho mua ʻana i nā ʻaelike maʻemaʻe ma waena o nā ʻāpana ma mua o ka hana ʻokoʻa, ka hana kūloko - ʻo ia ka mea e hiki ai i nā ʻoihana ke hoʻonui i ka naʻauao. I loko o kahi honua o ka ʻenehana wikiwiki, hāʻawi kahi paepae e like me Mewayz i ka ʻōnaehana e hoʻopili i nā mana hou me ka ʻole o ke kūkulu hou ʻana i ka huila, a i ʻole i kā mākou hihia, me ka ʻole o ka hoʻāʻo ʻana e hana hou i ka mea hana. ʻO ke ala paʻakikī i aʻo mai iā mākou ʻo ka wikiwiki hoʻomau ʻaʻole e pili ana i ka lanakila ʻana i kēlā me kēia kaua micro, akā no ka hōʻoia ʻana e hiki i kāu pūʻali holoʻokoʻa ke hele like.