Flash анхаарлыг TPU дээр хүчлэх, хэцүү арга замыг сурах

Flash анхаарлыг TPU дээр шахаж, хэцүү аргыг сурах нь

Оновчлолын эрэл хайгуул нь инженерүүдэд зориулсан дуут дохио юм. Энэ нь зөвхөн өсөн нэмэгдэж буй ашиг төдийгүй, тоног төхөөрөмжийг таны хүсэлд нийцүүлэн гулзайлгах сэтгэл хөдлөлийг амлаж байна. NVIDIA GPU-д зориулан бүтээсэн хамгийн сүүлийн үеийн Flash Attention программыг Google TPU дээр хүчээр шахах тухай миний саяхны хүсэл тэмүүлэл энэ л сэтгэл татам байдлаас үүдэлтэй юм. Зорилго нь эрхэмсэг байсан: чухал дүгнэлт дамжуулах хоолойг хурдасгах. Гэсэн хэдий ч энэ аялал нь модульчлагдсан системийн дизайны хатуу үнэнийг харуулсан мастер анги байв. Технологийн ялгаатай байдлыг хүлээн зөвшөөрч, удирддаг Mewayz гэх мэт платформууд бизнесийн тогтвортой үйл ажиллагаанд яагаад чухал байдгийг онцолж буй үлгэр юм.

Оргил гүйцэтгэлийн Сирен дуу

Flash Attention нь санах ойн хандалтыг оновчтой болгосноор Трансформаторын загваруудыг эрс хурдасгадаг хувьсгалт алгоритм юм. Энэ нь зориулагдсан GPU дээр энэ нь цэвэр ид шид юм. Манай үндсэн програм болох баримт бичиг боловсруулах хөдөлгүүр нь эдгээр загварт ихээхэн тулгуурладаг. Жишиг тоонуудыг харахад тэгшитгэл нь энгийн мэт санагдсан: Flash Attention + бидний TPU квот = илүү хурдан боловсруулалт, бага зардал. Цөмийн зохион байгуулалт, санах ойн зай, XLA хөрвүүлэгчтэй хангалттай бага түвшний заль мэх хийснээр би энэ дөрвөлжин бэхэлгээг дугуй, тензор боловсруулагч хэлбэртэй нүхэнд суулгаж чадна гэдэгтээ итгэлтэй байлаа. Анхны анхаарал нь системийн урт хугацааны зүрхний цохилтонд бус зөвхөн техникийн байлдан дагуулалтад байсан.

Үл үзэгдэх нарийн төвөгтэй байдлын цуваа

Анхны "амжилт" нь мансуурмаар байсан. Долоо хоногийн дараа би гүйх загвар өмсөгчтэй болсон. Гэвч ялалт нь хоосон байлаа. Номын сангийн жижиг шинэчлэлт бүрээр хакердсан нь эмзэг байсан. Хамгийн муу нь энэ нь дамжуулах хоолойд үл үзэгдэх чирэгдэл үүсгэдэг. Захиалгат TPU кодын зам нь сило болж, биднийг тусад нь байршуулах скрипт, хяналтын дэгээ, тэр ч байтугай өгөгдөл ачаалах логикийг хадгалахад хүргэв. Оновчтой модуль байх ёстой байсан зүйл нь хэврэг хар хайрцаг болжээ. Бидэнд хэцүү бүтэлгүйтэл тохиолдсон:

• Дбаг хийх там: Стандарт профайл хийх хэрэгслүүд нь манай тусгай цөмд харалган байсан тул гүйцэтгэлийн регрессийг оношлоход хар дарсан зүүд болгосон.
• Багийн бөглөрөл: Зөвхөн би л лавиринт кодыг ойлгосон бөгөөд хэрэв боломжгүй бол хөгжлийг зогсооно.
• Интеграцийн өр: Үндсэн загварт хийсэн сайжруулалтыг манай франкенштейн TPU салаа руу хялбархан шилжүүлэх боломжгүй байсан.
• Зардлын огцом өсөлт: Манай уламжлалт бус санах ойн менежментээс үүссэн нууцлаг TPU-д санах ой алдагдсан нь бид үүнийг барихаас өмнө зардлыг 40%-иар хэтрүүлсэн.

Модульчлагдсан сэтгэлгээ: Хүчээр тохируулан нэгтгэх

Үндсэн хичээл нь TPU эсвэл анхаарлын алгоритмуудын тухай биш байсан. Энэ нь модульчлэлийн тухай байсан. Бид системийн бүрэлдэхүүн хэсгүүдийг хооронд нь гагнаж биш, сольж, харилцан ажиллах боломжтой гэсэн үндсэн зарчмыг зөрчсөн. Төрөлх бус бүрэлдэхүүн хэсгийг стекдээ хүчээр оруулснаар бид тогтвортой байдал, тод байдал, авхаалж самбаагаа золиосолж, үйлдвэрлэлд ховор тохиолддог таамаглалын оргил гүйцэтгэлд хүрсэн. Энд Mewayz шиг модульчлагдсан бизнесийн үйлдлийн системийн философи чухал болж байна. Mewayz нь таныг нэг стек болгон түгжих тухай биш юм; Энэ нь холбогч эдийг өөрөө бүтээж, засвар үйлчилгээ хийх шаардлагагүйгээр GPU-д зориулсан оновчлол эсвэл TPU-н загвар аль нь ч бай тухайн ажилд хамгийн сайн хэрэглүүрийг ашиглах боломжийг олгодог зохион байгуулалтын давхаргыг хангах тухай юм.

"Системийн нарийн төвөгтэй байдлыг нэмэгдүүлдэг оновчлол нь ахиц дэвшил гэж далдалсан ирээдүйн техникийн өр юм. Жинхэнэ үр ашиг нь нэг удаагийн интеграцчлал биш, цэвэр интерфэйс, сольж болох хэсгүүдээс ирдэг."

Суралцаж, тогтвортой хурд руу шилжих нь

Бид эцэст нь Flash Attention-ийн албадан туршилтыг зогсоосон. Үүний оронд бид цаасан дээр онолын хувьд удаашралтай боловч илүү найдвартай, тогтвортой байх нь батлагдсан TPU-н уугуул анхаарлын хэрэгжилтэд чиглэв. Тогтвортой байдлын улмаас системийн нийт дамжуулах чадвар сайжирсан. Хамгийн чухал нь бид хиймэл оюун ухааны үйлчилгээг салангид, сайн тодорхойлсон модулиуд болгон зохион байгуулж эхэлсэн. Энэхүү сэтгэлгээний өөрчлөлт буюу түүхий эд, орон нутгийн гүйцэтгэлээс илүү бүрэлдэхүүн хэсгүүдийн хооронд цэвэр гэрээ байгуулахыг чухалчлах нь бизнесүүдэд ухаалаг цар хүрээг нэмэгдүүлэх боломжийг олгодог. Техник хангамжийн хурдацтай хөгжиж буй ертөнцөд Mewayz шиг платформ нь дугуйг дахин бүтээхгүйгээр, эсвэл манай тохиолдолд процессорыг дахин зохион бүтээх оролдлогогүйгээр шинэ чадавхийг холбох хүрээг бүрдүүлдэг. Тогтвортой хурд нь бичил тулалдаанд ялах тухай биш, харин арми чинь бүхэлдээ эв нэгдэлтэй алхаж чадна гэдгийг хатуу арга зам бидэнд заасан.

Байнга асуудаг асуултууд

Flash анхаарлыг TPU дээр шахаж, хэцүү арга замыг сурах нь

Оновчлолын эрэл хайгуул нь инженерүүдэд зориулсан дуут дохио юм. Энэ нь зөвхөн өсөн нэмэгдэж буй ашиг төдийгүй, тоног төхөөрөмжийг таны хүсэлд нийцүүлэн гулзайлгах сэтгэл хөдлөлийг амлаж байна. NVIDIA GPU-д зориулан бүтээсэн хамгийн сүүлийн үеийн Flash Attention программыг Google TPU дээр хүчээр шахах тухай миний саяхны хүсэл тэмүүлэл энэ л сэтгэл татам байдлаас үүдэлтэй юм. Зорилго нь эрхэмсэг байсан: чухал дүгнэлт дамжуулах хоолойг хурдасгах. Гэсэн хэдий ч энэ аялал нь модульчлагдсан системийн дизайны хатуу үнэнийг харуулсан мастер анги байв. Технологийн ялгаатай байдлыг хүлээн зөвшөөрч, удирддаг Mewayz гэх мэт платформууд бизнесийн тогтвортой үйл ажиллагаанд яагаад чухал байдгийг онцолж буй үлгэр юм.

Оргил гүйцэтгэлийн Сирен дуу

Flash Attention нь санах ойн хандалтыг оновчтой болгосноор Трансформаторын загваруудыг эрс хурдасгадаг хувьсгалт алгоритм юм. Энэ нь зориулагдсан GPU дээр энэ нь цэвэр ид шид юм. Манай үндсэн програм болох баримт бичиг боловсруулах хөдөлгүүр нь эдгээр загварт ихээхэн тулгуурладаг. Жишиг тоонуудыг харахад тэгшитгэл нь энгийн мэт санагдсан: Flash Attention + бидний TPU квот = илүү хурдан боловсруулалт, бага зардал. Цөмийн зохион байгуулалт, санах ойн зай, XLA хөрвүүлэгчтэй хангалттай бага түвшний заль мэх хийснээр би энэ дөрвөлжин бэхэлгээг дугуй, тензор боловсруулагч хэлбэртэй нүхэнд суулгаж чадна гэдэгтээ итгэлтэй байлаа. Анхны анхаарал нь системийн урт хугацааны зүрхний цохилтонд бус зөвхөн техникийн байлдан дагуулалтад байсан.

Үл үзэгдэх нарийн төвөгтэй байдлын цуваа

Анхны "амжилт" нь мансуурмаар байсан. Долоо хоногийн дараа би гүйх загвар өмсөгчтэй болсон. Гэвч ялалт нь хоосон байлаа. Номын сангийн жижиг шинэчлэлт бүрээр хакердсан нь эмзэг байсан. Хамгийн муу нь энэ нь дамжуулах хоолойд үл үзэгдэх чирэгдэл үүсгэдэг. Захиалгат TPU кодын зам нь сило болж, биднийг тусад нь байршуулах скрипт, хяналтын дэгээ, тэр ч байтугай өгөгдөл ачаалах логикийг хадгалахад хүргэв. Оновчтой модуль байх ёстой байсан зүйл нь хэврэг хар хайрцаг болжээ. Бидэнд хэцүү бүтэлгүйтэл тохиолдсон:

Модульчлагдсан сэтгэлгээ: Хүчээр тохируулан нэгтгэх

Үндсэн хичээл нь TPU эсвэл анхаарлын алгоритмуудын тухай биш байсан. Энэ нь модульчлэлийн тухай байсан. Бид системийн бүрэлдэхүүн хэсгүүдийг хооронд нь гагнаж биш, сольж, харилцан ажиллах боломжтой гэсэн үндсэн зарчмыг зөрчсөн. Төрөлх бус бүрэлдэхүүн хэсгийг стекдээ хүчээр оруулснаар бид тогтвортой байдал, тод байдал, авхаалж самбаагаа золиосолж, үйлдвэрлэлд ховор тохиолддог таамаглалын оргил гүйцэтгэлд хүрсэн. Энд Mewayz шиг модульчлагдсан бизнесийн үйлдлийн системийн философи чухал болж байна. Mewayz нь таныг нэг стек болгон түгжих тухай биш юм; Энэ нь холбогч эдийг өөрөө бүтээж, засвар үйлчилгээ хийх шаардлагагүйгээр GPU-д зориулсан оновчлол эсвэл TPU-н загвар аль нь ч бай тухайн ажилд хамгийн сайн хэрэглүүрийг ашиглах боломжийг олгодог зохион байгуулалтын давхаргыг хангах тухай юм.

Суралцаж, тогтвортой хурд руу шилжих нь

Бид эцэст нь Flash Attention-ийн албадан туршилтыг зогсоосон. Үүний оронд бид цаасан дээр онолын хувьд удаашралтай боловч илүү найдвартай, тогтвортой байх нь батлагдсан TPU-н уугуул анхаарлын хэрэгжилтэд чиглэв. Тогтвортой байдлын улмаас системийн нийт дамжуулах чадвар сайжирсан. Хамгийн чухал нь бид хиймэл оюун ухааны үйлчилгээг салангид, сайн тодорхойлсон модулиуд болгон зохион байгуулж эхэлсэн. Энэхүү сэтгэлгээний өөрчлөлт буюу түүхий эд, орон нутгийн гүйцэтгэлээс илүү бүрэлдэхүүн хэсгүүдийн хооронд цэвэр гэрээ байгуулахыг чухалчлах нь бизнесүүдэд ухаалаг цар хүрээг нэмэгдүүлэх боломжийг олгодог. Техник хангамжийн хурдацтай хөгжиж буй ертөнцөд Mewayz шиг платформ нь дугуйг дахин бүтээхгүйгээр, эсвэл манай тохиолдолд процессорыг дахин зохион бүтээх оролдлогогүйгээр шинэ чадавхийг холбох хүрээг бүрдүүлдэг. Тогтвортой хурд нь бичил тулалдаанд ялах тухай биш, харин арми чинь бүхэлдээ эв нэгдэлтэй алхаж чадна гэдгийг хатуу арга зам бидэнд заасан.