A jira HN: Ne ye HuggingFace Open LLM ɲɛmɔgɔya ta cogo min na tulonkɛ GPU fila kan

HN jira : n ye HuggingFace Open LLM ɲɛmɔgɔya ta cogo min na tulonkɛ GPU fila kan

N'i ye kanko dafalen kura dɔ mɛn min bɛ se ka kɛ, n'a sɔrɔla i bɛ ɲininikɛla laboratuwari dɔ jateminɛ ni A100 walima H100 GPU kɔrɔlenw kulu ye. I t’a miiri ko sigicogo dɔ bɛ ka mankan bɔ so biro kɔnɔ, min bɛ baara kɛ ni ja karti kelenw ye minnu bɛ kɛ ka Cyberpunk 2077 tulon kɛ.Nka n tun bɛ baara kɛ ni min ye tigitigi walasa ka modɛli dɔ dege min jiginna kɔsa in na ka taa HuggingFace Open LLM Leaderboard sanfɛ. Nin taama in tun tɛ fanga raw dɔrɔn de ye; a tun bɛ nafolo maracogo hakilitigi kan, fɛɛrɛ sugandili, ani baarakɛminɛn ɲumanw tali — sariyakolo minnu bɛ bɛn kosɛbɛ an bɛ miiri cogo min na baarakɛcogo ɲuman na Mewayz, n’o ye jago OS modulari ye min dabɔra walasa ka ekipu fitininw dɛmɛ u ka se ka sɔrɔw sɔrɔ baarakɛyɔrɔw la.

Mɔgɔ majiginlen : ka FLOP bɛɛ jate

Nin porozɛ in jusigilan tun ye fɛn fitinin ye min tɛ se ka sɔsɔ : NVIDIA RTX 4090 tulonkɛ GPU fila ni VRAM 24GB kelen-kelen bɛɛ ye. Hali n’a fanga ka bon feerekɛlaw bolo, o ye jatebɔ tilayɔrɔba dɔ ye min bɛ bila kanko misaliba kalanni kama cogoya la. Gɛlɛya min tun bɛ yen o yɔrɔnin bɛɛ, o tun ye hakilijagabɔ ye. Ka modɛli dɔ bɛn ni paramɛtiri miliyari caman ye, ka fara a ka optimiser cogoyaw n’a ka gradients kan, ka don 48GB VRAM bɛɛ lajɛlen na, o tun bɛ paradigme jiginni de wajibiya ka bɔ standard practices la. N ma se ka modeli ni data doni dɔrɔn ka "run" digi. O nɔ na, n y’a ɲɛsin baarakɛcogo ɲuman fɛɛrɛ dɔw ma :

• Jateminɛ : Ka modɛli dege 8-bit tigitigi la , o ye girinyaw ni baarakɛcogo hakilijagabɔ sennabɔli dɔgɔya kosɛbɛ k’a sɔrɔ bɔnɛba ma kɛ baara laban na .
• Gradient Checkpointing : nin fɛɛrɛ in bɛ jatebɔ jago kɛ hakilijagabɔ kama ni jatebɔ seginni ye baarakɛcogo la kɔfɛta waati la , sanni k’u bɛɛ mara .
• LoRA (Low-Rank Adaptation): Sani n ka modɛli ka paramɛtiriw bɛɛ labɛn ka ɲɛ, n ye LoRA kɛ ka layini misɛnninw dege, minnu bɛ se ka ladamu, minnu bɛ pikiri kɛ modɛli kɔnɔ. O bɛ dɔ bɔ paramɛtɛrɛ minnu bɛ se ka dege, olu hakɛ la ni bonya hakɛ ye.

nin fɛɛrɛ in min bɛ kɛ ka nafolo danmadɔw caya , o ye Mewayz hakilila jɔnjɔn dɔ ye . I n’a fɔ an bɛ baarakɛcogo ɲuman kɛ cogo min na walasa ka baara tɛmɛnenw bɔ yen ani ka taabolo kɛ otomatiki la, jatebɔ nafolo ɲɛnabɔli ye fɛnba ye walasa ka sɔrɔba sɔrɔ ni sigicogo nɔgɔlen ye.

Gundo sosɛti : Donanw kurayali ani Mewayz hakilina

Hardware baarakɛcogo ɲuman ye kɛlɛ tilancɛ dɔrɔn ye . Siga t’a la ko kalanko kunnafoniw ka ɲi kosɛbɛ. Ɲɛmɔgɔyaso bɛ misaliw jateminɛ baara dɔw kan i n’a fɔ hakilinata, ɲininkali jaabi, ani tiɲɛ. Walasa ka tɛmɛ o kan, o modɛli tun ka kan ka kalan sɔrɔ kunnafonidilan kɔnɔ min ma jɛya, min ka ca, ani min ka ɲi kosɛbɛ. N ye waati caman kɛ ka kunnafoniw mara ani k’u saniya ka tɛmɛ n ye waati caman kɛ ka modɛli dege tiɲɛ na. O tun ye deduplication ye, ka filɛri kɛ walasa ka jogo ɲuman sɔrɔ, ani ka baara suguya caman jiracogo dafalen sabati.

ye "Modèle in ka baarakɛcogo ye a bɛ kunnafonidilan minnu dun, olu jiracogo tilennen ye. Nɔgɔ doncogo, nɔgɔ bɔli ye masin kalanni sariya fɔlɔ ye. Donanw kulu saniyalen, min labɛnna ka ɲɛ, o nafa ka bon ka tɛmɛ GPU lɛrɛ 100 wɛrɛ kan."(Alimankan na)

Nin jateminɛba in min kɛra kunnafonidilanw dafalen na, o bɛ Mewayz kɛnɛ in sinsin kunnafonidilan saniyalenw kan, minnu bɛ cɛmancɛ la. Ni a ye baarakɛminɛn danfaralenw fara ɲɔgɔn kan ka kɛ tiɲɛ sɔrɔyɔrɔ kelen ye, Mewayz b’a janto ko jago latigɛw bɛ kɛ kunnafoni lakikaw kan, kunnafoni minnu bɛ se ka da u kan — sariyakolo min nafa ka bon o cogo kelen na AI degecogo ɲuman na.

Kalan bolicogo labɛnni

Ni fɛnɲɛnamafagalanw ka dantigɛliw ɲɛfɔra ani ni kunnafonidilanw labɛnna, o kɔfɛ, o kɛra orchestration ye. N ye Hugging Face ka ekosisɛti kɛ, kɛrɛnkɛrɛnnenya la `transformers` ani `datasets` gafemarayɔrɔw, walasa ka pibiliki ɲɛnabɔ. Kalan in ɲɛnabɔra ni deepspeed ye walasa ka modeli ni optimizer states shard ka ɲɛ GPU fila kɔnɔ. O kɛcogo tun tɛ teliya; a bolila dɔgɔkun kelen ni kɔ kɔnɔ, o tun bɛ kɔlɔsili kɛ tuma bɛɛ walasa ka kalan hakɛw ladilan ani ka basigibaliya minnu bɛ se ka kɛ, olu minɛ. Nin wale segin-segin in — kɔlɔsili, ladilanni ani a kɛcogo ɲuman — ye yiriwali teliyalen sugu dɔ ye. O ye o ye iteratif refinement kelen ye an bɛ min ɲɛmɔgɔya kɛ Mewayz la n’an bɛ ekipuw dɛmɛ ka jago taabolo kura labɛn, yɔrɔ min na ɲɛtaa misɛnninw, minnu bɛ to senna, olu bɛ na ni kuntaalajan ɲɛtaa ɲumanw ye.

o kɔrɔ ye mun ye siniko la

Ka ɲɛmɔgɔya tabali sanfɛ ni tulonkɛ GPUw ye, o tɛ mɔgɔ yɛrɛ ka ko kɛlen dɔrɔn ye ; o ye taamasyɛn ye sigida la . A b’a jira ko donbaliya min bɛ AI ɲinini tigɛlenw na, o ka dɔgɔ ka tɛmɛ mɔgɔ caman hakili la. Porozɛw fɛɛrɛ ɲumanw ni musakabɔlan barikamaw, minnu bɛ se ka sɔrɔ, olu faralen ɲɔgɔn kan, o bɛ ka AI yiriwali kɛ demokarasi ye. O bɛ bɛn Mewayz ka cidenyabaara ma kosɛbɛ : ka jagokɛminɛn barikamaw kɛ demokarasi ye, ka baarakɛcogo ɲuman caman kɛ ekipuw bolo, u bonya bɛɛ. I mago tɛ baarakɛnafolo belebeleba la walasa ka se ka ɲɛtaa sɔrɔ sanfɛ, i kɛra AI dege ye wo, walima i bɛ jago ɲɛminɛ wo. I mago bɛ fɛɛrɛ hakilitigi la, modulu baarakɛminɛn ɲumanw na, ani cɛsiri la walasa ka nafa caman sɔrɔ i bolofɛnw na.

Ɲininkali minnu bɛ kɛ tuma caman na

HN jira : n ye HuggingFace Open LLM ɲɛmɔgɔya ta cogo min na tulonkɛ GPU fila kan

N'i ye kanko dafalen kura dɔ mɛn min bɛ se ka kɛ, n'a sɔrɔla i bɛ ɲininikɛla laboratuwari dɔ jateminɛ ni A100 walima H100 GPU kɔrɔlenw kulu ye. I t’a miiri ko sigicogo dɔ bɛ ka mankan bɔ so biro kɔnɔ, min bɛ baara kɛ ni ja karti kelenw ye minnu bɛ kɛ ka Cyberpunk 2077 tulon kɛ.Nka n tun bɛ baara kɛ ni min ye tigitigi walasa ka modɛli dɔ dege min jiginna kɔsa in na ka taa HuggingFace Open LLM Leaderboard sanfɛ. Nin taama in tun tɛ fanga raw dɔrɔn de ye; a tun bɛ nafolo maracogo hakilitigi kan, fɛɛrɛ sugandili, ani baarakɛminɛn ɲumanw tali — sariyakolo minnu bɛ bɛn kosɛbɛ an bɛ miiri cogo min na baarakɛcogo ɲuman na Mewayz la, n’o ye jago OS modulari ye min dabɔra walasa ka ekipu fitininw dɛmɛ u ka se ka sɔrɔw sɔrɔ baarakɛyɔrɔw la.

Mɔgɔ majiginlen : ka FLOP bɛɛ jate

Nin porozɛ in jusigilan tun ye fɛn fitinin ye min tɛ se ka sɔsɔ : NVIDIA RTX 4090 tulonkɛ GPU fila ni VRAM 24GB kelen-kelen bɛɛ ye. Hali n’a fanga ka bon feerekɛlaw bolo, o ye jatebɔ tilayɔrɔba dɔ ye min bɛ bila kanko misaliba kalanni kama cogoya la. Gɛlɛya min tun bɛ yen o yɔrɔnin bɛɛ, o tun ye hakilijagabɔ ye. Ka modɛli dɔ bɛn ni paramɛtiri miliyari caman ye, ka fara a ka optimiser cogoyaw n’a ka gradients kan, ka don 48GB VRAM bɛɛ lajɛlen na, o tun bɛ paradigme jiginni de wajibiya ka bɔ standard practices la. N ma se ka modeli ni data doni dɔrɔn ka "run" digi. O nɔ na, n y’a ɲɛsin baarakɛcogo ɲuman fɛɛrɛ dɔw ma :

Gundo sosɛti : Donanw kurayali ani Mewayz hakilina

Hardware baarakɛcogo ɲuman ye kɛlɛ tilancɛ dɔrɔn ye . Siga t’a la ko kalanko kunnafoniw ka ɲi kosɛbɛ. Ɲɛmɔgɔyaso bɛ misaliw jateminɛ baara dɔw kan i n’a fɔ hakilinata, ɲininkali jaabi, ani tiɲɛ. Walasa ka tɛmɛ o kan, o modɛli tun ka kan ka kalan sɔrɔ kunnafonidilan kɔnɔ min ma jɛya, min ka ca, ani min ka ɲi kosɛbɛ. N ye waati caman kɛ ka kunnafoniw mara ani k’u saniya ka tɛmɛ n ye waati caman kɛ ka modɛli dege tiɲɛ na. O tun ye deduplication ye, ka filɛri kɛ walasa ka jogo ɲuman sɔrɔ, ani ka baara suguya caman jiracogo dafalen sabati.

Kalan bolicogo labɛnni

Ni fɛnɲɛnamafagalanw ka dantigɛliw ɲɛfɔra ani ni kunnafonidilanw labɛnna, o kɔfɛ, o kɛra orchestration ye. N ye Hugging Face ka ekosisɛti kɛ, kɛrɛnkɛrɛnnenya la `transformers` ani `datasets` gafemarayɔrɔw, walasa ka pibiliki ɲɛnabɔ. Kalan in ɲɛnabɔra ni deepspeed ye walasa ka modeli ni optimizer states shard ka ɲɛ GPU fila kɔnɔ. O kɛcogo tun tɛ teliya; a bolila dɔgɔkun kelen ni kɔ kɔnɔ, o tun bɛ kɔlɔsili kɛ tuma bɛɛ walasa ka kalan hakɛw ladilan ani ka basigibaliya minnu bɛ se ka kɛ, olu minɛ. Nin wale segin-segin in — kɔlɔsili, ladilanni ani a kɛcogo ɲuman — ye yiriwali teliyalen sugu dɔ ye. O ye o ye iteratif refinement kelen ye an bɛ min ɲɛmɔgɔya kɛ Mewayz la n’an bɛ ekipuw dɛmɛ ka jago taabolo kura labɛn, yɔrɔ min na ɲɛtaa misɛnninw, minnu bɛ to senna, olu bɛ na ni kuntaalajan ɲɛtaa ɲumanw ye.

o kɔrɔ ye mun ye siniko la

Ka ɲɛmɔgɔya tabali sanfɛ ni tulonkɛ GPUw ye, o tɛ mɔgɔ yɛrɛ ka ko kɛlen dɔrɔn ye ; o ye taamasyɛn ye sigida la . A b’a jira ko donbaliya min bɛ AI ɲinini tigɛlenw na, o ka dɔgɔ ka tɛmɛ mɔgɔ caman hakili la. Porozɛw fɛɛrɛ ɲumanw ni musakabɔlan barikamaw, minnu bɛ se ka sɔrɔ, olu faralen ɲɔgɔn kan, o bɛ ka AI yiriwali kɛ demokarasi ye. O bɛ bɛn Mewayz ka cidenyabaara ma kosɛbɛ : ka jagokɛminɛn barikamaw kɛ demokarasi ye, ka baarakɛcogo ɲuman caman kɛ ekipuw bolo, u bonya bɛɛ. I mago tɛ baarakɛnafolo belebeleba la walasa ka se ka ɲɛtaa sɔrɔ sanfɛ, i kɛra AI dege ye wo, walima i bɛ jago ɲɛminɛ wo. I mago bɛ fɛɛrɛ hakilitigi la, modulu baarakɛminɛn ɲumanw na, ani cɛsiri la walasa ka nafa caman sɔrɔ i bolofɛnw na.