HN አሳይ፡ በሁለት የጨዋታ ጂፒዩዎች ላይ HuggingFace ክፈት LLM መሪ ሰሌዳን እንዴት እንደሞላሁ

HN አሳይ፡ ማቀፍ ፊትን እንዴት እንደጨመርኩት በሁለት የጨዋታ ጂፒዩዎች ላይ ክፍት LLM መሪ ሰሌዳ

ስለ አዲስ ዘመናዊ የክፍት ምንጭ ቋንቋ ሞዴል ስትሰሙ፣ ምናልባት አንድ የምርምር ላብራቶሪ ከፍተኛ-ደረጃ A100 ወይም H100 ጂፒዩዎች ያለው ዘለላ ይሳሉ። ሳይበርፑንክ 2077 ለመጫወት ጥቅም ላይ በሚውሉት ግራፊክስ ካርዶች የተጎላበተው ማዋቀር በቤት ውስጥ ቢሮ ውስጥ እየሮጠ እንዳለ አይገምቱም።ነገር ግን በቅርቡ HuggingFace ክፈት LLM መሪ ሰሌዳ ላይ የወጣውን ሞዴል ለማሰልጠን የተጠቀምኩት ያ ነው። ይህ ጉዞ ስለ ጥሬ ሃይል ብቻ አልነበረም; ስለ ብልጥ የሀብት አስተዳደር፣ ስልታዊ ምርጫዎች እና ትክክለኛ መሳሪያዎችን መጠቀም ነበር - ስለ ውጤታማነት እንዴት እንደምናስብ በጥልቀት የሚስማሙ መርሆዎችMewayz፣ አነስተኛ ቡድኖች የድርጅት ደረጃ ውጤቶችን እንዲያሳኩ ለመርዳት የተነደፈው ሞዱላር የንግድ OS።

ትሑት ሃርድዌር፡ እያንዳንዱን FLOP እንዲቆጠር ማድረግ

የዚህ ፕሮጀክት መሰረቱ መጠነኛ በሆነ ሁኔታ መጠነኛ ነበር፡- ሁለት የNVDIA RTX 4090 ጌም ጂፒዩዎች እያንዳንዳቸው 24GB VRAM ያላቸው። ለተጠቃሚዎች ኃይለኛ ቢሆንም፣ ይህ በተለምዶ ለትልቅ ቋንቋ ሞዴል ስልጠና የተመደበው የስሌት ክፍል ነው። የወዲያውኑ ፈተና የማስታወስ ችሎታ ነበር። ሞዴል በቢሊዮኖች የሚቆጠሩ መመዘኛዎች፣ ከአመቻቹ ግዛቶች እና ግሬዲየሮች ጋር፣ ወደ 48GB አጠቃላይ VRAM ማስገባት ከመደበኛ ልምምዶች ለውጥን ይፈልጋል። ሞዴሉን እና ዳታውን ብቻ መጫን እና "አሂድ" የሚለውን መምታት አልቻልኩም. በምትኩ፣ ወደ የውጤታማነት ቴክኒኮች ስብስብ ዞርኩ፡

• Quantization: ሞዴሉን በ 8 ቢት ትክክለኛነት ማሰልጠን የክብደት እና የእንቅስቃሴዎች የማስታወስ አሻራን በከፍተኛ ሁኔታ ቀንሷል፣ በመጨረሻው አፈጻጸም ላይ ከፍተኛ ኪሳራ ሳይደርስ ቀርቷል።
• ግራዲየንት ማመሳከሪያ፡ ይህ ቴክኒክ ሁሉንም ከማጠራቀም ይልቅ በኋለኛው ማለፊያ ጊዜ ገባሪዎችን በመምረጥ እንደገና በማስላት ስሌትን ወደ ማህደረ ትውስታ ይለውጠዋል።
• LoRA (ዝቅተኛ ደረጃ ማስማማት)፡ ሁሉንም የአምሳያው መመዘኛዎች በደንብ ከማስተካከል ይልቅ፣ በአምሳያው ውስጥ የሚወጉ ትናንሽ እና የሚለምደዉ ንብርብሮችን ለማሰልጠን ሎአርኤ ተጠቀምኩ። ይህ በትእዛዞች ብዛት ሊሰለጥኑ የሚችሉ መለኪያዎችን ይቀንሳል።

ሚስጥራዊው ሶስ፡ ዳታ ማጣራት እና የሜዋይዝ አስተሳሰብ

የሃርድዌር ብቃት የግማሹን ብቻ ነው። የስልጠናው መረጃ ጥራት የበለጠ ወሳኝ ነው ሊባል ይችላል። የመሪዎች ሰሌዳው እንደ ማመዛዘን፣ ጥያቄ-መልስ እና እውነትነት ባሉ ተግባራት ላይ ሞዴሎችን ይገመግማል። የላቀ ውጤት ለማግኘት ሞዴሉ ከንፁህ፣ የተለያየ እና ከፍተኛ ጥራት ካለው የውሂብ ስብስብ መማር ያስፈልገዋል። ሞዴሉን በትክክል ካሰለጥኩት በላይ መረጃን በማጣራት እና በማጽዳት ብዙ ጊዜ አሳልፌያለሁ። ይህ ማባዛትን፣ ጥራትን ማጣራት እና የተለያዩ ስራዎችን ሚዛናዊ ውክልና ማረጋገጥን ያካትታል።

"የአምሳያው አፈጻጸም የሚወስደውን መረጃ ቀጥተኛ ነጸብራቅ ነው። ቆሻሻ መጣያ፣ ቆሻሻ መውጣት የመጀመሪያው የማሽን መማሪያ ህግ ነው። ንፁህ፣ በሚገባ የተዋቀረ የውሂብ ስብስብ ከተጨማሪ 100 ጂፒዩ ሰዓቶች የበለጠ ዋጋ ያለው ነው።"

ይህ ለውሂብ ታማኝነት ልዩ ትኩረት የMewayz የመሳሪያ ስርዓት በንፁህ እና የተማከለ ውሂብ ላይ ያለውን ትኩረት ያንጸባርቃል። Mewayz የተለያዩ መሳሪያዎችን ወደ አንድ የእውነት ምንጭ በማዋሃድ የንግድ ውሳኔዎች በትክክለኛና አስተማማኝ መረጃ ላይ እንደሚደረጉ ያረጋግጣል—ይህም መርህ ከፍተኛ አፈጻጸም ላለው AI ለማሰልጠን እኩል ነው።

የስልጠና ሩጫውን ማደራጀት

የሃርድዌር ገደቦች ከተገለጹ እና መረጃው ከተዘጋጀ በኋላ ቀጣዩ እርምጃ ኦርኬስትራ ነበር። የቧንቧ መስመርን ለማቀላጠፍ Hugging Faceን ስነ-ምህዳር፣ በተለይም 'ትራንስፎርመሮችን' እና 'ዳታ ስብስቦች' ቤተ-መጻሕፍትን ተጠቀምኩ። በሁለቱ ጂፒዩዎች ውስጥ ሞዴሉን እና አመቻቾችን በብቃት ለመከፋፈል ስልጠና በጥልቅ ተካሂዷል። ሂደቱ ፈጣን አልነበረም; ከአንድ ሳምንት በላይ ሮጧል፣የትምህርት ደረጃዎችን ለማስተካከል እና ሊከሰቱ የሚችሉ አለመረጋጋትን ለመቆጣጠር የማያቋርጥ ክትትል ያስፈልገዋል። ይህ ተደጋጋሚ ሂደት-መከታተል፣ ማስተካከል እና ማመቻቸት- ቀልጣፋ የእድገት አይነት ነው። ቡድኖቹ አዳዲስ የንግድ ሂደቶችን እንዲያወጡ ስንረዳ በMewayz ላይ የምናሸንፈው ተመሳሳይ ተደጋጋሚ ማሻሻያ ነው፣ ትንሽ እና ቀጣይነት ያለው ማሻሻያ ወደ ምርጥ የረጅም ጊዜ ውጤቶች ይመራል።

ይህ ለወደፊት ምን ማለት ነው

የመሪ ሰሌዳውን በጨዋታ ጂፒዩዎች መጨረስ የግላዊ ደረጃ ብቻ አይደለም። ለማህበረሰቡ ምልክት ነው። ለአጭር ጊዜ AI ምርምር የመግባት እንቅፋት ብዙዎች ከሚያስቡት ያነሰ መሆኑን ያሳያል። ቀልጣፋ የሶፍትዌር ቴክኒኮች እና ኃይለኛ፣ ተደራሽ የሸማቾች ሃርድዌር ጥምረት የኤአይ ልማትን ዲሞክራሲያዊ እያደረገ ነው። ይህ ከMewayz ተልእኮ ጋር በትክክል ይዛመዳል፡ ኃይለኛ የንግድ መሳሪያዎችን ዲሞክራሲያዊ ማድረግ፣ የተራቀቀ የአሰራር ቅልጥፍና ለሁሉም መጠን ላሉ ቡድኖች ይገኛል። AI እያሠለጠክም ሆነ ንግድ እየሠራህ ቢሆንም ከፍተኛ ደረጃ ውጤቶችን ለማግኘት ከፍተኛ በጀት አያስፈልግህም። ብልጥ ስልት፣ ትክክለኛ ሞዱል መሳሪያዎች እና ያለዎትን ምርጡን ለመጠቀም ቁርጠኝነት ያስፈልግዎታል።

ብዙ ጊዜ የሚጠየቁ ጥያቄዎች

HN አሳይ፡ ማቀፍ ፊትን እንዴት እንደጨመርኩ በሁለት ጌም ጂፒዩዎች ላይ ክፍት LLM መሪ ሰሌዳ

ስለ አዲስ ዘመናዊ የክፍት ምንጭ ቋንቋ ሞዴል ስትሰሙ፣ ምናልባት አንድ የምርምር ላብራቶሪ ከፍተኛ-ደረጃ A100 ወይም H100 ጂፒዩዎች ያለው ዘለላ ይሳሉ። ሳይበርፑንክ 2077 ለመጫወት ጥቅም ላይ በሚውሉት ግራፊክስ ካርዶች የተጎላበተው ማዋቀር በቤት ውስጥ ቢሮ ውስጥ እየሮጠ እንዳለ አይገምቱም።ነገር ግን በቅርቡ HuggingFace ክፈት LLM መሪ ሰሌዳ ላይ የወጣውን ሞዴል ለማሰልጠን የተጠቀምኩት ያ ነው። ይህ ጉዞ ስለ ጥሬ ሃይል ብቻ አልነበረም; እሱ ስለ ብልህ የሀብት አስተዳደር፣ ስትራቴጂካዊ ምርጫዎች እና ትክክለኛ መሳሪያዎችን መጠቀም ነበር - በMewayz ላይ ስለ ውጤታማነት እንዴት እንደምናስብ በጥልቀት የሚያስተምሩ መርሆዎች ፣ አነስተኛ ቡድኖች የድርጅት ደረጃ ውጤቶችን እንዲያገኙ ለመርዳት የተነደፈው ሞዱላር የንግድ OS።

ትሑት ሃርድዌር፡ እያንዳንዱን FLOP ቆጠራ ማድረግ

የዚህ ፕሮጀክት መሰረቱ መጠነኛ በሆነ ሁኔታ መጠነኛ ነበር፡- ሁለት የNVDIA RTX 4090 ጌም ጂፒዩዎች እያንዳንዳቸው 24GB VRAM ያላቸው። ለተጠቃሚዎች ኃይለኛ ቢሆንም፣ ይህ በተለምዶ ለትልቅ ቋንቋ ሞዴል ስልጠና የተመደበው የስሌት ክፍል ነው። የወዲያውኑ ፈተና የማስታወስ ችሎታ ነበር። ሞዴል በቢሊዮኖች የሚቆጠሩ መመዘኛዎች፣ ከአመቻቹ ግዛቶች እና ግሬዲየሮች ጋር፣ ወደ 48GB አጠቃላይ VRAM ማስገባት ከመደበኛ ልምምዶች ለውጥን ይፈልጋል። ሞዴሉን እና ዳታውን ብቻ መጫን እና "አሂድ" የሚለውን መምታት አልቻልኩም. በምትኩ፣ ወደ የውጤታማነት ቴክኒኮች ስብስብ ዞርኩ፡

ሚስጥራዊው ሶስ፡ ዳታ ማጣራት እና የሜዋይዝ አስተሳሰብ

የሃርድዌር ብቃት የግማሹን ብቻ ነው። የስልጠናው መረጃ ጥራት የበለጠ ወሳኝ ነው ሊባል ይችላል። የመሪዎች ሰሌዳው እንደ ማመዛዘን፣ ጥያቄ-መልስ እና እውነትነት ባሉ ተግባራት ላይ ሞዴሎችን ይገመግማል። የላቀ ውጤት ለማግኘት ሞዴሉ ከንፁህ፣ የተለያየ እና ከፍተኛ ጥራት ካለው የውሂብ ስብስብ መማር ያስፈልገዋል። ሞዴሉን በትክክል ካሰለጥኩት በላይ መረጃን በማጣራት እና በማጽዳት ብዙ ጊዜ አሳልፌያለሁ። ይህ ማባዛትን፣ ጥራትን ማጣራት እና የተለያዩ ስራዎችን ሚዛናዊ ውክልና ማረጋገጥን ያካትታል።

የስልጠና ሩጫውን ማደራጀት

የሃርድዌር ገደቦች ከተገለጹ እና መረጃው ከተዘጋጀ በኋላ ቀጣዩ እርምጃ ኦርኬስትራ ነበር። የቧንቧ መስመርን ለማቀላጠፍ Hugging Faceን ስነ-ምህዳር፣ በተለይም 'ትራንስፎርመሮችን' እና 'ዳታ ስብስቦች' ቤተ-መጻሕፍትን ተጠቀምኩ። በሁለቱ ጂፒዩዎች ውስጥ ሞዴሉን እና አመቻቾችን በብቃት ለመከፋፈል ስልጠና በጥልቅ ተካሂዷል። ሂደቱ ፈጣን አልነበረም; ከአንድ ሳምንት በላይ ሮጧል፣የትምህርት ደረጃዎችን ለማስተካከል እና ሊከሰቱ የሚችሉ አለመረጋጋትን ለመቆጣጠር የማያቋርጥ ክትትል ያስፈልገዋል። ይህ ተደጋጋሚ ሂደት-መከታተል፣ ማስተካከል እና ማመቻቸት- ቀልጣፋ የእድገት አይነት ነው። ቡድኖቹ አዳዲስ የንግድ ሂደቶችን እንዲያወጡ ስንረዳ በሜዌይዝ ላይ የምናሸንፈው ተመሳሳይ ተደጋጋሚ ማሻሻያ ነው፣ ትንሽ እና ቀጣይነት ያለው ማሻሻያ ወደ ምርጥ የረጅም ጊዜ ውጤቶች ይመራል።

ይህ ለወደፊት ምን ማለት ነው

የመሪ ሰሌዳውን በጨዋታ ጂፒዩዎች መጨረስ የግላዊ ደረጃ ብቻ አይደለም። ለማህበረሰቡ ምልክት ነው። ለአጭር ጊዜ AI ምርምር የመግባት እንቅፋት ብዙዎች ከሚያስቡት ያነሰ መሆኑን ያሳያል። ቀልጣፋ የሶፍትዌር ቴክኒኮች እና ኃይለኛ፣ ተደራሽ የሸማቾች ሃርድዌር ጥምረት የኤአይ ልማትን ዲሞክራሲያዊ እያደረገ ነው። ይህ ከ Mewayz ተልዕኮ ጋር በትክክል ይጣጣማል፡- ኃይለኛ የንግድ መሳሪያዎችን ወደ ዲሞክራሲያዊ አሰራር ለማምጣት፣ የተራቀቀ የአሰራር ቅልጥፍና ለሁሉም መጠን ላሉ ቡድኖች ይገኛል። AI እያሠለጠክም ሆነ ንግድ እየሠራህ ቢሆንም ከፍተኛ ደረጃ ውጤቶችን ለማግኘት ከፍተኛ በጀት አያስፈልግህም። ብልጥ ስልት፣ ትክክለኛ ሞዱል መሳሪያዎች እና ያለዎትን ምርጡን ለመጠቀም ቁርጠኝነት ያስፈልግዎታል።