Show HN: ከመይ ጌረ ኣብ ክልተ ናይ ጸወታ GPUs ን HuggingFace Open LLM Leaderboard ቶፕ ጌረዮ

<ኣካል>

HN ኣርእዩ: ከመይ ጌረ ኣብ ክልተ ናይ ጸወታ GPUs ን HuggingFace Open LLM Leaderboard ልዕል ኣቢለዮ

ብዛዕባ ሓድሽ ደረጃኡ ዝሓለወ ሞዴል ክፉት ምንጪ ቋንቋ ክትሰምዕ ከለኻ፡ ምናልባት ላዕለዎት ደረጃታት A100 ወይ H100 GPUs ዝሓቖፈ ናይ መጽናዕቲ ቤተ-ፈተነ ክትስእል ትኽእል ኢኻ። ኣብ ሓደ ናይ ገዛ ቤት ጽሕፈት፡ ብተመሳሳሊ ንሳይበርፓንክ 2077 ንምጽዋት ዝጥቀሙሉ ግራፊክስ ካርድታት ዝሰርሕ፡ ሴትኣፕ ርሑቕ ክሃርም ኣይትሓስብን ኢኻ።ግን ልክዕ ከምኡ’ዩ ንሓንቲ ኣብ ቀረባ እዋን ናብ ላዕሊ HuggingFace Open LLM Leaderboard ዝደየበት ሞዴል ንምስልጣን ዝጥቀመሉ ዝነበርኩ። እዚ ጉዕዞ ብዛዕባ ጥረ ሓይሊ ጥራይ ኣይነበረን፤ ብዛዕባ ብልሒ ምሕደራ ሃፍቲ፡ ስትራተጂካዊ ምርጫታትን ቅኑዕ መሳርሒታት ምጥቃምን እዩ ነይሩ-ኣብ Mewayz፡ እቲ ንኣሽቱ ጋንታታት ብደረጃ ትካል ውጽኢት ንኽረኽባ ንምሕጋዝ ዝተዳለወ ሞዱላር ቢዝነስ ኦኤስ፡ ብዛዕባ ብቕዓት ከመይ ከም እንሓስብ ብዕምቆት ዝድመጹ መትከላት።

እቲ ትሑት ሃርድዌር፡ ነፍሲ ወከፍ ፍሎፕ ከም ዝቑጸር ምግባር

መሰረት ናይዚ ፕሮጀክት ልኡም ምንባሩ ዘይከሓድ እዩ ነይሩ: ክልተ NVIDIA RTX 4090 gaming GPUs ምስ ነፍሲ ወከፎም 24GB VRAM ዘለዎም። እዚ ንተጠቀምቲ ሓያል እኳ እንተኾነ፡ እዚ ግን ክፋል ናይቲ ብተለምዶ ንዓበይቲ ናይ ቋንቋ ሞዴል ስልጠና ዝምደብ ስሌት እዩ። እቲ ቅጽበታዊ ብድሆ ዝኽሪ እዩ ነይሩ። ቢልዮናት መለክዒታት ዘለዎ ሞዴል ምስ ኦፕቲማይዘር ስቴታቱን ግራድየንቱን ኣብ 48GB ጠቕላላ ቪራም ምትእስሳር ካብ ስታንዳርድ ኣሰራርሓታት ምቕያር ፓራዳይም የድሊ ነይሩ። ሞዴልን ዳታን ጽዒነ "ጉያ" ጥራይ ክሃርም ኣይከኣልኩን። ኣብ ክንድኡስ ናብ ሓደ ስብስብ ናይ ብቕዓት ሜላታት ኣቕኒዐ፡

ዝብል ጽሑፍ ኣሎ።
• ብዝሒ ምግባር፡ ነቲ ሞዴል ብ8-ቢት ትኽክለኛነት ምምልማል፡ ኣብ ናይ መወዳእታ ኣፈጻጽማ ርኡይ ክሳራ ከይተራእየ፡ ኣሰር መዘክር ክብደትን ምንቅስቓሳትን ብሓያል መልክዑ ኣጉዲልዎ።
• Gradient Checkpointing: እዚ ሜላ እዚ ንኹሎም ኣብ ክንዲ ምኽዛን ኣብ እዋን ንድሕሪት ምሕላፍ ንዝግበር ምንቅስቓሳት ብመምረጺ ዳግማይ ብምሕሳብ ንመዘከርታ ይነግድ።
• LoRA (Low-Rank Adaptation): ኣብ ክንዲ ንኹሎም መለክዒታት ናይቲ ሞዴል ብደቂቕ ምቕናዕ፡ LoRA ተጠቒመ ኣብቲ ሞዴል ዝውግኡ ንኣሽቱ፡ ተዓጻጻፊ ንጣብ ኣሰልጢነ። እዚ ድማ ንብዝሒ ናይቶም ክስልጥኑ ዝኽእሉ መለክዒታት ብትእዛዝ ዕቤት ይንክዮም።

ዝብል ጽሑፍ ኣሎ።

እዚ ውሱን ጸጋታት ናብ ዝለዓለ ደረጃ ንምብጻሕ ዝሕግዝ ኣገባብ፡ ቀንዲ መርገጺ ፍልስፍና መዋይዝ እዩ። ልክዕ ከምቲ ንዋሕዚ ስራሕ ተደራራቢ ዕማማት ንምውጋድን መስርሓት ኣውቶማቲክ ንምግባርን ንጥቀመሉ፡ ንጸጋታት ምሕሳብ ምምሕያሽ ብጽጉም ኣወዳድባ ዓበይቲ ውጽኢታት ንምዕዋት ቁልፊ እዩ።

ምስጢራዊ ሶስ፡ ዳታ ኪዩሬሽንን ኣተሓሳስባ መዋይዝን

ብቕዓት ሃርድዌር ፍርቂ ናይቲ ውግእ ጥራይ እዩ። ጽሬት ናይቲ ስልጠና ዳታ ዝያዳ ወሳኒ ምዃኑ ብዘየማትእ መንገዲ ይግለጽ። እቲ መሪሕነት ሰሌዳ ንሞዴላት ኣብ ከም ምኽንያት ምሃብ፣ ሕቶ ምምላስን ሓቅነትን ዝኣመሰሉ ዕማማት ይግምግም። እቲ ሞዴል ብሉጽ ንኽኸውን ካብ ጽሩይን ዝተፈላለየን ልዑል ጽሬት ዘለዎን ዳታሴት ክመሃር ነይርዎ። ካብቲ ብጭቡጥ ነቲ ሞዴል ምልምማድ ዝገበርክዎ ንላዕሊ ኣብ ምሕላውን ምጽራይን ዳታ ዝያዳ ግዜ ኣሕሊፈ። እዚ ድማ ምድግጋም (deduplication)፣ ንጽሬት ምፍታሕን ሚዛናዊ ውክልና ዝተፈላለዩ ዕማማት ምርግጋጽን ዘጠቓለለ እዩ።

<ብሎክኮት> ዝብል ጽሑፍ ኣሎ። "ኣፈጻጽማ ናይቲ ሞዴል ቀጥታዊ ነጸብራቕ ናይቲ ዝሃልኾ ዳታ'ዩ። ጎሓፍ ምእታው፡ ጓሓፍ ምውጻእ ቀዳማይ ሕጊ ማሽን ትምህርቲ'ዩ። ጽሩይን ጽቡቕ ቅርጺ ዘለዎን ዳታሴት ካብ ተወሳኺ 100 ሰዓታት ጂፒዩ ዝያዳ ዋጋ ኣለዎ።" ዝብል ጽሑፍ ኣሎ።

እዚ ንውህደት ዳታ ዝግበር ጽፉፍ ኣቓልቦ፡ ነቲ መዋይዝ መድረኽ ኣብ ጽሩይን ማእከላይን ዳታ ዘተኮረ ምዃኑ ዘንጸባርቕ እዩ። ዝተፈላለዩ መሳርሒታት ኣብ ሓደ ምንጪ ሓቂ ብምውህሃድ፡ መዋይዝ ንግዳዊ ውሳኔታት ኣብ ቅኑዕን ዘተኣማምንን ሓበሬታ ከም ዝውሰድ የረጋግጽ- እዚ መትከል እዚ ንልዑል ኣፈጻጽማ ዘለዎ AI ንምስልጣን ማዕረ ማዕሪኡ ኣገዳሲ እዩ።

ምውዳብ ጉያ ስልጠና

እቲ ናይ ሃርድዌር ደረታት ተነጺሩን እቲ ዳታ ምስ ተዳለወን፡ እቲ ዝቐጸለ ስጉምቲ ኦርኬስትሬሽን እዩ ነይሩ። ነቲ ሻምብቆ ንምምሕያሽ ናይ Hugging Face ኢኮሲስተም ብፍላይ ድማ `transformers`ን `datasets`ን ላይብረሪታት ተጠቒመ። ስልጠና ብዲፕስፒድ ተመሪሑ ነቲ ሞዴልን ኦፕቲማይዘር ስቴትስን ኣብ መላእ ክልቲኡ GPUs ብብቕዓት ንምክፋል እዩ። እቲ መስርሕ ቅልጡፍ ኣይነበረን፤ ንልዕሊ ሓደ ሰሙን ዝጸንሐ ኮይኑ፡ ደረጃ ትምህርቲ ንምትዕርራይን ክህሉ ዝኽእል ዘይምርግጋእ ንምሓዝን ቀጻሊ ምክትታል የድልዮ ነይሩ። እዚ ተደጋጋሚ መስርሕ- ምክትታል፡ ምትዕርራይን ምምሕያሽን- ሓደ ዓይነት ቅልጡፍ ምዕባለ እዩ። ንሱ’ዩ እቲ ኣብ መዋይዝ ንጋንታታት ሓደስቲ መስርሓት ንግዲ ንኽዝርግሑ ክንሕግዞም ከለና፡ ንኣሽቱ ቀጻሊ ምምሕያሻት ናብ ዝበለጸ ናይ ነዊሕ ግዜ ውጽኢት ዝመርሑሉ ተደጋጋሚ ምጽራይ’ዩ።

እዚ ንመጻኢ እንታይ ማለት እዩ

ብናይ ጸወታ ጂፒዩ ኣብ መሪሕነት ምዃን ውልቃዊ ምዕራፍ ጥራይ ኣይኮነን፤ ንሕብረተሰብ ምልክት እዩ። ንዝለዓለ ደረጃ ምርምር AI ዝኸውን ናይ ምእታው ዕንቅፋት ካብቲ ብዙሓት ዝሓስብዎ ዝወሓደ ምዃኑ ዘርኢ እዩ። ውህደት ስሉጥ ሜላታት ሶፍትዌርን ሓያልን ተበጻሒን ሃለኽቲ ሃርድዌርን ንልምዓት AI ዲሞክራስያዊ ይገብሮ ኣሎ። እዚ ምስ ተልእኾ መዋይዝ ፍጹም ይሰማማዕ: ሓያላት ናይ ንግዲ መሳርሒታት ዲሞክራስያዊ ምግባር፣ ዝተራቐቐ ስርሒታዊ ብቕዓት ንኹሉ ዓቐን ዘለወን ጋንታታት ክቐርብ ምግባር። ላዕለዋይ ደረጃ ውጽኢት ንምርካብ፡ AI ትስልጥን ይኹን ቢዝነስ ትመርሕ፡ ዓቢ ባጀት ኣየድልየካን እዩ። ብልሒ ስትራተጂ፡ ቅኑዕ ሞዱላዊ መሳርሒታት፡ ከምኡ’ውን ነቲ ዘለካ ብዝበለጸ ክትጥቀመሉ ቆራጽነት የድልየካ።

ዝብል ጽሑፍ ኣሎ።

ብተደጋጋሚ ዝሕተቱ ሕቶታት

HN ኣርእዩ: ከመይ ጌረ ኣብ ክልተ ናይ ጸወታ GPUs ን HuggingFace Open LLM Leaderboard ልዕል ኣቢለዮ

ብዛዕባ ሓድሽ ደረጃኡ ዝሓለወ ሞዴል ክፉት ምንጪ ቋንቋ ክትሰምዕ ከለኻ፡ ምናልባት ላዕለዎት ደረጃታት A100 ወይ H100 GPUs ዝሓቖፈ ናይ መጽናዕቲ ቤተ-ፈተነ ክትስእል ትኽእል ኢኻ። ኣብ ሓደ ናይ ገዛ ቤት ጽሕፈት፡ ብተመሳሳሊ ንሳይበርፓንክ 2077 ንምጽዋት ዝጥቀሙሉ ግራፊክስ ካርድታት ዝሰርሕ፡ ሴትኣፕ ርሑቕ ክሃርም ኣይትሓስብን ኢኻ።ግን ልክዕ ከምኡ’ዩ ንሓንቲ ኣብ ቀረባ እዋን ናብ ላዕሊ HuggingFace Open LLM Leaderboard ዝደየበት ሞዴል ንምስልጣን ዝጥቀመሉ ዝነበርኩ። እዚ ጉዕዞ ብዛዕባ ጥረ ሓይሊ ጥራይ ኣይነበረን፤ ብዛዕባ ብልሒ ምሕደራ ጸጋታት፡ ስትራተጂካዊ ምርጫታትን ቅኑዕ መሳርሒታት ምጥቃምን እዩ ነይሩ-ኣብ መዋይዝ፡ እቲ ንኣሽቱ ጋንታታት ብደረጃ ትካል ውጽኢት ንኽረኽባ ንምሕጋዝ ዝተዳለወ ሞዱላር ቢዝነስ ኦኤስ፡ ብዛዕባ ብቕዓት ብኸመይ ከም እንሓስቦ ብዕምቆት ዝድመጹ መትከላት።

እቲ ትሑት ሃርድዌር፡ ነፍሲ ወከፍ ፍሎፕ ከም ዝቑጸር ምግባር

መሰረት ናይዚ ፕሮጀክት ልኡም ምንባሩ ዘይከሓድ እዩ ነይሩ: ክልተ NVIDIA RTX 4090 gaming GPUs ምስ ነፍሲ ወከፎም 24GB VRAM ዘለዎም። እዚ ንተጠቀምቲ ሓያል እኳ እንተኾነ፡ እዚ ግን ክፋል ናይቲ ብተለምዶ ንዓበይቲ ናይ ቋንቋ ሞዴል ስልጠና ዝምደብ ስሌት እዩ። እቲ ቅጽበታዊ ብድሆ ዝኽሪ እዩ ነይሩ። ቢልዮናት መለክዒታት ዘለዎ ሞዴል ምስ ኦፕቲማይዘር ስቴታቱን ግራድየንቱን ኣብ 48GB ጠቕላላ ቪራም ምትእስሳር ካብ ስታንዳርድ ኣሰራርሓታት ምቕያር ፓራዳይም የድሊ ነይሩ። ሞዴልን ዳታን ጽዒነ "ጉያ" ጥራይ ክሃርም ኣይከኣልኩን። ኣብ ክንድኡስ ናብ ሓደ ስብስብ ናይ ብቕዓት ሜላታት ኣቕኒዐ፡

ምስጢራዊ ሶስ፡ ዳታ ኪዩሬሽንን ኣተሓሳስባ መዋይዝን

ብቕዓት ሃርድዌር ፍርቂ ናይቲ ውግእ ጥራይ እዩ። ጽሬት ናይቲ ስልጠና ዳታ ዝያዳ ወሳኒ ምዃኑ ብዘየማትእ መንገዲ ይግለጽ። እቲ መሪሕነት ሰሌዳ ንሞዴላት ኣብ ከም ምኽንያት ምሃብ፣ ሕቶ ምምላስን ሓቅነትን ዝኣመሰሉ ዕማማት ይግምግም። እቲ ሞዴል ብሉጽ ንኽኸውን ካብ ጽሩይን ዝተፈላለየን ልዑል ጽሬት ዘለዎን ዳታሴት ክመሃር ነይርዎ። ካብቲ ብጭቡጥ ነቲ ሞዴል ምልምማድ ዝገበርክዎ ንላዕሊ ኣብ ምሕላውን ምጽራይን ዳታ ዝያዳ ግዜ ኣሕሊፈ። እዚ ድማ ምድግጋም (deduplication)፣ ንጽሬት ምፍታሕን ሚዛናዊ ውክልና ዝተፈላለዩ ዕማማት ምርግጋጽን ዘጠቓለለ እዩ።

ምውዳብ ጉያ ስልጠና

እቲ ናይ ሃርድዌር ደረታት ተነጺሩን እቲ ዳታ ምስ ተዳለወን፡ እቲ ዝቐጸለ ስጉምቲ ኦርኬስትሬሽን እዩ ነይሩ። ነቲ ሻምብቆ ንምምሕያሽ ናይ Hugging Face ኢኮሲስተም ብፍላይ ድማ `transformers`ን `datasets`ን ላይብረሪታት ተጠቒመ። ስልጠና ብዲፕስፒድ ተመሪሑ ነቲ ሞዴልን ኦፕቲማይዘር ስቴትስን ኣብ መላእ ክልቲኡ GPUs ብብቕዓት ንምክፋል እዩ። እቲ መስርሕ ቅልጡፍ ኣይነበረን፤ ንልዕሊ ሓደ ሰሙን ዝጸንሐ ኮይኑ፡ ደረጃ ትምህርቲ ንምትዕርራይን ክህሉ ዝኽእል ዘይምርግጋእ ንምሓዝን ቀጻሊ ምክትታል የድልዮ ነይሩ። እዚ ተደጋጋሚ መስርሕ- ምክትታል፡ ምትዕርራይን ምምሕያሽን- ሓደ ዓይነት ቅልጡፍ ምዕባለ እዩ። ንሱ’ዩ እቲ ኣብ መዋይዝ ንጋንታታት ሓደስቲ መስርሓት ንግዲ ንኽዝርግሑ ክንሕግዞም ከለና እንቃለሶ ተደጋጋሚ ምጽራይ’ዩ፣ ኣብኡ ንኣሽቱ ቀጻሊ ምምሕያሻት ናብ ዝበለጸ ናይ ነዊሕ ግዜ ውጽኢት ይመርሕ።

እዚ ንመጻኢ እንታይ ማለት እዩ

ብናይ ጸወታ ጂፒዩ ኣብ መሪሕነት ምዃን ውልቃዊ ምዕራፍ ጥራይ ኣይኮነን፤ ንሕብረተሰብ ምልክት እዩ። ንዝለዓለ ደረጃ ምርምር AI ዝኸውን ናይ ምእታው ዕንቅፋት ካብቲ ብዙሓት ዝሓስብዎ ዝወሓደ ምዃኑ ዘርኢ እዩ። ውህደት ስሉጥ ሜላታት ሶፍትዌርን ሓያልን ተበጻሒን ሃለኽቲ ሃርድዌርን ንልምዓት AI ዲሞክራስያዊ ይገብሮ ኣሎ። እዚ ምስ ተልእኾ መዋይዝ ፍጹም ይሰማማዕ: ሓያላት ናይ ንግዲ መሳርሒታት ዲሞክራስያዊ ምግባር፣ ዝተራቐቐ ስርሒታዊ ብቕዓት ንኹሉ ዓቐን ዘለወን ጋንታታት ክቐርብ ምግባር። ላዕለዋይ ደረጃ ውጽኢት ንምርካብ፡ AI ትስልጥን ይኹን ቢዝነስ ትመርሕ፡ ዓቢ ባጀት ኣየድልየካን እዩ። ብልሒ ስትራተጂ፡ ቅኑዕ ሞዱላዊ መሳርሒታት፡ ከምኡ’ውን ነቲ ዘለካ ብዝበለጸ ክትጥቀመሉ ቆራጽነት የድልየካ።

ዝብል ጽሑፍ ኣሎ።