ፍላሽ ኣቓልቦ ኣብ ልዕሊ TPU ምግዳድን ብኸቢድ መንገዲ ምምሃርን። | Mewayz Blog Skip to main content
Hacker News

ፍላሽ ኣቓልቦ ኣብ ልዕሊ TPU ምግዳድን ብኸቢድ መንገዲ ምምሃርን።

ርእይቶታት

1 min read Via archerzhang.me

Mewayz Team

Editorial Team

Hacker News
<ኣካል>

ፍላሽ ኣቓልቦ ኣብ ልዕሊ TPU ምግዳድን ብኸቢድ መንገዲ ምምሃርን

ምድላይ ምምሕያሽ ንመሃንድሳት ዝኸውን ናይ ሳይረን ደርፊ እዩ። ወሰኽ መኽሰብ ጥራይ ዘይኮነስ፡ ሃርድዌር ብድሌትካ ምጥዋይ ዝፈጥሮ ፍናን ቃል ይኣቱ። ኣብዚ ቀረባ እዋን ንሓደ ደረጃኡ ዝሓለወ ኣተገባብራ ፍላሽ ኣተንሽን-ንኤንቪድያ ጂፒዩ ዝተዳለወ-ኣብ ልዕሊ ጉግል ቲፒዩ ንምግዳድ ዝገበርክዎ ኦዲሲ ካብዚ ስሕበት እዚ እዩ ተወሊዱ። እቲ ዕላማ ውርዙይ እዩ ነይሩ: ንሓደ ወሳኒ ናይ ምድምዳም ሻምብቆ ምቅልጣፍ። እቲ ጉዕዞ ግን ኣብቲ ተሪር ሓቅታት ሞዱላር ሲስተም ዲዛይን ማስተርክላስ እዩ ነይሩ። ከም መዋይዝ ዝኣመሰሉ ቴክኖሎጂካዊ ዘይምስምማዕ ዝሓቑፉን ዘመሓድሩን መድረኻት ንዘላቒ ንግዳዊ ስርሓት ንምንታይ ኣገደስቲ ምዃኖም ዘጉልሕ ዛንታ እዩ።

ናይ ሳይረን ደርፊ ጫፍ ብቕዓት

ፍላሽ ኣተንሽን ንሞዴላት ትራንስፎርመር ብዓቢኡ ዘቀላጥፍ ኣብዮታዊ ኣልጎሪዝም ኮይኑ፡ ንመዘክር ምብጻሕ ብምምሕያሽ እዩ። ኣብተን ዝተዳለወለን GPUs ጽሩይ ማጂክ እዩ። እቲ ቀንዲ መተግበሪና፡ ሞተር መስርሕ ሰነድ፡ ኣብዞም ሞዴላት ኣዝዩ እዩ ዝምርኮስ። ነቶም መዐቀኒ ቁጽርታት ርእየ እቲ መመዓራረዪ ቀሊል ኮይኑ ተሰሚዑኒ፡ ፍላሽ ኣተንሽን + ኮታና ቲፒዩ = ዝቐልጠፈ መስርሕን ዝተሓተ ወጻኢታትን። ብእኹል ትሑት ደረጃ ምትዕጽጻፍ-ምስ ኣቀማምጣ ከርነል፡ መዘክር ቦታታትን XLA ኣከባቢርካን እናተቓለስኩ-ነዚ ርብዒ-መኣዝን መንኮርኮር ኣብ ክቡርን ቅርጺ ቴንሰር-ፕሮሰሲንግ ዘለዎን ቀዳድ ከም ዝኣቱ ክገብሮ ከም ዝኽእል ብምትእምማን ርግቢት ኣተኹ። እቲ ናይ መጀመርታ ትኹረት ኣብቲ ቴክኒካዊ ስዕረት ጥራይ እምበር ኣብቲ ናይቲ ስርዓት ነዊሕ ዝጸንሕ ህርመት ልቢ ኣይነበረን።

ካስኬድ ናይ ዘይተራእዩ ዝተሓላለኹ

እቲ ቀዳማይ "ዓወት" ዘስክር እዩ ነይሩ። ድሕሪ ሰሙናት፡ ንኽጎዪ ሞዴል ረኺበ። እቲ ዓወት ግን ቆፎ እዩ ነይሩ። እቲ ምጥፍፋእ ስብርባር እዩ ነይሩ፣ ምስ ነፍሲ ወከፍ ንእሽቶ ምዕባለ ቤተ-መጻሕፍቲ ይሰባበር ነበረ። ዝገደደ ድማ ኣብ ምሉእ መስመር ሻምብቆ ዘይርአ ስሕበት ፈጢሩ። እቲ ብፍቓድካ ዝተሰርሐ መንገዲ ኮድ ቲፒዩ ሳይሎ ኮይኑ፣ ዝተፈላለዩ ናይ ምዝርጋሕ ስክሪፕት፣ ምክትታል መንጠልጠሊ፣ ዋላ’ውን ዳታ-ሎዲንግ ሎጂክ ክንሕሉ ኣገደደና። እቲ ዝተመቻቸወ ሞዱል ክኸውን ዝተሓሰበ ስብርባር ጸሊም ሳንዱቕ ኮይኑ። መሪር ውድቀት ኣጋጢሙና:

    ዝብል ጽሑፍ ኣሎ።
  • ምእራም ሲኦል: ስታንዳርድ ፕሮፋይሊንግ መሳርሒታት ንብሕታዊ ከርነልና ዕዉራት ስለ ዝነበሩ፡ ንኣፈጻጽማ ሪግረሽን ንምፍላጥ ሕልሚ ቀትሪ ገይርዎ።
  • ናይ ጋንታ ዕንቅፋት፡ ኣነ ጥራይ እየ ነቲ ላቢሪንታይን ኮድ ዝተረዳእኩዎ፡ እንተዘይተረኺበ ንልምዓት ደው ዘብሎ።
  • ዕዳ ውህደት: ናብቲ ቀንዲ ሞዴል ዝግበር ዝነበረ ምምሕያሻት ንላዕሊ ብቐሊሉ ናብ ፍራንከንስታይን ቲፒዩ ፎርክና ክሰጋገር ኣይከኣለን።
  • Cost Spikes: ካብቲ ዘይኦርቶዶክሳዊ ምሕደራ ዝኽሪና ዝተወልደ ምስጢራዊ ምፍሳስ ዝኽሪ ኣብ TPU፡ ሓደ እዋን ቅድሚ ምሓዝና 40% ወጻኢታት ምብዛሕ ኣስዒቡ።
ዝብል ጽሑፍ ኣሎ።

ሞዱላር ኣተሓሳስባ፡ ውህደት ኣብ ልዕሊ ሓይሊ-ምትእስሳር

እቲ ቀንዲ ትምህርቲ ብዛዕባ TPUs ወይ attention algorithms ኣይነበረን። ብዛዕባ ሞዱላሪቲ እዩ ነይሩ። ሓደ መሰረታዊ መትከል ጥሒስና ኔርና፡ ናይ ሓደ ስርዓት ኣካላት ክለዋወጡን ክተሓሓዙን እምበር ብሓባር ክተሓሓዙ የብሎምን። ንሓደ ዘይመበቆላዊ ባእታ ናብ ስታክና ብምግዳድ፡ ኣብ ምፍራይ ሳሕቲ ዝረጋገጽ ግምታዊ ጫፍ ኣፈጻጽማ ንምርግጋእ፡ ንጹርነትን ቅልጣፈን መስዋእቲ ጌርናሉ። ኣብዚ እዩ ፍልስፍና ናይ ከም መዋይዝ ዝኣመሰለ ሞዱላር ቢዝነስ ኦኤስ ወሳኒ ዝኸውን። መዋይዝ ኣብ ሓደ ስታክ ምዕጻው ኣይኮነን፤ ንሱ ድማ ነቲ ንስራሕ ዝበለጸ መሳርሒ ክትጥቀመሉ ዘኽእለካ ናይ ኦርኬስትሬሽን ንጣብ ምቕራብ እዩ-GPU-specific optimization ይኹን TPU-native model- ነቲ መተሓላለፊ ቲሹ ባዕልኻ ክትሃንጾን ክትሕልዎን ከየድለየካ።

<ብሎክኮት> ዝብል ጽሑፍ ኣሎ።

"ስርዓታዊ ውስብስብነት ዝውስኽ ምምሕያሽ መብዛሕትኡ ግዜ ከም ምዕባለ ተመሲሉ ዝመጽእ መጻኢ ቴክኒካዊ ዕዳ ጥራይ እዩ። ሓቀኛ ብቕዓት ካብ ጽሩይ መተሓላለፍቲን መተካእታ ክፍልታትን እምበር ካብ ጅግንነታዊ ናይ ሓደ ግዜ ውህደት ዝመጽእ ኣይኮነን።"

ዝብል ጽሑፍ ኣሎ።

ምምሃርን ናብ ዘላቒ ፍጥነት ምዝዋርን

ኣብ መወዳእታ ነቲ ብግዴታ ዝተገብረ ፈተነ ፍላሽ ኣተንሽን ኣብ መደርደሪ ኣቐሚጥናዮ። ኣብ ክንድኡስ፡ ናብቲ ብክልሰ-ሓሳብ ኣብ ወረቐት ዝሓሰረ እኳ እንተኾነ፡ ኣዝዩ ዝያዳ ዘተኣማምንን ዝዕቀብን ኮይኑ ዝተረኽበ፡ TPU-native attention implementation ኣቕኒዕና። እቲ ሓፈሻዊ ውፅኢት ስርዓት ብሓቂ ብሰንኪ ምርግጋኡ እዩ ተመሓይሹ። ብዝያዳ ኣገዳሲ ዝኾነ ድማ፡ ኣገልግሎታት AI ከም ዲስክሬት፡ ጽቡቕ ጌሮም ዝተነጸሩ ሞዱላት ጌርና ክንሃንጾ ጀሚርና። እዚ ናይ ኣተሓሳስባ ለውጢ-ኣብ መንጎ ኣካላት ንዝግበር ጽሩይ ውዕላት ካብ ጥረ፡ ከባብያዊ ኣፈጻጽማ ቀዳምነት ምሃብ-ልክዕ ንንግዳዊ ትካላት ብብልሓት ንኽዓቢ ዘኽእሎም እዩ። ኣብዚ ብቕልጡፍ ዝምዕብል ዘሎ ሃርድዌር ዓለም፡ ከም መዋይዝ ዝኣመሰለ መድረኽ፡ ነቲ መንኰርኰር ዳግማይ ከይሃነጸ፡ ወይ ኣብ ናትና ጉዳይ፡ ነቲ ፕሮሰሰር ዳግማይ ከይምህዞ ከይፈተነ፡ ሓደስቲ ዓቕምታት ንምስሓብ ዝሕግዝ ማዕቀፍ ይህብ። እቲ ከቢድ መንገዲ ዘላቒ ፍጥነት ኣብ ነፍሲ ወከፍ ማይክሮ ውግእ ምዕዋት ዘይኮነስ ምሉእ ሰራዊትካ ብሓደ ድምጺ ክጓዓዝ ከም ዝኽእል ምርግጋጽ ምዃኑ ምሂሩና።

💡 DID YOU KNOW?

Mewayz replaces 8+ business tools in one platform

CRM · Invoicing · HR · Projects · Booking · eCommerce · POS · Analytics. Free forever plan available.

Start Free →
ዝብል ጽሑፍ ኣሎ።

ብተደጋጋሚ ዝሕተቱ ሕቶታት

ፍላሽ ኣቓልቦ ኣብ ልዕሊ TPU ምግዳድን ብኸቢድ መንገዲ ምምሃርን

ምድላይ ምምሕያሽ ንመሃንድሳት ዝኸውን ናይ ሳይረን ደርፊ እዩ። ወሰኽ መኽሰብ ጥራይ ዘይኮነስ፡ ሃርድዌር ብድሌትካ ምጥዋይ ዝፈጥሮ ፍናን ቃል ይኣቱ። ኣብዚ ቀረባ እዋን ንሓደ ደረጃኡ ዝሓለወ ኣተገባብራ ፍላሽ ኣተንሽን-ንኤንቪድያ ጂፒዩ ዝተዳለወ-ኣብ ልዕሊ ጉግል ቲፒዩ ንምግዳድ ዝገበርክዎ ኦዲሲ ካብዚ ስሕበት እዚ እዩ ተወሊዱ። እቲ ዕላማ ውርዙይ እዩ ነይሩ: ንሓደ ወሳኒ ናይ ምድምዳም ሻምብቆ ምቅልጣፍ። እቲ ጉዕዞ ግን ኣብቲ ተሪር ሓቅታት ሞዱላር ሲስተም ዲዛይን ማስተርክላስ እዩ ነይሩ። ከም መዋይዝ ዝኣመሰሉ ቴክኖሎጂካዊ ዘይምስምማዕ ዝሓቑፉን ዘመሓድሩን መድረኻት ንዘላቒ ንግዳዊ ስርሓት ንምንታይ ኣገደስቲ ምዃኖም ዘጉልሕ ዛንታ እዩ።

ናይ ሳይረን ደርፊ ጫፍ ብቕዓት

ፍላሽ ኣተንሽን ንሞዴላት ትራንስፎርመር ብዓቢኡ ዘቀላጥፍ ኣብዮታዊ ኣልጎሪዝም ኮይኑ፡ ንመዘክር ምብጻሕ ብምምሕያሽ እዩ። ኣብተን ዝተዳለወለን GPUs ጽሩይ ማጂክ እዩ። እቲ ቀንዲ መተግበሪና፡ ሞተር መስርሕ ሰነድ፡ ኣብዞም ሞዴላት ኣዝዩ እዩ ዝምርኮስ። ነቶም መዐቀኒ ቁጽርታት ርእየ እቲ መመዓራረዪ ቀሊል ኮይኑ ተሰሚዑኒ፡ ፍላሽ ኣተንሽን + ኮታና ቲፒዩ = ዝቐልጠፈ መስርሕን ዝተሓተ ወጻኢታትን። ብእኹል ትሑት ደረጃ ምትዕጽጻፍ-ምስ ኣቀማምጣ ከርነል፡ መዘክር ቦታታትን XLA ኣከባቢርካን እናተቓለስኩ-ነዚ ርብዒ-መኣዝን መንኮርኮር ኣብ ክቡርን ቅርጺ ቴንሰር-ፕሮሰሲንግ ዘለዎን ቀዳድ ከም ዝኣቱ ክገብሮ ከም ዝኽእል ብምትእምማን ርግቢት ኣተኹ። እቲ ናይ መጀመርታ ትኹረት ኣብቲ ቴክኒካዊ ስዕረት ጥራይ እምበር ኣብቲ ናይቲ ስርዓት ነዊሕ ዝጸንሕ ህርመት ልቢ ኣይነበረን።

ካስኬድ ናይ ዘይተራእዩ ዝተሓላለኹ

እቲ ቀዳማይ "ዓወት" ዘስክር እዩ ነይሩ። ድሕሪ ሰሙናት፡ ንኽጎዪ ሞዴል ረኺበ። እቲ ዓወት ግን ቆፎ እዩ ነይሩ። እቲ ምጥፍፋእ ስብርባር እዩ ነይሩ፣ ምስ ነፍሲ ወከፍ ንእሽቶ ምዕባለ ቤተ-መጻሕፍቲ ይሰባበር ነበረ። ዝገደደ ድማ ኣብ ምሉእ መስመር ሻምብቆ ዘይርአ ስሕበት ፈጢሩ። እቲ ብፍቓድካ ዝተሰርሐ መንገዲ ኮድ ቲፒዩ ሳይሎ ኮይኑ፣ ዝተፈላለዩ ናይ ምዝርጋሕ ስክሪፕት፣ ምክትታል መንጠልጠሊ፣ ዋላ’ውን ዳታ-ሎዲንግ ሎጂክ ክንሕሉ ኣገደደና። እቲ ዝተመቻቸወ ሞዱል ክኸውን ዝተሓሰበ ስብርባር ጸሊም ሳንዱቕ ኮይኑ። መሪር ውድቀት ኣጋጢሙና:

ሞዱላር ኣተሓሳስባ፡ ውህደት ኣብ ልዕሊ ሓይሊ-ምትእስሳር

እቲ ቀንዲ ትምህርቲ ብዛዕባ TPUs ወይ attention algorithms ኣይነበረን። ብዛዕባ ሞዱላሪቲ እዩ ነይሩ። ሓደ መሰረታዊ መትከል ጥሒስና ኔርና፡ ናይ ሓደ ስርዓት ኣካላት ክለዋወጡን ክተሓሓዙን እምበር ብሓባር ክተሓሓዙ የብሎምን። ንሓደ ዘይመበቆላዊ ባእታ ናብ ስታክና ብምግዳድ፡ ኣብ ምፍራይ ሳሕቲ ዝረጋገጽ ግምታዊ ጫፍ ኣፈጻጽማ ንምርግጋእ፡ ንጹርነትን ቅልጣፈን መስዋእቲ ጌርናሉ። ኣብዚ እዩ ፍልስፍና ናይ ከም መዋይዝ ዝኣመሰለ ሞዱላር ቢዝነስ ኦኤስ ወሳኒ ዝኸውን። መዋይዝ ኣብ ሓደ ስታክ ምዕጻው ኣይኮነን፤ ንሱ ድማ ነቲ ንስራሕ ዝበለጸ መሳርሒ ክትጥቀመሉ ዘኽእለካ ናይ ኦርኬስትሬሽን ንጣብ ምቕራብ እዩ-GPU-specific optimization ይኹን TPU-native model- ነቲ መተሓላለፊ ቲሹ ባዕልኻ ክትሃንጾን ክትሕልዎን ከየድለየካ።

ምምሃርን ናብ ዘላቒ ፍጥነት ምዝዋርን

ኣብ መወዳእታ ነቲ ብግዴታ ዝተገብረ ፈተነ ፍላሽ ኣተንሽን ኣብ መደርደሪ ኣቐሚጥናዮ። ኣብ ክንድኡስ፡ ናብቲ ብክልሰ-ሓሳብ ኣብ ወረቐት ዝሓሰረ እኳ እንተኾነ፡ ኣዝዩ ዝያዳ ዘተኣማምንን ዝዕቀብን ኮይኑ ዝተረኽበ፡ TPU-native attention implementation ኣቕኒዕና። እቲ ሓፈሻዊ ውፅኢት ስርዓት ብሓቂ ብሰንኪ ምርግጋኡ እዩ ተመሓይሹ። ብዝያዳ ኣገዳሲ ዝኾነ ድማ፡ ኣገልግሎታት AI ከም ዲስክሬት፡ ጽቡቕ ጌሮም ዝተነጸሩ ሞዱላት ጌርና ክንሃንጾ ጀሚርና። እዚ ናይ ኣተሓሳስባ ለውጢ-ኣብ መንጎ ኣካላት ንዝግበር ጽሩይ ውዕላት ካብ ጥረ፡ ከባብያዊ ኣፈጻጽማ ቀዳምነት ምሃብ-ልክዕ ንንግዳዊ ትካላት ብብልሓት ንኽዓቢ ዘኽእሎም እዩ። ኣብዚ ብቕልጡፍ ዝምዕብል ዘሎ ሃርድዌር ዓለም፡ ከም መዋይዝ ዝኣመሰለ መድረኽ፡ ነቲ መንኰርኰር ዳግማይ ከይሃነጸ፡ ወይ ኣብ ናትና ጉዳይ፡ ነቲ ፕሮሰሰር ዳግማይ ከይምህዞ ከይፈተነ፡ ሓደስቲ ዓቕምታት ንምስሓብ ዝሕግዝ ማዕቀፍ ይህብ። እቲ ከቢድ መንገዲ ዘላቒ ፍጥነት ኣብ ነፍሲ ወከፍ ማይክሮ ውግእ ምዕዋት ዘይኮነስ ምሉእ ሰራዊትካ ብሓደ ድምጺ ክጓዓዝ ከም ዝኽእል ምርግጋጽ ምዃኑ ምሂሩና።

ኩሎም ናይ ቢዝነስ መሳርሒታትካ ኣብ ሓደ ቦታ

ብዙሓት መተግበሪታት ምትላል ኣቋርጽ። መዋይዝ 208 መሳርሒታት ብ$49/ወርሒ ጥራይ የወሃህድ — ካብ ንብረት ክሳብ HR፡ ምዝገባ ክሳብ ትንታነ። ንምጅማር ዝኾነ ናይ ክረዲት ካርድ ኣየድልን።

መዋይዝ ነጻ ፈትኑ →
ዝብል ጽሑፍ ኣሎ።