ஒரு TPU மீது ஃப்ளாஷ் கவனத்தை கட்டாயப்படுத்துதல் மற்றும் கடினமான வழியைக் கற்றுக்கொள்வது | Mewayz Blog Skip to main content
Hacker News

ஒரு TPU மீது ஃப்ளாஷ் கவனத்தை கட்டாயப்படுத்துதல் மற்றும் கடினமான வழியைக் கற்றுக்கொள்வது

கருத்துகள்

1 min read Via archerzhang.me

Mewayz Team

Editorial Team

Hacker News
<உடல்>

ஒரு TPU மீது ஃபிளாஷ் கவனத்தை கட்டாயப்படுத்துதல் மற்றும் கடினமான வழியைக் கற்றுக்கொள்வது

இன்ஜினியர்களுக்கு உகப்பாக்கம் ஒரு சைரன் பாடல். இது அதிகரிக்கும் ஆதாயங்களை மட்டுமல்ல, உங்கள் விருப்பத்திற்கு ஏற்ப வன்பொருளை வளைக்கும் சிலிர்ப்பையும் அளிக்கிறது. என்விடியா ஜிபியுக்களுக்காக வடிவமைக்கப்பட்ட அதிநவீன ஃப்ளாஷ் அட்டென்ஷன் அமலாக்கத்தை கூகுள் டிபியுவில் கட்டாயப்படுத்துவதற்கான எனது சமீபத்திய ஒடிஸி இந்த கவர்ச்சியிலிருந்து பிறந்தது. குறிக்கோள் உன்னதமானது: ஒரு முக்கியமான அனுமானக் குழாய்த்திட்டத்தை விரைவுபடுத்துதல். எவ்வாறாயினும், இந்த பயணம் மட்டு அமைப்பு வடிவமைப்பின் கடினமான உண்மைகளில் ஒரு தலைசிறந்த வகுப்பாக இருந்தது. தொழில்நுட்ப பன்முகத்தன்மையைத் தழுவி நிர்வகிக்கும் Mewayz போன்ற தளங்கள் நிலையான வணிகச் செயல்பாடுகளுக்கு ஏன் அவசியம் என்பதை அடிக்கோடிட்டுக் காட்டும் கதை இது.

தி சைரன் சாங் ஆஃப் பீக் பெர்ஃபார்மன்ஸ்

ஃப்ளாஷ் அட்டென்ஷன் என்பது ஒரு புரட்சிகர அல்காரிதம் ஆகும், இது நினைவக அணுகலை மேம்படுத்துவதன் மூலம் டிரான்ஸ்ஃபார்மர் மாடல்களை வியத்தகு முறையில் வேகப்படுத்துகிறது. இது வடிவமைக்கப்பட்ட ஜிபியுக்களில், இது தூய மந்திரம். எங்கள் முக்கிய பயன்பாடு, ஒரு ஆவண செயலாக்க இயந்திரம், இந்த மாதிரிகளை பெரிதும் நம்பியுள்ளது. பெஞ்ச்மார்க் எண்களைப் பார்க்கும்போது, ​​சமன்பாடு எளிமையானதாகத் தோன்றியது: ஃபிளாஷ் கவனம் + எங்கள் TPU ஒதுக்கீடு = வேகமான செயலாக்கம் மற்றும் குறைந்த செலவுகள். கர்னல் தளவமைப்புகள், மெமரி ஸ்பேஸ்கள் மற்றும் XLA கம்பைலர் ஆகியவற்றுடன் மல்யுத்தம் செய்வதன் மூலம் போதுமான குறைந்த-நிலை டிங்கரிங் மூலம் இந்த சதுர ஆப்பை வட்டமான, டென்சர்-செயலாக்க வடிவ துளைக்குள் பொருத்த முடியும் என்று நான் உறுதியாக நம்புகிறேன். ஆரம்பக் கவனம் முற்றிலும் தொழில்நுட்ப வெற்றியில் இருந்தது, அமைப்பின் நீண்ட கால இதயத் துடிப்பில் அல்ல.

கண்ணுக்கு தெரியாத சிக்கல்களின் அடுக்கை

முதல் "வெற்றி" போதையில் இருந்தது. வாரங்களுக்குப் பிறகு, எனக்கு ஓட ஒரு மாதிரி கிடைத்தது. ஆனால் வெற்றி வெற்று. ஹேக் உடையக்கூடியதாக இருந்தது, ஒவ்வொரு சிறிய நூலக புதுப்பிப்பையும் உடைக்கிறது. மோசமானது, இது முழு பைப்லைனிலும் கண்ணுக்கு தெரியாத இழுவை உருவாக்கியது. தனித்தனி வரிசைப்படுத்தல் ஸ்கிரிப்ட்கள், கண்காணிப்பு ஹூக்குகள் மற்றும் தரவு-ஏற்றுதல் லாஜிக் ஆகியவற்றைப் பராமரிக்க வேண்டிய கட்டாயத்தில், பெஸ்போக் TPU குறியீடு பாதையானது ஒரு சிலோவாக மாறியது. உகந்த தொகுதியாக இருக்க வேண்டும் என்பது உடையக்கூடிய கருப்புப் பெட்டியாக மாறியது. வலிமிகுந்த தோல்விகளை சந்தித்தோம்:

  • பிழைத்திருத்த நரகம்: நிலையான விவரக்குறிப்புக் கருவிகள் எங்கள் தனிப்பயன் கர்னலில் குருடாக இருந்தன, செயல்திறன் பின்னடைவுகளைக் கண்டறிவதற்கான ஒரு கனவாக மாற்றியது.
  • டீம் பாட்டில்நெக்: நான் மட்டும் லேபிரின்தைன் குறியீட்டைப் புரிந்துகொண்டேன், நான் கிடைக்கவில்லை என்றால் மேம்பாட்டை நிறுத்துகிறேன்.
  • ஒருங்கிணைப்பு கடன்: பிரதான மாடலுக்கான அப்ஸ்ட்ரீம் மேம்பாடுகளை எங்கள் ஃபிராங்கண்ஸ்டைன் TPU ஃபோர்க்கிற்கு எளிதாக போர்ட் செய்ய முடியவில்லை.
  • செலவு ஸ்பைக்குகள்: TPU இல் ஒரு மர்மமான நினைவக கசிவு, எங்கள் வழக்கத்திற்கு மாறான நினைவக நிர்வாகத்திலிருந்து பிறந்தது, ஒருமுறை நாங்கள் அதைப் பிடிக்கும் முன் 40% செலவை மீறியது.

மாடுலர் மைண்ட்செட்: ஃபோர்ஸ்-ஃபிட்டிங் மீது ஒருங்கிணைப்பு

முக்கிய பாடம் TPUகள் அல்லது கவனம் அல்காரிதம்களைப் பற்றியது அல்ல. இது மாடுலாரிட்டியைப் பற்றியது. நாங்கள் ஒரு அடிப்படைக் கோட்பாட்டை மீறினோம்: ஒரு அமைப்பின் கூறுகள் மாற்றக்கூடியதாகவும், ஒன்றுக்கொன்று இயங்கக்கூடியதாகவும் இருக்க வேண்டும், ஒன்றாக பற்றவைக்கப்படாமல் இருக்க வேண்டும். பூர்வீகமற்ற கூறுகளை எங்கள் அடுக்கில் கட்டாயப்படுத்துவதன் மூலம், உற்பத்தியில் அரிதாகவே உணரப்பட்ட ஒரு கற்பனையான உச்ச செயல்திறனுக்காக நிலைத்தன்மை, தெளிவு மற்றும் சுறுசுறுப்பு ஆகியவற்றை நாங்கள் தியாகம் செய்தோம். இங்குதான் Mewayz போன்ற மட்டு வணிக OS இன் தத்துவம் முக்கியமானதாகிறது. Mewayz உங்களை ஒரே அடுக்கில் அடைத்து வைப்பது அல்ல; வேலைக்கான சிறந்த கருவியைப் பயன்படுத்த அனுமதிக்கும் ஆர்கெஸ்ட்ரேஷன் லேயரை வழங்குவதாகும்—அது ஒரு ஜிபியு-குறிப்பிட்ட உகப்பாக்கம் அல்லது TPU-நேட்டிவ் மாடலாக இருக்கலாம்— இணைப்பு திசுக்களை நீங்களே உருவாக்கி பராமரிக்காமல்.

"முறையான சிக்கலை அதிகரிக்கும் உகப்பாக்கம் என்பது பெரும்பாலும் எதிர்கால தொழில்நுட்பக் கடன் முன்னேற்றம் போல் மாறுவேடமிடப்படும். உண்மையான செயல்திறன் சுத்தமான இடைமுகங்கள் மற்றும் மாற்றக்கூடிய பகுதிகளிலிருந்து வருகிறது, வீரம் நிறைந்த ஒருங்கிணைப்பு அல்ல."

கற்றல் மற்றும் நிலையான வேகத்திற்கு முன்னோடி

இறுதியில் கட்டாயப்படுத்தப்பட்ட ஃப்ளாஷ் அட்டென்ஷன் பரிசோதனையை நிறுத்திவிட்டோம். அதற்குப் பதிலாக, நாங்கள் TPU-நேட்டிவ் கவனத்தைச் செயல்படுத்துவதற்கு முன்னோடியாக இருந்தோம், இது காகிதத்தில் கோட்பாட்டளவில் மெதுவாக இருந்தாலும், மிகவும் நம்பகமானதாகவும் பராமரிக்கக்கூடியதாகவும் நிரூபிக்கப்பட்டது. ஒட்டுமொத்த கணினி செயல்திறன் அதன் நிலைத்தன்மையின் காரணமாக உண்மையில் மேம்பட்டது. மிக முக்கியமாக, எங்கள் AI சேவைகளை தனித்துவமான, நன்கு வரையறுக்கப்பட்ட தொகுதிகளாக வடிவமைக்கத் தொடங்கினோம். சிந்தனையில் இந்த மாற்றம்—கச்சா, உள்ளூர்மயமாக்கப்பட்ட செயல்திறனைக் காட்டிலும் கூறுகளுக்கு இடையே சுத்தமான ஒப்பந்தங்களுக்கு முன்னுரிமை அளித்தல்—இதுவே வணிகங்களை அறிவார்ந்த முறையில் அளவிட அனுமதிக்கிறது. வேகமாக வளர்ந்து வரும் வன்பொருள் உலகில், Mewayz போன்ற இயங்குதளமானது, சக்கரத்தை மீண்டும் உருவாக்காமல், அல்லது நம் விஷயத்தில், செயலியை மீண்டும் கண்டுபிடிக்க முயற்சிக்காமல் புதிய திறன்களை செருகுவதற்கான கட்டமைப்பை வழங்குகிறது. நிலையான வேகம் என்பது ஒவ்வொரு நுண்ணிய போரிலும் வெற்றி பெறுவது அல்ல, மாறாக உங்கள் முழு இராணுவமும் ஒற்றுமையாக அணிவகுத்துச் செல்வதை உறுதி செய்வதாகும் என்பதை கடினமான வழி எங்களுக்குக் கற்றுக் கொடுத்தது.

💡 DID YOU KNOW?

Mewayz replaces 8+ business tools in one platform

CRM · Invoicing · HR · Projects · Booking · eCommerce · POS · Analytics. Free forever plan available.

Start Free →

அடிக்கடி கேட்கப்படும் கேள்விகள்

ஒரு TPU மீது ஃப்ளாஷ் கவனத்தை கட்டாயப்படுத்துதல் மற்றும் கடினமான வழியைக் கற்றுக்கொள்வது

இன்ஜினியர்களுக்கு உகப்பாக்கம் ஒரு சைரன் பாடல். இது அதிகரிக்கும் ஆதாயங்களை மட்டுமல்ல, உங்கள் விருப்பத்திற்கு ஏற்ப வன்பொருளை வளைக்கும் சிலிர்ப்பையும் அளிக்கிறது. என்விடியா ஜிபியுக்களுக்காக வடிவமைக்கப்பட்ட அதிநவீன ஃப்ளாஷ் அட்டென்ஷன் அமலாக்கத்தை கூகுள் டிபியுவில் கட்டாயப்படுத்துவதற்கான எனது சமீபத்திய ஒடிஸி இந்த கவர்ச்சியிலிருந்து பிறந்தது. குறிக்கோள் உன்னதமானது: ஒரு முக்கியமான அனுமானக் குழாய்த்திட்டத்தை விரைவுபடுத்துதல். எவ்வாறாயினும், இந்த பயணம் மட்டு அமைப்பு வடிவமைப்பின் கடினமான உண்மைகளில் ஒரு தலைசிறந்த வகுப்பாக இருந்தது. தொழில்நுட்ப பன்முகத்தன்மையைத் தழுவி நிர்வகிக்கும் Mewayz போன்ற தளங்கள் நிலையான வணிகச் செயல்பாடுகளுக்கு ஏன் அவசியம் என்பதை அடிக்கோடிட்டுக் காட்டும் கதை இது.

தி சைரன் சாங் ஆஃப் பீக் பெர்ஃபார்மென்ஸ்

ஃப்ளாஷ் அட்டென்ஷன் என்பது ஒரு புரட்சிகர அல்காரிதம் ஆகும், இது நினைவக அணுகலை மேம்படுத்துவதன் மூலம் டிரான்ஸ்ஃபார்மர் மாடல்களை வியத்தகு முறையில் வேகப்படுத்துகிறது. இது வடிவமைக்கப்பட்ட ஜிபியுக்களில், இது தூய மந்திரம். எங்கள் முக்கிய பயன்பாடு, ஒரு ஆவண செயலாக்க இயந்திரம், இந்த மாதிரிகளை பெரிதும் நம்பியுள்ளது. பெஞ்ச்மார்க் எண்களைப் பார்க்கும்போது, ​​சமன்பாடு எளிமையானதாகத் தோன்றியது: ஃபிளாஷ் கவனம் + எங்கள் TPU ஒதுக்கீடு = வேகமான செயலாக்கம் மற்றும் குறைந்த செலவுகள். கர்னல் தளவமைப்புகள், மெமரி ஸ்பேஸ்கள் மற்றும் XLA கம்பைலர் ஆகியவற்றுடன் மல்யுத்தம் செய்வதன் மூலம் போதுமான குறைந்த-நிலை டிங்கரிங் மூலம் இந்த சதுர ஆப்பை வட்டமான, டென்சர்-செயலாக்க வடிவ துளைக்குள் பொருத்த முடியும் என்று நான் உறுதியாக நம்புகிறேன். ஆரம்பக் கவனம் முற்றிலும் தொழில்நுட்ப வெற்றியில் இருந்தது, அமைப்பின் நீண்ட கால இதயத் துடிப்பில் அல்ல.

கண்ணுக்கு தெரியாத சிக்கல்களின் அடுக்கை

முதல் "வெற்றி" போதையில் இருந்தது. வாரங்களுக்குப் பிறகு, எனக்கு ஓட ஒரு மாதிரி கிடைத்தது. ஆனால் வெற்றி வெற்று. ஹேக் உடையக்கூடியதாக இருந்தது, ஒவ்வொரு சிறிய நூலக புதுப்பிப்பையும் உடைக்கிறது. மோசமானது, இது முழு பைப்லைனிலும் கண்ணுக்கு தெரியாத இழுவை உருவாக்கியது. தனித்தனி வரிசைப்படுத்தல் ஸ்கிரிப்ட்கள், கண்காணிப்பு ஹூக்குகள் மற்றும் தரவு-ஏற்றுதல் லாஜிக் ஆகியவற்றைப் பராமரிக்க வேண்டிய கட்டாயத்தில், பெஸ்போக் TPU குறியீடு பாதையானது ஒரு சிலோவாக மாறியது. உகந்த தொகுதியாக இருக்க வேண்டும் என்பது உடையக்கூடிய கருப்புப் பெட்டியாக மாறியது. வலிமிகுந்த தோல்விகளை சந்தித்தோம்:

மாடுலர் மைண்ட்செட்: ஃபோர்ஸ்-ஃபிட்டிங் மீது ஒருங்கிணைப்பு

முக்கிய பாடம் TPUகள் அல்லது கவனம் அல்காரிதம்களைப் பற்றியது அல்ல. இது மாடுலாரிட்டியைப் பற்றியது. நாங்கள் ஒரு அடிப்படைக் கோட்பாட்டை மீறினோம்: ஒரு அமைப்பின் கூறுகள் மாற்றக்கூடியதாகவும், ஒன்றுக்கொன்று இயங்கக்கூடியதாகவும் இருக்க வேண்டும், ஒன்றாக பற்றவைக்கப்படாமல் இருக்க வேண்டும். பூர்வீகமற்ற கூறுகளை எங்கள் அடுக்கில் கட்டாயப்படுத்துவதன் மூலம், உற்பத்தியில் அரிதாகவே உணரப்பட்ட ஒரு கற்பனையான உச்ச செயல்திறனுக்காக நிலைத்தன்மை, தெளிவு மற்றும் சுறுசுறுப்பு ஆகியவற்றை நாங்கள் தியாகம் செய்தோம். இங்குதான் Mewayz போன்ற மட்டு வணிக OS இன் தத்துவம் முக்கியமானதாகிறது. Mewayz உங்களை ஒரே அடுக்கில் அடைத்து வைப்பது அல்ல; வேலைக்கான சிறந்த கருவியைப் பயன்படுத்த அனுமதிக்கும் ஆர்கெஸ்ட்ரேஷன் லேயரை வழங்குவதாகும்—அது ஒரு ஜிபியு-குறிப்பிட்ட உகப்பாக்கம் அல்லது TPU-நேட்டிவ் மாடலாக இருக்கலாம்— இணைப்பு திசுக்களை நீங்களே உருவாக்கி பராமரிக்காமல்.

கற்றல் மற்றும் நிலையான வேகத்திற்கு முன்னோடி

இறுதியில் கட்டாயப்படுத்தப்பட்ட ஃப்ளாஷ் அட்டென்ஷன் பரிசோதனையை நிறுத்திவிட்டோம். அதற்குப் பதிலாக, நாங்கள் TPU-நேட்டிவ் கவனத்தைச் செயல்படுத்துவதற்கு முன்னோடியாக இருந்தோம், இது காகிதத்தில் கோட்பாட்டளவில் மெதுவாக இருந்தாலும், மிகவும் நம்பகமானதாகவும் பராமரிக்கக்கூடியதாகவும் நிரூபிக்கப்பட்டது. ஒட்டுமொத்த கணினி செயல்திறன் அதன் நிலைத்தன்மையின் காரணமாக உண்மையில் மேம்பட்டது. மிக முக்கியமாக, எங்கள் AI சேவைகளை தனித்துவமான, நன்கு வரையறுக்கப்பட்ட தொகுதிகளாக வடிவமைக்கத் தொடங்கினோம். சிந்தனையில் இந்த மாற்றம்—கச்சா, உள்ளூர்மயமாக்கப்பட்ட செயல்திறனைக் காட்டிலும் கூறுகளுக்கு இடையே சுத்தமான ஒப்பந்தங்களுக்கு முன்னுரிமை அளித்தல்—இதுவே வணிகங்களை அறிவார்ந்த முறையில் அளவிட அனுமதிக்கிறது. வேகமாக வளர்ந்து வரும் வன்பொருள் உலகில், Mewayz போன்ற இயங்குதளமானது, சக்கரத்தை மீண்டும் உருவாக்காமல், அல்லது நம் விஷயத்தில், செயலியை மீண்டும் கண்டுபிடிக்க முயற்சிக்காமல் புதிய திறன்களை செருகுவதற்கான கட்டமைப்பை வழங்குகிறது. நிலையான வேகம் என்பது ஒவ்வொரு நுண்ணிய போரிலும் வெற்றி பெறுவது அல்ல, மாறாக உங்கள் முழு இராணுவமும் ஒற்றுமையாக அணிவகுத்துச் செல்வதை உறுதி செய்வதாகும் என்பதை கடினமான வழி எங்களுக்குக் கற்றுக் கொடுத்தது.

உங்கள் வணிகக் கருவிகள் அனைத்தும் ஒரே இடத்தில்

பல பயன்பாடுகளை ஏமாற்றுவதை நிறுத்துங்கள். Mewayz 208 கருவிகளை ஒரு மாதத்திற்கு $49க்கு ஒருங்கிணைக்கிறது - சரக்கு முதல் HR வரை, முன்பதிவு வரை பகுப்பாய்வு வரை. தொடங்குவதற்கு கிரெடிட் கார்டு தேவையில்லை.

இலவசம் →za> முயற்சிக்கவும்

Start managing your business smarter today

Join 6,209+ businesses. Free forever plan · No credit card required.

Ready to put this into practice?

Join 6,209+ businesses using Mewayz. Free forever plan — no credit card required.

Start Free Trial →

Ready to take action?

Start your free Mewayz trial today

All-in-one business platform. No credit card required.

Start Free →

14-day free trial · No credit card · Cancel anytime