ਇੱਕ TPU ਵੱਲ ਫਲੈਸ਼ ਧਿਆਨ ਦੇਣ ਲਈ ਮਜਬੂਰ ਕਰਨਾ ਅਤੇ ਔਖਾ ਤਰੀਕਾ ਸਿੱਖਣਾ

ਟੀਪੀਯੂ ਵੱਲ ਫਲੈਸ਼ ਧਿਆਨ ਦੇਣ ਲਈ ਮਜ਼ਬੂਰ ਕਰਨਾ ਅਤੇ ਔਖਾ ਤਰੀਕਾ ਸਿੱਖਣਾ

ਓਪਟੀਮਾਈਜੇਸ਼ਨ ਦਾ ਪਿੱਛਾ ਇੰਜੀਨੀਅਰਾਂ ਲਈ ਇੱਕ ਸਾਇਰਨ ਗੀਤ ਹੈ। ਇਹ ਨਾ ਸਿਰਫ਼ ਵਾਧੇ ਵਾਲੇ ਲਾਭਾਂ ਦਾ ਵਾਅਦਾ ਕਰਦਾ ਹੈ, ਸਗੋਂ ਹਾਰਡਵੇਅਰ ਨੂੰ ਤੁਹਾਡੀ ਇੱਛਾ ਅਨੁਸਾਰ ਮੋੜਨ ਦਾ ਰੋਮਾਂਚ ਦਿੰਦਾ ਹੈ। ਇੱਕ ਅਤਿ-ਆਧੁਨਿਕ ਫਲੈਸ਼ ਅਟੈਂਸ਼ਨ ਲਾਗੂ ਕਰਨ ਲਈ ਮੇਰੀ ਹਾਲੀਆ ਓਡੀਸੀ—NVIDIA GPUs ਲਈ ਡਿਜ਼ਾਈਨ ਕੀਤੀ ਗਈ—ਇੱਕ Google TPU 'ਤੇ, ਇਸੇ ਲਕਸ਼ ਤੋਂ ਪੈਦਾ ਹੋਈ ਸੀ। ਟੀਚਾ ਨੇਕ ਸੀ: ਇੱਕ ਨਾਜ਼ੁਕ ਅਨੁਮਾਨ ਪਾਈਪਲਾਈਨ ਨੂੰ ਤੇਜ਼ ਕਰੋ। ਇਹ ਯਾਤਰਾ, ਹਾਲਾਂਕਿ, ਮਾਡਯੂਲਰ ਸਿਸਟਮ ਡਿਜ਼ਾਈਨ ਦੀਆਂ ਸਖ਼ਤ ਸੱਚਾਈਆਂ ਵਿੱਚ ਇੱਕ ਮਾਸਟਰ ਕਲਾਸ ਸੀ। ਇਹ ਇੱਕ ਕਹਾਣੀ ਹੈ ਜੋ ਇਸ ਗੱਲ ਨੂੰ ਦਰਸਾਉਂਦੀ ਹੈ ਕਿ ਮੇਵੇਜ਼ ਵਰਗੇ ਪਲੇਟਫਾਰਮ, ਜੋ ਤਕਨੀਕੀ ਵਿਭਿੰਨਤਾ ਨੂੰ ਅਪਣਾਉਂਦੇ ਹਨ ਅਤੇ ਪ੍ਰਬੰਧਿਤ ਕਰਦੇ ਹਨ, ਟਿਕਾਊ ਵਪਾਰਕ ਸੰਚਾਲਨ ਲਈ ਜ਼ਰੂਰੀ ਕਿਉਂ ਹਨ।

ਪੀਕ ਪ੍ਰਦਰਸ਼ਨ ਦਾ ਸਾਇਰਨ ਗੀਤ

ਫਲੈਸ਼ ਅਟੈਂਸ਼ਨ ਇੱਕ ਕ੍ਰਾਂਤੀਕਾਰੀ ਐਲਗੋਰਿਦਮ ਹੈ ਜੋ ਮੈਮੋਰੀ ਪਹੁੰਚ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾ ਕੇ ਨਾਟਕੀ ਰੂਪ ਵਿੱਚ ਟ੍ਰਾਂਸਫਾਰਮਰ ਮਾਡਲਾਂ ਨੂੰ ਤੇਜ਼ ਕਰਦਾ ਹੈ। GPUs 'ਤੇ ਇਹ ਇਸ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਸੀ, ਇਹ ਸ਼ੁੱਧ ਜਾਦੂ ਹੈ। ਸਾਡੀ ਕੋਰ ਐਪਲੀਕੇਸ਼ਨ, ਇੱਕ ਦਸਤਾਵੇਜ਼ ਪ੍ਰੋਸੈਸਿੰਗ ਇੰਜਣ, ਇਹਨਾਂ ਮਾਡਲਾਂ 'ਤੇ ਬਹੁਤ ਜ਼ਿਆਦਾ ਨਿਰਭਰ ਕਰਦੀ ਹੈ। ਬੈਂਚਮਾਰਕ ਨੰਬਰਾਂ ਨੂੰ ਦੇਖਦੇ ਹੋਏ, ਸਮੀਕਰਨ ਸਧਾਰਨ ਜਾਪਦਾ ਸੀ: ਫਲੈਸ਼ ਅਟੈਂਸ਼ਨ + ਸਾਡਾ TPU ਕੋਟਾ = ਤੇਜ਼ ਪ੍ਰੋਸੈਸਿੰਗ ਅਤੇ ਘੱਟ ਲਾਗਤਾਂ। ਮੈਨੂੰ ਵਿਸ਼ਵਾਸ ਹੈ ਕਿ ਕਾਫ਼ੀ ਘੱਟ-ਪੱਧਰੀ ਟਿੰਕਰਿੰਗ ਦੇ ਨਾਲ-ਕਰਨਲ ਲੇਆਉਟ, ਮੈਮੋਰੀ ਸਪੇਸ, ਅਤੇ XLA ਕੰਪਾਈਲਰ ਨਾਲ ਕੁਸ਼ਤੀ-ਮੈਂ ਇਸ ਵਰਗ ਪੈਗ ਨੂੰ ਇੱਕ ਗੋਲ, ਟੈਂਸਰ-ਪ੍ਰੋਸੈਸਿੰਗ-ਆਕਾਰ ਦੇ ਮੋਰੀ ਵਿੱਚ ਫਿੱਟ ਕਰ ਸਕਦਾ ਹਾਂ। ਸ਼ੁਰੂਆਤੀ ਫੋਕਸ ਪੂਰੀ ਤਰ੍ਹਾਂ ਤਕਨੀਕੀ ਜਿੱਤ 'ਤੇ ਸੀ, ਨਾ ਕਿ ਸਿਸਟਮ ਦੀ ਲੰਬੇ ਸਮੇਂ ਦੀ ਧੜਕਣ 'ਤੇ।

ਅਣਦੇਖੀਆਂ ਜਟਿਲਤਾਵਾਂ ਦਾ ਕੈਸਕੇਡ

ਪਹਿਲੀ "ਸਫਲਤਾ" ਨਸ਼ਾ ਕਰਨ ਵਾਲੀ ਸੀ। ਹਫ਼ਤਿਆਂ ਬਾਅਦ, ਮੈਨੂੰ ਚਲਾਉਣ ਲਈ ਇੱਕ ਮਾਡਲ ਮਿਲਿਆ। ਪਰ ਜਿੱਤ ਖੋਖਲੀ ਸੀ. ਹੈਕ ਨਾਜ਼ੁਕ ਸੀ, ਹਰ ਮਾਮੂਲੀ ਲਾਇਬ੍ਰੇਰੀ ਅਪਡੇਟ ਨਾਲ ਤੋੜ ਰਿਹਾ ਸੀ। ਇਸ ਤੋਂ ਵੀ ਮਾੜੀ ਗੱਲ ਇਹ ਹੈ ਕਿ ਇਸ ਨੇ ਪੂਰੀ ਪਾਈਪਲਾਈਨ 'ਤੇ ਅਦਿੱਖ ਡਰੈਗ ਬਣਾਇਆ। ਬੇਸਪੋਕ TPU ਕੋਡ ਮਾਰਗ ਇੱਕ ਸਿਲੋ ਬਣ ਗਿਆ, ਜੋ ਸਾਨੂੰ ਵੱਖਰੀ ਡਿਪਲਾਇਮੈਂਟ ਸਕ੍ਰਿਪਟਾਂ, ਮਾਨੀਟਰਿੰਗ ਹੁੱਕਾਂ, ਅਤੇ ਇੱਥੋਂ ਤੱਕ ਕਿ ਡੇਟਾ-ਲੋਡਿੰਗ ਤਰਕ ਨੂੰ ਕਾਇਮ ਰੱਖਣ ਲਈ ਮਜਬੂਰ ਕਰਦਾ ਹੈ। ਇੱਕ ਅਨੁਕੂਲਿਤ ਮੋਡੀਊਲ ਹੋਣ ਦਾ ਮਤਲਬ ਇੱਕ ਭੁਰਭੁਰਾ ਬਲੈਕ ਬਾਕਸ ਬਣ ਗਿਆ। ਅਸੀਂ ਦਰਦਨਾਕ ਅਸਫਲਤਾਵਾਂ ਦਾ ਅਨੁਭਵ ਕੀਤਾ:

• ਡੀਬੱਗਿੰਗ ਹੈਲ: ਸਟੈਂਡਰਡ ਪ੍ਰੋਫਾਈਲਿੰਗ ਟੂਲ ਸਾਡੇ ਕਸਟਮ ਕਰਨਲ ਲਈ ਅੰਨ੍ਹੇ ਸਨ, ਜਿਸ ਨਾਲ ਪ੍ਰਦਰਸ਼ਨ ਰਿਗਰੈਸ਼ਨ ਨੂੰ ਨਿਦਾਨ ਕਰਨ ਲਈ ਇੱਕ ਭਿਆਨਕ ਸੁਪਨਾ ਬਣ ਗਿਆ।
• ਟੀਮ ਬੋਟਲਨੇਕ: ਸਿਰਫ਼ ਮੈਂ ਹੀ ਭੁਲੇਖੇ ਵਾਲੇ ਕੋਡ ਨੂੰ ਸਮਝਦਾ ਸੀ, ਜੇਕਰ ਮੈਂ ਉਪਲਬਧ ਨਾ ਹੁੰਦਾ ਤਾਂ ਵਿਕਾਸ ਨੂੰ ਰੋਕਦਾ।
• ਏਕੀਕਰਣ ਕਰਜ਼ਾ: ਮੁੱਖ ਮਾਡਲ ਵਿੱਚ ਅੱਪਸਟਰੀਮ ਸੁਧਾਰਾਂ ਨੂੰ ਸਾਡੇ ਫ੍ਰੈਂਕਨਸਟਾਈਨ TPU ਫੋਰਕ ਵਿੱਚ ਆਸਾਨੀ ਨਾਲ ਪੋਰਟ ਨਹੀਂ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ।
• ਲਾਗਤ ਵਧਣਾ: ਸਾਡੇ ਗੈਰ-ਰਵਾਇਤੀ ਮੈਮੋਰੀ ਪ੍ਰਬੰਧਨ ਤੋਂ ਪੈਦਾ ਹੋਏ, TPU 'ਤੇ ਇੱਕ ਰਹੱਸਮਈ ਮੈਮੋਰੀ ਲੀਕ, ਇੱਕ ਵਾਰ ਇਸ ਨੂੰ ਫੜਨ ਤੋਂ ਪਹਿਲਾਂ 40% ਲਾਗਤ ਵੱਧ ਗਈ।

ਮੌਡਿਊਲਰ ਮਾਨਸਿਕਤਾ: ਫੋਰਸ-ਫਿਟਿੰਗ ਓਵਰ ਏਕੀਕਰਣ

ਮੁੱਖ ਪਾਠ TPUs ਜਾਂ ਧਿਆਨ ਦੇਣ ਵਾਲੇ ਐਲਗੋਰਿਦਮ ਬਾਰੇ ਨਹੀਂ ਸੀ। ਇਹ ਮਾਡਿਊਲਰਿਟੀ ਬਾਰੇ ਸੀ। ਅਸੀਂ ਇੱਕ ਬੁਨਿਆਦੀ ਸਿਧਾਂਤ ਦੀ ਉਲੰਘਣਾ ਕੀਤੀ ਸੀ: ਇੱਕ ਸਿਸਟਮ ਦੇ ਹਿੱਸੇ ਅਦਲਾ-ਬਦਲੀ ਅਤੇ ਆਪਸ ਵਿੱਚ ਕੰਮ ਕਰਨ ਯੋਗ ਹੋਣੇ ਚਾਹੀਦੇ ਹਨ, ਇਕੱਠੇ ਵੇਲਡ ਨਹੀਂ ਕੀਤੇ ਜਾਣੇ ਚਾਹੀਦੇ। ਸਾਡੇ ਸਟੈਕ ਵਿੱਚ ਇੱਕ ਗੈਰ-ਮੂਲ ਭਾਗ ਨੂੰ ਮਜਬੂਰ ਕਰਕੇ, ਅਸੀਂ ਇੱਕ ਕਲਪਨਾਤਮਕ ਸਿਖਰ ਪ੍ਰਦਰਸ਼ਨ ਲਈ ਸਥਿਰਤਾ, ਸਪਸ਼ਟਤਾ ਅਤੇ ਚੁਸਤੀ ਦਾ ਬਲੀਦਾਨ ਦਿੱਤਾ ਹੈ ਜੋ ਉਤਪਾਦਨ ਵਿੱਚ ਘੱਟ ਹੀ ਮਹਿਸੂਸ ਕੀਤਾ ਗਿਆ ਸੀ। ਇਹ ਉਹ ਥਾਂ ਹੈ ਜਿੱਥੇ ਮੇਵੇਜ਼ ਵਰਗੇ ਮਾਡਯੂਲਰ ਵਪਾਰਕ OS ਦਾ ਫਲਸਫਾ ਮਹੱਤਵਪੂਰਣ ਬਣ ਜਾਂਦਾ ਹੈ। ਮੇਵੇਜ਼ ਤੁਹਾਨੂੰ ਇੱਕ ਸਟੈਕ ਵਿੱਚ ਬੰਦ ਕਰਨ ਬਾਰੇ ਨਹੀਂ ਹੈ; ਇਹ ਆਰਕੈਸਟ੍ਰੇਸ਼ਨ ਲੇਅਰ ਪ੍ਰਦਾਨ ਕਰਨ ਬਾਰੇ ਹੈ ਜੋ ਤੁਹਾਨੂੰ ਨੌਕਰੀ ਲਈ ਸਭ ਤੋਂ ਵਧੀਆ ਟੂਲ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ—ਭਾਵੇਂ ਇਹ ਇੱਕ GPU-ਵਿਸ਼ੇਸ਼ ਅਨੁਕੂਲਨ ਹੋਵੇ ਜਾਂ ਇੱਕ TPU-ਨੇਟਿਵ ਮਾਡਲ — ਬਿਨਾਂ ਕਨੈਕਟਿਵ ਟਿਸ਼ੂ ਨੂੰ ਆਪਣੇ ਆਪ ਬਣਾਉਣ ਅਤੇ ਬਣਾਈ ਰੱਖਣ ਦੇ।

"ਓਪਟੀਮਾਈਜੇਸ਼ਨ ਜੋ ਪ੍ਰਣਾਲੀਗਤ ਜਟਿਲਤਾ ਨੂੰ ਵਧਾਉਂਦੀ ਹੈ, ਅਕਸਰ ਪ੍ਰਗਤੀ ਦੇ ਰੂਪ ਵਿੱਚ ਭੇਸ ਵਿੱਚ ਭਵਿੱਖ ਦੇ ਤਕਨੀਕੀ ਕਰਜ਼ੇ ਹੁੰਦੇ ਹਨ। ਸੱਚੀ ਕੁਸ਼ਲਤਾ ਸਾਫ਼ ਇੰਟਰਫੇਸ ਅਤੇ ਬਦਲਣਯੋਗ ਭਾਗਾਂ ਤੋਂ ਆਉਂਦੀ ਹੈ, ਨਾ ਕਿ ਬਹਾਦਰੀ ਦੇ ਇੱਕ-ਬੰਦ ਏਕੀਕਰਣ ਤੋਂ।"

ਸਿੱਖਣ ਅਤੇ ਟਿਕਾਊ ਗਤੀ ਵੱਲ ਧਿਆਨ ਦੇਣਾ

ਅਸੀਂ ਆਖਰਕਾਰ ਜ਼ਬਰਦਸਤੀ ਫਲੈਸ਼ ਅਟੈਂਸ਼ਨ ਪ੍ਰਯੋਗ ਨੂੰ ਬੰਦ ਕਰ ਦਿੱਤਾ। ਇਸ ਦੀ ਬਜਾਏ, ਅਸੀਂ ਇੱਕ TPU-ਦੇਸੀ ਧਿਆਨ ਲਾਗੂ ਕਰਨ ਵੱਲ ਧਿਆਨ ਦਿੱਤਾ ਜੋ, ਕਾਗਜ਼ 'ਤੇ ਸਿਧਾਂਤਕ ਤੌਰ 'ਤੇ ਹੌਲੀ ਹੋਣ ਦੇ ਬਾਵਜੂਦ, ਕਿਤੇ ਜ਼ਿਆਦਾ ਭਰੋਸੇਮੰਦ ਅਤੇ ਰੱਖ-ਰਖਾਅਯੋਗ ਸਾਬਤ ਹੋਇਆ। ਸਮੁੱਚਾ ਸਿਸਟਮ ਥ੍ਰੁਪੁੱਟ ਅਸਲ ਵਿੱਚ ਇਸਦੀ ਸਥਿਰਤਾ ਦੇ ਕਾਰਨ ਸੁਧਾਰਿਆ ਗਿਆ ਹੈ। ਸਭ ਤੋਂ ਮਹੱਤਵਪੂਰਨ, ਅਸੀਂ ਆਪਣੀਆਂ AI ਸੇਵਾਵਾਂ ਨੂੰ ਵੱਖਰੇ, ਚੰਗੀ ਤਰ੍ਹਾਂ ਪਰਿਭਾਸ਼ਿਤ ਮੋਡੀਊਲ ਵਜੋਂ ਆਰਕੀਟੈਕਟ ਕਰਨਾ ਸ਼ੁਰੂ ਕੀਤਾ। ਸੋਚ ਵਿੱਚ ਇਹ ਤਬਦੀਲੀ - ਕੱਚੇ, ਸਥਾਨਿਕ ਪ੍ਰਦਰਸ਼ਨ ਨਾਲੋਂ ਕੰਪੋਨੈਂਟਸ ਦੇ ਵਿੱਚ ਸਾਫ਼-ਸੁਥਰੇ ਇਕਰਾਰਨਾਮੇ ਨੂੰ ਤਰਜੀਹ ਦੇਣਾ - ਬਿਲਕੁਲ ਉਹੀ ਹੈ ਜੋ ਕਾਰੋਬਾਰਾਂ ਨੂੰ ਸਮਝਦਾਰੀ ਨਾਲ ਸਕੇਲ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ। ਤੇਜ਼ੀ ਨਾਲ ਵਿਕਸਤ ਹੋ ਰਹੇ ਹਾਰਡਵੇਅਰ ਦੀ ਦੁਨੀਆ ਵਿੱਚ, ਮੇਵੇਜ਼ ਵਰਗਾ ਪਲੇਟਫਾਰਮ, ਪਹੀਏ ਨੂੰ ਮੁੜ-ਨਿਰਮਾਣ ਕੀਤੇ ਬਿਨਾਂ, ਜਾਂ ਸਾਡੇ ਕੇਸ ਵਿੱਚ, ਪ੍ਰੋਸੈਸਰ ਨੂੰ ਮੁੜ ਖੋਜਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕੀਤੇ ਬਿਨਾਂ, ਨਵੀਆਂ ਸਮਰੱਥਾਵਾਂ ਨੂੰ ਪਲੱਗ ਕਰਨ ਲਈ ਢਾਂਚਾ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਔਖੇ ਤਰੀਕੇ ਨੇ ਸਾਨੂੰ ਸਿਖਾਇਆ ਕਿ ਟਿਕਾਊ ਗਤੀ ਹਰ ਮਾਈਕਰੋ-ਲੜਾਈ ਨੂੰ ਜਿੱਤਣ ਬਾਰੇ ਨਹੀਂ ਹੈ, ਪਰ ਇਹ ਯਕੀਨੀ ਬਣਾਉਣ ਬਾਰੇ ਹੈ ਕਿ ਤੁਹਾਡੀ ਪੂਰੀ ਫੌਜ ਇੱਕਜੁਟ ਹੋ ਕੇ ਮਾਰਚ ਕਰ ਸਕੇ।

ਅਕਸਰ ਪੁੱਛੇ ਜਾਣ ਵਾਲੇ ਸਵਾਲ

ਟੀਪੀਯੂ 'ਤੇ ਫਲੈਸ਼ ਧਿਆਨ ਦੇਣ ਲਈ ਮਜਬੂਰ ਕਰਨਾ ਅਤੇ ਔਖਾ ਤਰੀਕਾ ਸਿੱਖਣਾ

ਓਪਟੀਮਾਈਜੇਸ਼ਨ ਦਾ ਪਿੱਛਾ ਇੰਜੀਨੀਅਰਾਂ ਲਈ ਇੱਕ ਸਾਇਰਨ ਗੀਤ ਹੈ। ਇਹ ਨਾ ਸਿਰਫ਼ ਵਾਧੇ ਵਾਲੇ ਲਾਭਾਂ ਦਾ ਵਾਅਦਾ ਕਰਦਾ ਹੈ, ਸਗੋਂ ਹਾਰਡਵੇਅਰ ਨੂੰ ਤੁਹਾਡੀ ਇੱਛਾ ਅਨੁਸਾਰ ਮੋੜਨ ਦਾ ਰੋਮਾਂਚ ਦਿੰਦਾ ਹੈ। ਇੱਕ ਅਤਿ-ਆਧੁਨਿਕ ਫਲੈਸ਼ ਅਟੈਂਸ਼ਨ ਲਾਗੂ ਕਰਨ ਲਈ ਮੇਰੀ ਹਾਲੀਆ ਓਡੀਸੀ—NVIDIA GPUs ਲਈ ਡਿਜ਼ਾਈਨ ਕੀਤੀ ਗਈ—ਇੱਕ Google TPU 'ਤੇ, ਇਸੇ ਲਕਸ਼ ਤੋਂ ਪੈਦਾ ਹੋਈ ਸੀ। ਟੀਚਾ ਨੇਕ ਸੀ: ਇੱਕ ਨਾਜ਼ੁਕ ਅਨੁਮਾਨ ਪਾਈਪਲਾਈਨ ਨੂੰ ਤੇਜ਼ ਕਰੋ। ਇਹ ਯਾਤਰਾ, ਹਾਲਾਂਕਿ, ਮਾਡਯੂਲਰ ਸਿਸਟਮ ਡਿਜ਼ਾਈਨ ਦੀਆਂ ਸਖ਼ਤ ਸੱਚਾਈਆਂ ਵਿੱਚ ਇੱਕ ਮਾਸਟਰ ਕਲਾਸ ਸੀ। ਇਹ ਇੱਕ ਕਹਾਣੀ ਹੈ ਜੋ ਇਸ ਗੱਲ ਨੂੰ ਦਰਸਾਉਂਦੀ ਹੈ ਕਿ ਮੇਵੇਜ਼ ਵਰਗੇ ਪਲੇਟਫਾਰਮ, ਜੋ ਤਕਨੀਕੀ ਵਿਭਿੰਨਤਾ ਨੂੰ ਅਪਣਾਉਂਦੇ ਹਨ ਅਤੇ ਪ੍ਰਬੰਧਿਤ ਕਰਦੇ ਹਨ, ਟਿਕਾਊ ਵਪਾਰਕ ਸੰਚਾਲਨ ਲਈ ਜ਼ਰੂਰੀ ਕਿਉਂ ਹਨ।

ਪੀਕ ਪ੍ਰਦਰਸ਼ਨ ਦਾ ਸਾਇਰਨ ਗੀਤ

ਫਲੈਸ਼ ਅਟੈਂਸ਼ਨ ਇੱਕ ਕ੍ਰਾਂਤੀਕਾਰੀ ਐਲਗੋਰਿਦਮ ਹੈ ਜੋ ਮੈਮੋਰੀ ਪਹੁੰਚ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾ ਕੇ ਨਾਟਕੀ ਰੂਪ ਵਿੱਚ ਟ੍ਰਾਂਸਫਾਰਮਰ ਮਾਡਲਾਂ ਨੂੰ ਤੇਜ਼ ਕਰਦਾ ਹੈ। GPUs 'ਤੇ ਇਹ ਇਸ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਸੀ, ਇਹ ਸ਼ੁੱਧ ਜਾਦੂ ਹੈ। ਸਾਡੀ ਕੋਰ ਐਪਲੀਕੇਸ਼ਨ, ਇੱਕ ਦਸਤਾਵੇਜ਼ ਪ੍ਰੋਸੈਸਿੰਗ ਇੰਜਣ, ਇਹਨਾਂ ਮਾਡਲਾਂ 'ਤੇ ਬਹੁਤ ਜ਼ਿਆਦਾ ਨਿਰਭਰ ਕਰਦੀ ਹੈ। ਬੈਂਚਮਾਰਕ ਨੰਬਰਾਂ ਨੂੰ ਦੇਖਦੇ ਹੋਏ, ਸਮੀਕਰਨ ਸਧਾਰਨ ਜਾਪਦਾ ਸੀ: ਫਲੈਸ਼ ਅਟੈਂਸ਼ਨ + ਸਾਡਾ TPU ਕੋਟਾ = ਤੇਜ਼ ਪ੍ਰੋਸੈਸਿੰਗ ਅਤੇ ਘੱਟ ਲਾਗਤਾਂ। ਮੈਨੂੰ ਵਿਸ਼ਵਾਸ ਹੈ ਕਿ ਕਾਫ਼ੀ ਘੱਟ-ਪੱਧਰੀ ਟਿੰਕਰਿੰਗ ਦੇ ਨਾਲ-ਕਰਨਲ ਲੇਆਉਟ, ਮੈਮੋਰੀ ਸਪੇਸ, ਅਤੇ XLA ਕੰਪਾਈਲਰ ਨਾਲ ਕੁਸ਼ਤੀ-ਮੈਂ ਇਸ ਵਰਗ ਪੈਗ ਨੂੰ ਇੱਕ ਗੋਲ, ਟੈਂਸਰ-ਪ੍ਰੋਸੈਸਿੰਗ-ਆਕਾਰ ਦੇ ਮੋਰੀ ਵਿੱਚ ਫਿੱਟ ਕਰ ਸਕਦਾ ਹਾਂ। ਸ਼ੁਰੂਆਤੀ ਫੋਕਸ ਪੂਰੀ ਤਰ੍ਹਾਂ ਤਕਨੀਕੀ ਜਿੱਤ 'ਤੇ ਸੀ, ਨਾ ਕਿ ਸਿਸਟਮ ਦੀ ਲੰਬੇ ਸਮੇਂ ਦੀ ਧੜਕਣ 'ਤੇ।

ਅਣਦੇਖੀਆਂ ਜਟਿਲਤਾਵਾਂ ਦਾ ਕੈਸਕੇਡ

ਪਹਿਲੀ "ਸਫਲਤਾ" ਨਸ਼ਾ ਕਰਨ ਵਾਲੀ ਸੀ। ਹਫ਼ਤਿਆਂ ਬਾਅਦ, ਮੈਨੂੰ ਚਲਾਉਣ ਲਈ ਇੱਕ ਮਾਡਲ ਮਿਲਿਆ। ਪਰ ਜਿੱਤ ਖੋਖਲੀ ਸੀ. ਹੈਕ ਨਾਜ਼ੁਕ ਸੀ, ਹਰ ਮਾਮੂਲੀ ਲਾਇਬ੍ਰੇਰੀ ਅਪਡੇਟ ਨਾਲ ਤੋੜ ਰਿਹਾ ਸੀ। ਇਸ ਤੋਂ ਵੀ ਮਾੜੀ ਗੱਲ ਇਹ ਹੈ ਕਿ ਇਸ ਨੇ ਪੂਰੀ ਪਾਈਪਲਾਈਨ 'ਤੇ ਅਦਿੱਖ ਡਰੈਗ ਬਣਾਇਆ। ਬੇਸਪੋਕ TPU ਕੋਡ ਮਾਰਗ ਇੱਕ ਸਿਲੋ ਬਣ ਗਿਆ, ਜੋ ਸਾਨੂੰ ਵੱਖਰੀ ਡਿਪਲਾਇਮੈਂਟ ਸਕ੍ਰਿਪਟਾਂ, ਮਾਨੀਟਰਿੰਗ ਹੁੱਕਾਂ, ਅਤੇ ਇੱਥੋਂ ਤੱਕ ਕਿ ਡੇਟਾ-ਲੋਡਿੰਗ ਤਰਕ ਨੂੰ ਕਾਇਮ ਰੱਖਣ ਲਈ ਮਜਬੂਰ ਕਰਦਾ ਹੈ। ਇੱਕ ਅਨੁਕੂਲਿਤ ਮੋਡੀਊਲ ਹੋਣ ਦਾ ਮਤਲਬ ਇੱਕ ਭੁਰਭੁਰਾ ਬਲੈਕ ਬਾਕਸ ਬਣ ਗਿਆ। ਅਸੀਂ ਦਰਦਨਾਕ ਅਸਫਲਤਾਵਾਂ ਦਾ ਅਨੁਭਵ ਕੀਤਾ:

ਦ ਮਾਡਿਊਲਰ ਮਾਈਂਡਸੈੱਟ: ਫੋਰਸ-ਫਿਟਿੰਗ ਉੱਤੇ ਏਕੀਕਰਣ

ਮੁੱਖ ਪਾਠ TPUs ਜਾਂ ਧਿਆਨ ਦੇਣ ਵਾਲੇ ਐਲਗੋਰਿਦਮ ਬਾਰੇ ਨਹੀਂ ਸੀ। ਇਹ ਮਾਡਿਊਲਰਿਟੀ ਬਾਰੇ ਸੀ। ਅਸੀਂ ਇੱਕ ਬੁਨਿਆਦੀ ਸਿਧਾਂਤ ਦੀ ਉਲੰਘਣਾ ਕੀਤੀ ਸੀ: ਇੱਕ ਸਿਸਟਮ ਦੇ ਹਿੱਸੇ ਅਦਲਾ-ਬਦਲੀ ਅਤੇ ਆਪਸ ਵਿੱਚ ਕੰਮ ਕਰਨ ਯੋਗ ਹੋਣੇ ਚਾਹੀਦੇ ਹਨ, ਇਕੱਠੇ ਵੇਲਡ ਨਹੀਂ ਕੀਤੇ ਜਾਣੇ ਚਾਹੀਦੇ। ਸਾਡੇ ਸਟੈਕ ਵਿੱਚ ਇੱਕ ਗੈਰ-ਮੂਲ ਭਾਗ ਨੂੰ ਮਜਬੂਰ ਕਰਕੇ, ਅਸੀਂ ਇੱਕ ਕਲਪਨਾਤਮਕ ਸਿਖਰ ਪ੍ਰਦਰਸ਼ਨ ਲਈ ਸਥਿਰਤਾ, ਸਪਸ਼ਟਤਾ ਅਤੇ ਚੁਸਤੀ ਦਾ ਬਲੀਦਾਨ ਦਿੱਤਾ ਹੈ ਜੋ ਉਤਪਾਦਨ ਵਿੱਚ ਘੱਟ ਹੀ ਮਹਿਸੂਸ ਕੀਤਾ ਗਿਆ ਸੀ। ਇਹ ਉਹ ਥਾਂ ਹੈ ਜਿੱਥੇ ਮੇਵੇਜ਼ ਵਰਗੇ ਮਾਡਯੂਲਰ ਵਪਾਰਕ OS ਦਾ ਫਲਸਫਾ ਮਹੱਤਵਪੂਰਣ ਬਣ ਜਾਂਦਾ ਹੈ। ਮੇਵੇਜ਼ ਤੁਹਾਨੂੰ ਇੱਕ ਸਟੈਕ ਵਿੱਚ ਬੰਦ ਕਰਨ ਬਾਰੇ ਨਹੀਂ ਹੈ; ਇਹ ਆਰਕੈਸਟ੍ਰੇਸ਼ਨ ਲੇਅਰ ਪ੍ਰਦਾਨ ਕਰਨ ਬਾਰੇ ਹੈ ਜੋ ਤੁਹਾਨੂੰ ਨੌਕਰੀ ਲਈ ਸਭ ਤੋਂ ਵਧੀਆ ਟੂਲ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ—ਭਾਵੇਂ ਇਹ ਇੱਕ GPU-ਵਿਸ਼ੇਸ਼ ਅਨੁਕੂਲਨ ਹੋਵੇ ਜਾਂ ਇੱਕ TPU-ਨੇਟਿਵ ਮਾਡਲ — ਬਿਨਾਂ ਕਨੈਕਟਿਵ ਟਿਸ਼ੂ ਨੂੰ ਆਪਣੇ ਆਪ ਬਣਾਉਣ ਅਤੇ ਬਣਾਈ ਰੱਖਣ ਦੇ।

ਸਥਾਈ ਗਤੀ ਲਈ ਸਿੱਖਣਾ ਅਤੇ ਪਹਿਲ ਕਰਨਾ

ਅਸੀਂ ਆਖਰਕਾਰ ਜ਼ਬਰਦਸਤੀ ਫਲੈਸ਼ ਅਟੈਂਸ਼ਨ ਪ੍ਰਯੋਗ ਨੂੰ ਬੰਦ ਕਰ ਦਿੱਤਾ। ਇਸ ਦੀ ਬਜਾਏ, ਅਸੀਂ ਇੱਕ TPU-ਦੇਸੀ ਧਿਆਨ ਲਾਗੂ ਕਰਨ ਵੱਲ ਧਿਆਨ ਦਿੱਤਾ ਜੋ, ਕਾਗਜ਼ 'ਤੇ ਸਿਧਾਂਤਕ ਤੌਰ 'ਤੇ ਹੌਲੀ ਹੋਣ ਦੇ ਬਾਵਜੂਦ, ਕਿਤੇ ਜ਼ਿਆਦਾ ਭਰੋਸੇਮੰਦ ਅਤੇ ਰੱਖ-ਰਖਾਅਯੋਗ ਸਾਬਤ ਹੋਇਆ। ਸਮੁੱਚਾ ਸਿਸਟਮ ਥ੍ਰੁਪੁੱਟ ਅਸਲ ਵਿੱਚ ਇਸਦੀ ਸਥਿਰਤਾ ਦੇ ਕਾਰਨ ਸੁਧਾਰਿਆ ਗਿਆ ਹੈ। ਸਭ ਤੋਂ ਮਹੱਤਵਪੂਰਨ, ਅਸੀਂ ਆਪਣੀਆਂ AI ਸੇਵਾਵਾਂ ਨੂੰ ਵੱਖਰੇ, ਚੰਗੀ ਤਰ੍ਹਾਂ ਪਰਿਭਾਸ਼ਿਤ ਮੋਡੀਊਲ ਵਜੋਂ ਆਰਕੀਟੈਕਟ ਕਰਨਾ ਸ਼ੁਰੂ ਕੀਤਾ। ਸੋਚ ਵਿੱਚ ਇਹ ਤਬਦੀਲੀ - ਕੱਚੇ, ਸਥਾਨਿਕ ਪ੍ਰਦਰਸ਼ਨ ਨਾਲੋਂ ਕੰਪੋਨੈਂਟਸ ਦੇ ਵਿੱਚ ਸਾਫ਼-ਸੁਥਰੇ ਇਕਰਾਰਨਾਮੇ ਨੂੰ ਤਰਜੀਹ ਦੇਣਾ - ਬਿਲਕੁਲ ਉਹੀ ਹੈ ਜੋ ਕਾਰੋਬਾਰਾਂ ਨੂੰ ਸਮਝਦਾਰੀ ਨਾਲ ਸਕੇਲ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ। ਤੇਜ਼ੀ ਨਾਲ ਵਿਕਸਤ ਹੋ ਰਹੇ ਹਾਰਡਵੇਅਰ ਦੀ ਦੁਨੀਆ ਵਿੱਚ, ਮੇਵੇਜ਼ ਵਰਗਾ ਪਲੇਟਫਾਰਮ, ਪਹੀਏ ਨੂੰ ਮੁੜ-ਨਿਰਮਾਣ ਕੀਤੇ ਬਿਨਾਂ, ਜਾਂ ਸਾਡੇ ਕੇਸ ਵਿੱਚ, ਪ੍ਰੋਸੈਸਰ ਨੂੰ ਮੁੜ ਖੋਜਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕੀਤੇ ਬਿਨਾਂ, ਨਵੀਆਂ ਸਮਰੱਥਾਵਾਂ ਨੂੰ ਪਲੱਗ ਕਰਨ ਲਈ ਢਾਂਚਾ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਔਖੇ ਤਰੀਕੇ ਨੇ ਸਾਨੂੰ ਸਿਖਾਇਆ ਕਿ ਟਿਕਾਊ ਗਤੀ ਹਰ ਮਾਈਕਰੋ-ਲੜਾਈ ਨੂੰ ਜਿੱਤਣ ਬਾਰੇ ਨਹੀਂ ਹੈ, ਪਰ ਇਹ ਯਕੀਨੀ ਬਣਾਉਣ ਬਾਰੇ ਹੈ ਕਿ ਤੁਹਾਡੀ ਪੂਰੀ ਫੌਜ ਇੱਕਜੁਟ ਹੋ ਕੇ ਮਾਰਚ ਕਰ ਸਕੇ।