Nilitupa Hifadhidata Yetu ya Uzalishaji na Sasa Lipa 10% Zaidi kwa AWS

Kutoka Kitufe cha Panic hadi Amani ya Akili

Ilikuwa Jumanne asubuhi, na mimi pekee ndiye niliyeingia kabla ya saa 9 asubuhi. Marekebisho rahisi ya data, au ndivyo nilivyofikiria. Amri moja ambayo haikushauriwa baadaye, na hifadhidata ya utayarishaji—kiini cha maombi yetu—ilitoweka. Haijaharibiwa, haijapunguzwa kasi, lakini kabisa, tupu ya kutisha. Jasho baridi ambalo lilinitoka kwenye paji la uso wangu halikuwa kitu ikilinganishwa na ukimya wa kutisha kutoka kwa tahadhari zetu za ufuatiliaji. Baada ya kile kilichohisi kama juhudi za umilele za kupona, tuliipata tena. Lakini jaribu hilo halijaisha. Hatua za dharura tulizopaswa kuchukua ili kurejesha huduma zilisababisha ongezeko la kudumu la 10% katika bili yetu ya AWS, kikumbusho cha mara kwa mara cha kosa hilo moja na la gharama kubwa. Tukio hili, ingawa lilikuwa chungu, lilinifundisha somo la kikatili kuhusu gharama ya kweli ya udhaifu wa miundombinu.

Athari ya Domino ya Kosa Moja

Matokeo ya mara moja ya kuacha hifadhidata yalikuwa machafuko makubwa. Kipaumbele chetu cha kwanza kilikuwa kurejesha kutoka kwa chelezo, lakini mchakato ulikuwa wa polepole kuliko ilivyotarajiwa. Ili kupunguza wakati wa kupumzika, ilibidi tuzungushe mfano mkubwa, uliotolewa zaidi wa RDS ili kuharakisha urejeshaji. Kisha, tulihitaji kuongeza seva zetu za programu kwa muda ili kushughulikia mafuriko yanayokuja ya watumiaji wanaojaribu kuunganisha tena. Miundombinu hii ya "hali ya dharura", inayofanya kazi kwa karibu masaa 12, ilikuwa ghali sana. Hata baada ya kurejesha data, tulishauriwa kuweka mfano mkubwa zaidi wa hifadhidata kwa wiki ili kuhakikisha uthabiti. Urekebishaji huo wa muda, uliozaliwa kwa hofu, ukawa kitu cha kudumu cha mstari. Athari ya domino ilikuwa wazi: hitilafu moja ya kibinadamu ilifichua mfumo brittle, na gharama ya kurekebisha haraka ikawa kodi ya mara kwa mara kwenye shughuli zetu.

Zaidi ya Hifadhi rudufu: Gharama Halisi ya Mifumo Hafifu

Tulikuwa na nakala rudufu. Kitaalam, tulikuwa tumefanya kiwango cha chini kabisa. Lakini mfumo thabiti sio tu kuwa na wavu wa usalama; ni kuhusu kuwa na mtandao wa usalama ambao ni rahisi, haraka na unaotegemewa kutumia. Uchunguzi wetu wa baada ya maiti ulifichua udhaifu mkubwa:

• Taratibu za Mwongozo: Mchakato wa kurejesha ulikuwa ni orodha ya hatua nyingi, ya mwongozo ambayo ilikuwa na hitilafu chini ya shinikizo.
• Ukosefu wa Kutengwa: Amri inayoendeshwa katika mazingira moja inaweza kuathiri uzalishaji kwa urahisi sana.
• Mwonekano Mbaya: Tulikosa viashiria wazi vya mara moja vya afya ya mfumo na athari za vitendo vyetu.
• Kuongeza Utendaji: Miundombinu yetu haikuwa thabiti vya kutosha kushughulikia tukio la urejeshaji bila uingiliaji wa kibinafsi na wa gharama kubwa.

Gharama halisi haikuwa tu bili ya juu ya 10% ya AWS. Zilikuwa ni saa za muda wa uhandisi zilizotumika kurejesha ufufuo badala ya uvumbuzi, mmomonyoko wa imani ya washikadau, na hofu iliyokuwa ikiendelea kuwa inaweza kutokea tena.

"Miundombinu haipaswi kuwa nyumba ya kadi. Kosa moja tu lisiwe na uwezo wa kuleta biashara nzima magotini mwake, kiuendeshaji na kifedha."

Kuunda Wavu wa Usalama wa Kawaida kwa kutumia Mewayz

Tukio hilo lilitulazimisha kutafakari upya mbinu yetu yote. Tulihitaji mfumo ambao sio tu kuwa thabiti lakini pia wa kawaida na unaoweza kudhibitiwa. Hapa ndipo kupitishwa kwetu kwa Mewayz kulianza kubadilisha kila kitu. Badala ya monolithic, kuanzisha tete, tulianza kujenga na vipengele vya msimu. Kwa Mewayz, tunaweza kufafanua miundombinu yetu—kutoka hifadhidata hadi vitendaji visivyo na seva—kama moduli zinazojitosheleza na zinazoweza kutumika tena. Utaratibu huu ulimaanisha kuwa tunaweza kuunda mazingira ya jukwaa yaliyotengwa ambayo yanaakisi uzalishaji kikamilifu, na kuturuhusu kujaribu utendakazi hatari kwa usalama. Muhimu zaidi, otomatiki iliyojengewa ndani ya Mewayz kwa utumaji na urejeshaji nyuma ilimaanisha kuwa michakato ya uokoaji inaweza kuanzishwa kwa mbofyo mmoja, kuondoa makosa ya mwongozo. Miundombinu yetu ilitabirika na, muhimu zaidi, kustahimili.

Somo Linalolipwa kwa Bili za Wingu

Hiyo 10% ya ada ya ziada ya AWS ni ada ambayo sasa naiona kama uwekezaji katika elimu muhimu. Ilitufundisha kwamba kukata pembe kwenye muundo wa mfumo na ubora wa uendeshaji ni uchumi wa uwongo. Marekebisho yaliyochochewa na hofu, ya gharama kubwa ni matokeo ya moja kwa moja ya kutojenga kwa ujasiri na modularity tangu mwanzo. Kwa kuhamia jukwaa kama Mewayz, tumegeuza miundombinu yetu kutoka dhima hadi kuwa mali inayotegemewa. Moduli hizo hufanya kama mihimili ya ulinzi, kuzuia makosa makubwa na kuhakikisha kwamba ikiwa kuna kitu kitaenda vibaya, urejeshaji ni wa haraka, wa kiotomatiki na unaotoshea gharama. Nililipa gharama kubwa ili kujifunza kuwa ufanisi wa kweli hauhusu kuepuka makosa, bali ni kujenga mfumo ambao unaweza kustahimili makosa.

Maswali Yanayoulizwa Sana

Kutoka Kitufe cha Panic hadi Amani ya Akili

Ilikuwa Jumanne asubuhi, na mimi pekee ndiye niliyeingia kabla ya saa 9 asubuhi. Marekebisho rahisi ya data, au ndivyo nilivyofikiria. Amri moja ambayo haikushauriwa baadaye, na hifadhidata ya utayarishaji—kiini cha maombi yetu—ilitoweka. Haijaharibiwa, haijapunguzwa kasi, lakini kabisa, tupu ya kutisha. Jasho baridi ambalo lilinitoka kwenye paji la uso wangu halikuwa kitu ikilinganishwa na ukimya wa kutisha kutoka kwa tahadhari zetu za ufuatiliaji. Baada ya kile kilichohisi kama juhudi za umilele za kupona, tuliipata tena. Lakini jaribu hilo halijaisha. Hatua za dharura tulizopaswa kuchukua ili kurejesha huduma zilisababisha ongezeko la kudumu la 10% katika bili yetu ya AWS, kikumbusho cha mara kwa mara cha kosa hilo moja na la gharama kubwa. Tukio hili, ingawa lilikuwa chungu, lilinifundisha somo la kikatili kuhusu gharama ya kweli ya udhaifu wa miundombinu.

Athari ya Domino ya Kosa Moja

Matokeo ya mara moja ya kuacha hifadhidata yalikuwa machafuko makubwa. Kipaumbele chetu cha kwanza kilikuwa kurejesha kutoka kwa chelezo, lakini mchakato ulikuwa wa polepole kuliko ilivyotarajiwa. Ili kupunguza wakati wa kupumzika, ilibidi tuzungushe mfano mkubwa, uliotolewa zaidi wa RDS ili kuharakisha urejeshaji. Kisha, tulihitaji kuongeza seva zetu za programu kwa muda ili kushughulikia mafuriko yanayokuja ya watumiaji wanaojaribu kuunganisha tena. Miundombinu hii ya "hali ya dharura", inayofanya kazi kwa karibu masaa 12, ilikuwa ghali sana. Hata baada ya kurejesha data, tulishauriwa kuweka mfano mkubwa zaidi wa hifadhidata kwa wiki ili kuhakikisha uthabiti. Urekebishaji huo wa muda, uliozaliwa kwa hofu, ukawa kitu cha kudumu cha mstari. Athari ya domino ilikuwa wazi: hitilafu moja ya kibinadamu ilifichua mfumo brittle, na gharama ya kurekebisha haraka ikawa kodi ya mara kwa mara kwenye shughuli zetu.

Zaidi ya Hifadhi rudufu: Gharama Halisi ya Mifumo Hafifu

Tulikuwa na nakala rudufu. Kitaalam, tulikuwa tumefanya kiwango cha chini kabisa. Lakini mfumo thabiti sio tu kuwa na wavu wa usalama; ni kuhusu kuwa na mtandao wa usalama ambao ni rahisi, haraka na unaotegemewa kutumia. Uchunguzi wetu wa baada ya maiti ulifichua udhaifu mkubwa:

Kuunda Wavu wa Usalama wa Kawaida kwa kutumia Mewayz

Tukio hilo lilitulazimisha kutafakari upya mbinu yetu yote. Tulihitaji mfumo ambao sio tu kuwa thabiti lakini pia wa kawaida na unaoweza kudhibitiwa. Hapa ndipo kupitishwa kwetu kwa Mewayz kulianza kubadilisha kila kitu. Badala ya monolithic, kuanzisha tete, tulianza kujenga na vipengele vya msimu. Kwa Mewayz, tunaweza kufafanua miundombinu yetu—kutoka hifadhidata hadi vitendaji visivyo na seva—kama moduli zinazojitosheleza na zinazoweza kutumika tena. Utaratibu huu ulimaanisha kuwa tunaweza kuunda mazingira ya jukwaa yaliyotengwa ambayo yanaakisi uzalishaji kikamilifu, na kuturuhusu kujaribu utendakazi hatari kwa usalama. Muhimu zaidi, otomatiki iliyojengewa ndani ya Mewayz kwa utumaji na urejeshaji nyuma ilimaanisha kuwa michakato ya uokoaji inaweza kuanzishwa kwa mbofyo mmoja, kuondoa makosa ya mwongozo. Miundombinu yetu ilitabirika na, muhimu zaidi, kustahimili.

Somo Linalolipwa kwa Bili za Wingu

Hiyo 10% ya ada ya ziada ya AWS ni ada ambayo sasa naiona kama uwekezaji katika elimu muhimu. Ilitufundisha kwamba kukata pembe kwenye muundo wa mfumo na ubora wa uendeshaji ni uchumi wa uwongo. Marekebisho yaliyochochewa na hofu, ya gharama kubwa ni matokeo ya moja kwa moja ya kutojenga kwa ujasiri na modularity tangu mwanzo. Kwa kuhamia jukwaa kama Mewayz, tumegeuza miundombinu yetu kutoka dhima hadi kuwa mali inayotegemewa. Moduli hizo hufanya kama mihimili ya ulinzi, kuzuia makosa makubwa na kuhakikisha kwamba ikiwa kuna kitu kitaenda vibaya, urejeshaji ni wa haraka, wa kiotomatiki na unaotoshea gharama. Nililipa gharama kubwa ili kujifunza kuwa ufanisi wa kweli hauhusu kuepuka makosa, bali ni kujenga mfumo ambao unaweza kustahimili makosa.