Donanba minnu bɛ MacBook sɔngɔ gɛlɛnba kan

Dɔnniyaba minnu bɛ MacBook sɔngɔ gɛlɛn na : yala a bɛ se ka kɛ wa ?

"Big Data" daɲɛ bɛ mɔgɔ bila ka ja dɔw lawuli , minnu bɛ sɔrɔ sèrwɛri forobaw kan minnu bɛ ka mankan bɔ so minnu kɔnɔ funteni bɛ kɔrɔsi, ka kunnafoni petabaytiw baara tekinoloji jamanabaw ye. Kalandenw, baarakɛlaw, ani jagokɛla misɛnninw fɛ, o bɛ se ka kɛ i n’a fɔ a tɛ se ka sɔrɔ pewu, kɛrɛnkɛrɛnnenya la n’i ka masin fɔlɔ ye MacBook Air ye min bɛ don daminɛ na, ni M-series puce ye ani RAM 8GB min bɛ i n’a fɔ a ka dɔgɔ. O hakilina ye ko i mago bɛ fɛnɲɛnɛma sɔngɔ gɛlɛnw na, minnu kɛrɛnkɛrɛnnen don walasa hali ka baara daminɛ ni kunnafonidilanbaw ye. Nka, n’o miirili ye kojugu ye do? Ni fɛɛrɛ tigɛlen don ani ni baarakɛminɛn ɲumanw ye, i ka MacBook sɔngɔ gɛlɛn bɛ se ka kɛ kabako seko ye walasa ka Big Data porozɛ kɔrɔw kalan ani k’u waleya.

M-Series Chip ka baarakɛcogo ɲuman nafabɔli

Tulonkɛ fɛn min bɛ bi MacBookw na , minnu tɛ musaka caman bɔ , o ye Apple ka siliyɔmu ye . M-series puwɛntiw, hali u basigilen cogoyaw la, u man kan ka dɔgɔya. U ka hakilijagabɔ kelen-kelen bɛɛ b’a To CPU ni GPU bɛ Se ka hakilijagabɔ-yɔrɔ kelen Sɔrɔ ka ɲɛ, o b’a To RAM 8GB bɛ baara Kɛ i n’a fɔ 16GB laadala-sitɛmuw kan. O baarakɛcogo ɲuman in nafa ka bon kosɛbɛ kunnafonidilanw baara la. Hali n’i tɛna kɛ ka planete-scale AI model dege, i bɛ se ka kunnafonidilanw ɲɛnabɔ ni lafiya ye gigabayiti kɔnɔ ni baarakɛminɛnw ye minnu dabɔra masin kelen sɛgɛsɛgɛli kama. O kun ye ka baara kɛ ni hakilitigiya ye, i kana baara gɛlɛn kɛ. Sani i ka gigabayiti caman CSV filen doni hakili la, i tun bɛna baara kɛ ni fɛɛrɛw ye i n’a fɔ chunking, yɔrɔ min na kunnafoniw bɛ baara kɛ yɔrɔ misɛnninw na, minnu bɛ se ka ɲɛnabɔ. O fɛɛrɛ in, n’o farala MacBook ka SSD teliya kan walasa ka kunnafonidilanw ɲɔgɔn falen-falen teliya la, o b’a to i bɛ se ka gɛlɛyaw ɲɛnabɔ minnu tun bɛna kɛ sababu ye ka masin kɔrɔw bila ka sɔgɔsɔgɔ.

Baarakɛminɛn ɲumanw ka ɲɛsin masin ma

Se sɔrɔli Big Data la fɛnɲɛnamafagalan danmadɔw kan , o bɛɛ bɛ bɔ i ka porogaramuw baarakɛminɛnw na . Laɲini ye ka baarakɛcogo fanga caya ka sɔrɔ ka hakilijagabɔ senna-taama dɔgɔya. Barika la, ɲɛnamaya kɛcogo nafolo ka bon ni sugandili ɲumanw ye. Python, n’a ka gafemarayɔrɔw i n’a fɔ Pandas kunnafonidilanw sɛgɛsɛgɛli kama, o ye fɛnba ye. Ni aw bɛ baara kɛ ni Pandas ka kunnafonidilan suguyaw ye ka ɲɛ (misali la, ka baara kɛ ni ‘kategori’ suguya ye sɛbɛnni kunnafoniw kama), aw bɛ se ka dɔ bɔ kosɛbɛ hakilijagabɔ baara la. Hali kunnafonidilanba minnu bɛ tɛmɛ RAM sɔrɔlenw kan, baarakɛminɛn minnu bɛ i n’a fɔ Dask, olu bɛ se ka jatebɔw kɛ minnu bɛ tali kɛ ɲɔgɔn na, minnu bɛ se ka sɛgɛsɛgɛli kɛ cogo la min tɛ fɛn tiɲɛ ka bɔ ɔridinatɛri kelen na ka taa kulu dɔ la, o b’a to i bɛ se ka prototype kɛ sigida la ka sɔrɔ ka bila infrastructures barikamaw la. SQLite ye fanga wɛrɛ ye; o ye SQL kunnafonidilan ye min bɛ se ka kɛ fɛn bɛɛ ye, min tɛ se ka kɛ ni baarakɛminɛn ye, min bɛ balo dosiye kelen kɔnɔ, min dafalen don ka sɛbɛn miliyɔn caman labɛn ani k’u ɲininka k’a sɔrɔ a ma kɛ ni musaka si ye. O yɔrɔ de la, plateforme i n’a fɔ Mewayz b’a nafa jira. Ni a ye jagokɛla ka OS modulari di min bɛ nin kunnafonidilan suguya ninnu fara ɲɔgɔn kan ka kɛ baarakɛcogo ɲuman ye, Mewayz b’i dɛmɛ k’i sinsin sɛgɛsɛgɛli kan sanni ka i sinsin labɛnni kan, k’a lajɛ ko i ka MacBook nafolo bilalen bɛ baara la min bɛ i bolo.

• Ka baara kɛ ni kunnafonidilan nafamaw ye : CSVw bɛrɛbɛn ka kɛ Parquet walima Feather cogoyaw ye walasa ka doni teliya ani ka dosiye hakɛ fitininw kɛ .
• SQL minɛni : Baara kɛ ni SQLite walima DuckDB ye walasa ka kunnafoniw filɛ ani k’u lajɛ disiki kan sani i ka kulu fitinin dɔ don hakili la .
• Leverage Cloud Sampling : Ni kunnafonidilanba minnu maralen bɛ sankaba kɔnɔ, aw bɛ misali dɔrɔn de telesarse walasa k’aw ka misaliw jɔ ani k’u kɔrɔbɔ sigida la.
• Kɔlɔsili baara kɔlɔsili : Aw ye aw ɲɛ jɔ hakilijagabɔ degun na ; bilen ka ɲi , jɛman kɔrɔ ye ko i bɛ danw gɛlɛya .

waati min na i ka kan k' i ka danyɔrɔw dɔn ani ka sɛgɛsɛgɛli kɛ ni hakilitigiya ye

Tiɲɛ don , dakun dɔ bɛ yen , min bɛ se ka kɛ MacBook basigilen modɛli bɛ se ka min sɔrɔ . Baara minnu bɛ kɛ i n’a fɔ kalan jugu misali gɛlɛnw dege walima ka kunnafonidilanw baara waati yɛrɛ la ka bɔ yɔrɔ ba caman na, olu bɛna kɛ sababu ye ka sigida barikamaw de wajibiya, minnu tilalen don. Nka, i ka MacBook bɛ to sandbox dafalen ye data science ɲɛnamaya bɛɛ kɔnɔ. Aw bɛ se ka baara kɛ n’a ye kunnafonidilanw saniyali kama, kunnafonidilanw sɛgɛsɛgɛli ɲinini (EDA), fɛnw dilanni na, ani prototype models jɔli kama. Ni i ka prototype (daɲɛ fɔlɔ) tiɲɛna, o kɔfɛ, i bɛ se ka sankaba baarakɛminɛnw ta i n’a fɔ Google Colab, AWS SageMaker, walima Databricks walasa ka jatebɔ labanw bonya. Nin "prototype locally, scale globally" misali in musaka ka dɔgɔ ani a bɛ baara kɛ ka ɲɛ. A b’i bali ka sankaba wariba boli ka taa a fɛ k’a sɔrɔ i bɛ ka kɔrɔbɔli kɛ hali bi ani k’a dɔn i ka kan ka ɲininkali minnu kɛ i ka kunnafonidilanw na.

ye

Big Data fanga tɛ dɔrɔn ka kɛ ni fɛnɲɛnamafagalan caman ye ; o ye baarakɛcogo ɲuman sɔrɔli ye. Taabolo min bɛ kɛ ka ɲɛ masin fitinin dɔ kan, o ka teli ka tɛmɛ baarakɛcogo labɛnbali kan ɔridinatɛriba kan.

Kunnafoni : fanga sɔrɔli baarakɛcogo ɲuman fɛ

donni balilan Big Data kama, o tɛ fɛnɲɛnamafagalan musaka dɔrɔn ye tugun. Ni M-series MacBook ye, ni baarakɛminɛnw sugandili fɛɛrɛbɔlenw ye, ani baarakɛcogo hakilitigiw, i bɛ se ka i yɛrɛ su ji la kosɛbɛ kunnafonidilanw sɛgɛsɛgɛli diɲɛ kɔnɔ. Masina fitinin dɔ ka gɛlɛyaw yɛrɛ bɛ se ka kɛ dugawu ye min bɛ i yɛrɛ dogo, k’i wajibiya ka kode saniyalen ni baarakɛcogo ɲuman sɛbɛn kabini a daminɛ na. Ni i bɛ baara kɛ n’i ka MacBook ye walasa ka yiriwali ni prototyping kɛ ani ka jɛɲɔgɔnya kɛ ni sankaba-platifɔmuw ye walima ni modulari-sitɛmuw ye i n’a fɔ Mewayz walasa ka fɛn girinmanw kɔrɔta, i bɛ kunnafonidilanw baarakɛcogo kulu barikama dɔ dilan, min bɛ se ka wuli ka bɔ a nɔ na, ​​ani min sɔngɔ ka nɔgɔn. I ka taama ka don Big Data kɔnɔ, o tɛ daminɛ ni waridonba ye, nka ni fɛɛrɛ hakilitigi ye i ka ɔridinatɛri kɔrɔ kan yɛrɛ.

Ɲininkali minnu bɛ kɛ tuma caman na

Dɔnniyaba minnu bɛ MacBook sɔngɔ gɛlɛn na : yala a bɛ se ka kɛ wa ?

"Big Data" daɲɛ bɛ mɔgɔ bila ka ja dɔw lawuli , minnu bɛ sɔrɔ sèrwɛri forobaw kan minnu bɛ ka mankan bɔ so minnu kɔnɔ funteni bɛ kɔrɔsi, ka kunnafoni petabaytiw baara tekinoloji jamanabaw ye. Kalandenw, baarakɛlaw, ani jagokɛla misɛnninw fɛ, o bɛ se ka kɛ i n’a fɔ a tɛ se ka sɔrɔ pewu, kɛrɛnkɛrɛnnenya la n’i ka masin fɔlɔ ye MacBook Air ye min bɛ don daminɛ na, ni M-series puce ye ani RAM 8GB min bɛ i n’a fɔ a ka dɔgɔ. O hakilina ye ko i mago bɛ fɛnɲɛnɛma sɔngɔ gɛlɛnw na, minnu kɛrɛnkɛrɛnnen don walasa hali ka baara daminɛ ni kunnafonidilanbaw ye. Nka, n’o miirili ye kojugu ye do? Ni fɛɛrɛ tigɛlen don ani ni baarakɛminɛn ɲumanw ye, i ka MacBook sɔngɔ gɛlɛn bɛ se ka kɛ kabako seko ye walasa ka Big Data porozɛ kɔrɔw kalan ani k’u waleya.

M-Series Chip ka baarakɛcogo ɲuman nafabɔli

Tulonkɛ fɛn min bɛ bi MacBookw na , minnu tɛ musaka caman bɔ , o ye Apple ka siliyɔmu ye . M-series puwɛntiw, hali u basigilen cogoyaw la, u man kan ka dɔgɔya. U ka hakilijagabɔ kelen-kelen bɛɛ b’a To CPU ni GPU bɛ Se ka hakilijagabɔ-yɔrɔ kelen Sɔrɔ ka ɲɛ, o b’a To RAM 8GB bɛ baara Kɛ i n’a fɔ 16GB laadala-sitɛmuw kan. O baarakɛcogo ɲuman in nafa ka bon kosɛbɛ kunnafonidilanw baara la. Hali n’i tɛna kɛ ka planete-scale AI model dege, i bɛ se ka kunnafonidilanw ɲɛnabɔ ni lafiya ye gigabayiti kɔnɔ ni baarakɛminɛnw ye minnu dabɔra masin kelen sɛgɛsɛgɛli kama. O kun ye ka baara kɛ ni hakilitigiya ye, i kana baara gɛlɛn kɛ. Sani i ka gigabayiti caman CSV filen doni hakili la, i tun bɛna baara kɛ ni fɛɛrɛw ye i n’a fɔ chunking, yɔrɔ min na kunnafoniw bɛ baara kɛ yɔrɔ misɛnninw na, minnu bɛ se ka ɲɛnabɔ. O fɛɛrɛ in, n’o farala MacBook ka SSD teliya kan walasa ka kunnafonidilanw ɲɔgɔn falen-falen teliya la, o b’a to i bɛ se ka gɛlɛyaw ɲɛnabɔ minnu tun bɛna kɛ sababu ye ka masin kɔrɔw bila ka sɔgɔsɔgɔ.

Baarakɛminɛn ɲumanw ka ɲɛsin masin ma

Se sɔrɔli Big Data la fɛnɲɛnamafagalan danmadɔw kan , o bɛɛ bɛ bɔ i ka porogaramuw baarakɛminɛnw na . Laɲini ye ka baarakɛcogo fanga caya ka sɔrɔ ka hakilijagabɔ senna-taama dɔgɔya. Barika la, ɲɛnamaya kɛcogo nafolo ka bon ni sugandili ɲumanw ye. Python, n’a ka gafemarayɔrɔw i n’a fɔ Pandas kunnafonidilanw sɛgɛsɛgɛli kama, o ye fɛnba ye. Ni aw bɛ baara kɛ ni Pandas ka kunnafonidilan suguyaw ye ka ɲɛ (misali la, ka baara kɛ ni ‘kategori’ suguya ye sɛbɛnni kunnafoniw kama), aw bɛ se ka dɔ bɔ kosɛbɛ hakilijagabɔ baara la. Hali kunnafonidilanba minnu bɛ tɛmɛ RAM sɔrɔlenw kan, baarakɛminɛn minnu bɛ i n’a fɔ Dask, olu bɛ se ka jatebɔw kɛ minnu bɛ tali kɛ ɲɔgɔn na, minnu bɛ se ka sɛgɛsɛgɛli kɛ cogo la min tɛ fɛn tiɲɛ ka bɔ ɔridinatɛri kelen na ka taa kulu dɔ la, o b’a to i bɛ se ka prototype kɛ sigida la ka sɔrɔ ka bila infrastructures barikamaw la. SQLite ye fanga wɛrɛ ye; o ye SQL kunnafonidilan ye min bɛ se ka kɛ fɛn bɛɛ ye, min tɛ se ka kɛ ni baarakɛminɛn ye, min bɛ balo dosiye kelen kɔnɔ, min dafalen don ka sɛbɛn miliyɔn caman labɛn ani k’u ɲininka k’a sɔrɔ a ma kɛ ni musaka si ye. O yɔrɔ de la, plateforme i n’a fɔ Mewayz b’a nafa jira. Ni a ye jagokɛla ka OS modulari di min bɛ nin kunnafonidilan suguya ninnu fara ɲɔgɔn kan ka kɛ baarakɛcogo ɲuman ye, Mewayz b’i dɛmɛ k’i sinsin sɛgɛsɛgɛli kan sanni ka i sinsin labɛnni kan, k’a lajɛ ko i ka MacBook nafolo bilalen bɛ baara la min bɛ i bolo.

waati min na i ka kan k' i ka danyɔrɔw dɔn ani ka sɛgɛsɛgɛli kɛ ni hakilitigiya ye

Tiɲɛ don , dakun dɔ bɛ yen , min bɛ se ka kɛ MacBook basigilen modɛli bɛ se ka min sɔrɔ . Baara minnu bɛ kɛ i n’a fɔ kalan jugu misali gɛlɛnw dege walima ka kunnafonidilanw baara waati yɛrɛ la ka bɔ yɔrɔ ba caman na, olu bɛna kɛ sababu ye ka sigida barikamaw de wajibiya, minnu tilalen don. Nka, i ka MacBook bɛ to sandbox dafalen ye data science ɲɛnamaya bɛɛ kɔnɔ. Aw bɛ se ka baara kɛ n’a ye kunnafonidilanw saniyali kama, kunnafonidilanw sɛgɛsɛgɛli ɲinini (EDA), fɛnw dilanni na, ani prototype models jɔli kama. Ni i ka prototype (daɲɛ fɔlɔ) tiɲɛna, o kɔfɛ, i bɛ se ka sankaba baarakɛminɛnw ta i n’a fɔ Google Colab, AWS SageMaker, walima Databricks walasa ka jatebɔ labanw bonya. Nin "prototype locally, scale globally" misali in musaka ka dɔgɔ ani a bɛ baara kɛ ka ɲɛ. A b’i bali ka sankaba wariba boli ka taa a fɛ k’a sɔrɔ i bɛ ka kɔrɔbɔli kɛ hali bi ani k’a dɔn i ka kan ka ɲininkali minnu kɛ i ka kunnafonidilanw na.

Kunnafoni : fanga sɔrɔli baarakɛcogo ɲuman fɛ

donni balilan Big Data kama, o tɛ fɛnɲɛnamafagalan musaka dɔrɔn ye tugun. Ni M-series MacBook ye, ni baarakɛminɛnw sugandili fɛɛrɛbɔlenw ye, ani baarakɛcogo hakilitigiw, i bɛ se ka i yɛrɛ su ji la kosɛbɛ kunnafonidilanw sɛgɛsɛgɛli diɲɛ kɔnɔ. Masina fitinin dɔ ka gɛlɛyaw yɛrɛ bɛ se ka kɛ dugawu ye min bɛ i yɛrɛ dogo, k’i wajibiya ka kode saniyalen ni baarakɛcogo ɲuman sɛbɛn kabini a daminɛ na. Ni i bɛ baara kɛ n’i ka MacBook ye walasa ka yiriwali ni prototyping kɛ ani ka jɛɲɔgɔnya kɛ ni sankaba-platifɔmuw ye walima ni modulari-sitɛmuw ye i n’a fɔ Mewayz walasa ka fɛn girinmanw kɔrɔta, i bɛ kunnafonidilanw baarakɛcogo kulu barikama dɔ dilan, min bɛ se ka wuli ka bɔ a nɔ na, ​​ani min sɔngɔ ka nɔgɔn. I ka taama ka don Big Data kɔnɔ, o tɛ daminɛ ni waridonba ye, nka ni fɛɛrɛ hakilitigi ye i ka ɔridinatɛri kɔrɔ kan yɛrɛ.