Ƒu du LLMwo le teƒea le Flutter me kple <200ms latency

\u003ch2\u003eƑo LLMwo le teƒea le Flutter me kple <200ms ƒe ɣeyiɣi didi\u003c/h2\u003e \u003cp\u003eGitHub nudzraɖoƒe sia si le ʋuʋu ɖi la tsi tre ɖi na akpa vevi aɖe le developer ecosystem me. Dɔa ɖe egbegbe ŋgɔyiyi ƒe nuwɔnawo kple nuwɔwɔ aduadu ƒe kɔpiwɔwɔ fia.\u003c/p\u003e \u003ch3\u003eMɔ̃ɖaŋununya ƒe Nɔnɔmewo\u003c/h3\u003e \u003cp\u003eAnɔ eme be nudzraɖoƒea ƒe akpa aɖewoe nye:\u003c/p\u003e \u003cul\u003e \u003cli\u003eKɔda, si woŋlɔ ɖi nyuie\u003c/li\u003e \u003cli\u003eREADME si me kɔ kple zazã ƒe kpɔɖeŋuwo\u003c/li\u003e \u003cli\u003eTaɖoɖo kplɔkplɔ kple nudzɔdzɔ ƒe mɔfiamewo\u003c/li\u003e \u003cli\u003eNu yeyewo kple beléle na wo edziedzi\u003c/li\u003e \u003c/ul\u003e \u003ch3\u003eNutoa me ƒe Ŋusẽkpɔɖeamedzi\u003c/h3\u003e \u003cp\u003eDɔwɔwɔ siwo le ʋuʋu ɖi abe esiawo ene doa sidzedze mama ɖe ŋgɔ eye wowɔa mɔ̃ɖaŋununya ƒe nu yeyewo dodo ɖe ŋgɔ kabakaba to kɔda si ŋu woate ŋu aɖo kple nuwɔwɔ aduadu ƒe ŋgɔyiyi me.\u003c/p\u003e

Nyabiase Siwo Wobiana Enuenu

Nukae wòfia be woawɔ LLM le nutoa me le Flutter me?

LLM ƒe dɔwɔwɔ le teƒea fia be kpɔɖeŋua wɔa dɔ bliboe le zãla ƒe mɔ̃ dzi — API yɔyɔ aɖeke meli o, alilikpo dzi ŋuɖoɖo aɖeke meli o, internet mehiã o. Le Flutter me la, wowɔa esia to quantized model ƒe babla kple native bindings zazã (to FFI alo platform channels dzi) tsɔ yɔa nutsotso tẽ le device dzi. Nusi do tso emee nye ŋutete blibo si mele Internet dzi o, nyatakaka-nyatakaka ƒe dzitsitsi zero, kple ŋuɖoɖo ƒe ɣeyiɣi didi si ateŋu adze anyi nyuie le 200ms te le egbegbe asitelefon ƒe xɔtunuwo dzi.

LLM kawoe le sue ale gbegbe be woateŋu awɔ dɔ le asitelefon dzi?

Kpɔɖeŋu siwo le 1B–3B parameter ƒe domedome kple 4-bit alo 8-bit quantization nye vividoɖeameŋu teƒe ŋutɔŋutɔ na asitelefon. Tiatia siwo ame geɖe lɔ̃a wɔwɔ dometɔ aɖewoe nye Gemma 2B, Phi-3 Mini, kple TinyLlama. Zi geɖe la, mɔ̃ siawo xɔa 500MB–2GB ƒe nudzraɖoƒe eye wowɔa dɔ nyuie le titina Android kple iOS dɔwɔnuwo dzi. Ne èle adzɔnu si keke ta wu si ŋu AI-ŋusẽ le tum la, mɔ̃wo abe Mewayz (207 modules, $19/mo) na nète ŋu ƒoa on-device inference kple cloud fallback workflows nu ƒu ɖekae.

Aleke woateŋu awɔ sub-200ms latency ŋutɔŋutɔ le telefon dzi?

Ameɖoɖo le 200ms te bia nu etɔ̃ be woawɔ dɔ ɖekae: kpɔɖeŋu si ƒe agbɔsɔsɔme le vevie, dɔwɔwɔ ƒe ɣeyiɣi si wowɔ wònyo na asitelefon CPU/NPU (abe llama.cpp alo MediaPipe LLM ene), kple ŋkuɖodzinu dzikpɔkpɔ nyuie ale be kpɔɖeŋua naxɔ dzo le RAM me le kaƒoƒo dome. Batching prompt tokens, caching the key-value state, kple targeting first-token latency tsɔ wu full-sequence latency nye mɔnu vevi siwo tua ŋuɖoɖo ɣeyiɣiwo ɖe sub-200ms ƒe domedome hena nyabiase kpuiwo.

Ðe teƒea ƒe LLM nutsotso nyo wu alilikpo API zazã na Flutter dɔwɔɖoɖowoa?

Enɔ te ɖe wò zazã ƒe nɔnɔme dzi. Nutoa me nutsotso ɖua dzi le adzamenyawo, kpekpeɖeŋu si mele Internet dzi o, kple ga si wozãna ɖe biabia ɖesiaɖe ŋu zero — si sɔ nyuie na nyatakaka veviwo alo kadodo si nɔa anyi ɣeaɖewoɣi. Alilikpo APIwo ɖua dzi le ŋutete xoxo kple kpɔɖeŋu ƒe yeyenyenye me. Dɔwɔwɔ ƒe dɔwɔnu geɖe zãa mɔnu si wotsɔ tsaka: kpɔa dɔ siwo le bɔbɔe le mɔ̃a dzi gbɔ eye woɖoa nyabiase sesẽwo ɖe alilikpoa me. Ne èdi be yeakpɔ egbɔkpɔnu blibo si me tiatia eveawo le do ŋgɔ la, Mewayz tsɔ eƒe 207-module platform si dzea egɔme tso $19/mo.

tsyɔ esia dzi ƒe nyawo