Ku sungula HN: RunAnywhere (YC W26) – Ku hatlisa ka AI Inference eka Apple Silicon

Mi amukeriwile eka Vumundzuku bya On-Device AI

Mphikizano wa ku hatlisa, ku tirha kahle ka AI inference wu hisa, naswona wu suka eka papa wu ya ehenhla ka tidesika ta hina—naswona wu nghena emakatleni ya hina. Eka vatumbuluxi na mabindzu lama akaka switirhisiwa leswi fambiwaka hi AI, ntsengo wa le henhla na ku hlwela ka swikombiso swa GPU leswi simekiweke eka papa i swihinga leswikulu. Nghena eka RunAnywhere, ku sungula loku pfulekeke ku suka eka ntlawa wa Y Combinator W26 lowu nga ku turbocharging AI inference eka xiphemu xa hardware leyi timiliyoni leti se ti nga na yona: Apple Silicon. Xikongomelo xa vona xa olova kambe xi na matimba: ku pfula vuswikoti lebyi heleleke, lebyi nga tirhisiwangiki bya tichipi ta M-series eka ti-Mac, ku endla leswaku nhluvukiso wa AI ya laha kaya na ku tirhisiwa swi hatlisa swinene naswona swi nga durhi ngopfu.

Ku humelela loku i xikombiso lexi hetisekeke xa muxaka wa vutumbuluxi lebyi hi byi lwelaka endzeni ka ikhosisteme ya Mewayz. Hi tshemba leswaku vumundzuku bya bindzu byi le ka switirhisiwa swa modula, leswi tirhisanaka leswi nyikaka swipano matimba ku aka maendlelo ya ntirho ya matimba handle ko pfaleriwa eka muxavisi un’we. Thekinoloji ya RunAnywhere yi fambisana kahle na xivono lexi, yi nyika leyara ya masungulo leyi nga nyikaka matimba eka xitukulwana lexintshwa xa switirhisiwa swa AI leswi nga eka xitirhisiwa endzeni ka OS ya bindzu ra modula.

Ha yini On-Device AI Inference yi ri Game-Changer

Hi ndhavuko, ku fambisa timodeli ta AI leti rharhanganeke a swi lava ku rhumela datha eka tisevha ta le kule ta matimba eka xigwitsirisi. Hambi leswi yi tirhaka, endlelo leri ri ta na swiphiqo swa ntumbuluko: ku hlwela loko u rindzele nhlamulo, ku durha ka ntirho loku yaka emahlweni loku ringanaka na matirhiselo, na ku vilela loku nga vaka kona ka vuhlayiseki bya datha. Apple Silicon Macs, na architecture ya yona ya memori leyi hlanganeke na Neural Engines ya matimba, yi humesa ndlela yin’wana leyi khongotelaka. Hambiswiritano, vaendli va yona va lwile hi matimba ku tirhisa hardware leyi hi ku helela, hakanyingi va titshamela eka matirhelo lama nga riki ya kahle. RunAnywhere yi tlhantlha leswi hi ku nyika leyara ya software leyi rharhanganeke leyi antswisaka timodeli ku tirha hi ndlela ya ntumbuluko eka hardware ya Apple, ku kurisa rivilo na vukorhokeri.

Eka mabindzu lama tirhisaka pulatifomo yo fana na Mewayz ku hlanganisa vufambisi bya vona bya phurojeke, CRM, na switirhisiwa swa vuhlanganisi, leswi swi vula leswaku switlhokovetselo leswi fambiwaka hi AI, nxopaxopo wa datha, na vutivi bya vaxavi swi nga humelela hi xihatla na hi ku hlayiseka eka muchini wa laha kaya wa mutirhi. Yi hunguta ku titshega hi ti-API ta le handle naswona yi hlayisa datha ya nkoka endzeni ka vulawuri bya khamphani.

Ndlela leyi RunAnywhere Yi Pfulaka Matirhelo ya Nhlohlorhi

RunAnywhere a hi xifunengeto xo olova ntsena xa swivumbeko leswi nga kona. Xipano xi nghenelerile swinene eka architecture ya Apple’s chips ku tumbuluxa compiler na runtime leyi herisaka swiphiqo swa matirhelo. Sauce ya vona ya xihundla yi katsa maendlelo ya swiyenge swo tala:

• Ku Hlanganisiwa ka Kernel ya le Henhla: Ku hlanganisa matirhelo yo tala eka kernel yin’we, leyi antswisiweke ku hunguta ku famba ka memori na ku kurisa vukorhokeri bya xibalo eka GPU na Neural Engine.
• Vulawuri bya Memorandamu bya Vutlhari: Ku tirhisa memori leyi hlanganeke ya Apple Silicon hi ku hetiseka, ku hunguta swinene ntirho wa le henhla lowu hi ntolovelo wu fambelanaka na ku fambisa datha exikarhi ka CPU na GPU.
• Ku antswisiwa ka Hardware-Specific: Ku lulamisa swibalo eka tikhori to karhi (CPU, GPU, NE) ta xichipi xin’wana na xin’wana xa M-series, ku tiyisisa leswaku ntirho lowu faneleke wu ya eka xiphemu lexi faneleke xa xichipi hi nkarhi lowu faneleke.

Mbuyelo wa kona i ntokoto lowu nga na swiphiqo eka vatumbuluxi. Va nga teka timodeli ta ntolovelo naswona, hi ku cinca kutsongo ka khodi, va ti fambisa hi ku hatlisa hi 2-5x ku tlula swintshuxo swa khale. Ku tlakuka loku ka matirhelo ku endla leswaku swi koteka ku fambisa timodeli letikulu, leti rharhanganeke swinene laha tikweni, ku pfula swivandlanene leswintshwa swa ku lulamisiwa ka mpfumawulo na vhidiyo hi nkarhi wa xiviri, ku tumbuluxiwa ka khodi leyi rharhanganeke, na swin’wana.

Ku hlanganisa RunAnywhere eka OS ya Bindzu ra Modular

Filosofi ya Mewayz hileswaku switirhisiwa swa kahle swinene swi fanele ku tirhisana hi ndlela yo pfumala swiphiqo ku tumbuluxa sisiteme yo tirha ya matimba na ku cinca-cinca eka bindzu ra wena. RunAnywhere i "module" ya quintessential eka xivono lexi. Anakanya hi ntlawa wa vuxavisi bya swilo leswi nga endzeni hi ku tirhisa Mewayz: mutsari a nga tirhisa mupfuni wa AI, loyi a fambiwaka laha tikweni hi RunAnywhere, ku tumbuluxa khopi ya tsalwa handle ko hlwela. Hi nkarhi wun’we, ntlawa wa vaxavisi wu nga va na ku hlanganisiwa ka CRM loku tirhisaka AI ya le ka xitirhisiwa ku xopaxopa matsalwa ya riqingho na ku ringanyeta magoza lama landzelaka hi nkarhi wa xiviri, hinkwaswo handle ko tshama ku ba sevha ya le handle.