Irugi ti HN: RunAnywhere (YC W26) – Naparpartak nga AI Inference iti Apple Silicon

Maabrasakayo iti Masakbayan ti On-Device AI

Ti lumba para iti naparpartak, ad-adda nga episiente nga AI inference ket pumudot, ken umad-adayo daytoy manipud iti ulep ken kadagiti lamisaantayo—ken iti luppotayo. Para kadagiti agparparang-ay ken dagiti negosio a mangbangbangon kadagiti aplikasion a paandaren ti AI, ti nangato a gastos ken latensia dagiti instansia ti GPU a naibatay iti ulep ket dagiti naipangpangruna a tengnged ti botelia. Iserrek ti RunAnywhere, ti maysa a groundbreaking startup manipud iti Y Combinator W26 batch a mangturbocharging iti AI inference iti maysa a pedaso ti hardware a minilion a dati a kukua: Apple Silicon. Simple ngem nabileg ti misionda: tapno mailukat ti naan-anay, di pay naaramat a potensial dagiti M-series chips kadagiti Mac, a mangaramid iti lokal nga AI development ken deployment a dramatiko a naparpartak ken ad-adda nga epektibo ti gastos.

Daytoy a panagballigi ket perpekto a pagarigan ti kita ti panagbalbaliw a kampeontayo iti uneg ti ekosistema ti Mewayz. Patienmi a ti masakbayan ti negosio ket adda kadagiti modular, agtitinnulong nga alikamen a mangpabileg kadagiti grupo a mangbangon kadagiti nabileg nga ayus ti trabaho a saan a maikandado iti maymaysa a managlako. Ti teknolohia ti RunAnywhere ket naan-anay a maitunos iti daytoy a sirmata, a mangitukon iti pundasional a suson a mabalin a mangpabileg iti baro a henerasion dagiti on-device nga aplikasion ti AI iti uneg ti modular a negosio nga OS.

Apay a ti On-Device AI Inference ket maysa nga Game-Changer

Iti tradisional, ti panagtaray kadagiti komplikado a modelo ti AI ket kasapulan ti panangipatulod ti datos kadagiti nabileg nga adayo a serbidor iti ulep. Bayat nga epektibo, daytoy a wagas ket umay nga addaan kadagiti nainkasigudan a pagdaksan: ti panagbayag bayat ti panagur-uray ti sungbat, dagiti agtultuloy a gastos ti panagpataray a mangsukog iti panagusar, ken dagiti mabalin a pakaseknan ti kinapribado ti datos. Dagiti Apple Silicon Mac, nga addaan iti nagkaykaysa nga arkitektura ti memoria ken nabileg a Neural Engine, ket mangiparang iti makapilit nga alternatibo. Nupay kasta, dagiti agparparang-ay ket nakirangetda a naan-anay a mang-aprobetsar iti daytoy a hardware, a masansan a nagnaed para iti suboptimal a panagaramid. Risuten daytoy ti RunAnywhere babaen ti panangipaay iti sopistikado a software layer a mangpasayaat kadagiti modelo tapno agtaray a natively iti hardware ti Apple, a mangpaadu iti kapartak ken kinaepisiente.

Para kadagiti negosio nga agus-usar iti plataporma a kas iti Mewayz tapno maitipon ti panagmanehar ti proyektoda, CRM, ken dagiti ramit ti komunikasion, kayatna a sawen a dagiti pakagupgopan a pinatibker ti AI, panaganalisar ti datos, ken pannakaawat ti kostumer ket mabalin a mapasamak a dagus ken natalged iti lokal a makina ti maysa nga empleado. Daytoy ket mangkissay ti panagpannuray kadagiti akinruar nga API ken pagtalinaedenna dagiti sensitibo a datos iti uneg ti kontrol ti kompania.

Kasano a ti RunAnywhere ket manglukat ti Pantok a Panagaramid

Ti RunAnywhere ket saan laeng a simple a wrapper para kadagiti addan a framework. Nauneg ti panagsukimat ti team iti arkitektura dagiti chips ti Apple tapno makaaramid iti compiler ken runtime a mangikkat kadagiti performance bottlenecks. Ti nalimed a sarsada ket ramanenna ti multi-pronged approach:

• Narang-ay a Panagtipon ti Kernel: Panagtipon ti adu nga operasion iti maymaysa, nasayaat a kernel tapno mapabassit ti panaggaraw ti memoria ken mapaadu ti episiensi ti panagkuenta iti GPU ken Neural Engine.
• Nasaririt a Panagmanehar ti Memoria: Panag-aprobetsar ti nagkaykaysa a memoria ti Apple Silicon iti naan-anay, a dakkel a mangkissay ti overhead a kadawyan a nainaig iti panagiyakar ti datos iti nagbaetan ti CPU ken GPU.
• Dagiti Naisangsangayan a Panag-optimisar ti Hardware: Panag-ibagay kadagiti panagkuenta kadagiti espesipiko a puso (CPU, GPU, NE) ti tunggal maysa nga M-serye a chip, a mangsigurado ti umno a karga ti trabaho a mapan iti umno a paset ti chip iti umno nga oras.

Ti resulta ket awan ti panagdadait a padas para kadagiti developer. Mabalinda nga alaen dagiti gagangay a modelo ken, babaen ti bassit a panagbalbaliw ti kodigo, patarayenda dagitoy iti 2-5x a naparpartak ngem kadagiti napalabas a solusion. Daytoy a panagparang-ay ti panagaramid ket mangaramid daytoy a maaramid a mangpataray kadagiti dakdakkel, ad-adu a sopistikado a modelo iti lokal, a manglukat kadagiti baro a posibilidad para iti aktual nga oras nga audio ken video a panagproseso, komplikado a panagpataud ti kodigo, ken dadduma pay.

Panangikapet ti RunAnywhere iti Modular a Negosio nga OS

Ti pilosopia iti likudan ti Mewayz ket dagiti best-of-breed tools ket rumbeng nga agtitinnulong a nasayaat tapno makaaramid iti nabileg ken nalaka a maibagay nga operating system para iti negosiom. Ti RunAnywhere ket maysa a quintessential a "module" iti daytoy a sirmata. Panunotem ti maysa a grupo ti panaglako ti linaon nga agus-usar ti Mewayz: ti maysa a mannurat ket mabalin nga agusar ti katulongan ti AI, a napaandar iti lokal babaen ti RunAnywhere, tapno mangpataud ti kopia ti draft nga awan ti ania man a lag. Maigiddato, ti grupo ti panaglako ket mabalin nga addaan iti panagtipon ti CRM nga agus-usar ti on-device AI tapno analisaen dagiti transkripsion ti panagayab ken mangisingasing kadagiti sumaganad nga addang iti aktual nga oras, amin a saan a pulos a mangdungpar iti akinruar a serbidor.

"Babaen ti panangiyakar ti AI inference manipud iti ulep aginggana iti igid, saanmi laeng a pasayaaten ti kapartak; pagbalinenmi ti baro a klase dagiti pribado, makasungbat, ken epektibo ti gastos nga aplikasion. Daytoy ket maysa a batayan a panagbalbaliw para kadagiti agparparang-ay ken dagiti negosio nga agpada."

Daytoy a lokal-umuna a wagas ket naan-anay a maitunos iti panagkumit ti Mewayz iti kinasoberano ti datos ken kinapribado ti agar-aramat. Dagiti negosio ket mabalinda ti mangbangon kadagiti nasaririt nga ayus ti trabaho nga ammoda a ti tagikua a datosda ket agtalinaed a natalged kadagiti bukodda nga alikamen, bayat a magunggonaan pay laeng manipud iti bileg dagiti narang-ay a modelo ti AI.

Ti Dalan iti Masanguanan para iti Lokal nga AI Development

Ti pannakairuar ti RunAnywhere ket mangmarka ti maysa a napateg a milestone iti demokratisasion ti AI. Babaen ti panangaramidda iti Apple Silicon a maysa nga umuna a klase a plataporma para iti AI inference, mangpabilegda iti nalawlawa a sakop dagiti developer ken kompania a mangbangon ken mangikabil kadagiti nasaririt a tampok. Bayat a dumakdakkel ti biblioteka dagiti nasuportaran a modelo ken dagiti panagoptimisar ket agbalin nga ad-adda pay nga adelantado, manamnamatayo a makakita ti panagbettak dagiti makabaro nga aplikasion a naparpartak, ad-adu a pribado, ken saan unay a nangina nga agpataray.

Para iti komunidad ti Mewayz, kayatna a sawen a dagiti ramit nga usarem a mangtarawidwid iti negosiom ket dandanin agbalin nga adu a nasirsirib ken ad-adda a makasungbat. Ti pannakaikapet dagiti teknolohia a kas iti RunAnywhere a direkta iti modular OS-tayo ket mangipalubos kadagiti grupo a mangaramid kadagiti pudno a bespoke ken nasaririt nga ayus ti trabaho, a manglukat iti dalan para iti ad-adda nga episiente ken intuitibo a masakbayan ti trabaho. Adda ditoy ti panawen ti frictionless, on-device AI.

Dagiti Masansan a Saludsod

Maabrasakayo iti Masakbayan ti On-Device AI

Ti lumba para iti naparpartak, ad-adda nga episiente nga AI inference ket pumudot, ken umad-adayo daytoy manipud iti ulep ken kadagiti lamisaantayo—ken iti luppotayo. Para kadagiti agparparang-ay ken dagiti negosio a mangbangbangon kadagiti aplikasion a paandaren ti AI, ti nangato a gastos ken latensia dagiti instansia ti GPU a naibatay iti ulep ket dagiti naipangpangruna a tengnged ti botelia. Sumalog ti RunAnywhere, maysa a groundbreaking startup manipud iti Y Combinator W26 batch a mangturbocharging iti AI inference iti maysa a pedaso ti hardware a minilion a dati a kukua: Apple Silicon. Simple ngem nabileg ti misionda: tapno mailukat ti naan-anay, di pay naaramat a potensial dagiti M-series chips kadagiti Mac, a mangaramid iti lokal nga AI development ken deployment a dramatiko a naparpartak ken ad-adda nga epektibo ti gastos.

Apay a ti On-Device AI Inference ket maysa nga Game-Changer

Iti tradisional, ti panagtaray kadagiti komplikado a modelo ti AI ket kasapulan ti panangipatulod ti datos kadagiti nabileg nga adayo a serbidor iti ulep. Bayat nga epektibo, daytoy a wagas ket umay nga addaan kadagiti nainkasigudan a pagdaksan: ti panagbayag bayat ti panagur-uray ti sungbat, dagiti agtultuloy a gastos ti panagpataray a mangsukog iti panagusar, ken dagiti mabalin a pakaseknan ti kinapribado ti datos. Dagiti Apple Silicon Mac, nga addaan iti nagkaykaysa nga arkitektura ti memoria ken nabileg a Neural Engine, ket mangiparang iti makapilit nga alternatibo. Nupay kasta, dagiti agparparang-ay ket nakirangetda a naan-anay a mang-aprobetsar iti daytoy a hardware, a masansan a nagnaed para iti suboptimal a panagaramid. Risuten daytoy ti RunAnywhere babaen ti panangipaay iti sopistikado a software layer a mangpasayaat kadagiti modelo tapno agtaray a native iti hardware ti Apple, a mangpaadu iti kapartak ken kinaepisiente.

Kasano a ti RunAnywhere ket manglukat ti Pantok a Panagaramid

Ti RunAnywhere ket saan laeng a simple a wrapper para kadagiti addan a framework. Nauneg ti panagsukimat ti team iti arkitektura dagiti chips ti Apple tapno makaaramid iti compiler ken runtime a mangikkat kadagiti performance bottlenecks. Ti nalimed a sarsada ket ramanenna ti multi-pronged approach:

Panangikapet ti RunAnywhere iti Modular a Negosio nga OS

Ti pilosopia iti likudan ti Mewayz ket dagiti best-of-breed tools ket rumbeng nga agtitinnulong a nasayaat tapno makaaramid iti nabileg ken nalaka a maibagay nga operating system para iti negosiom. Ti RunAnywhere ket maysa a quintessential a "module" iti daytoy a sirmata. Panunotem ti maysa a grupo ti panaglako ti linaon nga agus-usar ti Mewayz: ti maysa a mannurat ket mabalin nga agusar ti katulongan ti AI, a napaandar iti lokal babaen ti RunAnywhere, tapno mangpataud ti kopia ti draft nga awan ti ania man a lag. Maigiddato, ti grupo ti panaglako ket mabalin nga addaan iti panagtipon ti CRM nga agus-usar ti on-device AI tapno analisaen dagiti transkripsion ti panagayab ken mangisingasing kadagiti sumaganad nga addang iti aktual nga oras, amin a saan a pulos a mangdungpar iti akinruar a serbidor.

Ti Dalan iti Masanguanan para iti Lokal nga AI Development

Ti pannakairuar ti RunAnywhere ket mangmarka ti maysa a napateg a milestone iti demokratisasion ti AI. Babaen ti panangaramidda iti Apple Silicon a maysa nga umuna a klase a plataporma para iti AI inference, mangpabilegda iti nalawlawa a sakop dagiti developer ken kompania a mangbangon ken mangikabil kadagiti nasaririt a tampok. Bayat a dumakdakkel ti biblioteka dagiti nasuportaran a modelo ken dagiti panagoptimisar ket agbalin nga ad-adda pay nga adelantado, manamnamatayo a makakita ti panagbettak dagiti makabaro nga aplikasion a naparpartak, ad-adu a pribado, ken saan unay a nangina nga agpataray.