Запуск HN: RunAnywhere (YC W26) – больш хуткі AI Inference на Apple Silicon

<артыкул>

Сардэчна запрашаем у будучыню AI на прыладзе

Гонка за больш хуткім і эфектыўным высновай штучнага інтэлекту разгараецца, і ён пераходзіць з воблака на нашы сталы і на калені. Для распрацоўшчыкаў і кампаній, якія ствараюць прыкладанні на базе штучнага інтэлекту, высокі кошт і затрымка воблачных экземпляраў GPU з'яўляюцца істотнымі вузкімі месцамі. Увайдзіце ў RunAnywhere, наватарскі стартап з серыі Y Combinator W26, які ўкараняе высновы штучнага інтэлекту на апаратным забеспячэнні, якое ўжо ёсць у мільёнаў: Apple Silicon. Іх місія простая, але магутная: раскрыць увесь нявыкарыстаны патэнцыял чыпаў серыі M у Mac, робячы лакальную распрацоўку і разгортванне штучнага інтэлекту значна хутчэйшай і эканамічна больш эфектыўнай.

Гэты прарыў з'яўляецца выдатным прыкладам інавацый, якія мы адстойваем у экасістэме Mewayz. Мы лічым, што будучыня бізнесу заключаецца ў модульных, сумяшчальных інструментах, якія дазваляюць камандам ствараць магутныя працоўныя працэсы, не замыкаючыся на адным пастаўшчыку. Тэхналогія RunAnywhere ідэальна адпавядае гэтаму бачанню, прапаноўваючы асноватворны ўзровень, які мог бы прывесці ў дзеянне новае пакаленне праграм штучнага інтэлекту на прыладзе ў рамках модульнай бізнес-АС.

Чаму высновы AI на прыладзе змяняюць гульню

Традыцыйна для запуску складаных мадэляў штучнага інтэлекту патрабавалася адпраўка даных на магутныя аддаленыя серверы ў воблаку. Гэты падыход, хоць і эфектыўны, мае ўласцівыя недахопы: затрымка падчас чакання адказу, бягучыя аперацыйныя выдаткі, якія павялічваюцца з выкарыстаннем, і магчымыя праблемы з канфідэнцыяльнасцю даных. Кампутары Apple Silicon Mac з уніфікаванай архітэктурай памяці і магутнымі нейронавымі механізмамі ўяўляюць сабой пераканаўчую альтэрнатыву. Тым не менш, распрацоўшчыкі з усіх сіл намагаліся цалкам выкарыстоўваць гэтае абсталяванне, часта пагаджаючыся на неаптымальную прадукцыйнасць. RunAnywhere вырашае гэтую праблему, падаючы складаны праграмны ўзровень, які аптымізуе мадэлі для ўласнай працы на абсталяванні Apple, павялічваючы хуткасць і эфектыўнасць.

Для прадпрыемстваў, якія выкарыстоўваюць платформу накшталт Mewayz для інтэграцыі сваіх інструментаў кіравання праектамі, CRM і камунікацыі, гэта азначае, што зводкі на базе AI, аналіз даных і разуменне кліентаў могуць адбывацца імгненна і бяспечна на лакальнай машыне супрацоўніка. Гэта зніжае залежнасць ад знешніх API і захоўвае канфідэнцыяльныя даныя пад кантролем кампаніі.

Як RunAnywhere разблакуе максімальную прадукцыйнасць

RunAnywhere - гэта не простая абалонка для існуючых фрэймворкаў. Каманда глыбока паглыбілася ў архітэктуру чыпаў Apple, каб стварыць кампілятар і асяроддзе выканання, якія ліквідуюць вузкія месцы ў прадукцыйнасці. Іх сакрэтны соус прадугледжвае шматбаковы падыход:

• Advanced Kernel Fusion: Аб'яднанне некалькіх аперацый у адно аптымізаванае ядро для мінімізацыі перамяшчэння памяці і максімальнай эфектыўнасці вылічэнняў на GPU і Neural Engine.
• Інтэлектуальнае кіраванне памяццю: поўнае выкарыстанне аб'яднанай памяці Apple Silicon, рэзкае зніжэнне накладных выдаткаў, звычайна звязаных з перамяшчэннем даных паміж працэсарам і графічным працэсарам.
• Аптымізацыя апаратнага забеспячэння: Адаптацыя вылічэнняў да канкрэтных ядраў (CPU, GPU, NE) кожнага чыпа серыі M, гарантуючы, што патрэбная рабочая нагрузка ідзе на патрэбную частку чыпа ў патрэбны час.

У выніку распрацоўшчыкі атрымліваюць бясшвоўны вопыт. Яны могуць браць стандартныя мадэлі і з мінімальнымі зменамі кода запускаць іх у 2-5 разоў хутчэй, чым з папярэднімі рашэннямі. Гэта павышэнне прадукцыйнасці робіць магчымым лакальна запускаць больш буйныя і складаныя мадэлі, адкрываючы новыя магчымасці для апрацоўкі аўдыя і відэа ў рэальным часе, генерацыі складанага кода і г.д.

Інтэграцыя RunAnywhere у модульную бізнес-АС

Філасофія Mewayz заключаецца ў тым, што лепшыя ў сваім родзе інструменты павінны бесперашкодна працаваць разам для стварэння магутнай і гнуткай аперацыйнай сістэмы для вашага бізнесу. RunAnywhere з'яўляецца квінтэсенцыяй "модуля" ў гэтым бачанні. Уявіце сабе каманду кантэнт-маркетынгу, якая выкарыстоўвае Mewayz: пісьменнік можа выкарыстоўваць памочніка штучнага інтэлекту, які працуе лакальна ад RunAnywhere, каб стварыць чарнавік без затрымак. Адначасова каманда продажаў магла б мець інтэграцыю CRM, якая выкарыстоўвае штучны інтэлект на прыладзе для аналізу расшыфровак выклікаў і прапаноўвання наступных крокаў у рэжыме рэальнага часу, і ўсё гэта без выкарыстання вонкавага сервера.

<цытата> «Пераносячы высновы AI з воблака на мяжу, мы не проста паляпшаем хуткасць; мы ствараем новы клас прыватных, спагадных і эканамічна эфектыўных прыкладанняў. Гэта фундаментальны зрух як для распрацоўшчыкаў, так і для прадпрыемстваў».

Гэты лакальны падыход ідэальна спалучаецца з прыхільнасцю Mewayz суверэнітэту даных і прыватнасці карыстальнікаў. Прадпрыемствы могуць будаваць інтэлектуальныя працоўныя працэсы, ведаючы, што іх уласныя даныя застаюцца ў бяспецы на іх уласных прыладах, пры гэтым карыстаючыся перавагамі перадавых мадэляў штучнага інтэлекту.

Шлях наперад для мясцовага развіцця штучнага інтэлекту

Запуск RunAnywhere азначае важную вяху ў дэмакратызацыі штучнага інтэлекту. Робячы Apple Silicon першакласнай платформай для высновы штучнага інтэлекту, яны даюць магчымасць больш шырокаму колу распрацоўшчыкаў і кампаній ствараць і разгортваць інтэлектуальныя функцыі. Калі бібліятэка падтрымоўваных мадэляў расце, а аптымізацыі становяцца яшчэ больш прасунутымі, мы можам чакаць выбуху інавацыйных прыкладанняў, якія больш хуткія, прыватныя і менш дарагія ў эксплуатацыі.

Для супольнасці Mewayz гэта азначае, што інструменты, якія вы выкарыстоўваеце для вядзення бізнесу, хутка стануць нашмат разумнейшымі і больш спагаднымі. Інтэграцыя такіх тэхналогій, як RunAnywhere, непасрэдна ў нашу модульную АС дазволіць камандам ствараць сапраўды індывідуальныя і інтэлектуальныя працоўныя працэсы, адкрываючы шлях для больш эфектыўнай і інтуітыўна зразумелай працы ў будучыні. Надыходзіць эра штучнага інтэлекту без трэння на прыладзе.

Часта задаюць пытанні

Сардэчна запрашаем у будучыню AI на прыладзе

Гонка за больш хуткім і эфектыўным высновай штучнага інтэлекту разгараецца, і ён пераходзіць з воблака на нашы сталы і на калені. Для распрацоўшчыкаў і кампаній, якія ствараюць прыкладанні на базе штучнага інтэлекту, высокі кошт і затрымка воблачных экземпляраў GPU з'яўляюцца істотнымі вузкімі месцамі. Увайдзіце ў RunAnywhere, наватарскі стартап з серыі Y Combinator W26, які ўзмацняе вывад штучнага інтэлекту на апаратным забеспячэнні, якое ўжо ёсць у мільёнаў: Apple Silicon. Іх місія простая, але магутная: раскрыць увесь нявыкарыстаны патэнцыял чыпаў серыі M у Mac, робячы лакальную распрацоўку і разгортванне штучнага інтэлекту значна хутчэйшай і эканамічна больш эфектыўнай.

Чаму вывад AI на прыладзе змяняе гульню

Традыцыйна для запуску складаных мадэляў штучнага інтэлекту патрабавалася адпраўка даных на магутныя аддаленыя серверы ў воблаку. Гэты падыход, хоць і эфектыўны, мае ўласцівыя недахопы: затрымка падчас чакання адказу, бягучыя аперацыйныя выдаткі, якія павялічваюцца з выкарыстаннем, і магчымыя праблемы з канфідэнцыяльнасцю даных. Кампутары Apple Silicon Mac з уніфікаванай архітэктурай памяці і магутнымі нейронавымі механізмамі ўяўляюць сабой пераканаўчую альтэрнатыву. Тым не менш, распрацоўшчыкі з усіх сіл намагаліся цалкам выкарыстоўваць гэтае абсталяванне, часта пагаджаючыся на неаптымальную прадукцыйнасць. RunAnywhere вырашае гэтую праблему, забяспечваючы складаны праграмны ўзровень, які аптымізуе мадэлі для ўласнага запуску на абсталяванні Apple, павялічваючы хуткасць і эфектыўнасць.

Як RunAnywhere разблакуе максімальную прадукцыйнасць

RunAnywhere - гэта не простая абалонка для існуючых фрэймворкаў. Каманда глыбока паглыбілася ў архітэктуру чыпаў Apple, каб стварыць кампілятар і асяроддзе выканання, якія ліквідуюць вузкія месцы ў прадукцыйнасці. Іх сакрэтны соус прадугледжвае шматбаковы падыход:

Інтэграцыя RunAnywhere у модульную бізнес-АС

Філасофія Mewayz заключаецца ў тым, што лепшыя ў сваім родзе інструменты павінны бесперашкодна працаваць разам для стварэння магутнай і гнуткай аперацыйнай сістэмы для вашага бізнесу. RunAnywhere з'яўляецца квінтэсенцыяй "модуля" ў гэтым бачанні. Уявіце сабе каманду кантэнт-маркетынгу, якая выкарыстоўвае Mewayz: пісьменнік можа выкарыстоўваць памочніка штучнага інтэлекту, які працуе лакальна ад RunAnywhere, каб стварыць чарнавік без затрымак. Адначасова каманда продажаў магла б мець інтэграцыю CRM, якая выкарыстоўвае штучны інтэлект на прыладзе для аналізу расшыфровак выклікаў і прапаноўвання наступных крокаў у рэжыме рэальнага часу, і ўсё гэта без выкарыстання вонкавага сервера.

Шлях наперад для мясцовага развіцця штучнага інтэлекту

Запуск RunAnywhere азначае важную вяху ў дэмакратызацыі штучнага інтэлекту. Робячы Apple Silicon першакласнай платформай для высновы штучнага інтэлекту, яны даюць магчымасць больш шырокаму колу распрацоўшчыкаў і кампаній ствараць і разгортваць інтэлектуальныя функцыі. Калі бібліятэка падтрымоўваных мадэляў расце, а аптымізацыі становяцца яшчэ больш прасунутымі, мы можам чакаць выбуху інавацыйных прыкладанняў, якія больш хуткія, прыватныя і менш дарагія ў эксплуатацыі.

.