Стартирайте HN: RunAnywhere (YC W26) – По-бърз AI Inference на Apple Silicon

<статия>

Добре дошли в бъдещето на AI на устройството

Надпреварата за по-бързо и по-ефективно AI изводи се разгаря и се отдалечава от облака към нашите бюра – и в скута ни. За разработчиците и фирмите, които изграждат базирани на AI приложения, високата цена и латентността на базираните в облака GPU инстанции са значителни пречки. Влезте в RunAnywhere, новаторска стартираща компания от партидата Y Combinator W26, която турбокомпресира AI заключение върху част от хардуер, който милиони вече притежават: Apple Silicon. Тяхната мисия е проста, но мощна: да отключат пълния, неизползван потенциал на чиповете от M-серията в Macs, правейки локалното разработване и внедряване на AI драстично по-бързо и по-рентабилно.

Този пробив е перфектен пример за иновациите, които подкрепяме в екосистемата Mewayz. Ние вярваме, че бъдещето на бизнеса е в модулни, оперативно съвместими инструменти, които дават възможност на екипите да изграждат мощни работни потоци, без да са затворени в един доставчик. Технологията на RunAnywhere се съгласува перфектно с тази визия, предлагайки основополагащ слой, който може да захранва ново поколение AI приложения на устройството в рамките на модулна бизнес операционна система.

Защо AI Inference на устройството променя играта

Традиционно изпълнението на сложни AI модели изискваше изпращане на данни до мощни отдалечени сървъри в облака. Въпреки че е ефективен, този подход идва с присъщи недостатъци: забавяне при изчакване на отговор, текущи оперативни разходи, които се увеличават с употребата, и потенциални опасения за поверителността на данните. Apple Silicon Mac, с тяхната унифицирана архитектура на паметта и мощни Neural Engines, представляват завладяваща алтернатива. Разработчиците обаче се борят да използват напълно този хардуер, като често се задоволяват с неоптимална производителност. RunAnywhere решава това, като предоставя усъвършенстван софтуерен слой, който оптимизира моделите да работят изобствено на хардуера на Apple, увеличавайки максимално скоростта и ефективността.

За фирми, които използват платформа като Mewayz, за да интегрират своите инструменти за управление на проекти, CRM и комуникация, това означава, че обобщения, анализ на данни и информация за клиентите, задвижвани от AI, могат да се извършват незабавно и сигурно на локалната машина на служителя. Той намалява зависимостта от външни приложни програмни интерфейси (API) и запазва чувствителните данни под контрола на компанията.

Как RunAnywhere отключва върхова производителност

RunAnywhere не е просто обвивка за съществуващи рамки. Екипът се задълбочи в архитектурата на чиповете на Apple, за да създаде компилатор и среда за изпълнение, които елиминират тесните места в производителността. Техният таен сос включва многостранен подход:

• Advanced Kernel Fusion: Комбиниране на множество операции в едно, оптимизирано ядро за минимизиране на движението на паметта и увеличаване на изчислителната ефективност на GPU и Neural Engine.
• Интелигентно управление на паметта: Използване на обединената памет на Apple Silicon в най-голяма степен, драстично намаляване на режийните разходи, обикновено свързани с преместването на данни между CPU и GPU.
• Специфични за хардуера оптимизации: Приспособяване на изчисленията към конкретните ядра (CPU, GPU, NE) на всеки чип от M-серия, като се гарантира, че правилното работно натоварване отива към правилната част на чипа в точното време.

Резултатът е безпроблемно изживяване за разработчиците. Те могат да приемат стандартни модели и с минимални промени в кода да ги изпълняват 2-5 пъти по-бързо от предишните решения. Това повишаване на производителността прави възможно стартирането на по-големи, по-сложни модели локално, отваряйки нови възможности за обработка на аудио и видео в реално време, генериране на сложен код и много други.

Интегриране на RunAnywhere в модулна бизнес операционна система

Философията зад Mewayz е, че най-добрите инструменти трябва да работят заедно безпроблемно, за да създадат мощна и гъвкава операционна система за вашия бизнес. RunAnywhere е типичен „модул“ в тази визия. Представете си екип за маркетинг на съдържание, използващ Mewayz: писател може да използва AI асистент, захранван локално от RunAnywhere, за да генерира чернова на копие без забавяне. Едновременно с това екипът по продажбите би могъл да има CRM интеграция, която използва AI на устройството, за да анализира преписите на обажданията и да предлага следващи стъпки в реално време, и всичко това без изобщо да навлиза във външен сървър.

<блоков цитат> „Чрез преместването на AI изводите от облака към периферията, ние не само подобряваме скоростта; ние позволяваме нов клас частни, отзивчиви и рентабилни приложения. Това е фундаментална промяна както за разработчиците, така и за бизнеса.“

Този подход на местно ниво се съчетава идеално с ангажимента на Mewayz към суверенитета на данните и поверителността на потребителите. Бизнесите могат да създават интелигентни работни потоци, като знаят, че собствените им данни остават защитени на собствените им устройства, като същевременно се възползват от силата на усъвършенстваните AI модели.

Пътят напред за местно развитие на ИИ

Стартирането на RunAnywhere бележи важен крайъгълен камък в демократизацията на AI. Превръщайки Apple Silicon в първокласна платформа за AI изводи, те дават възможност на по-широк кръг от разработчици и компании да изграждат и внедряват интелигентни функции. Тъй като библиотеката от поддържани модели нараства и оптимизациите стават още по-напреднали, можем да очакваме да видим експлозия от иновативни приложения, които са по-бързи, по-частни и по-евтини за работа.

За общността на Mewayz това означава, че инструментите, които използвате, за да управлявате бизнеса си, са на път да станат много по-умни и по-отзивчиви. Интегрирането на технологии като RunAnywhere директно в нашата модулна операционна система ще позволи на екипите да създават наистина индивидуални и интелигентни работни процеси, проправяйки пътя за по-ефективно и интуитивно бъдеще на работата. Ерата на AI без триене на устройството е тук.

Често задавани въпроси

Добре дошли в бъдещето на AI на устройството

Надпреварата за по-бързо и по-ефективно AI изводи се разгаря и се отдалечава от облака към нашите бюра – и в скута ни. За разработчиците и фирмите, които изграждат базирани на AI приложения, високата цена и латентността на базираните в облака GPU инстанции са значителни пречки. Влезте в RunAnywhere, революционна стартираща компания от партидата Y Combinator W26, която турбокомпресира AI изводи върху хардуер, който милиони вече притежават: Apple Silicon. Тяхната мисия е проста, но мощна: да отключат пълния, неизползван потенциал на чиповете от M-серията в Macs, правейки локалното разработване и внедряване на AI драстично по-бързо и по-рентабилно.

Защо AI Inference на устройството променя играта

Традиционно изпълнението на сложни AI модели изискваше изпращане на данни до мощни отдалечени сървъри в облака. Въпреки че е ефективен, този подход идва с присъщи недостатъци: забавяне при изчакване на отговор, текущи оперативни разходи, които се увеличават с употребата, и потенциални опасения за поверителността на данните. Apple Silicon Mac, с тяхната унифицирана архитектура на паметта и мощни Neural Engines, представляват завладяваща алтернатива. Разработчиците обаче се борят да използват напълно този хардуер, като често се задоволяват с неоптимална производителност. RunAnywhere решава това, като предоставя усъвършенстван софтуерен слой, който оптимизира моделите да се изпълняват естествено на хардуера на Apple, увеличавайки максимално скоростта и ефективността.

Как RunAnywhere отключва върхова производителност

RunAnywhere не е просто обвивка за съществуващи рамки. Екипът се задълбочи в архитектурата на чиповете на Apple, за да създаде компилатор и среда за изпълнение, които елиминират тесните места в производителността. Техният таен сос включва многостранен подход:

Интегриране на RunAnywhere в модулна бизнес операционна система

Философията зад Mewayz е, че най-добрите инструменти трябва да работят заедно безпроблемно, за да създадат мощна и гъвкава операционна система за вашия бизнес. RunAnywhere е типичен „модул“ в тази визия. Представете си екип за маркетинг на съдържание, използващ Mewayz: писател може да използва AI асистент, захранван локално от RunAnywhere, за да генерира чернова на копие без забавяне. Едновременно с това екипът по продажбите би могъл да има CRM интеграция, която използва AI на устройството, за да анализира преписите на обажданията и да предлага следващи стъпки в реално време, и всичко това без изобщо да навлиза във външен сървър.

Пътят напред за местно развитие на ИИ

Стартирането на RunAnywhere бележи важен крайъгълен камък в демократизацията на AI. Превръщайки Apple Silicon в първокласна платформа за AI изводи, те дават възможност на по-широк кръг от разработчици и компании да изграждат и внедряват интелигентни функции. Тъй като библиотеката от поддържани модели нараства и оптимизациите стават още по-напреднали, можем да очакваме да видим експлозия от иновативни приложения, които са по-бързи, по-частни и по-евтини за работа.