Nvidia PersonaPlex 7B на Apple Silicon: поўнадуплекснае пераўтварэнне маўлення ў маўленне ў Swift

Прадстаўляем новую мяжу Voice AI

Ландшафт штучнага інтэлекту ссоўваецца ад воблака да краю, і Apple Silicon лідзіруе. Для распрацоўшчыкаў магчымасць запускаць магутныя мадэлі лакальна адкрывае новы свет магчымасцей для адаптыўных, прыватных і аўтаномных прыкладанняў. Увядзіце PersonaPlex 7B ад Nvidia, самую сучасную мадэль, распрацаваную для натуральнага, выразнага гутарковага штучнага інтэлекту. Калі гэтая магутная мадэль спалучаецца з нейронавым механізмам Mac серыі M і аптымізаванай рэалізацыяй Swift, вынікам з'яўляецца прарыў у поўнадуплексным маўленчым узаемадзеянні ў рэжыме рэальнага часу.

Што такое поўнадуплекснае сінтэз маўлення?

Перш чым пагрузіцца ў тэхнічную магію, вельмі важна зразумець кампанент "поўнадуплекснага рэжыму". У адрозненне ад простых галасавых памочнікаў, якія патрабуюць ад вас націснуць кнопку і чакаць адказу, поўнадуплекснае ўзаемадзеянне імітуе натуральную чалавечую размову. Гэта дазваляе адначасова гаварыць і слухаць, дазваляючы перапынкі, паўзы і сапраўдны дыялог наперад і назад. Гэта азначае, што штучны інтэлект можа апрацаваць тое, што вы кажаце, пакуль вы яшчэ гаворыце, і сфармуляваць адказ, які пачнецца ў момант, калі вы скончыце, або нават мякка ўставіць, калі вы робіце паўзу. Дасягненне гэтага на лакальнай прыладзе, без адпраўкі аўдыя на аддалены сервер, з'яўляецца святым Граалем для стварэння бясшвоўнага і інтуітыўна зразумелага карыстальніцкага досведу.

Выкарыстанне ўніфікаванай архітэктуры Apple Silicon

Ключ да таго, каб зрабіць гэта магчымым на ноўтбуку або настольным кампутары, - унікальная архітэктура Apple Silicon. Чыпы серыі M аб'ядноўваюць цэнтральны працэсар, графічны працэсар і магутны нейронавы рухавік (NE) на адным кавалку крэмнія. Гэтая ўніфікаваная архітэктура памяці ідэальна падыходзіць для працоўных нагрузак машыннага навучання. Вялікія мадэлі, такія як PersonaPlex 7B, можна загружаць непасрэдна ў агульную памяць, дазваляючы працэсару апрацоўваць логіку прыкладанняў у Swift, графічнаму працэсару паскараць пэўныя вылічэнні, а нейроннаму механізму прарываць асноўныя тэнзарныя аперацыі мадэлі з надзвычайнай эфектыўнасцю. Гэтая сінэргія ліквідуе вузкія месцы пры перамяшчэнні даных паміж асобнымі кампанентамі, робячы вывад у рэальным часе не проста магчымым, але плыўным і энергаэфектыўным.

• Канфідэнцыяльнасць і хуткасць: уся апрацоўка адбываецца лакальна на прыладзе. Вашы канфідэнцыяльныя размовы ніколі не адпраўляюцца ў воблака, што забяспечвае поўную канфідэнцыяльнасць даных і амаль нулявую затрымку.
• Функцыянальнасць у аўтаномным рэжыме: прыкладанні, створаныя з дапамогай гэтага стэка, працуюць дзе заўгодна, без падлучэння да Інтэрнэту, што робіць іх неверагодна надзейнымі.
• Уласная прадукцыйнасць: выкарыстанне Swift і ўласных фрэймворкаў, такіх як Core ML, забяспечвае глыбокую інтэграцыю з macOS, што прыводзіць да гладкай працы, якая здаецца часткай самой аперацыйнай сістэмы.

Стварэнне канвеера з Swift

Стварэнне гэтага поўнадуплекснага канвеера ў Swift прадугледжвае арганізацыю некалькіх кампанентаў. Па-першае, фреймворк AVFoundation захоплівае ўваходны гук з мікрафона. Затым гэты аўдыяпаток пераўтворыцца ў тэкст з выкарыстаннем лакальнай мадэлі распазнання гаворкі, напрыклад, убудаванай у прыладу структуры гаворкі Apple. Атрыманы тэкст падаецца ў мадэль Nvidia PersonaPlex 7B, якая была аптымізавана для працы праз Core ML або іншы механізм вываду, сумяшчальны са Swift, напрыклад MLX. Мадэль стварае прадуманы тэкставы адказ з улікам кантэксту. Нарэшце, гэты тэкст пераўтворыцца назад у натуральную гаворку з дапамогай лакальнага механізму пераўтварэння тэксту ў маўленне (TTS). Сапраўдная задача заключаецца ў кіраванні гэтымі кампанентамі адначасова для дасягнення поўнадуплекснага эфекту — задача, у якой сучасная мадэль паралелізму Swift з async/await выдатна спраўляецца.

"Магчымасць запускаць мадэль такога калібру лакальна на Apple Silicon прынцыпова мяняе наша стаўленне да інтэграцыі штучнага інтэлекту ў нашы штодзённыя працоўныя працэсы. Гэта перамяшчае штучны інтэлект з падключанага сэрвісу на родны, заўсёды даступны інструмент." – Старэйшы распрацоўшчык у Mewayz

Наступствы для такіх платформаў, як Mewayz

Для такой модульнай бізнес-аперацыйнай сістэмы, як Mewayz, гэты тэхналагічны скачок з'яўляецца пераўтваральным. Уявіце сабе інтэлектуальных галасавых агентаў у вашым бізнес-праграмным забеспячэнні, якія могуць дапамагчы вам складаць электронныя лісты, кіраваць складанымі графікамі праектаў або аналізаваць даныя — і ўсё гэта праз натуральную размову, без шкоды для канфідэнцыяльных карпаратыўных даных. Модуль Mewayz на базе мясцовага PersonaPlex 7B можа прапанаваць:

Беспрэцэдэнтная канфідэнцыяльнасць для апрацоўкі канфідэнцыйнай бізнес-інфармацыі, дапамога ў супрацоўніцтве ў рэжыме рэальнага часу, якая стварае адчуванне, што ў пакоі ёсць калега-эксперт, і хутка рэагуючыя боты падтрымкі кліентаў, інтэграваныя непасрэдна ў працоўную прастору Mewayz кампаніі. Гэтая тэхналогія дазваляе Mewayz пашыраць межы таго, што можа рабіць бізнес-АС, пераходзячы ад простых камандных інтэрфейсаў да сапраўды размоўных і інтэлектуальных сістэм, якія бяспечна і эфектыўна павялічваюць магчымасці чалавека.

Спалучэнне PersonaPlex 7B ад Nvidia, магутнасці Apple Silicon і элегантнасці Swift - гэта больш, чым проста тэхнічная дэманстрацыя; гэта схема будучага ўзаемадзеяння чалавека і кампутара. Гэта абяцае свет, у якім нашы прылады ўспрымаюць нас не як камандзіраў, якія аддаюць загады, а як партнёраў у размове.

Часта задаюць пытанні

Прадстаўляем новую мяжу Voice AI

Ландшафт штучнага інтэлекту ссоўваецца ад воблака да краю, і Apple Silicon лідзіруе. Для распрацоўшчыкаў магчымасць запускаць магутныя мадэлі лакальна адкрывае новы свет магчымасцей для адаптыўных, прыватных і аўтаномных прыкладанняў. Увядзіце PersonaPlex 7B ад Nvidia, самую сучасную мадэль, распрацаваную для натуральнага, выразнага гутарковага штучнага інтэлекту. Калі гэтая магутная мадэль спалучаецца з нейронавым механізмам Mac серыі M і аптымізаванай рэалізацыяй Swift, вынікам з'яўляецца прарыў у поўнадуплексным маўленчым узаемадзеянні ў рэжыме рэальнага часу.

Што такое поўнадуплекснае сінтэз маўлення?

Перш чым пагрузіцца ў тэхнічную магію, вельмі важна зразумець кампанент "поўнадуплекснага рэжыму". У адрозненне ад простых галасавых памочнікаў, якія патрабуюць ад вас націснуць кнопку і чакаць адказу, поўнадуплекснае ўзаемадзеянне імітуе натуральную чалавечую размову. Гэта дазваляе адначасова гаварыць і слухаць, дазваляючы перапынкі, паўзы і сапраўдны дыялог наперад і назад. Гэта азначае, што штучны інтэлект можа апрацаваць тое, што вы кажаце, пакуль вы яшчэ гаворыце, і сфармуляваць адказ, які пачнецца ў момант, калі вы скончыце, або нават мякка ўставіць, калі вы робіце паўзу. Дасягненне гэтага на лакальнай прыладзе, без адпраўкі аўдыя на аддалены сервер, з'яўляецца святым Граалем для стварэння бясшвоўнага і інтуітыўна зразумелага карыстальніцкага досведу.

Выкарыстанне ўніфікаванай архітэктуры Apple Silicon

Ключ да таго, каб зрабіць гэта магчымым на ноўтбуку або настольным кампутары, - унікальная архітэктура Apple Silicon. Чыпы серыі M аб'ядноўваюць цэнтральны працэсар, графічны працэсар і магутны нейронавы рухавік (NE) на адным кавалку крэмнія. Гэтая ўніфікаваная архітэктура памяці ідэальна падыходзіць для працоўных нагрузак машыннага навучання. Вялікія мадэлі, такія як PersonaPlex 7B, можна загружаць непасрэдна ў агульную памяць, дазваляючы працэсару апрацоўваць логіку прыкладанняў у Swift, графічнаму працэсару паскараць пэўныя вылічэнні, а нейроннаму механізму прарываць асноўныя тэнзарныя аперацыі мадэлі з надзвычайнай эфектыўнасцю. Гэтая сінэргія ліквідуе вузкія месцы пры перамяшчэнні даных паміж асобнымі кампанентамі, робячы вывад у рэальным часе не проста магчымым, але плыўным і энергаэфектыўным.

Стварэнне канвеера з Swift

Стварэнне гэтага поўнадуплекснага канвеера ў Swift прадугледжвае арганізацыю некалькіх кампанентаў. Па-першае, фреймворк AVFoundation захоплівае ўваходны гук з мікрафона. Затым гэты аўдыяпаток пераўтворыцца ў тэкст з выкарыстаннем лакальнай мадэлі распазнання гаворкі, напрыклад, убудаванай у прыладу структуры гаворкі Apple. Атрыманы тэкст падаецца ў мадэль Nvidia PersonaPlex 7B, якая была аптымізавана для працы праз Core ML або іншы механізм вываду, сумяшчальны са Swift, напрыклад MLX. Мадэль стварае прадуманы тэкставы адказ з улікам кантэксту. Нарэшце, гэты тэкст пераўтворыцца назад у натуральную гаворку з дапамогай лакальнага механізму пераўтварэння тэксту ў маўленне (TTS). Сапраўдная праблема заключаецца ў кіраванні гэтымі кампанентамі адначасова для дасягнення эфекту поўнага дуплекса — задача, у якой сучасная мадэль паралелізму Swift з async/await выдатна спраўляецца.

Наступствы для такіх платформаў, як Mewayz

Для такой модульнай бізнес-аперацыйнай сістэмы, як Mewayz, гэты тэхналагічны скачок з'яўляецца пераўтваральным. Уявіце сабе інтэлектуальных галасавых агентаў у вашым бізнес-праграмным забеспячэнні, якія могуць дапамагчы вам складаць электронныя лісты, кіраваць складанымі графікамі праектаў або аналізаваць даныя — і ўсё гэта праз натуральную размову, без шкоды для канфідэнцыяльных карпаратыўных даных. Модуль Mewayz на базе мясцовага PersonaPlex 7B можа прапанаваць: