С повече от 20 години опит ние променяме вашето цифрово присъствие. Специализирани сме в разработването на уебсайтове и електронни магазини, SEO и цифров маркетинг, ERP софтуер и интелигентна автоматизация, които извеждат бизнеса ви на следващото ниво.
Адрес:
Егнатия 154, Солун 546 36
Телефон:
+30 231 231 4095
Електронна поща:
[email protected]
Готови ли сте за следващата стъпка?;
Как contextual bandit, PID-регулаторът и проследяването на вероятностите координират агенти с много езикови модели (multi-LLM) — и защо резултатите от симулациите се нуждаят от валидиране в реално време.
Управлението на агенти с множество големи езикови модели (multi-LLM) е по-важно от един силен промпт, когато независимите агенти служат на различни цели. В конкретната симулация един външен оркестратор, който комбинира контекстуален бандит, PID контролер и проследяване на убежденията в POMDP, повиши честотата на контактите с high-intent advisor от 46,1% на 78,1% — разлика от 32 процентни пункта.
Резултатът е получен от 60 425 сесии „LLM-to-LLM“ в среда на финансови услуги, а не от реални клиенти. Практическата стойност на статията е архитектурна: показва как политиката, наблюдаемостта на траекторията, контролираните промени в стратегията и прехвърлянето на човешкия фактор могат да направят една агентна система по-измерима, без да обещава същото преобразуване в производствена среда.
При класическото обучение чрез подсилване целта е математически интегрирана в процеса на обучение. Действията се оценяват въз основа на явна функция на възнаграждение, а актуализациите на модела са насочени към нейното максимизиране. При LLM агентите, напротив, желаното поведение често се описва на естествен език в рамките на системна подсказка. Подсказката изразява намерение, но сама по себе си не създава общ механизъм за оптимизация за два независими агента.
Когато целите им са фундаментално противоположни, тази липса на общ сигнал може да доведе до «притегателни точки»: стабилни състояния, към които се отклонява разговорът. Такова състояние може да бъде учтивото, но празно «да», повтарящото се излагане на един и същ аргумент или цикъл, в който съпротивата нито се повишава, нито спада. Транскриптът може да изглежда естествен при бърза проверка за качество, докато реалният резултат е лош.
Авторите считат, че става въпрос за архитектурен проблем, а не непременно за провал на основния LLM. Ако няма коригираща сила, която да наблюдава общата траектория и да се намесва, нито един от двата агента не разполага с достатъчно информация, за да разпознае, че общата ситуация е неблагоприятна. За едно предприятие това пренасочва интереса от избора на ’по-умния« модел към проектирането на механизма, който координира решенията, ограниченията и оценката. Това е същата логика, която е необходима за откриването на къде се проваля един AI агент в рамките на един автоматизиран процес, вместо всеки проблем да се приписва неопределено на модела.
EO не преобучава моделите и не изисква споделени тегла или пряк обмен на частни цели. То наблюдава цялостната ситуация и се намесва в потока. Авторите наричат средата «adversarial-adjacent»: тя не е нито напълно сътрудническа, нито игра с нулева сума. Агентът на сайта се стреми към конверсия, агентът на посетителя трябва да поддържа убедителна съпротива, а сътрудничеството не се приема за даденост; именно това трябва да бъде разгледано.
Механизмът работи в един цикъл на всеки завой. Първо, „contextual bandit“ избира една от четирите стратегии за съдържание въз основа на маршрута и контекста на посетителя. След това PID-регулаторът изчислява дали съпротивлението намалява, нараства или остава непроменено. Резултатът се превръща в динамични схематични ограничения за структурирания изход на посетителския агент. След това се актуализира вероятностна оценка на намерението и се проверява дали разговорът е затънал в задънена улица.
Основната концепция при проектирането е разграничаването на «това, което е стратегически целесъобразно да се направи» от «начина, по който LLM ще го изрази». Contextual bandit избира посоката, докато езиковият модел поема задачата за формулирането на естествен текст. Това намалява необходимостта да възлагаме на един и същ промпт както стратегическото решение, така и създаването на убедителен текст.
Четири различни функции на Experience Orchestrator
Избира „Contact“, „Guidance“, „Math“ или „Questions“ от контекста на сесията и получава награда от терминала.
Измерва хода на съпротивата, установява застой и задейства промяна на стратегията или контролирано прекратяване.
Оставя възможности за разглеждане, сравняване, покупка и поддръжка, за да не се разглежда намерението като категоричен етикет.
Ограничава структурирания изход на симулирания посетител и прилага правила за „затъване“; в производствена среда ограниченията трябва да контролират агента, а не човека.
Симулацията не започва разговора от нулата. Посетителят първо преминава през структура от десет страници, свързани с финансово планиране, като продукти, застраховки, инструменти за изчисления, планиране на наследството и намиране на консултант. Първите девет страници служат като сигнали за намерение, докато десетата е границата на вземане на решение, където се появява разговорният агент.
Освен маршрута, системата използва данни за сесията, като канал на привличане, тип устройство, актуалност, честота на посещенията и брой импресии. Проучването посочва, че първоначалните разпределения и вероятностите за пътеки са били калибрирани с агрегирани данни от SEMrush, събрани от набор от уебсайтове за финансови услуги. Това не означава, че данните описват всяка отделна марка; те просто предлагат по-реалистични начални условия за конкретната симулация.
За маркетолозите и екипите за електронна търговия основният урок е, че последното действие на потребителя не представлява целия контекст. Предишната навигация може да подскаже дали посетителят търси сравнение, статистически данни, доверие или просто начин да продължи, без да се ангажира прекалено. Използването на тези сигнали, разбира се, трябва да се извършва на законна основа, при прозрачност и съобразно подходящи правила за защита на данните; изследването разглежда техническото управление на симулацията, а не цялостна рамка за съответствие при реална инсталация. За използване в реално време е необходим отделен контрол съответствие, цел на обработката и достъп до данните на клиентите.
На границата на вземане на решение (decision boundary) контекстуалният бандит избира между четири варианта (arms). Това Контакт иска незабавен контакт с консултант. Това Насоки първо инвестира в образованието и доверието. Това Математика използва количествен подход и инструменти за по-аналитично мислещите посетители. То Въпроси намалява възприеманата цена на контакта, като го представя като проучвателен разговор с ясна дневна ред.
Няма един-единствен подход, който да е най-добър за всички. Проучването използва шест персонажа: един „цифров абориген“, който иска бързина; един „ловък на таксите“, който е скептичен към анализите; един „верник на традициите“, който цени последователността и доверието; един тревожен „закъсал спестител“, един „изгнаник от таблото“, който е претоварен от промяна в живота си, и един емоционално уязвим „скърбящ представител“. Всяка персона има различна първоначална съпротива и различна чувствителност при избора на съдържание.
Практическата стойност на това разграничение не се състои в това да се копират конкретните персони или финансовите етикети. Тя е да поддържа наистина различни стратегии за обслужване и да позволява на контролиран слой на политиките да избира между тях. Ако всички опции водят до едно и също «затвори разговора сега», системата няма съществено пространство за действие и никой алгоритъм за избор не може да създаде съответното преживяване.
Контекстуалният бандит е подходящ, когато системата трябва да избере действие въз основа на текущия контекст и да се учи от наградата. В проучването печелившата вариация използва BootstrappedUCB с LightGBM, за да предвиди кой клон със съдържание е най-подходящ за ситуацията. Наградата при „бандита“ е терминална и бинарна: успех има, когато посетителят стигне до контакт с консултанта и в същото време крайното съпротивление е значително намалено.
Този втори критерий е важен. Ако системата отчиташе само изразено съгласие или натискане на бутон в рамките на симулацията, тя би могла да възнагради «лицемерното подчинение»: посетителят казва „да“, защото е подтикнат към съгласие, а не защото съдържанието е отговорило на действителната му нужда. Порталът на намаленото съпротивление се опитва да разграничи номиналното съгласие от по-съществената промяна.
Алгоритъмът ’bandit“ обаче остава късоглед в сравнение с многостъпков планиращ алгоритъм. Той избира въз основа на настоящата ситуация, без непременно да симулира три или пет бъдещи обмена. Ето защо авторите предлагат като бъдещо разширение POMCP lookahead planning. За реален продуктов екип това показва логична ескалация: първо надежден избор на действие и офлайн оценка, след това по-сложно планиране на много ходове, когато има достатъчно данни и предпазни мерки. Това постепенно усъвършенстване съответства и на оценката на уеб агентите въз основа на реални последователности от действия, където успехът не се определя от един-единствен отговор.
PID-регулаторът следи разликата между текущото съпротивление и желаната стойност. Аналоговият член реагира на текущата грешка, интегралният член натрупва постоянната грешка, а диференциалният член следи посоката и скоростта на промяната. С прости думи: системата проверява колко се отклонява от целта, колко време остава в това състояние и дали се движи бързо в грешната посока.
За да разграничи постепенния напредък от стагнацията, EO използва експоненциални и прости пълзящи средни. По-голяма тежест в EMA се дава на скорошното движение, докато SMA сравнява периодите на наблюдение, за да установи дали съпротивата е престанала да се променя. Когато се открие цикъл, системата може да смени посоката или да приключи по контролиран начин, вместо да продължава безрезултатна търговия.
Изходът на контролера не просто записва ново указание. Той се превръща в динамични граници за структурирания изход на агент-посетителя чрез схема, която се изгражда на всеки ход. Това е мощен, но и деликатен избор: в симулацията той позволява контролирано проучване на траекторията, но при взаимодействие с човек не можеш да «наложиш» неговото реално психологическо състояние. Можете само да контролирате действията на своя агент, съобщенията, които му е позволено да изпраща, и правилата за ескалация. Преходът от симулация към производствена среда изисква следователно препроектиране, а не просто копиране. Валидаторите, контролните точки и условията за спиране трябва да бъдат част от потока, както е в мултиагентни системи, които се оценяват по маршрути с продължителност от няколко дни.
Site agentът вижда съобщения и поведенчески сигнали, а не «истинското» намерение на посетителя. EO моделира тази несигурност като частично наблюдаем марковски процес на вземане на решения. Той поддържа разпределение на вероятностите за четири категории намерения — разглеждане, сравняване, покупка и подкрепа — и го актуализира въз основа на сигналите от ключови думи във всяко ново съобщение.
С натрупването на индикации ентропията на разпределението може да намалее. Състоянието на вероятност (belief state) захранва както избора на ръка (arm), така и планирането на усилването (gain scheduling) на PID. Предимството тук е, че системата не разглежда намерението като сигурно определение още от първия цикъл. Тя поддържа активни множество възможности и адаптира степента на намеса в зависимост от несигурността.
На практика екипите за клиентско преживяване (CX) могат да приложат същия принцип, без да възприемат точно математическия модел: класификациите на намеренията трябва да бъдат придружени от степен на увереност, а тези с ниска степен на увереност…68 символа са отрязани…M не трябва да се бърка с наблюдавано събитие.
Изследването разграничава крайната награда при контекстуалния бандит от формираната награда за всеки ход. Първата проверява дали изборът на стратегия в крайна сметка е довел до желаното действие със съществено намаляване на съпротивата. Второто оценява дали всеки ход насочва траекторията в по-добра посока: дали съпротивата намалява, дали намерението става по-ясно, дали диалогът остава ефективен и какво е качеството на крайния резултат.
Това разграничение е важно, защото истинските конверсии са редки. Ако агентът получи сигнал едва в края, му е трудно да определи кои междинни стъпки са допринесли за това. От друга страна, една лошо проектирана междинна награда може да оптимизира грешен прокси показател. Авторите използват разлики в динамиките с цел да се запази същата оптимална политика като при крайната награда.
При една търговска система съответният въпрос е дали междинните показатели — време за отговор, настроение, брой прегледи или кликвания — наистина са свързани с качеството на крайния резултат. Чатбот, който съкращава всеки разговор, може да изглежда ефективен, но може да прекъсва преждевременно случаи, които се нуждаят от изясняване. Система, която максимизира кликовете, може да създава напрежение, вместо да изгражда доверие. Управленският слой се нуждае от йерархия на целите, а не от един-единствен лесен за измерване показател.
Окончателната оценка включваше 60 425 симулирани сесии, осем модела на съпротивление и шест персони. Пълната версия V4_SemRush постигна претеглена по трафик честота на контакти с консултанти с висока степен на намерение от 78,11 TP3T, спрямо 46,11 TP3T за контролния LLM, който се базираше на разсъждения и системни подсказки без контекстуален бандит, PID или проследяване на убежденията. Разликата беше 32 процентни пункта, а проучването отбелязва статистическа значимост p<0,001. Изравняването на ръцете беше 73% спрямо 48%.
При двуфакторния ANOVA изборът на варианта «contextual bandit» обясни 97% от междуфакторната вариация на резултата, докато изборът на „friction model“ – 3%. Авторите тълкуват това като „доминиране на политиката“: управляващата политика е повлияла в по-голяма степен върху крайния резултат на траекториите, отколкото първоначалните предположения за средата, изразени в моделите на триене.
Цифрите са действителни резултати от публикуваната симулация, а не доказателство, че дадена компания ще отбележи същия ръст в производството. Популацията се състои от LLM агенти, персонажите и преходите са създадени или калибрирани за експеримента, а PID контролерът не е тестван спрямо непредсказуемото поведение на реални хора. Правилното тълкуване е, че архитектурата заслужава валидиране в реални условия, а не че гарантира конверсия от 78,11 TP3T.
Основните резултати от тази симулация
Стойностите са публикувани от авторите за симулация „LLM-to-LLM“ във финансова среда. Те не представляват прогноза за реално преобразуване.
Окончателният анализ на ниво „персона“ обхвана шест персони и осем модела на триене.
Процент на контактите с консултанти с висока степен на интерес, претеглен според трафика, за пълната версия V4_SemRush.
Резултатите на базовия модел за reasoning/system-prompt без bandit, PID и проследяване на убежденията.
Публикуваното разстояние между управляваното и контролното състояние, с всички резерви, свързани със симулацията.
В един от примерите в проучването една аналитично скептична персона заявява, че първо иска да проведе независимо проучване. Системата „governed“ се отказва от директния подход и преминава към въпроси и информационно съдържание. Съпротивата по записаната траектория спада от 0,18 до 0,08 за четири етапа. Управлението без ограничения повтаря „Contact arm“, въпреки че посетителят току-що е отказал, и съпротивлението се повишава до 0,62, преди сесията да приключи като „dead end“.
Примерът е полезен, защото показва, че персонализацията не е просто промяна в стила. Става въпрос за промяна в стратегията в отговор на нов сигнал. Повтарянето на едно предложение с други думи не представлява адаптация. Това е пример, при който системата трябва да да активира правилния начин на мислене и действие, а не просто да пренапише същото изречение. Напротив, преходът от „директна конверсия“ към „подкрепа на търсенето“ отразява факта, че краткосрочната цел на потребителя може да предшества търговската цел.
Въпреки това има една терминологична несъгласуваност, която изисква внимание: в някои примери «conversion» се свързва с избора „Questions“ и висока степен на намерение, докато основното определение на показателя изисква „Contact“ и спад на съпротивата под определена граница. Това не обезсилва цялостния експеримент, но показва защо екипът, който пренася изследователска идея в производствена среда, трябва да определи с абсолютна яснота крайните състояния и да провери дали отчетите, етикетите за обучение и бизнес KPI-те използват едно и също значение.
В проучването се посочват три режима на отказ на атракторите. То Срутване на ласкателството се появява, когато агентът на посетителя даде съгласие без реално участие, като генерира фалшиво положителен сигнал. Това Зациклена верига това е любезният разговор, който не решава нищо и не променя положението. Това е Фиксация на ръката възниква, когато системата прекалено често прибягва до дадена стратегия и я използва независимо от персонажа или контекста.
И трите неуспеха могат да се скрият зад една привидно добра средна стойност. Голям брой «turns» може да се тълкува като ангажираност, докато в действителност това са просто „loop“. Висок процент „положителни“ отговори може да произтича от прекалено съгласна симулация. Един arm с много conversions може да доминира в политиката и да подцени по-малки, но критично важни групи потребители.
Ето защо оценката изисква диагностика на ниво траектория. Полезни проверки са промяната в увереността относно намерението, повторението на стратегията след отказ, броят на ходовете без промяна на състоянието, разпределението на опциите по сегменти и случаите, в които агентът трябва да прекрати взаимодействието или да предаде на човек. Проучването не предоставя готов оперативен дашборд, но предлага полезен речник за неговото проектиране.
Правило за управление: ако агентът повтаря същата стратегия след категоричен отказ, ако увереността в намерението не се подобрява или ако разговорът продължава без нова информация в продължение на три хода, системата трябва да смени подхода, да поиска разяснение, да предложи ресурс за самообслужване или да прехвърли разговора на човек. Продължаването на натиска не е ангажираност.
Най-разумната отправна точка е тесен, нискорисков случай на употреба с ясно определено пространство за действие. Един екип може да определи три или четири наистина различни стратегии за отговор, наблюдаемите сигнали, които е позволено да се използват, и случаите, които изискват човешка намеса. След това е необходима базова линия за контрол, за да се измери дали оркестраторът добавя стойност, надхвърляща тази на един добре проектиран подсказващ текст.
Преди прилагането в реални условия политиката може да бъде оценена въз основа на исторически, анонимизирани сценарии и на набори от тестове за противодействие. Екипите трябва да обърнат специално внимание на трите етапа на проучването, както и на случаи на прекомерно натоварване, грешна класификация на намеренията, изключване на малцинствени модели и несигурно използване на чувствителни данни. Ключовият показател за ефективност (KPI) не трябва да бъде само конверсията. Необходими са контролни показатели за жалби, отказ, ескалация, погрешни претенции и повторно обръщане след ясен отказ.
В практиката «PID» не е необходимо да контролира изкуствена психологическа променлива. Той може да контролира наблюдаеми свойства на самата система: колко пъти е повторено едно и също изречение, колко хода са минали без ново доказателство за намерение, дали са се увеличили изразите на отрицание или дали е нарушен прагът на ангажираност. Намесата може да бъде промяна на стратегията, уточняващ въпрос, предложение за самообслужване или директно прехвърляне към човек.
Шест стъпки за безопасно управление на пилотен проект с множество големи езикови модели (multi-LLM)
Отделете желания резултат за потребителя от търговския KPI и отбележете кога двете цели влизат в противоречие.
Създайте варианти като директен контакт, насоки, числова документация и проучвателни въпроси; а не четири варианта на едно и също призив за действие (CTA).
Посочете кои данни за сесията и намерението могат законно да се използват, като посочите степента на достоверност и срока на валидност.
Измервайте повторения на arm, turns без нова информация, промяна в увереността относно намерението, отказ, ескалация и безопасно прекратяване.
Изпробвайте orchestrator срещу добре проектиран prompt с един агент, при еднакви входни данни, критерии за оценка и времеви прозорец.
Оценявайте несигурността, деликатните искания и повтарящите се откази при даден човек, като използвате аудиторска следа и връщане към безопасната изходна точка.
Самите автори признават, че всички констатации произтичат от симулация „LLM-to-LLM“. Човешкото поведение е по-нестабилно, социално и културно по-сложно и не се подчинява на границите на схемите. Освен това калибрирането с данни от уеб аналитика може да подобри първоначалните разпределения, но не превръща автоматично персоните в точно отражение на реални клиенти.
Следователно A/B валидирането в реално време е следващата решаваща стъпка, която проучването предлага. Други насоки са замяната на миопичния бандит с планиране на много ходове, проучването на вътрешен сигнал за възнаграждение и тестването в области като консултации в здравеопазването, продажби на софтуер за предприятия, набиране на персонал и техническа поддръжка. Това са предложения за бъдещи изследвания, а не потвърдени резултати в съответните сектори.
Когато става дума за управлението на дадена компания, зрялото заключение не е «сложи PID в чатбота». А че агентни системи се нуждаят от независимо ниво на политика, наблюдаемост на траекторията, ясни дефиниции за успех и механизми за корекция. Качеството на модела остава важно, но само по себе си не коригира лошата координация между цели, действия и показатели. Изборът на архитектура изисква проверка за всяка задача, както показва и сравненията между specialist agents, decomposition и post-training.
Изследването пренасочва дискусията от търсенето на идеалния подсказ към проектирането на система, която наблюдава, избира и коригира. За обикновен асистент един добре обмислен подсказ може да е достатъчен. Когато обаче много агенти взаимодействат помежду си, грешките не са само погрешни предложения. Те са нежелани динамики, които се проявяват с течение на времето: прекомерно съгласие, стагнация или упорство в една политика.
EO представлява конкретно предложение за изследване, а не окончателен производствен модел. Въпреки това, то изяснява четири принципа, които всеки екип би трябвало да разгледа: отделяне на стратегическия избор от езиковата реализация, изрично моделиране на несигурността, контрол на траекторията и оценяване, което не възнаграждава празното съгласие. Тези принципи са по-устойчиви от всеки отделен модел или подсказка.
Следващото поколение на „conversational commerce“ няма да се оценява само по това колко „човешки“ пише един LLM. Тя ще се оценява по това дали системата знае кога да промени подхода си, кога да признае несигурност, кога да спре и как да докаже, че успехът ѝ е от полза както за бизнеса, така и за потребителя. Оттам започва истинското управление на мулти-LLM агентите. Същият критерий важи за всеки сравнение на архитектури на изкуствен интелект при реална работна натоварване: измеримата ефективност, ясното обхват и надеждното функциониране са по-важни от първото впечатление.
От командния ред в контролиран режим
TWO DOTS картографира бизнес резултатите, интеграциите, допустимите сигнали, действията на агентите, показателите за траекторията и човешките одобрения, така че пилотният проект да тества реалната стойност, без да превръща симулацията в обещание за внедряване в производствена среда.
Често задавани въпроси
Това е нивото на политиката и контрола, което координира независими LLM агенти, следи общата траектория и се намесва, когато системата се отклони от очакваните резултати или ограниченията.
Това е изследователска рамка, която съчетава контекстуален бандит за избор на клон със съдържание, PID-регулатор за управление на траекторията и POMDP проследяване на вероятностите за несигурно намерение.
Не. Резултатите произтичат изцяло от симулация LLM-to-LLM и се нуждаят от валидиране на живо с участието на реални хора, преди да бъдат използвани като бизнес прогноза.
Пълната версия отбеляза 78,11 TP3T процент на контакти с консултанти с висока степен на ангажираност спрямо 46,11 TP3T за контролната група, при окончателен анализ на 60 425 симулирани сесии.
Промптът изразява намерение, но сам по себе си не създава обща функция за възнаграждение, мониторинг на траекторията или коригиращ механизъм за агенти с различни цели.
Това са съответно празното споразумение без съществена промяна, преговорите, които не напредват, и прекомерното придържане към дадена стратегия, независимо от контекста.
Не. В производствената среда контролът трябва да се отнася до действията на агента, повторенията, ограниченията и прехвърлянето на задачата на човек — а не до предполагаемото психологическо състояние на човека.
Ограничен случай на употреба с ясно разграничени „arms“, разрешени сигнали, чиста базова линия, диагностика на траекторията, показатели за безопасност, прехвърляне на контрола към човек и връщане към предишно състояние.
Източници
