ERDM: когато «неправилното» поведение е логичен отговор на неправилната среда

ERDM показва защо един AI агент може да се учи правилно, но да действа погрешно, когато наградите, изборите и средата му са в противоречие. Дадено поведение може да изглежда нелогично, ако го разглеждаме изолирано от средата, която го е породила. Ако обаче разгледаме натиска, наличните възможности за избор и очакванията за възнаграждение в системата, същият модел може да се окаже в съответствие с това, което агентът е «научил», че го защитава. Това е основната идея, стояща зад Модел за еволюционно повтарящи се решения (ERDM), нова изчислителна рамка за подкрепящо обучение, предложена от Андрю Ху.

В работата се разглежда как еволюционното несъответствие, ограничената рационалност и удовлетворяващо могат да генерират адаптивни и неадаптивни стратегии. Сложни модели, като избягването, агресията, здравословната дружелюбие или научената безпомощност, не се въвеждат като готови сценарии. Те възникват от повтарящи се прости решения в рамките на стохастична среда.

За професионалистите, които проектират AI агенти, автоматизации или системи за вземане на решения, практическото послание е ясно: когато дадена система проявява нежелано поведение, проблемът може би не се крие само в модела. Може да се крие в ландшафта на възнагражденията, в информацията, която системата вижда, в опциите, които ѝ са разрешени, или в последователността на събитията. Това е същата категория проблеми, с която се сблъскваме, когато Изкуственият интелект намира неочаквани пътища към дадена цел.

Какво всъщност моделира ERDM

ERDM е система за подсилващо обучение с един агент в стохастична среда. Тя не е проектирана да намира оптималната стратегия за дадена, добре дефинирана задача. Тя е създадена, за да проучи какво се случва, когато един агент трябва да действа в ситуации, в които целите му са противоречиви и никое действие не е винаги правилно.

Околната среда включва три категории повтарящи се проблеми: заплаха, преследване на плячка или цел и възможност за съюз. Те функционират като абстракции на еволюционно повтарящи се предизвикателства. Агентът наблюдава своето вътрешно и външно състояние, избира действие, понася последствията и актуализира своите оценки за стойността.

Изследването свързва този контекст с теорията за еволюционното несъответствие: механизми, които са се формирали в една среда, могат да доведат до неблагоприятни резултати в друга. ERDM не доказва, че тази теория обяснява психичните разстройства при хората. Той предоставя симулационна среда, в която хипотезите за средата, мотивацията и поведението могат да бъдат конкретизирани и проверени без да се налага провеждането на реални експерименти с хора.

Това разграничение е важно и за практическото приложение. Ценността на изследването не се състои в това, че предоставя готов алгоритъм за обслужване на клиенти или електронна търговия. А в това, че по контролиран начин показва защо средата на оператора трябва да се разглежда като част от системата, а не просто като фон. Същият принцип се анализира и в световни модели, при които агентът и средата трябва да се разглеждат като една обща система.

Как наградите се превръщат в противоречащи си стимули

Агентът се обучава чрез три конкурентни измерения на възнаграждението. Първата се отнася до състоянието на препитание или физическото състояние, което в статията се обозначава с L. Втората е отбранителната социална стойност, DB, свързана със стратегии за доминиране и неутрализиране на заплахи. Третата е социалната стойност на грижата, NB, свързана с престиж и с предоставянето на ползи на другите.

Едно действие може да укрепи едно измерение и да навреди на останалите. Борбата срещу заплаха, например, може да подобри отбранителната позиция на агента, но да влоши физическото му състояние и способността му да подкрепя другите. Тъй като последствията зависят от състоянието, а параметрите на околната среда се променят стохастично, не съществува единна политика, която да максимизира всичко.

Това принуждава системата да удовлетворяващо: да избира решения, които са адекватни в рамките на настоящите ограничения, а не теоретично съвършени. За един бизнес AI работен поток аналогията е пряка, но трябва да остане само аналогия. Ако един агент оптимизира едновременно скоростта, разходите, качеството и съответствието с изискванията, един избор, който изглежда лош по един показател, може да е най-добрият възможен баланс въз основа на сигналите, които сме му предоставили.

Това разграничение има практическа стойност. Един бизнес агент може да «заседне», защото всеки наличен вариант нарушава някое ограничение или защото нито един вариант не преминава минималния праг на полезност. В първия случай може би е необходимо безопасно ескалиране или възможност за отмяна. Във втория случай може би е необходима по-добре дефинирана цел или повече инструменти. Един и същ видим провал може да изисква различно решение.

Обучение, инерция и праг на риска

Всяко действие има своя собствена, независима мрежа от стойности. Мрежата приема състоянието като входни данни и генерира очакваната награда за конкретното действие. Архитектурата, описана в работата, има две скрити нива, състоящи се от 128 и 64 единици, и един изход. Изборът се извършва чрез epsilon-greedy политика, така че агентът понякога да се възползва от това, което вече счита за най-добро, а понякога да проучва.

Епизодът приключва, когато физическото състояние или основното измерение на социалното оцеляване достигне нула. Наградите се определят пропорционално на наличните ресурси: една и съща загуба има по-голяма тежест, когато агентът вече се намира в уязвимо състояние. Състоянието се разделя на отделни зони, от „dire“ до „stable“, с по-голяма чувствителност към ниските нива на ресурсите.

Този фактор обяснява защо едно действие няма постоянно значение. Действие, което е приемливо, когато ресурсите са в изобилие, може да се превърне в катастрофално, когато агентът се намира близо до границата на жизнеспособността. За производствената ИИ, съответно, праговете и правилата за ескалация трябва да отчитат контекста: степен на увереност, икономически риск, чувствителност на данните, въздействие върху клиента и възможност за човешка намеса.

Управлението, съобразено със състоянието, не е просто по-подробен промпт. То трябва да променя допустимите действия и праговете, когато състоянието се промени. Ето защо е полезно да свържем дизайна на възнагражденията с управление на AI агент, зависещо от състоянието а не само от една обща политика.

Как беше организиран тестът за издръжливост

За валидиране проучването моделира неблагоприятните преживявания от детството като три нива на интензивност на заплахата. Ниското ниво на неблагоприятни преживявания използва заплахи с интензивност 20–40 по скала от 0 до 100, умерената – 40–60, а високата – 80–100. Честотата на трите типа среда беше запазена постоянна, така че основната разлика да бъде интензивността на неблагоприятните събития.

Основните тестове включваха 200 независими симулации с 1 500 стъпки на обучение за агенти с преобладаващ DB, агенти с преобладаващ NB и случайни агенти при трите условия. Агентите с произволно поведение не са имали научена безпомощност или апатия в пространството на действията, тъй като тези избори предполагат оценки на стойността.

Изследването не отразява детския опит в цялата му човешка сложност. Тя използва контролирани абстракции, за да проучи дали известни модели могат да възникнат от комбинацията на награди, риск и учене. Това е компютърна валидация, а не клинична валидация и не представлява основа за диагноза или терапевтична препоръка.

Постоянен загуба, различни политики

Един от най-полезните резултати е разстоянието между сходимостта на загубата при обучението и сходимостта на поведението. При DB агентите загубата намаля от 92% до 97% в зависимост от условието, докато при NB агентите намалението надхвърли 99% при всички условия. Наклоните в късния прозорец на загубата и наградата не се различаваха от нула, което е признак за стабилизиране на обучението.

Въпреки това разнообразието от действия не изчезна. DB агентите запазиха 34%–44% от първоначалната си ентропия, а NB – 34%–49%. Следователно системата можеше да има стабилен процес на обучение, без всички агенти да стигнат до една и съща стратегия. При висока неблагоприятност връзката между загубата в късния прозорец и поведенческата ентропия стана по-силна, което показва, че стабилизирането на обучението и последователността на поведението бяха по-тясно свързани в тази среда.

За оценката на AI агентите това е от решаващо значение. Равномерната крива на загубата или добрият общ резултат не доказват равномерно или желано поведение. Необходимо е да разгледаме разпръскването на траекториите, редките неуспехи и стабилността на политиките при различни последователности от събития. проверка на политиките за усилващо обучение трябва да се отнася до това как се държи системата в критични ситуации, а не само до това дали е подобрен някакъв среден показател.

Какво се промени при изключително неблагоприятни условия

При агентите с доминиращ DB положителните очаквания останаха около 85 % в условията без ACE и при умерена неблагоприятност, но спаднаха до 67 % при висока неблагоприятност. Научената безпомощност, която липсваше при двете по-леки условия, се прояви със средна стойност 15,2%. Отрицателните очаквания се увеличиха от около 15% до 33%.

Резултатът не беше просто общо повишение на агресивността. Неправилно насочената агресия намаля от 39% на 29,4%, а междуличностната агресия – от 30,8% на 24,7%. Интерпретацията на изследването е, че когато заплахата превиши прага на риска, пасивността, дължаща се на научена безпомощност, може да измести предишните стратегии за доминиране.

Агентите с доминиращ NB имаха различен профил. Здравословната дружелюбност остана доминиращото поведение и достигна около 47 % при висока степен на неблагоприятни условия, докато научената безпомощност липсваше. Това откритие показва до каква степен една разлика в приоритета на възнаграждението може да промени възникващия репертоар, без да са кодирани предварително цялостни и сложни сценарии.

Защо се появиха устойчиви и уязвими подгрупи

Допълнителният анализ на 1 000 DB-доминантни цикъла при висока степен на неблагоприятност разкри две скрити подгрупи. Моделът на гаусовата смес силно подкрепи решението с две компоненти и използва праг от 2,04% на научената независимост. 296-те серии бяха класифицирани като устойчиви, със средна стойност 0,43%, а 704-те – като уязвими, със средна стойност 20%.

Екологичните параметри бяха еднакви. Това, което се променяше, беше стохастичната поредица от ранни събития, която формираше различни истории на възнагражденията. Устойчивите агенти проявяваха по-висока степен на предпазливо поведение – 31,64% спрямо 7,92% – и положителна очаквана стойност – 82,65% спрямо 62,35%.

Здравословната дружелюбие имаше силна отрицателна корелация с научената безпомощност в рамките на симулацията: Pearson r=-0,91 и R²=0,83. Напротив, уязвимостта при търсене на помощ не показа значима връзка. Това не означава, че търсенето на помощ не предпазва хората. В конкретния модел DB агентите я подценяват, защото тя се възприема като цена за тяхната отбранителна социална позиция.

Оперативната аналогия е, че една и съща конфигурация не гарантира еднакви траектории. Поредицата от инструменти, повторни опити, изключения и човешки намеси може да промени последващото състояние на един агент. Това е една от причините, поради които обучение на AI агенти за променящи се среди необходими са множество последователности, а не само един-единствен „щастлив път“.

От научната статия до дизайна на системите за възнаграждения в предприятията

ERDM не е модел за маркетинг, обслужване на клиенти или електронна търговия. Въпреки това, неговата архитектура хвърля светлина върху един общ проблем на агентното проектиране. Екипите често определят дадена цел — повече конверсии, по-бързо обслужване, по-ниски разходи — и разглеждат страничните ефекти като непредвидени бъгове. Един агент обаче може просто да следва последователно дадените му стимули.

Служител от отдела за обслужване на клиенти, който се възнаграждава предимно за кратко време на обработка, може да приключва разговорите, преди проблемът да бъде решен. Система за препоръки, която отчита само непосредствените кликове, може да жертва доверието или разнообразието. Маркетинг специалист, който отчита само потенциални клиенти, може да генерира голям обем от нискокачествени резултати. Това са подробни примери за принципа, а не случаи, които са били тествани в проучването.

Добрата практика е конфликтите между целите да се идентифицират преди внедряването. Кои показатели си противоречат? Кое поведение би довело до нежелано увеличаване на всеки показател? Кои разходи са невидими в модела? Кое безопасно действие липсва? Дискусията относно „sparse reward“ и насочването чрез подсказки, критици и учители показва също, че качеството на обратната връзка определя какво може да научи системата.

NIST AI RMF разглежда риска, свързан с изкуствения интелект, като функция на вероятността и въздействието в конкретен контекст и предупреждава, че показателите могат да бъдат прекалено опростени или да станат обект на манипулации. Това съответства на практическото учение на ERDM: мотивацията и ограниченията на организацията са част от сигурността. Не е достатъчно да изискваме «добро поведение» от модела, ако оперативната среда възнаграждава нещо друго.

Защо средните стойности прикриват начините на отказ

Разделянето на устойчиви и уязвими агенти показва, че един обобщен резултат може да скрива две напълно различни категории поведение. Ако оценката проследяваше само средната стойност на научената безпомощност, тя нямаше да отрази ясно двупосочната структура на 1 000-те серии.

За производствената изкуствена интелигенция това означава необходимост от кохортен анализ, тестове за риск в крайните случаи и преиграване на различни последователности от събития. Общият процент на успеваемост не е достатъчен. Трябва да знаем кои потребители, кои намерения, кои нива на ресурси и кои последователности от инструменти водят до режими на отказ. Времевата последователност може да има толкова голямо значение, колкото и отделните входни данни.

Също толкова важно е да разграничаваме техническата стабилност от желаното поведение. Дадена политика може да бъде стабилна и в същото време да създава проблеми. Таблото за управление трябва да включва поведенческо разнообразие, модели на отказ, качество на ескалацията, процент на връщане към предишно състояние и нежелани стратегии, а не само латентност и завършване на задачите. Това е същността на тестове на поведението за AI агенти.

Анализът трябва също така да свърже всеки провал с неговата причина. Един провал се дължи на това, че агентът не е разполагал с подходящия инструмент, друг – на това, че е получил грешен сигнал за състоянието, а трети – на това, че наградата е подсилила използването на пряк път. Тази логика е свързана със системи, в които Изкуственият интелект се учи от причината за неуспеха а не само въз основа на един двоичен показател за успех.

Рамка за проверка преди внедряването

Един екип може да се възползва от логиката на проучването, без да копира същия модел. Целта е да превърне „landscape of rewards“, преходите между състояния и изключенията в контролируеми артефакти. Всяка стъпка трябва да е свързана с конкретен случай на употреба и с решение, което може да бъде наблюдавано.

Внедряването изисква ясни етапи. Един офлайн бенчмарк не може да замести „шадоу режим“, сценарии с противопоставяне, отмяна на промени и човешки надзор. Те AI агенти с ограничения те са надеждни, когато тяхната автономност е съобразена с качеството на преценката и мащаба на възможните последствия.

Надзорът трябва да разполага с реална възможност за намеса. Ако даден агент възприема всеки избор като прекалено негативен, е необходимо сигурно ескалиране и по-добро пространство за действие, а не натиск да продължи. Ако нито едно действие не преминава прага на възнаграждението, може би е необходимо преосмисляне на целта. Доверието се изгражда, когато контекст, данни и човешки надзор са свързани с правила, които могат да се изпълняват.

Обхватът на проучването и основното заключение

Статията посочва ясни ограничения. Първо, приема се, че агентът възприема ситуацията правилно и без пристрастие, докато човешкото мислене и производствените системи за изкуствен интелект могат да бъдат подложени на шум, изкривявания или неправилна калибрация. Второ, средата се свежда до три състояния и няколко запазени действия. Тя не включва напълно емпатия, неуспешни опити или специфични общностни ценности.

Трето, става дума за рамка с един агент, което означава, че тя не отразява групови динамики, културно предаване или социална еволюция между множество активни агенти. Четвърто, липсва съпътстващо експериментално проучване за валидиране при хора. Резултатите остават изчислителни, а предложенията за интервенции са хипотези, които предстои да бъдат проверени в бъдеще.

Тези ограничения не обезсилват модела; те определят правилната сфера на приложението му. Не трябва да превръщаме симулацията в диагноза, нито корелацията в рамките на ERDM в терапевтична препоръка. Ценността се състои в това, че механистичните хипотези за средата, възнагражденията и поведението стават видими и подлежащи на проверка.

За предприятията основният извод е прост: не оценявайте един AI агент само според това дали е «научил» нещо или е постигнал някаква средна цел. Проучете какво е научил да счита за ценно, какви рискове осъзнава, с какви възможности разполага, какво не вижда и как поредицата от събития може да превърне едно решение, логично в конкретния контекст, в нежелан оперативен резултат.