С повече от 20 години опит ние променяме вашето цифрово присъствие. Специализирани сме в разработването на уебсайтове и електронни магазини, SEO и цифров маркетинг, ERP софтуер и интелигентна автоматизация, които извеждат бизнеса ви на следващото ниво.
Адрес:
Егнатия 154, Солун 546 36
Телефон:
+30 231 231 4095
Електронна поща:
[email protected]
Готови ли сте за следващата стъпка?;
Dynamic Context Scheduling променя контекста в рамките на епизода на обучение, за да могат AI агентите да бъдат тествани при отклонения, скокове и неизвестни условия.
Dynamic Context Scheduling обучава ИИ-агент в среда, в която контекстът се променя с контролиран темп в рамките на един и същ епизод. В проучването на Мартин Мраз и Андре Биденкап динамичните графици се изравниха или надминаха статичните базови линии при неизвестни условия в задачите CartPole, BipedalWalker и CarRacing, без да разширяват съществено обхвата на пространството на състоянията. За екип, занимаващ се с производство, полезният извод е да планира във времето сценариите за отклонение, периодичност и внезапна повреда — а не да разглежда метода като готова гаранция за безопасност.
Авторите разглеждат промяната в рамките на епизода като инструмент за формиране на обучението, а не като точно копие на всяко разгръщане. Оценяването се извършва в статични контексти, за да се провери дали обучението, структурирано във времето, води до по-добра генерализация от типа „zero-shot“.
На адрес контекстуално учене чрез подсилване, средата се описва не само чрез състояние (state) и действие (action), но и чрез контекстни променливи. Те могат да определят динамиката на прехода, наградата или началното състояние. На практика контекстът може да бъде дължината на махалото, положението на товар върху робот, триенето или мощността на актуатора. Обичайният случай е, че стойността се избира в началото на епизода и остава постоянна до края.
Този подход улеснява обучението и присвояването на кредити, но пренебрегва една важна характеристика на реалния свят: условията не чакат да приключи даден епизод, за да се променят. В същото време, дори ако целта на оценяването е статична, промяната по време на обучението може да действа като регуларизация и като организирано проучване. Политиката е принудена да не свързва прекалено силно дадено поведение с една-единствена, неподвижна версия на физиката.
За едно предприятие аналогията е пряка. Модел или агент, който е обучен само на «чисти» потоци, стабилни инструменти и предвидими заявки, може да изглежда надежден в демонстрацията, но да се провали, когато се промени последователността на стъпките, качеството на данните или някоя външна услуга. Проучването не доказва резултати в бизнес работните потоци; то обаче предлага един полезен инженерен принцип: времевата структура на промяната по време на обучението заслужава да бъде планирана, а не просто оставена на случайността.
Динамичното планиране на контекста (Dynamic Context Scheduling) замества статичния контекст за всеки епизод с параметрична траектория. При всеки времеви стъпка планиращият модул изчислява новата стойност на контекста, а обвивката я предава на симулатора. Началната стойност продължава да се избира от предварително определен пул, но след това контекстът може да се променя плавно, рязко, периодично или стохастично.
Ключовият момент е, че оценяването остава в статични контексти. Следователно експериментът не възнаграждава просто един агент, защото той се е научил да проследява движещ се сигнал. Той проучва дали динамичният опит по време на обучението създава стратегия, която се генерализира по-добре, когато по-късно агентът бъде поставен в стабилна, но непозната версия на средата.
Изследователите реализираха DynamicCARLEnv – отворен код, служещ като обвивка за CARL-средите. Планиращият модул актуализира контекста, физическият адаптер прилага стойността в симулатора, адаптерът за наблюдение определя какво вижда политиката, а тракерът записва състоянието, действието, наградата и контекста. Тъй като логиката на планирането е изолирана от вътрешността на средата чрез извикваеми методи getter и setter, рамката остава лека и разширяема към съвместими физически бекенди.
Проучването не разглежда всички промени като еднакви. То тества шест основни групи графици. Синусоидалният график периодично измества контекста около началната стойност, като многократно излага политиката на широк диапазон. Косинусоидалното отгряване създава плавно, монотонно изместване на всеки цикъл и може да предизвика рестарт, принуждавайки агента да се адаптира отново от различни начални точки. „Continuous incrementer“ постоянно увеличава или намалява стойността и се отразява в границите.
Функцията „piecewise constant“ поддържа стойността постоянна за произволни участъци, след което извършва скок към нова стойност. По този начин тя моделира резки промени в състоянието, като например спад на натоварването или повреда на актуатора. „Случайната разходка“ създава бавно, устойчиво стохастично изместване, докато „стохастичните скокове“ въвеждат големи промени с произволен размер и времева последователност. Авторите разглеждат също така синтетични семейства, като синусоидален скок, Орнщайн–Уленбек и фазиран OU, и описват „Леви ход“, който съчетава скокове с гаусов шум.
Това разграничение има съществено значение. Една система не се учи по един и същ начин, когато наблюдава бавно износване, периодичност или внезапна повреда. Изборът на график включва предположение за вида на промяната, която искаме да направи политиката устойчива. Няма универсален победител: резултатите от статията показват, че най-подходящото семейство зависи от средата и от това дали агентът наблюдава изрично контекста.
DynamicCARLEnv поддържа две основни функции за наблюдаемост. В на живо mode, политиката получава текущия context заедно със state. В няма в този режим вижда само състоянието, докато динамиката на средата се променя «незабележимо». Вторият подход прилича на рандомизация на домейна в рамките на епизода и позволява на изследователите да разграничат влиянието на времевата структура от ползата от незабавната информация.
Когато контекстът е видим, той се нормализира в интервала от -1 до +1 с физически разумни граници, които се простират отвъд контекстите на оценяване. По този начин стойностите на OOD не се пренасищат, а решетката за оценка не се кодира погрешно при входа. Тази подробност е важна: една «спомагателна» характеристика може да доведе до изтичане на информация или нестабилна скала, ако бъде проектирана въз основа на данните от оценката.
Експериментите не подкрепят опростеното заключение, че повече информация винаги е по-добра. CartPole се възползва от наблюдението на контекста. В CarRacing, напротив, режимът „на сляпо“ имаше силно предимство при много настройки, докато Walker се оказа между двете крайности. Самата работа тълкува този обрат по-скоро като характеристика на средата, отколкото на конкретен планиращ алгоритъм. За продуктови екипи, които прилагат тестване на поведението на агенти с изкуствен интелект, изводът е, че добавянето на метаданни към входните данни на един агент, както и всяко знак за увереност или въздържание, трябва да бъде проверена експериментално, а не автоматично да се приема за полезна.
Статичен контекст
Контекстът се взема като проба в началото и остава непроменен до края на епизода. Той представлява чист базов вариант, но не структурира промяната във времето.
Наблюдавана динамика
Контекстът се променя в рамките на епизода и се добавя в нормализирано състояние. Това може да помогне, стига сигналът да е надежден и правилно калибриран.
Динамична щора
Динамиката се променя, без да се разкрива контекстът в политиката. При латералната настройка „CarRacing“ се получи най-силният резултат при финалната контролна точка в проучването.
Основният анализ беше извършен в CartPole, където контекстът беше дължината на стълба. Конкретната ос е трудна и в двата крайни случая на OOD, тъй като както много малките, така и много големите стълбове водят до различни начини на отказ. Бързото симулиране позволи обширна аблация на семействата на планиращите алгоритми, размерите на пуловете и режимите на наблюдаемост.
Методът беше тестван и на BipedalWalker с неподвижен товар в торса и променящо се хоризонтално преместване на центъра на масата. В CarRacing беше използвано непрекъснато отместване на полезния товар по надлъжната и напречната ос, с пикселни наблюдения и по-сложна динамика. Всички агенти бяха обучени с PPO от Stable-Baselines3. Оценяването беше разделено на контексти ID, OOD-low и OOD-high и се проведе детерминистично в 30 епизода за всеки контекст на оценяване.
Изследователите посочват интерквартилната средна стойност (IQM), за да намалят влиянието на крайните семена. Те са използвали 10 семена в CartPole, 8 в BipedalWalker и 5 в CarRacing поради изчислителни ограничения. Тази неравномерност в силата на доказателствата е полезно предупреждение: резултатите от визуалната и по-точна среда трябва да се тълкуват като обнадеждаващи, а не като окончателно доказателство за всяко приложение.
На крайната контролна точка динамичните графици като цяло изравниха или надминаха статичните базови линии. В CartPole най-добрият наблюдаван динамичен резултат имаше комбиниран IQM от 468,2, спрямо 429,0 за статичната наблюдавана базова линия. Най-добрият „blind“ динамичен резултат беше 462,9 спрямо 410,0 за статичния „blind“. Тези цифри се отнасят до конкретна експериментална настройка и не се превръщат в процент на бизнес подобрение.
При BipedalWalker разликите бяха особено големи за режима „observed“: статичната базова линия за „observed“ имаше IQM 31,0, докато най-добрият резултат за „scheduled observed“ достигна 151,4. В „blind mode“ статичната базова линия вече беше по-силна – 91,9, а най-добрият динамичен резултат достигна 131,1. В CarRacing картината зависеше силно от оста и наблюдаемостта. В работата се отбелязва, че „blind dynamic scheduling“ беше особено ефективно при страничното преместване, докато „longitudinal static blind baseline“ беше трудно да бъде надминато.
Допълнителният анализ потвърждава, че резултатът не е универсален. В наблюдаваните условия 89% до 100% от семействата планиращи алгоритми надминаха съответната статична базова линия. В „blind“ версиите на CartPole и Walker около 70% до 78% успяха да постигнат това. В „lateral“ версията на CarRacing и деветте семейства надминаха статичната „blind“ базова линия, но в „longitudinal“ версията – само три от деветте. Синусоидалните, Lévy walk и sudden jump бяха сред най-стабилните варианти като цяло, без обаче едно семейство да доминира навсякъде.
Четири потвърдени резултата на крайната контролна точка
Стойностите представляват наградата за епизод по модела IQM за конкретната експериментална настройка и не представляват проценти на бизнес доходност.
Може би най-интересното наблюдение от проучването е отрицателно: по-добрите резултати не бяха съпътствани от по-широко покритие на пространството на състоянията. В CartPole четирите измерения на наблюдението бяха разделени на по 12 бина всяко, създавайки 20 736 хиперклетки. Въпреки че наградите се различаваха значително между различните графици, крайното покритие се концентрираше приблизително между 6,54% и 6,83%.
Еднопосочният ANOVA не установи статистически значими разлики в покритието, като p беше по-голямо от 0,05. Същият нулев резултат се наблюдаваше при четири проекции на 24-измерното пространство на наблюдение на BipedalWalker. Дори паралелното обучение, което увеличи разнообразието на контекстите в актуализациите на политиките, не възпроизведе последователно ползите от вътрешно-епизодичната времева промяна.
Според авторите, планирането преструктурира сигнала за обучение в рамките на вече посетеното пространство. Агентът не се нуждае от това да види много повече състояния; той трябва да види по-полезни последователности от двойки „състояние-контекст“. Освен това почти цялото ново покритие се появи през първите 50 000 стъпки на CartPole, докато следващите етапи добавиха по-малко от 1% на прозорец и почти никакви нови клетки. Това пренасочва вниманието от количеството преживявания към реда, в който те се представят.
Използването на един-единствен модел на промяна за цялото обучение може да не е оптимално. В началото един агент може би се нуждае от агресивно проучване, докато по-късно се възползва от по-целенасочено усъвършенстване. Фреймворкът поддържа многоетапни програми, при които всеки етап използва независимо настроен планировчик с константно, синусоидално или косинусоидално отпушване, без да се прекъсва обучението на политиката.
Авторите са използвали Optuna с TPE sampler. В CartPole са проведени 240 опити с четири начални точки, четири етапа и общо 150 000 стъпки. В BipedalWalker са проведени 120 опити с три начални точки, три етапа по 500 000 стъпки и общ бюджет от 1,5 милиона стъпки. След това преобучиха най-добрите конфигурации с повече семена за по-надеждна оценка.
Автоматичното търсене откри курикули, които надеждно подобриха статичните базови линии, но не успяха последователно да надминат най-добрия едноетапен планиращ алгоритъм, открит чрез обширно мрежово търсене. Това не опровергава подхода. Това показва, че тя може да намали ръчния подбор, но прехвърля част от разходите към изчислителното търсене. В работата това се определя като предварително заключение и се признава необходимостта от обучение по учебна програма, което се адаптира към реалния напредък на агента.
Прякото доказателство се отнася до симулирани задачи за контрол, а не служители по обслужване на клиенти, маркетингови работни процеси с изкуствен интелект или дейности в областта на електронната търговия. Въпреки това принципът може да се използва като изследователска хипотеза за тестове. Ако един AI агент в производството трябва да издържа на промени в цените, закъснение, налични инструменти, качество на данните или поредица от задачи, екипът може да оцени не само случайни статични вариации, но и промени във времето в рамките на една траектория на обучение или оценка.
Първата практическа стъпка е да се дефинира контекстът в оперативни термини. Кой параметър се променя, без да бъде контролиран от агента? Дали това е натоварването, закъснението на API, качеството на входящите данни или наличността на запасите? Втората стъпка е да се изберат модели и да се свържат с ясен Профил на сложността на прехода които съответстват на реални рискове: „drift“ за постепенно влошаване, „piecewise constant“ за промяна на състоянието, „jumps“ за внезапна отказ, „periodic schedules“ за сезонност или повтарящи се пикове.
Третото е да се запази ясно разграничение между обучението и оценяването. Работата извършва оценка в статични, предварително определени контексти, за да изолира генерализацията. Един бизнес екип се нуждае съответно от доказателства за оценка на ниво стъпка, замразени тестови набори и ясни сценарии за OOD. Ако непрекъснато коригира графика, като се ориентира по едни и същи резултати от оценката, съществува риск да оптимизира теста, вместо да подобри реалната устойчивост.
Решение за проектиране
Графикът трябва да отразява конкретен режим на отказ
Използвайте „drift“ за постепенно влошаване, „periodic“ за сезонност, „piecewise constant“ за промяна на режима и „sudden jumps“ за внезапна отказ. Изборът не е просто декоративен хиперпараметър: той определя какъв вид времево натоварване агентът ще се научи да поема.
Пилотна оценка на „динамичния контекст“ в 7 стъпки
Запишете една измерима променлива, като например латентност на API, наличност на инструмента, качество на входните данни, интензивност на натоварването или точност на инвентара.
Отделете бавния дрифт, периодичността, промяната на режима и внезапните скокове, така че графикът да отразява реалния оперативен риск.
Определете сценариите ID, OOD-low и OOD-high преди настройката и не ги използвайте за многократно избиране на графика.
Използвайте същите бюджети и начални стойности, за да изолирате стойността на времевата структура от стойността на допълнителната контекстуална характеристика.
Следете идентификационните номера и двата края на OOD, най-лошите възможни откази, латентността, човешките намеси и разходите за необратими действия.
Изпробвайте непълен, закъснял или грешен контекст и се уверете, че границите не кодират скрито набора за оценка.
Запишете контекста, действието, резултата и човешката намеса, преди да разрешите производствени действия, като предвидите ясни механизми за отмяна и етапи на одобрение.
В производствените системи дадена характеристика на контекста може да произхожда от сензор, поток от събития или метаданни. Точността, закъснението и границите ѝ трябва да се разглеждат като част от системата. В проучването се използват ръчно зададени, физически обосновани граници на нормализация. Това предотвратява пренасищането, но представлява и ограничение: различните среди изискват познания в съответната област за правилното мащабиране.
Решението „observed“ или „blind“ е свързано и с управлението. Агент, който вижда изрично контекста, може да адаптира поведението си, но също така може да се основава на характеристика, която липсва или е грешна. Един „blind“ агент е принуден да стане устойчив чрез наблюдаемите последствия, но може да пропусне полезна информация. Резултатите от CartPole и CarRacing показват защо и двата варианта трябва да присъстват в тестовата матрица.
Изследването е препринт и авторите посочват ясни ограничения. Графиките въвеждат допълнителни хиперпараметри, докато наблюдаемите режими изискват граници за нормализация. Многоетапното търсене чрез Optuna е изчислително скъпо. Трите среди обхващат всичко – от просто управление до шофиране, базирано на зрителна информация, но не са достатъчни, за да се формулира универсално правило за всеки проблем на RL.
Освен това оценката в статичен контекст е целесъобразна и убедителна по отношение на изследователския въпрос, но не измерва производителността в реални нестатични внедрявания. Проучването също така не доказва, че по-голямо възнаграждение е равнозначно на по-голяма сигурност. За приложения с висок риск са необходими независими ограничения за безопасност, анализ на причините за неуспеха и валидиране в реални условия.
Авторите предлагат като следващи стъпки адаптивно обучение по учебна програма, което ще променя времевата структура в зависимост от напредъка, както и по-напреднала интеграция на контекста в латентни представяния или модели на света. Докато не се проведат такива експерименти, правилното използване на Dynamic Context Scheduling е като инструмент за експериментиране и регуларизация, а не като готова гаранция за устойчивост.
Най-важното бизнес заключение не е, че всеки екип трябва да копира синусоидален планировчик. А че обобщението не зависи само от това колко различни примера вижда една система. Тя зависи и от това как се организира опитът във времето. Последователността може да предотврати свръхспециализацията, да принуди алгоритъма да запази гъвкаво поведение и да разкрие провали, които остават скрити в статичните бенчмаркове.
За тези, които проектират AI агенти, това води до по-строги въпроси: Кои промени са възможни? Кои от тях са видими за агента? Кои настъпват постепенно и кои – рязко? Измерваме ли само средната производителност или и поведението при ID/OOD? Проверили ли сме дали подобрението се дължи на съществена устойчивост или просто на „изтичане“ и по-голямо вземане на проби?;
DynamicCARLEnv предлага конкретен подход с отворен код за проучване на тези въпроси в CARL-среди. Статията, от своя страна, дава по-обща представа: обучението за един променящ се свят не винаги изисква да се предвидят всички бъдещи ситуации. То може да започне с по-добро планиране на времевото натоварване, на което е подложена системата, преди тя да напусне лабораторията.
AI автоматизации с контролирана промяна
Изпробвайте агента, преди да промените действителния работен процес
TWO DOTS разработва AI-базирани автоматизации за бизнеса с „замразени“ сценарии за оценка, наблюдаемост, етапи на одобрение и безопасно връщане към предишно състояние, така че отклоненията, закъсненията и грешките в инструментите да се измерват, преди да доведат до оперативни разходи.
Често задавани въпроси
Това е метод за контекстуално усилващо обучение, при който един параметър на средата се променя по програма в рамките на същия епизод на обучение, вместо да остава постоянен до края.
При домейновата рандомизация обикновено се вземат проби от различни среди без изрична времева структура. Тук промяната следва контролирани модели, като синусоидален дрифт, случайно движение, частично постоянни режими или внезапни скокове.
В работата бяха оценени контекстуализираните модели CartPole, BipedalWalker и CarRacing, като се променяха дължината на стълба или отместванията на товара и центъра на масата.
В експериментите най-добрите динамични планиращи алгоритми надминаха съответните статични базови модели в крайната контролна точка. Степента на ползата зависеше от средата, графика и това дали агентът имаше достъп до контекста.
Покритието в CartPole остана в диапазона между 6,54% и 6,83% и не се различаваше статистически в различните условия. Резултатът подкрепя тезата, че именно времевата последователност на двойките „състояние-контекст“, а не просто по-голям брой състояния, е свързана с подобрението.
Не винаги. Режимът „observed“ помогна при CartPole и BipedalWalker, докато при lateral CarRacing динамичното „blind“ състояние беше значително по-ефективно на крайната контролна точка. Изборът изисква отделна оценка за всяка система.
Не по отношение на последователността. Многоетапните графици на Optuna подобриха предимно статичните базови линии, но не успяха да надминат постоянно най-добрия едноетапен планиращ алгоритъм, а при търсенето бяха използвани малко семена.
Като хипотеза за контролирано тестване – да; като доказана рецепта – не. Необходими са вашите контексти, замразени OOD тестове, показатели за оперативна безопасност, етапи на одобрение от хора и валидиране в реални условия.
