CoreSec: защо една надеждна система с изкуствен интелект трябва да знае кога да не дава отговор

CoreSec показва защо въздържанието, ясно определените роли, доказателствата и одитната следа правят една система с изкуствен интелект по-сигурна, когато липсват данни или те са противоречиви.

Отговор първо: Една надеждна система за изкуствен интелект не трябва да превръща всеки непълен набор от данни в категоричен отговор. Необходимо е изрично право на въздържание, конкретни правила за това кои доказателства са задължителни или решаващи, както и безопасен път към човешка намеса, когато сигналите липсват или са противоречиви.

CoreSec, система за анализ на основните причини в производствена среда за мрежи от типа Clos в Azure, показва как този принцип функционира в голям мащаб. Тя замества претегленото оценяване с PAM-стил комбинация, пет конфигурации, съобразени с топологията, и контролируема одитна следа. Системата Въздържане от гласуване по въпроса за изкуствения интелект Това не е слабост на системата; това е механизмът, който предотвратява една несигурна диагноза да се превърне в погрешно автоматизирано действие.

Съдържание

Проблемът е шумът, а не просто липсата на данни

Какво е по-опасно за една автоматизирана система: да забави отговора си или да даде грешен отговор с пълна увереност? При анализа на основните причини за инцидент в голяма облачна инфраструктура вторият вариант може да доведе до неправилни мерки за ограничаване на последиците, да удължи инцидента и да отнеме ценни минути от екипа за безсмислено разследване. CoreSec е проектиран въз основа на различен принцип: когато данните са непълни, остарели или противоречиви, системата трябва да може да не посочи причина.

Една голяма мрежова структура на център за данни никога не се намира в състояние на пълна «изправност». Кабелите показват CRC грешки, връзките се колебаят, оптичните модули се износват, а комутаторите се рестартират или актуализират поетапно. Архитектурата Clos разполага с много равностойни маршрути, така че трафикът да заобикаля голяма част от тези неизправности, без това да създава непосредствен, видим проблем за клиента.

В статията се посочва, че в даден момент е нормално между 0,3% и 1% от връзките да показват загуби, колебания или влошено оптично качество. Когато даден работен поток покаже висока латентност или загуби, системата засича едновременно множество подозрителни обекти. Някои от тях са свързани с конкретния инцидент, докато други принадлежат към постоянния фон от неизправности. Обилната телеметрия, следователно, не е равнозначна на ясни доказателства.

„Сивите“ откази допълнително усложняват картината. Те не са пълни прекъсвания, а частични, периодични или вероятностни откази: един оптичен модул може да изгуби малък процент от пакетите само в една посока, една линейна карта може да повлияе на потоците, преминаващи през конкретен ECMP път, или бъг във фърмуера може да предизвика кратки рестартирания, които убягват от мониторите за състоянието на системата.

Идеята надхвърля границите на мрежите. Всяка оперативен работен процес, който използва изкуствен интелект за автоматизиране на задачи поставя някаква форма на преценка между непълни данни и действие, свързано с разходи. Разликата е, че в една сериозна система несигурността не се крие зад показател за достоверност.

Защо системата за претеглено оценяване даваше убедителни, но нестабилни отговори

Предишният подход в Azure събираше сигнали от различни агенти за телеметрия, присвояваше тежест на всеки от тях и избираше обекта с най-високата сума. Логиката звучи разумно: най-надеждният сигнал получава по-голяма тежест. На практика обаче надеждността не беше постоянна характеристика на даден агент; тя се променяше в зависимост от режима на отказ.

Активните сонди бързо откриват проблеми със свързването, но може да има пропуски в обхвата. Броячите на устройствата предоставят непосредствени данни за хардуера, но съдържат шум и имат различни честоти на актуализация. Сигналите, извлечени от трафика, отразяват реалното въздействие върху клиентите, но изискват достатъчен трафик. Обобщенията за инфраструктурата обхващат широки ситуации, но се получават по-късно. Свеждането на всичко това до едно число премахва разликата между «нямам данни», «данните се разминават» и «един решаващ сигнал е достатъчен».

Според статията, подходът с претегляне показваше процент на фалшиви положителни резултати от 18% до 22%. Промяната на теглата с цел подобряване на един тип повреда влошаваше друг, докато системата винаги трябваше да посочва виновник, дори когато мрежата не беше причината. Това е важен урок и за бизнес изкуствения интелект: най-високата оценка сред слаби варианти не се превръща автоматично в сигурно решение.

Среднопретеглена оценка

Всички сигнали се превръщат в едно число. Липсата, несъгласието и категоричният знак губят своето различно значение.

Принудително класиранеНестабилно настройване

Съставяне на базата на роли

Всеки агент се определя като „необходим“, „задължителен“, „достатъчен“ или „незадължителен“ за конкретната повърхност на отказ.

Явна роляСкандалът със свежестта

Въздържал се с trace

Когато липсва решаващо доказателство или сигналите си противоречат, процесът на смекчаване се прекъсва и операторът проверява причината.

НеопределенЕскалация на човешкия фактор

Четири роли за всеки сигнал

CoreSec разглежда RCA като проблем на композицията и заимства логиката на модулите за автентификация с възможност за включване (Pluggable Authentication Modules). Вместо просто да пита «колко надежден е този агент?», той определя точно каква роля му е позволено да играе при вземането на решение за конкретна повърхност на повреда.

  • Изискване: ако решаващият сигнал липсва, е остарял или не отговаря на праговата стойност, конкретната конфигурация незабавно се изключва.
  • Задължително: всички задължителни агенти трябва да преминат, за да се генерира глас; ако някой не премине, конфигурацията остава незавършена.
  • Достатъчно: Един положителен и силен сигнал е достатъчен, за да се гласува незабавно, без да се чакат останалите.
  • По избор: добавя подкрепящ контекст, но сам по себе си не може да определи резултата.

За кабел от сървър към TOR сигналът за загуба на носеща честота от мрежовата карта може да служи като необходимо условие, изтичането на времето за RDMA – като достатъчно условие, състоянието на CRC броячите – като задължително условие, а скорошно събитие в контролната равнина – като опционално условие. Това разпределение кодира оперативна информация. То не твърди, че даден брояч или събитие е по принцип добро или лошо; то посочва при какъв режим на отказ и при какви условия то е решаващо.

Този модел е полезен за AI агентите, стига да се възприеме като принцип, а не като готова рецепта. В един работен процес за възстановяване на суми, например, потвърденото плащане може да бъде необходимо условие, ясната отмяна от страна на клиента – задължително условие, а сигналът за настроение – по избор. Самата логика на превръщане на инструкции в измерими умения на ИИ изисква правила с версии, ясни права за достъп и одобрение от човек за чувствителните действия.

Третото състояние: здраво, нездраво или неопределено

Всеки агент оценява даден сигнал като „здрав“, „нездрав“ или „въздържал се“. За шумови показатели се използват два прага: под долната граница показателят се счита за „здрав“, над горната граница – за „проблемен“, а между двете се намира зоната на въздържание. Един преходен пик не се превръща автоматично в диагноза.

На нивото на сливане CoreSec използва три състояния: H за „здраво“ (healthy), U за „нездраво“ (unhealthy) и I за „неопределено“ (indeterminate). Надеждното състояние U има предимство, H изисква съгласие, а конфликтът води до I. Работата предлага асоциативен оператор за сливане, така че едно и също множество валидни доказателства да води до един и същ резултат, независимо от реда на постъпването им.

Това разграничение е по-дълбоко от просто ниска степен на увереност. «Няма достатъчно данни», «двете системи не са съгласни» и «едно критично предварително условие не е изпълнено» могат да доведат до прекъсване, но изискват различно последващо действие. Следата на решението трябва да записва причината за въздържането, а не само крайния етикет.

Същата необходимост се проявява и в AI работни потоци, които запазват памет и състояние. Един семантично връщане назад за AI агенти не е пълно, ако възстановява само базата данни, но оставя в сила погрешното заключение, което е довело до действието. Състоянието на взетото решение и причината за въздържането трябва да бъдат част от одитната следа.

Пет паралелни конфигурации вместо един универсален двигател

CoreSec не се опитва да реши всички случаи с една универсална формула. Той изпълнява едновременно пет конфигурации, които съответстват на различни повърхности на уязвимост: сървър–TOR кабел, TOR комутатор, кабел между комутатори, T1 комутатор и T2 комутатор. Всяка конфигурация има свои собствени авторитетни агенти, флагове и фиксирана последователност на оценяване.

Разграничаването предпазва системата от преждевременно сближаване. Неизправност в кабела има различен „подпис“ от отказ на T1. В първия случай постоянната двупосочна загуба на сигнал от активните сонди може да бъде решаваща. При втория случай е необходимо съпоставяне на проблеми в множество TOR и разнообразие от траектории на сондите. Ако дадена конфигурация не разполага с подходящо покритие, тя се въздържа, вместо да черпи увереност от несвързан сигнал.

Авторите посочват, че същите пет конфигурации са функционирали в различни Azure среди без необходимост от прекалибриране при всяко внедряване. Това не означава, че всяка компания може да копира тези флагове. Означава, че изолирането на повърхностите на отказ и изричното разпределение на роли може да бъде по-стабилно от единен показател, който се опитва да обхване всички случаи.

Как топологията избира отговорното ниво

Синтезът в стил PAM работи във всяка конфигурация. След това хеуристиките, отчитащи топологията, разрешават конфликтите между нивата. За даден кандидат за TOR, CoreSec използва P2.15, т.е. 97,85-ия процентил от разпределението на засегнатите сървъри, заедно с едно минимално условие: трябва да са засегнати поне 20 % от сървърите на TOR.

За T1 правилото е да се вземат предвид две трети от изходящите връзки. Ако поне две трети от TOR-овете, свързани с него, показват ненормално състояние, T1 се идентифицира като основна причина и отделните TOR-кандидати се потискат. Анализът на чувствителността в изследването показва, че 50% е бил твърде либерален праг, 75% е увеличил броя на фалшивите отрицателни резултати, а обхватът около 66% е отбелязал най-ниската обща грешка.

На ниво клъстер спадът в агрегираните проби над 4% активира атрибуция на ниво клъстер. Стойности под 3% отразяваха временна нестабилност на пътя, докато тези над 5% губеха видимо за клиента въздействие. Тези конкретни прагове са свързани с Azure Clos fabrics и не представляват общи еталони за електронната търговия, маркетинга или обслужването на клиенти.

Оперативният превод се състои в понятието за йерархия. Един локален симптом не трябва да има предимство пред по-силен модел на системно ниво, но и една обща аларма не трябва да пренебрегва независими неизправности. В изкуствен интелект за обслужване на клиенти, например, думата «отмяна» в съобщение не е достатъчна за възстановяване на сумата, ако състоянието на поръчката, плащането и политиката не съвпадат. Те чатботове, които подпомагат реални малки предприятия Необходимо е ескалиране, когато отговорът засяга пари, достъп или правни условия.

Шестнадесет минути за сближаване без колебания

CoreSec се активира след откриването на инцидент и анализира телеметрични данни за период от шестнадесет минути. Той повтаря RCA на всеки пет минути. Най-бавният агент се нуждае от около тринадесет минути, така че този период оставя малко време за стабилизиране на закъснелите данни.

Конвергенцията е еднопосочна: атрибуция от по-ниско ниво може да бъде заменена от по-силна атрибуция от по-високо ниво, но не и обратното. Когато условието за достатъчност на даден слой бъде изпълнено, решението остава стабилно. В работата се посочва, че в около 99% от случаите резултатът се стабилизира в рамките на първите две повторения и че не са наблюдавани колебанията от предишния подход.

Ако в края на прозореца нито едно ниво не разполага с достатъчно данни, крайният отговор е „въздържал се“. Автоматизираното смекчаване на риска се прекратява и дежурните инженери получават структуриран трасиращ отчет: кои агенти не са имали актуални данни, кои конфигурации са липсвали, кои обекти са имали частични сигнали и кога е бил актуализиран за последен път всеки източник.

Изчакването не е безплатно. При инцидент всяка минута може да струва скъпо. CoreSec съзнателно избира ограничено закъснение, за да намали разходите от грешна реакция. Правилният баланс зависи от работния процес: една препоръка може да издържи повече време, докато една мярка за ограничаване на риска може би се нуждае от различна безопасна настройка по подразбиране и по-строги сигнали в реално време.

Какво показват резултатите от производството

Сравнението за периода 2022–2025 г. обхваща 712 345 инцидента. CoreSec автоматично класифицира около 98,5 %, запазва 1,5 % като „въздържали се“ и отчита процент на фалшиви положителни резултати под 1 %. Предишният подход с претегляне дава процент на фалшиви положителни резултати от 18% до 22%. Неопределените случаи се отчитат изрично като фалшиви отрицателни резултати, тъй като системата не е посочила причина, въпреки че такава е съществувала.

Отсъствията са намалели от 10 % през първото тримесечие до 1,5 % през последното полугодие, главно благодарение на добавянето на агенти, които са запълнили пропуските в данните. Разпределението на основните причини е било 70 % повреди по кабелите, 28% – откази на TOR и 2% – откази на T1, T2 или на ниво клъстер. Случаите на погрешно приписване са около четири на година, а погрешните мерки за отстраняване – около 700, или 0,1% от общия брой.

Четири показателя от производствената оценка

Резултатите се отнасят за CoreSec в Azure Clos fabrics и не представляват общ еталон за всеки AI работен поток.

712.345инциденти в сравнение за периода 2022–2025 г.
<1%фалшиви положителни резултати с CoreSec
1,5%въздържали се през последния полугодие
≈99 %стабилизиране при първите две повторения

Показателите по веригата също са важни: в статията се посочва спад с над 80% при неправилно задействаните мерки за ограничаване на риска и с 40% при жалбите на клиенти, свързани с неправилно приписване. Посочва се, че ръчната работа по анализ на причините за инциденти (RCA), която отнемаше времето на трима инженери на пълно работно време, е била премахната за инцидентите, които вече се приписват директно.

Кога въздържането е предпазна мярка

Приблизително 60 % от случаите на въздържане се дължат на пропуски в телеметрията, 39 % – на противоречиви данни, а 1 % – на събития, засягащи няколко клъстера или целия център за данни. В първите две категории въздържането предотвратява необосновано приписване. В третата категория проблемът вече не е само изборът на „failing entity“, а координацията на много екипи, поради което човешката преценка остава необходима.

Едно уверено, но погрешно RCA принуждава дежурния инженер първо да го опровергае. Едно въздържание, съчетано с контекста, го насочва към пропуските в разследването. Полезният резултат не е просто етикетът «не знам», а пътят към вземането на решение: кой сигнал беше остарял, коя конфигурация беше одобрена, коя се въздържа и кое правило за топология отхвърли по-нискостоящ кандидат.

За оперативните AI системи това е практическата форма на обяснимост. Не е достатъчно само процент на увереност или обосновка на естествен език след вземането на решението. Обяснението трябва да произтича от самата структура на решението и да може да бъде разбрано както от човек, така и от последваща автоматизация.

CoreSec не използва машинно обучение в крайния етап на синтеза. Машинното обучение може да се използва на по-ранни етапи за извличане на аномалии, анализ на проби или обобщаване на логове, но крайното решение е детерминистично. Това не доказва, че детерминистичните правила винаги са по-добри от машинното обучение; показва, че в този конкретен случай, при който действията са свързани с високи разходи, авторите са предпочели предсказуемост, въздържаност и възможност за одит.

Производствен портал за безопасно въздържане от изкуствен интелект

Не позволявайте необратими действия без пълна верига от доказателства

Преди даден AI работен процес да издаде възстановяване на сума, да ограничи сметка, да промени бюджет или да активира мярка за смекчаване на риска, определете кои сигнали са задължителни, кои – достатъчни, кои несъгласия водят до въздържане, кой човек поема отговорността и каква следа ще докаже решението.

Седем стъпки към по-безопасна изкуствена интелигентност в бизнеса

Прехвърлянето извън мрежите трябва да се извършва внимателно. Праговете P2.15, две трети и 4% не са готова рецепта за електронна търговия, маркетинг, борба с измамите или поддръжка. Общата част е архитектурният подход: различните източници на данни имат различен обхват, закъснение и авторитет, затова не трябва просто да се изчислява средна стойност от тях.

Седем стъпки от случая на употреба до контролиран AI работен процес

  1. Стъпка 1Ето едно решение и цената на грешката

    Опишете точно какво се случва, кого засяга и колко струва една „фалшива положителна“ реакция, една „фалшива отрицателна“ реакция или едно закъснение. Политиката за въздържане се основава на цената на неуспеха.

  2. Стъпка 2Начертайте повърхностите на отказ

    Разграничете различните случаи, като например възстановяване на суми, сигнали за измама, пренасочване на потенциални клиенти или ограничаване на инциденти. Не очаквайте една обща оценка да отрази всички видове риск.

  3. Стъпка 3Присвойте роля на всеки източник

    Посочете кои доказателства са задължителни, необходими, достатъчни или незадължителни за всеки отделен случай. Отбележете собственика, изходната система, периода на валидност и известните пропуски в обхвата.

  4. Стъпка 4Ето едно изрично определение на понятието „неопределено“

    Разграничете липсващите, остарелите и противоречащите си доказателства. Всеки вид въздържане трябва да има конкретен резервен вариант, а не просто общо «ИИ се провали».

  5. Стъпка 5Планирайте ескалации и разрешения

    Определете кой потребител поема отговорността, какви данни вижда и кои действия се блокират. При висок риск, подразбиращото се състояние трябва да бъде „пауза“ или „обратим чернови вариант“.

  6. Стъпка 6Изпробвайте забавяне, конфликт и отсъствие

    Не проверявайте само „щастливите“ сценарии. Използвайте симулации и поетапни тестове за закъснели API-извиквания, липсващи поръчки, противоречащи си записи и неактуални правила; това тестване чрез симулация в работните потоци на MCP и RAG показва защо проверката преди производството е от съществено значение.

  7. Стъпка 7Измерете качеството и попълнете пропуските в данните

    Следете фалшивите положителни резултати, фалшивите отрицателни резултати, процента на въздържалите се, времето за разрешаване на проблема, разходите от погрешни действия и съотношението на въздържалите се. Използвайте клъстерите на въздържалите се, за да подобрите конкретни конектори и агенти.

При маркетинговата атрибуция една CRM конверсия, едно събитие за аналитика с дадено съгласие и една моделирана точка на контакт не трябва да се разглеждат като равностойни гласове. При проверката за измами липсата на задължителна верификация не е равнозначна на ниска оценка на риска. При обслужването на клиенти изкуственият интелект не трябва да извършва възстановяване на суми или налагане на ограничения, когато системите за поръчки и плащания не съвпадат. За повече примери за ограничения, вижте AI-работни процеси в маркетинга с човешки контрол показват, че крайното одобрение все пак се взема от човек.

KPI не се измерва само с «колко случая е приключила автоматично изкуствената интелигентност». Необходими са точност за всяко действие, разходи за грешни действия, време за ескалация, качество на трасирането и способността на въздържанията да разкриват систематични пропуски в данните. Ако екипът намали броя на въздържанията, като отпусне праговете, това може просто да доведе до повторно възникване на проблема с принудителната класификация.

CoreSec има и ясни ограничения. Сривове на новия фърмуер или неизвестни форми на оптично влошаване могат да наложат използването на нови агенти. Сривовете в конвейера продължават да създават липсващи данни, докато събитията от голям мащаб целенасочено водят до масово изключване. Сравнението с базовите показатели се извършва с предишната производствена система, а не с всички академични алтернативи.

Най-полезният извод не е, че всяка компания трябва да копира четири „flags“ и три „thresholds“. Той е, че надеждността на една система за вземане на решения не се измерва с това колко често дава отговор, а от това дали знае кои доказателства са решаващи, дали поддържа несигурността видима и дали предотвратява един слаб индикатор да се превърне в точно или необратимо действие.

TWO DOTS прилага тази практична логика към бизнес автоматизация и изкуствен интелект: картографиране на реалния процес, ясно определени входни данни, условия, одобрения, обработка на грешки, логове и контролни точки, извършвани от хора, преди даден работен поток да придобие по-голяма автономност.

От AI демото в безопасен режим

Създайте работен процес, който знае кога да спре

TWO DOTS картографира източниците на данни, ролите при вземане на решения, правилата за въздържане, одобренията и одиторската следа, така че изкуственият интелект и бизнес автоматизацията да спестят време, без да прикриват несигурността или да извършват погрешни действия.

Често задавани въпроси

Какво представлява CoreSec?

Това е система за анализ на основните причини в производствената среда за големи мрежи от типа CLOS. Тя обединява множество източници на телеметрични данни с контролни флагове, вдъхновени от PAM, и позволява изрично въздържане, когато доказателствата са недостатъчни.

Какво означава „въздържал се“ при гласуването за AI?

Това означава, че системата не дава окончателен отговор или не изпълнява действие, когато липсват критични данни, те са остарели или са в конфликт. Въздържането трябва да бъде придружено от причина и безопасно ескалиране.

Защо един показател за увереност не е достатъчен?

Тъй като една оценка може да обхваща различни ситуации, като липса на доказателства, противоречия между източниците и един решаващ индикатор, CoreSec запазва тези различия в структурата на решението.

Кои са четирите контролни флага?

„Requisite“ за критични предварителни условия, „required“ за елементи, които трябва да съвпадат, „sufficient“ за решаващи сигнали и „optional“ за подкрепящи индикации.

С колко се подобри процентът на фалшивите положителни резултати?

В статията се посочва резултат под 1% с CoreSec, спрямо историческа базова стойност от 18 до 22 процента за предишния подход с претегляне, при сравнение, обхващащо 712 345 инцидента. Не ставаше въпрос за паралелно A/B тестване върху същия набор от данни.

CoreSec използва ли машинно обучение?

Машинното обучение може да се използва на по-ранни етапи за извличане на сигнали, но крайната комбинация е детерминистична. Това позволява предсказуемо въздържане и проследяване на решенията, което може да бъде контролирано.

Може ли същата логика да се приложи в електронната търговия или в обслужването на клиенти?

Да, като принцип – доказателства, основани на роли, изрично въздържане и ескалация. Конкретните прагове на CoreSec произхождат от Azure Clos fabrics и не трябва да се пренасят без промяна в друг работен поток.

Каква е първата практическа стъпка за едно предприятие?

Да избере решение с известна цена на грешката, да набележи източниците на доказателства и да определи коя липса или несъгласие блокира действието и кой човек поема отговорността.

Информационен бюлетин

Въведете имейл адреса си по-долу, за да се абонирате за нашия бюлетин