{"id":98263,"date":"2026-10-08T15:23:41","date_gmt":"2026-10-08T12:23:41","guid":{"rendered":"https:\/\/twodots.gr\/?p=98263"},"modified":"2026-10-08T15:23:41","modified_gmt":"2026-10-08T12:23:41","slug":"greske-u-logickom-ponasanju-u-okruzenju","status":"publish","type":"post","link":"https:\/\/twodots.gr\/hr\/erdm-logiki-symperifora-lathos-perivallon\/","title":{"rendered":"ERDM: kada je \u00abpogre\u0161no\u00bb pona\u0161anje logi\u010dan odgovor na pogre\u0161no okru\u017eenje"},"content":{"rendered":"<div class=\"td-article-lede\">\n<p><strong>Odgovor prvo:<\/strong> ERDM i AI agenti dijele klju\u010dnu lekciju: sustav mo\u017ee u\u010diti dosljedno, a ipak na kraju pokazati ne\u017eeljeno pona\u0161anje kada nagrade, dostupne radnje i okru\u017eenje usmjeravaju ga prema strategiji koja je lokalno racionalna, ali operativno manjkava.<\/p>\n<\/div>\n<p>ERDM pokazuje za\u0161to AI agent mo\u017ee nau\u010diti ispravno, ali postupati pogre\u0161no kada su njegove nagrade, izbori i okru\u017eenje u sukobu. Pona\u0161anje mo\u017ee izgledati iracionalno ako ga promatramo odvojeno od okru\u017eenja koje ga je stvorilo. Me\u0111utim, ako uzmemo u obzir pritiske, dostupne opcije i o\u010dekivanja nagrada sustava, isti obrazac mo\u017ee se pokazati dosljednim onome \u0161to je \u00abnau\u010dio\u00bb kako bi se za\u0161titio. To je sredi\u0161nja ideja iza <strong>Evolucionarno ponavljaju\u0107i model odlu\u010divanja (ERDM)<\/strong>, novi ra\u010dunalni okvir za u\u010denje poja\u010danja koji je predlo\u017eio Andrew Hu.<\/p>\n<p>Ovaj rad ispituje kako evolucijski nesklad, ograni\u010dena racionalnost i <em>zadovoljavaju\u0107i<\/em> mogu dovesti do adaptivnih i maladaptivnih strategija. Kompleksni obrasci, kao \u0161to su izbjegavanje, agresija, zdrava prijateljskost ili nau\u010dena bespomo\u0107nost, ne uvode se kao unaprijed definirani scenariji. One nastaju iz ponovljenih jednostavnih odluka unutar stohasti\u010dkog okru\u017eenja.<\/p>\n<p>Za profesionalce koji dizajniraju AI agente, automatizacije ili sustave za dono\u0161enje odluka, prakti\u010dna poruka je jasna: kad sustav pokazuje ne\u017eeljeno pona\u0161anje, problem mo\u017eda nije samo u modelu. Mo\u017eda le\u017ei u krajoliku nagrada, informacijama koje sustav percipira, opcijama koje mu je dopu\u0161teno odabrati ili slijedu doga\u0111aja. To je ista kategorija problema s kojom se susre\u0107emo kada <a href=\"https:\/\/twodots.gr\/ai-finds-a-way-techniti-noimosyni-aprovlepti-symperifora\/\">AI pronalazi neo\u010dekivane puteve do cilja.<\/a>.<\/p>\n<div class=\"td-article-toc\">\n<div class=\"td-toc-title\">Sadr\u017eaj<\/div>\n<ul>\n<li><a href=\"#ti-montelopoiei-erdm\">\u0160to ERDM zapravo modelira?<\/a><\/li>\n<li><a href=\"#antamoives-sygkrouomena-kinitra\">Kako nagrade postaju suprotstavljeni poticaji<\/a><\/li>\n<li><a href=\"#mathisi-adraneia-orio-kindynou\">U\u010denje, inercija i prag rizika<\/a><\/li>\n<li><a href=\"#dokimi-antixootitas\">Kako je postavljena proba nevolje<\/a><\/li>\n<li><a href=\"#stathero-loss-diaforetikes-politikes\">Stalni gubitak, razli\u010dite politike<\/a><\/li>\n<li><a href=\"#ypsili-antixootita\">\u0160to se promijenilo suo\u010deno s velikom nevoljom<\/a><\/li>\n<li><a href=\"#anthektikes-evalotes-ypoomades\">Za\u0161to su se pojavile podgrupe otporne i osjetljive?<\/a><\/li>\n<li><a href=\"#reward-design-epixeiriseon\">Od akademskog istra\u017eivanja do dizajna korporativnih nagrada<\/a><\/li>\n<li><a href=\"#mesoi-oroi-failure-modes\">Za\u0161to prosjeci prikrivaju na\u010dine neuspjeha<\/a><\/li>\n<li><a href=\"#elegxos-prin-deployment\">Okvir za testiranje prije raspore\u0111ivanja<\/a><\/li>\n<li><a href=\"#oria-symperasma\">Opseg studije i klju\u010dni zaklju\u010dak<\/a><\/li>\n<\/ul>\n<\/div>\n<h2 id=\"ti-montelopoiei-erdm\">\u0160to ERDM zapravo modelira?<\/h2>\n<p>ERDM je sustav za u\u010denje poja\u010danja s jednim agentom koji djeluje u stohasti\u010dkom okru\u017eenju. Nije dizajniran za pronala\u017eenje optimalne politike za dobro definirani zadatak. Osmi\u0161ljen je da istra\u017ei \u0161to se doga\u0111a kada agent mora djelovati u situacijama u kojima se njegovi ciljevi sukobljavaju i nijedna pojedina\u010dna radnja nije uvijek ispravna.<\/p>\n<p>Okru\u017eenje obuhva\u0107a tri kategorije ponavljaju\u0107ih problema: prijetnju, potjeru za plijenom ili ciljem i priliku za savezni\u0161tvo. One slu\u017ee kao apstrakcije evolucijski ponavljaju\u0107ih izazova. Agent promatra svoje unutarnje i vanjsko stanje, odabire radnju, prihva\u0107a posljedice i a\u017eurira svoje procjene vrijednosti.<\/p>\n<p>Studija povezuje ovaj okvir s teorijom evolucijskog nesklada: mehanizmi koji su se razvili u jednom okru\u017eenju mogu izazvati \u0161tetne u\u010dinke u drugom. ERDM ne dokazuje da ova teorija obja\u0161njava ljudske mentalne poreme\u0107aje. Pru\u017ea simulacijsko okru\u017eenje u kojem se hipoteze o okru\u017eenju, motivaciji i pona\u0161anju mogu u\u010diniti specifi\u010dnima i provjerljivima bez provo\u0111enja stvarnih eksperimenata na ljudima.<\/p>\n<aside class=\"td-article-note\"><strong>\u0160to ERDM nije:<\/strong> Nije klini\u010dki dijagnosti\u010dki alat, nije okvir za proizvodne agente i ne predstavlja dokaz da ljudi funkcioniraju kao agenti za u\u010denje poja\u010danja. To je ra\u010dunalni model za mehanisti\u010dke hipoteze.<\/aside>\n<p>Ova razlika je tako\u0111er va\u017ena za prakti\u010dnu primjenu. Vrijednost studije ne le\u017ei u \u010dinjenici da pru\u017ea gotov algoritam za korisni\u010dku podr\u0161ku ili e-trgovinu. Le\u017ei u \u010dinjenici da sustavno pokazuje za\u0161to se okru\u017eenje agenta mora smatrati dijelom sustava, a ne samo pozadinom. Isti se princip tako\u0111er analizira u <a href=\"https:\/\/twodots.gr\/world-models-ai-perivallon-agent-koino-systima\/\">svjetski modeli u kojima se agent i okoli\u0161 moraju ocjenjivati kao jedinstveni sustav<\/a>.<\/p>\n<h2 id=\"antamoives-sygkrouomena-kinitra\">Kako nagrade postaju suprotstavljeni poticaji<\/h2>\n<p>Agent u\u010di kroz tri natjecateljske dimenzije nagrade. Prva se odnosi na opstanak ili fizi\u010dko stanje, koje rad ozna\u010dava kao L. Druga je obrambena dru\u0161tvena vrijednost, DB, koja je povezana sa strategijama dominacije i neutralizacijom prijetnji. Tre\u0107a je dru\u0161tvena vrijednost brige, NB, koja je povezana s presti\u017eom i pru\u017eanjem koristi drugima.<\/p>\n<p>Akcija mo\u017ee pobolj\u0161ati jednu dimenziju, ali pritom ugroziti ostale. Borba protiv prijetnje, na primjer, mo\u017ee pobolj\u0161ati obrambeni polo\u017eaj agenta, ali mo\u017ee uzeti danak njegovom fizi\u010dkom stanju i sposobnosti da poma\u017ee drugima. Budu\u0107i da posljedice ovise o stanju i parametri okoli\u0161a variraju stohasti\u010dki, ne postoji jedinstvena politika koja sve maksimizira.<\/p>\n<p>Ovo prisiljava sustav da radi <em>zadovoljavaju\u0107i<\/em>: odabrati rje\u0161enja koja su primjerena s obzirom na trenuta\u010dna ograni\u010denja, umjesto teorijski savr\u0161enih. Za poslovni AI tijek rada analogija je izravna, ali mora ostati samo to \u2013 analogija. Ako agent istovremeno optimizira brzinu, tro\u0161ak, kvalitetu i uskla\u0111enost, odabir koji se na jednoj metrici \u010dini lo\u0161im mo\u017ee biti najbolja dostupna ravnote\u017ea na temelju signala koje smo pru\u017eili.<\/p>\n<div class=\"td-comparison td-comparison-cards--horizontal\">\n<div class=\"td-chart-head\">\n<p class=\"td-chart-kicker\">Dva mehanizma inercije<\/p>\n<p class=\"td-chart-title\">Nau\u010dena bespomo\u0107nost i apatija nisu ista stvar.<\/p>\n<p class=\"td-chart-intro\">ERDM razlikuje dva slu\u010daja u kojima agent nije obavezan na drugo djelovanje, jer su temeljne procjene vrijednosti razli\u010dite.<\/p>\n<\/div>\n<div class=\"td-comparison-grid\">\n<div class=\"td-platform-card\">\n<p class=\"td-platform-name\">U\u010dena bespomo\u0107nost<\/p>\n<p>Sve dostupne opcije djelovanja smatraju se pretjerano negativnima u odnosu na prag rizika. Nedjelovanje je suspenzija usmjerena na rizik.<\/p>\n<\/div>\n<div class=\"td-platform-card\">\n<p class=\"td-platform-name\">Apati\u010dnost<\/p>\n<p>Ne o\u010dekuje se da \u0107e bilo koja dostupna akcija ponuditi dovoljnu nagradu. Neaktivnost je, s naglaskom na nagradu, nedostatak dovoljne motivacije.<\/p>\n<\/div>\n<\/div>\n<\/div>\n<p>Ova razlika ima prakti\u010dnu vrijednost. Poslovni agent mo\u017ee ostati \u00abzaglavljen\u00bb jer svaka dostupna opcija kr\u0161i ograni\u010denje ili jer nijedna opcija ne zadovoljava minimalni prag korisnosti. U prvom slu\u010daju mo\u017ee biti potrebna sigurna eskalacija ili mogu\u0107nost poni\u0161tavanja odluke. U drugom slu\u010daju mo\u017ee biti potrebno bolje definirano ciljno stanje ili vi\u0161e alata. Isti naizgledni neuspjeh mo\u017ee zahtijevati druga\u010dije rje\u0161enje.<\/p>\n<h2 id=\"mathisi-adraneia-orio-kindynou\">U\u010denje, inercija i prag rizika<\/h2>\n<p>Svaka akcija ima vlastitu neovisnu mre\u017eu vrijednosti. Mre\u017ea uzima stanje kao ulaz i proizvodi o\u010dekivanu nagradu za tu konkretnu radnju. Arhitektura opisana u ovom radu ima dva skrivena sloja, s 128, odnosno 64 jedinice, i jedan izlazni sloj. Selekcija se provodi prema epsilon-greedy politici, tako da agent ponekad iskori\u0161tava ono \u0161to ve\u0107 smatra najboljom opcijom, a ponekad istra\u017euje.<\/p>\n<p>Epizoda zavr\u0161ava kada fizi\u010dko stanje ili primarna dimenzija dru\u0161tvenog pre\u017eivljavanja dosegne nulu. Nagrade se skaliraju prema raspolo\u017eivim resursima: isti gubitak ima ve\u0107u te\u017einu kada je agent ve\u0107 u ranjivom stanju. Stanje je podijeljeno na razli\u010dite zone, od 'izuzetno te\u0161kog' do 'stabilnog', s ve\u0107om osjetljivo\u0161\u0107u na niske razine resursa.<\/p>\n<p>Ovo obja\u0161njava za\u0161to radnja nema fiksno zna\u010denje. Radnja koja je prihvatljiva kada su resursi visoki mo\u017ee postati katastrofalna kada je agent blizu praga odr\u017eivosti. Za produkcijsku umjetnu inteligenciju pragovi i pravila eskalacije stoga moraju uzimati u obzir kontekst: razinu povjerenja, financijski rizik, osjetljivost podataka, utjecaj na korisnika i mogu\u0107nost ljudske intervencije.<\/p>\n<p>Uputstva osjetljiva na stanje nisu jednostavno detaljniji upit. Ona moraju prilagoditi dopu\u0161tene radnje i pragove kako se stanje mijenja. Zato se isplati povezati dizajn nagrada s <a href=\"https:\/\/twodots.gr\/smrc-sd-kathodigisi-ai-agent-katastasi\/\">Upravljanje ovisno o stanju AI agenta<\/a> i ne samo na temelju op\u0107e politike.<\/p>\n<h2 id=\"dokimi-antixootitas\">Kako je postavljena proba nevolje<\/h2>\n<p>Za validaciju, studija je modelirala neugodna iskustva iz djetinjstva kao tri razine intenziteta prijetnje. Niska razina neugodnosti koristila je intenzitete prijetnje od 20\u201340 na skali od 0\u2013100, umjerena ugro\u017eenost pri 40\u201360 i visoka ugro\u017eenost pri 80\u2013100. U\u010destalost triju vrsta okru\u017eenja ostala je nepromijenjena, tako da je klju\u010dna razlika bila u intenzitetu nepovoljnih doga\u0111aja.<\/p>\n<p>Glavni eksperimenti obuhvatili su 200 neovisnih simulacija, svaka s 1.500 koraka obuke, za DB-dominantne agente, NB-dominantne agente i nasumi\u010dne agente u tri uvjeta. Slu\u010dajni agenti nisu pokazali nau\u010denu bespomo\u0107nost ili apatiju u prostoru djelovanja, budu\u0107i da ta pona\u0161anja zahtijevaju procjene vrijednosti.<\/p>\n<p>Studija ne predstavlja djetinjstvo u svojoj cjelokupnoj ljudskoj slo\u017eenosti. Koristi kontrolirane apstrakcije kako bi ispitala mogu li se poznati obrasci pojaviti iz kombinacije nagrada, rizika i u\u010denja. Ovo je ra\u010dunalna validacija, a ne klini\u010dka validacija, i ne predstavlja osnovu za dijagnozu ili preporuke za lije\u010denje.<\/p>\n<aside class=\"td-article-note\"><strong>Ispravna izgovor brojeva:<\/strong> Stope navedene u nastavku opisuju pona\u0161anja unutar simulacije ERDM-a. To nisu epidemiolo\u0161ke stope, ne predvi\u0111aju ljudsko pona\u0161anje i ne mogu se izravno primijeniti na korporativne sustave.<\/aside>\n<h2 id=\"stathero-loss-diaforetikes-politikes\">Stalni gubitak, razli\u010dite politike<\/h2>\n<p>Jedan od najkorisnijih rezultata je udaljenost izme\u0111u konvergencije gubitka u\u010denja i konvergencije pona\u0161anja. Kod DB agenata gubitak se smanjio s 92 % na 97 % ovisno o uvjetima, dok je kod NB agenata smanjenje u svim uvjetima prema\u0161ilo 99 %. Nagnutosti u kasnom prozoru gubitka i nagrade nisu se razlikovale od nule, \u0161to ukazuje na to da je trening stabiliziran.<\/p>\n<p>Ipak, raznolikost radnji nije nestala. DB agenti su zadr\u017eali 34\u201344 posto svoje po\u010detne entropije, a NB agenti 34\u201349 posto. Sustav je stoga mogao odr\u017eati stabilan proces u\u010denja bez da su se svi agenti usmjerili na istu strategiju. U uvjetima velike nepovoljnosti, korelacija izme\u0111u gubitka u kasnom prozoru i entropije pona\u0161anja postala je ja\u010da, \u0161to ukazuje na to da su stabilizacija u\u010denja i dosljednost pona\u0161anja bili usko povezani u tom okru\u017eenju.<\/p>\n<p>Ovo je klju\u010dno za procjenu AI agenata. Glatka krivulja gubitka ili dobar ukupni rezultat ne dokazuju ujedna\u010deno ili po\u017eeljno pona\u0161anje. Moramo ispitati disperziju putanja, neuspjehe manjine i stabilnost politika kroz razli\u010dite sekvence doga\u0111aja. <a href=\"https:\/\/twodots.gr\/epalithefsi-politikon-reinforcement-learning-ai-agent\/\">Validacija politika u\u010denja poja\u010danja<\/a> Trebalo bi se usredoto\u010diti na to kako sustav funkcionira u kriti\u010dnim situacijama, a ne samo na to je li se prosje\u010dni pokazatelj pobolj\u0161ao.<\/p>\n<h2 id=\"ypsili-antixootita\">\u0160to se promijenilo suo\u010deno s velikom nevoljom<\/h2>\n<p>Me\u0111u DB-dominantnim agentima, pozitivno o\u010dekivanje ostalo je na oko 85 posto u uvjetima bez ACE-a i uz umjerenu nevolju, ali je palo na 67 posto u uvjetima velike nevolje. U\u010dena bespomo\u0107nost, koja je bila odsutna u dvjema bla\u017eim uvjetima, pojavila se s prosje\u010dnom vrijedno\u0161\u0107u od 15,2 posto. Negativno o\u010dekivanje poraslo je s otprilike 15 posto na 33 posto.<\/p>\n<p>Rezultat nije bio jednostavno op\u0107i porast agresije. Neusmjerena agresija pala je s 39 posto na 29,4 posto, a relacijska agresija s 30,8 posto na 24,7 posto. Tuma\u010denje studije jest da, kada prijetnja prije\u0111e prag rizika, neaktivnost proiza\u0161la iz nau\u010denog nemo\u0107ni\u0161tva mo\u017ee zamijeniti prethodne strategije dominacije.<\/p>\n<p>Agenti s dominantnim NB-om pokazali su druga\u010diji profil. Zdrava prijateljskost ostala je dominantno pona\u0161anje, dose\u017eu\u0107i otprilike 47 posto pri visokoj nevolji, dok nau\u010dena bespomo\u0107nost nije bila prisutna. Ovaj nalaz pokazuje u kojoj mjeri razlika u prioritetu nagrade mo\u017ee promijeniti repertoar pona\u0161anja, bez da su prethodno kodirani sveobuhvatni, slo\u017eeni skripti.<\/p>\n<div class=\"td-chart td-chart--metrics\">\n<div class=\"td-chart-head\">\n<p class=\"td-chart-kicker\">Kvantitativni podaci iz rada<\/p>\n<p class=\"td-chart-title\">\u010cetiri broja koja obja\u0161njavaju ERDM<\/p>\n<p class=\"td-chart-intro\">Podaci su izvedeni iz simulacije i ne predstavljaju proizvodne KPI-jeve, klini\u010dke stope ili prognoze ROI-ja.<\/p>\n<\/div>\n<div class=\"td-metric-grid\">\n<div class=\"td-metric-card\"><span class=\"td-metric-value\">200<\/span><span class=\"td-metric-label\">Odvojite glavne simulacije za svaku postavku.<\/span><\/div>\n<div class=\"td-metric-card\"><span class=\"td-metric-value\">1.500<\/span><span class=\"td-metric-label\">koraci treninga u svakoj glavnoj vo\u017enji<\/span><\/div>\n<div class=\"td-metric-card\"><span class=\"td-metric-value\">15,2%<\/span><span class=\"td-metric-label\">prosje\u010dna nau\u010dena bespomo\u0107nost (DB) u uvjetima visoke nevolje<\/span><\/div>\n<div class=\"td-metric-card\"><span class=\"td-metric-value\">296 \/ 704<\/span><span class=\"td-metric-label\">robustne i ranjive tr\u010danja u dodatnoj analizi<\/span><\/div>\n<\/div>\n<\/div>\n<h2 id=\"anthektikes-evalotes-ypoomades\">Za\u0161to su se pojavile podgrupe otporne i osjetljive?<\/h2>\n<p>Daljnja analiza 1.000 DB-dominantnih poku\u0161aja pod visokim nepovoljnim uvjetima otkrila je dvije latentne podgrupe. Gausov model mje\u0161avine sna\u017eno je favorizirao dvo-komponentno rje\u0161enje i koristio prag od 2,04 % za nau\u010denu neujedna\u010denost. 296 poku\u0161aja klasificirano je kao otporno, s prosje\u010dnom vrijedno\u0161\u0107u od 0,43 posto, a 704 kao ranjivo, s prosje\u010dnom vrijedno\u0161\u0107u od 20 posto.<\/p>\n<p>Okoli\u0161ni parametri bili su isti. Ono \u0161to se razlikovalo bila je stohasti\u010dka sekvenca ranih doga\u0111aja, koja je dovela do razli\u010ditih povijesti nagrada. Otporni agenti pokazali su vi\u0161i za\u0161titni pona\u0161anje, 31,64% u usporedbi s 7,92%, te pozitivnu o\u010dekivanu vrijednost od 82,65% u usporedbi s 62,35%.<\/p>\n<p>Zdrava prijateljskost bila je sna\u017eno negativno korelirana s nau\u010denom bespomo\u0107no\u0161\u0107u unutar simulacije: Pearson r = \u22120,91 i R\u00b2 = 0,83. Suprotno tome, ranjivost u tra\u017eenju pomo\u0107i nije pokazala zna\u010dajnu povezanost. To ne zna\u010di da tra\u017eenje pomo\u0107i ne \u0161titi ljude. U ovom posebnom modelu agenti DB-a to podcjenjuju jer se to tuma\u010di kao tro\u0161ak njihove obrambene dru\u0161tvene pozicije.<\/p>\n<p>Operativna implikacija je da ista konfiguracija ne jam\u010di iste putanje. Redoslijed alata, ponovnih poku\u0161aja, iznimaka i ljudskih intervencija mo\u017ee promijeniti naknadno stanje agenta. To je jedan od razloga za\u0161to <a href=\"https:\/\/twodots.gr\/dynamic-context-scheduling-ai-agents-metavallomenos-kosmos\/\">Obuka AI agenata za promjenjiva okru\u017eenja<\/a> Zahtijeva vi\u0161e sekvenci umjesto jedne 'happy path' staze.<\/p>\n<h2 id=\"reward-design-epixeiriseon\">Od akademskog istra\u017eivanja do dizajna korporativnih nagrada<\/h2>\n<p>ERDM nije marketin\u0161ki, korisni\u010dka podr\u0161ka ili e-trgovinski model. Me\u0111utim, njegova arhitektura isti\u010de op\u0107i problem s agentnim dizajnom. Timovi \u010desto postavljaju cilj \u2014 vi\u0161e konverzija, br\u017ea usluga, ni\u017ei tro\u0161kovi \u2014 i nuspojave tretiraju kao nepredvi\u0111ene gre\u0161ke. Agent, me\u0111utim, mo\u017ee jednostavno dosljedno slijediti poticaje koje mu je dano.<\/p>\n<p>Agent korisni\u010dke podr\u0161ke koji je nagra\u0111en prvenstveno za kratko vrijeme obrade mo\u017ee zaklju\u010diti razgovore prije nego \u0161to je problem rije\u0161en. Sustav preporuka koji gleda samo trenutne klikove mo\u017ee \u017ertvovati povjerenje ili raznolikost. Marketin\u0161ki agent koji mjeri samo potencijalne klijente mo\u017ee generirati velik broj niskokvalitetnih potencijalnih klijenata. Ovo su ilustrativni primjeri principa, a ne slu\u010dajevi testirani u studiji.<\/p>\n<p>Najbolja je praksa identificirati sukobe ciljeva prije implementacije. Koje su metrike u sukobu? Koje bi pona\u0161anje maksimiziralo svaku metriku na ne\u017eeljen na\u010din? Koji su tro\u0161kovi skriveni u modelu? Koja je sigurna radnja izostavljena? Rasprava o <a href=\"https:\/\/twodots.gr\/sparse-reward-ai-hints-critics-teachers\/\">rijetka nagrada i usmjeravanje putem naznaka, kriti\u010dara i u\u010ditelja<\/a> To tako\u0111er pokazuje da kvaliteta povratne informacije odre\u0111uje \u0161to sustav mo\u017ee nau\u010diti.<\/p>\n<div class=\"td-decision-band\">\n<p class=\"td-decision-kicker\">Odluka o dizajnu nagrade<\/p>\n<p class=\"td-decision-title\">Ne ispravljaj samo rezultat; provjeri \u0161to je dalo smisla pona\u0161anju.<\/p>\n<p>Isplanirajte nagrade, kazne, signale stanja, dostupne radnje, uvjete zaustavljanja i putanje eskalacije. Ako agent nema sigurnu opciju ili ne mo\u017ee vidjeti tro\u0161ak neke radnje, stro\u017ei poticaj mo\u017ee privremeno prikriti simptom, a da se ne promijeni temeljni mehanizam.<\/p>\n<\/div>\n<p>NIST-ov AI RMF tretira rizik umjetne inteligencije kao funkciju vjerojatnosti i utjecaja unutar odre\u0111enog konteksta i upozorava da metrike mogu biti prejednostavljene ili podlo\u017ene manipulaciji. To je u skladu s prakti\u010dnom lekcijom iz ERDM-a: poticaji i ograni\u010denja organizacije dio su sigurnosti. Nije dovoljno zahtijevati \u00abdobro pona\u0161anje\u00bb od modela ako operativno okru\u017eenje nagra\u0111uje ne\u0161to drugo.<\/p>\n<h2 id=\"mesoi-oroi-failure-modes\">Za\u0161to prosjeci prikrivaju na\u010dine neuspjeha<\/h2>\n<p>Razlika izme\u0111u otpornih i ranjivih agenata pokazuje da agregatni rezultat mo\u017ee prikriti dvije potpuno razli\u010dite kategorije pona\u0161anja. Da je evaluacija pratila samo prosje\u010dnu razinu nau\u010denog nemo\u0107ni\u0161tva, ne bi jasno otkrila bimodalnu strukturu 1.000 poku\u0161aja.<\/p>\n<p>Za produkcijsku umjetnu inteligenciju to se prevodi u potrebu za kohortnom analizom, testovima repnih rizika i ponovnim reproduciranjem razli\u010ditih slijedova doga\u0111aja. Ukupna stopa uspje\u0161nosti nije dovoljna. Moramo znati koji korisnici, koje namjere, koje razine resursa i koje sekvence alata dovode do modova neuspjeha. Vremenske serije mogu biti jednako va\u017ene kao i pojedina\u010dni ulazi.<\/p>\n<p>Jednako je va\u017eno razlikovati tehni\u010dku stabilnost i \u017eeljeno pona\u0161anje. Politika mo\u017ee biti stabilna, a ipak problemati\u010dna. Kontrolne plo\u010de moraju uklju\u010divati raznolikost pona\u0161anja, obrasce odbijanja, kvalitetu eskalacije, stopu povla\u010denja i ne\u017eeljene strategije, a ne samo latenciju i dovr\u0161etak zadataka. Ovo je sr\u017e <a href=\"https:\/\/twodots.gr\/ai-agents-behavioral-testing\/\">pona\u0161ajno testiranje za AI agente<\/a>.<\/p>\n<p>Analiza tako\u0111er mora povezati svaki neuspjeh s uzrokom. Jedan neuspjeh mo\u017ee biti zato \u0161to agent nije imao odgovaraju\u0107i alat, drugi zato \u0161to je primio neto\u010dan signal stanja, a tre\u0107i zato \u0161to je nagrada oja\u010dala pre\u010dac. Ova je logika povezana sa sustavima gdje <a href=\"https:\/\/twodots.gr\/cdrl-ai-mathainei-apo-aitia-apotychias\/\">AI u\u010di iz uzroka neuspjeha<\/a> i ne samo na temelju binarne oznake 'uspjeha'.<\/p>\n<h2 id=\"elegxos-prin-deployment\">Okvir za testiranje prije raspore\u0111ivanja<\/h2>\n<p>Tim mo\u017ee koristiti logiku studije bez kopiranja samog modela. Cilj je transformirati krajolik nagrada, prijelaze stanja i iznimke u provjerljive artefakte. Svaki korak mora biti povezan s odre\u0111enim slu\u010dajem upotrebe i opipljivom odlukom.<\/p>\n<div class=\"td-step-list\">\n<p class=\"td-step-list-title\">Analiza krajolika nagrade za operativnog AI agenta<\/p>\n<ol>\n<li><span class=\"td-step-kicker\">Korak 1<\/span><strong>Evo odluke i prave cijene pogre\u0161ke<\/strong>\n<p>Zabilje\u017eite \u0161to agent odabere ili u\u010dini, tko je pogo\u0111en te koje su pogre\u0161ke reverzibilne, skupe ili visokorizi\u010dne.<\/p>\n<\/li>\n<li><span class=\"td-step-kicker\">Korak 2<\/span><strong>Isplanirajte konkurentske nagrade<\/strong>\n<p>Pove\u017eite brzinu veze, kvalitetu, tro\u0161ak, uskla\u0111enost i korisni\u010dko iskustvo s razli\u010ditim signalima, kako jedna metrika ne bi zasjenila ostale.<\/p>\n<\/li>\n<li><span class=\"td-step-kicker\">Korak 3<\/span><strong>Provjerite ono \u0161to agent ne mo\u017ee vidjeti<\/strong>\n<p>Prepoznajte skrivene tro\u0161kove, odgo\u0111ene ishode, nepotpuni kontekst i povratne informacije koje sti\u017eu tek kad je ve\u0107 prekasno.<\/p>\n<\/li>\n<li><span class=\"td-step-kicker\">Korak 4<\/span><strong>Dodajte sigurne radnje i uvjete zaustavljanja<\/strong>\n<p>Pru\u017eite opcije za poja\u0161njenje, \u010dekanje, povratak unatrag i ljudsku eskalaciju, umjesto da prisiljavate sustav da bira izme\u0111u lo\u0161ih opcija djelovanja.<\/p>\n<\/li>\n<li><span class=\"td-step-kicker\">Korak 5<\/span><strong>Ponovite razli\u010dite sekvence<\/strong>\n<p>Varirajte redoslijed, intenzitet i u\u010destalost doga\u0111aja, jer isti skup ulaza mo\u017ee proizvesti razli\u010dite povijesti nagrada i politike.<\/p>\n<\/li>\n<li><span class=\"td-step-kicker\">Korak 6<\/span><strong>Mjerenje kohorti i pona\u0161anja odstupanja<\/strong>\n<p>Analizirajte redove za raspodjelu, neuspjehe manjine, obrasce odbijanja i skupine putanja umjesto da se oslanjate isklju\u010divo na prosjek.<\/p>\n<\/li>\n<li><span class=\"td-step-kicker\">Korak 7<\/span><strong>Postavite vlasnika, trag revizije i pravilo promjene<\/strong>\n<p>Dodijelite osobu odgovornu za svaku nagradu i za\u0161titnu ogradu, vodite evidenciju odluka i mijenjajte konfiguraciju samo nakon mjerljive revizije.<\/p>\n<\/li>\n<\/ol>\n<\/div>\n<p>Uvo\u0111enje zahtijeva jasne kontrolne to\u010dke. Izvanmre\u017eni referentni test nije zamjena za sjenoviti na\u010din rada, suparni\u010dke scenarije, povratak na prethodno stanje i ljudski nadzor. <a href=\"https:\/\/twodots.gr\/ai-agents-me-oria-aftonomia-kai-krisi\/\">AI agenti s ograni\u010denjima<\/a> Oni su pouzdani kada se njihova autonomija odre\u0111uje kvalitetom njihove prosudbe i razmjerom potencijalnog utjecaja.<\/p>\n<p>Nadzor mora imati stvarnu sposobnost intervencije. Ako agent svaku opciju do\u017eivljava kao pretjerano negativnu, treba siguran mehanizam eskalacije i bolji prostor za djelovanje, a ne pritisak da nastavi. Ako nijedna radnja ne zadovoljava prag nagrade, cilj mo\u017eda treba redizajnirati. Povjerenje se gradi kada <a href=\"https:\/\/twodots.gr\/ai-agents-confidence-context-data-human-oversight\/\">kontekst, podaci i ljudski nadzor<\/a> povezani su s izvr\u0161nim pravilima.<\/p>\n<h2 id=\"oria-symperasma\">Opseg studije i klju\u010dni zaklju\u010dak<\/h2>\n<p>Rad postavlja jasna ograni\u010denja. Prvo, pretpostavlja se da agent situaciju percipira ispravno i bez pristranosti, dok ljudska kognicija i AI sustavi mogu biti podlo\u017eni \u0161umu, izobli\u010denjima ili pogre\u0161noj kalibraciji. Drugo, okru\u017eenje se svodi na tri stanja i nekoliko o\u010duvanih radnji. Ne uzima u potpunosti u obzir empatiju, neuspjele poku\u0161aje ili specifi\u010dne vrijednosti zajednice.<\/p>\n<p>Tre\u0107e, ovo je okvir s jednim agentom; stoga ne predstavlja grupnu dinamiku, kulturni prijenos ili dru\u0161tvenu evoluciju me\u0111u vi\u0161e aktivnih agenata. \u010cetvrto, ne postoji prate\u0107a eksperimentalna studija validacije na ljudima. Rezultati ostaju ra\u010dunalni, a prijedlozi za intervencije su hipoteze koje treba testirati u budu\u0107nosti.<\/p>\n<p>Ova ograni\u010denja ne poni\u0161tavaju model; ona definiraju njegov ispravan opseg primjene. Ne smijemo mije\u0161ati simulaciju s dijagnozom, niti korelaciju unutar ERDM-a s preporukom za lije\u010denje. Vrijednost le\u017ei u \u010dinjenici da mehanisti\u010dke pretpostavke o okru\u017eenju, nagradama i pona\u0161anju postaju vidljive i provjerljive.<\/p>\n<p>Za tvrtke je klju\u010dna poruka jednostavna: ne ocjenjujte agenta umjetne inteligencije isklju\u010divo na temelju toga je li \u00abnau\u010dio\u00bb ili postigao prosje\u010dni cilj. Uzmite u obzir ono \u0161to je nau\u010dio smatrati vrijednim, koje rizike prepoznaje, koje opcije ima, \u0161to ne vidi i kako niz doga\u0111aja mo\u017ee pretvoriti odluku koja ima smisla izolirano u ne\u017eeljeni poslovni ishod.<\/p>\n<section class=\"td-service-cta\">\n<div class=\"td-service-cta-content\">\n<p class=\"td-service-cta-kicker\">Automacija vo\u0111ena umjetnom inteligencijom s kontroliranim poticajima<\/p>\n<p class=\"td-service-cta-title\">Agenti za dizajn koji optimiziraju ispravan ishod<\/p>\n<p>TWO DOTS integrira operativne podatke, dizajn nagrada, za\u0161titne mjere osjetljive na stanje, ljudsku eskalaciju, tragove revizije i testiranje pona\u0161anja u kontrolirane AI radne procese.<\/p>\n<div class=\"td-service-cta-actions\"><a class=\"td-service-cta-button\" href=\"https:\/\/twodots.gr\/aftomatismoi-epicheiriseon-ai\/\">Pogledajte automatizaciju poslovanja i umjetnu inteligenciju<\/a><\/div>\n<\/div>\n<\/section>\n<section id=\"sychnes-erotiseis\" class=\"td-faq-section\">\n<div class=\"td-faq\">\n<p class=\"td-faq-heading\">\u010cesto postavljana pitanja<\/p>\n<details class=\"td-faq-item\">\n<summary class=\"td-faq-title\">\u0160to je ERDM?<\/summary>\n<div class=\"td-faq-content\">\n<p>To je ra\u010dunalni okvir za u\u010denje poja\u010danja koji simulira agenta u okru\u017eenjima obilje\u017eenim prijetnjama, ciljevima i saveznostima, s natjecateljskim dimenzijama fizi\u010dkog i dru\u0161tvenog pre\u017eivljavanja.<\/p>\n<\/div>\n<\/details>\n<details class=\"td-faq-item\">\n<summary class=\"td-faq-title\">Je li ERDM klini\u010dki dijagnosti\u010dki model?<\/summary>\n<div class=\"td-faq-content\">\n<p>Ne. Studija je ra\u010dunalna; ne uklju\u010duje eksperimentalnu validaciju na ljudima i ne bi se smjela koristiti za dijagnosti\u010dke ili terapijske odluke.<\/p>\n<\/div>\n<\/details>\n<details class=\"td-faq-item\">\n<summary class=\"td-faq-title\">\u0160to zna\u010di 'satisficing' u ERDM-u?<\/summary>\n<div class=\"td-faq-content\">\n<p>To zna\u010di odabrati rje\u0161enje koje je primjereno s obzirom na raspolo\u017eiva ograni\u010denja, umjesto tra\u017eenja univerzalno optimalnog rje\u0161enja koje mo\u017eda ne postoji.<\/p>\n<\/div>\n<\/details>\n<details class=\"td-faq-item\">\n<summary class=\"td-faq-title\">Koja je razlika izme\u0111u nau\u010dene bespomo\u0107nosti i apatije?<\/summary>\n<div class=\"td-faq-content\">\n<p>Prvi se aktivira kada se predvi\u0111a da \u0107e sve radnje biti pretjerano negativne u odnosu na prag rizika, dok se drugi aktivira kada nijedna ne izgleda dovoljno profitabilno.<\/p>\n<\/div>\n<\/details>\n<details class=\"td-faq-item\">\n<summary class=\"td-faq-title\">\u0160to je otkrilo ispitivanje visokog stresa?<\/summary>\n<div class=\"td-faq-content\">\n<p>Me\u0111u DB-dominantnim agensima nau\u010dena bespomo\u0107nost pojavila se u prosjeku u 15,2 posto; pozitivna o\u010dekivanja su se smanjila, a agresija se nije ujedna\u010deno pove\u0107ala.<\/p>\n<\/div>\n<\/details>\n<details class=\"td-faq-item\">\n<summary class=\"td-faq-title\">Za\u0161to su se u istim okru\u017eenjima pojavile dvije podgrupe?<\/summary>\n<div class=\"td-faq-content\">\n<p>Stohasti\u010dki slijed ranih doga\u0111aja generirao je razli\u010dite povijesti nagrada, iako su parametri okru\u017eenja bili isti u svih 1.000 dodatnih pokretanja.<\/p>\n<\/div>\n<\/details>\n<details class=\"td-faq-item\">\n<summary class=\"td-faq-title\">Koji je osnovni modul za poslovnu umjetnu inteligenciju?<\/summary>\n<div class=\"td-faq-content\">\n<p>Timovi moraju zajedni\u010dki pregledati model, poticaje, dostupne radnje, signale stanja, pragove i sekvence doga\u0111aja koje bi mogle dovesti do ne\u017eeljenih strategija.<\/p>\n<\/div>\n<\/details>\n<details class=\"td-faq-item\">\n<summary class=\"td-faq-title\">Kako se AI agent testira prije implementacije?<\/summary>\n<div class=\"td-faq-content\">\n<p>Uklju\u010duju\u0107i mapiranje konkurentskih nagrada, sigurnih zaustavljanja i postupaka eskalacije, ponovno reproduciranje razli\u010ditih sekvenci, analizu kohorti, testove repnih rizika i trag revizije.<\/p>\n<\/div>\n<\/details>\n<\/div>\n<\/section>\n<div class=\"td-source-list\">\n<p id=\"piges\" class=\"td-source-list-title\">Izvori<\/p>\n<ul>\n<li><a href=\"https:\/\/arxiv.org\/abs\/2608.23932\" target=\"_blank\" rel=\"noopener\">Andrew Hu \u2014 Evolucijski ponavljaju\u0107i model odlu\u010divanja u razvoju adaptivnih i maladaptivnih pona\u0161anja, arXiv<\/a><\/li>\n<li><a href=\"https:\/\/www.nist.gov\/publications\/artificial-intelligence-risk-management-framework-generative-artificial-intelligence\" target=\"_blank\" rel=\"noopener\">NIST \u2014 Okvir za upravljanje rizicima umjetne inteligencije: Profil generativne umjetne inteligencije<\/a><\/li>\n<li><a href=\"https:\/\/www.nist.gov\/itl\/ai-risk-management-framework\/nist-ai-rmf-playbook\" target=\"_blank\" rel=\"noopener\">NIST \u2014 Priru\u010dnik za okvir upravljanja rizicima umjetne inteligencije<\/a><\/li>\n<\/ul>\n<\/div>","protected":false},"excerpt":{"rendered":"<p>ERDM pokazuje za\u0161to AI agent mo\u017ee nau\u010diti ispravno, a ipak djelovati pogre\u0161no kada su njegove nagrade, izbori i okru\u017eenje u sukobu.<\/p>","protected":false},"author":1,"featured_media":106022,"comment_status":"open","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"_gspb_post_css":"","footnotes":""},"categories":[199],"tags":[6506,20975,20976,18034,19154],"class_list":["post-98263","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-techniti-noimosyni","tag-ai-agents","tag-behavioral-modeling","tag-incentive-design","tag-reinforcement-learning","tag-responsible-ai"],"_links":{"self":[{"href":"https:\/\/twodots.gr\/hr\/wp-json\/wp\/v2\/posts\/98263","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/twodots.gr\/hr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/twodots.gr\/hr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/twodots.gr\/hr\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/twodots.gr\/hr\/wp-json\/wp\/v2\/comments?post=98263"}],"version-history":[{"count":0,"href":"https:\/\/twodots.gr\/hr\/wp-json\/wp\/v2\/posts\/98263\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/twodots.gr\/hr\/wp-json\/wp\/v2\/media\/106022"}],"wp:attachment":[{"href":"https:\/\/twodots.gr\/hr\/wp-json\/wp\/v2\/media?parent=98263"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/twodots.gr\/hr\/wp-json\/wp\/v2\/categories?post=98263"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/twodots.gr\/hr\/wp-json\/wp\/v2\/tags?post=98263"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}