С повече от 20 години опит ние променяме вашето цифрово присъствие. Специализирани сме в разработването на уебсайтове и електронни магазини, SEO и цифров маркетинг, ERP софтуер и интелигентна автоматизация, които извеждат бизнеса ви на следващото ниво.
Адрес:
Егнатия 154, Солун 546 36
Телефон:
+30 231 231 4095
Електронна поща:
[email protected]
Готови ли сте за следващата стъпка?;
Хибридното AI търсене на Papers with Code показва как лексикалното търсене, вградените модели, данните с версии и надеждните резервни решения преминават от пилотен етап към производствена среда.
Надеждното хибридно AI търсене не замества думите с вградени вектори: то запазва лексикалното търсене с цел точност и като резервен вариант, добавя семантично възстановяване и активира всяко ново генериране на вектори едва след като бъде проверено. Архитектурата на Papers with Code показва как това се постига чрез данни с версии, отделни офлайн и онлайн работни натоварвания, контролирани повторения и потребителски опит, който продължава да функционира, когато крайната точка на модела е „студена“ или временно недостъпна.
Въпросът е от практическо естество: как търсачката намира точната статия за изкуствен интелект, когато потребителят си спомня точно заглавието, въвежда arXiv ID, допусне правописна грешка или просто опише понятието, което търси? Papers with Code не подходи към проблема като демонстрация на модел. Той комбинира пълнотекстово търсене в PostgreSQL, вграждания в pgvector и сливане на претеглени реципрочни рангове, с ясен механизъм за отстъпване към лексикалния път.
Този случай се отнася пряко до търсенето в електронната търговия, базите от знания, обслужването на клиенти и корпоративните портали. Качеството на извличането не зависи само от избора на модел за вграждане. То зависи от това дали векторите съответстват на текущото съдържание, дали преходът към нов индекс е обратим, дали има представителни тестове и дали потребителят продължава да получава полезни резултати, когато дадена семантична зависимост се провали.
Ограничение на източника: Техническите показатели са взети от публикацията на Hugging Face от 21 август 2026 г. и от пилотна извадка от 5 000 статии от Papers with Code. Те описват конкретния корпус, хардуера и конфигурацията; не представляват общ бенчмарк, нито доказателство за съответна производителност в електронен магазин или корпоративна база от знания.
Хибридното AI търсене представлява паралелното използване на лексикален и семантичен път. Първият оценява съответствието между думи, заглавия, идентификатори и други точни полета. Втората преобразува заявките и документите във вектори, за да намира концептуално близко съдържание, дори когато не се използва същият речник. Механизъм за сливане комбинира двете класификации.
Хибридният подход е полезен, когато наборът от заявки съдържа едновременно точни и описателни търсения. В каталог с продукти, например, кодът на модела и марката изискват детерминистична обработка, докато търсене като «безшумна клавиатура за общ офис» се възползва от семантичното извличане. В една база от знания точното наименование на процеса съжителства с въпроси, формулирани на естествен език.
Това обаче не е задължителна отправна точка. Самият източник предлага бърз и евтин базов вариант с ключови думи и добавяне на семантично или хибридно търсене само когато оценката с реални заявки покаже съществено подобрение. Това е същият дух, от който се нуждае оценка на вградените модели при мултимодалното търсене: подходящата система се определя въз основа на конкретния набор от данни и конкретната цел, а не въз основа на някакво общо обещание.
Едно полезно търсене на научни статии трябва да разпознава различни намерения. Потребителят може да въведе точното заглавие или arXiv ID, да си спомни част от заглавието, да допусне незначителна правописна грешка или да търси концептуално «малки езикови модели за генериране на код». В последния случай същите думи може да не се срещат заедно в нито едно резюме, въпреки че доста статии са свързани с темата.
Лексикалното търсене е ефективно при точни термини, идентификатори и редки имена. Семантичното търсене повишава степента на възстановяване, когато намерението се изразява с различен речник. Papers with Code запази и двата подхода и добави детерминистични правила за точни заглавия, arXiv ID-та, навигационни заявки и консервативно неточно съвпадение.
Два маршрута с различна работа
Лексикален клон
Защитава точни заглавия, arXiv ID-та, кодове на продукти, марки и редки имена. Остава незабавно достъпна, когато семантичният ендпойнт е „студен“, зает или нефункциониращ.
Семантичен клон
Използва вграждания за заявки, които описват една и съща нужда с различен речник. Добавя стойност само когато договорът за вграждане и оценката съответстват на реалния корпус.
Основният архитектурен избор беше да не се включва ресурсоемкото генериране на вграждания на документи в пътя на заявката. Вгражданията за над 110 000 актуални статии от arXiv и Daily Papers се генерират като пакетна задача чрез Hugging Face Jobs. Резултатите се съхраняват в Storage Buckets и само създаването на малки вграждания за конкретното запитване се изпълнява онлайн чрез защитен Inference Endpoint.
Разделянето насочва работната натоварване към подходящата инфраструктура. Задачите се оптимизират за пропускателна способност и ограничени разходи за GPU. Крайната точка се оптимизира за достъпност и латентност на заявките. „Bucket“ функционира като контролиран договор между производствената база данни, експериментите и временната изчислителна среда. Ако крайната точка закъснее или претърпи отказ, лексикалното търсене не зависи от това.
Същият принцип е полезен в един чатбот за вътрешно ползване с RAG и корпоративна база от знания. Въвеждането и актуализирането на документи представляват data pipeline, докато отговорът към потребителя е онлайн услуга. Обединяването им в един request path превръща всеки проблем с въвеждането в проблем с достъпността.
Един embedding pipeline може да се повреди, без да се появи видима грешка. Достатъчно е да се промени версията на модела, размерността, нормализацията, форматиращият модул за входни данни или да се използва подсказка за документ там, където се изисква подсказка за заявка. Векторите продължават да са числовите валидни, но вече не принадлежат към същото семантично пространство.
Papers with Code третира формата на вграждане като API с версии. Всяка статия се кодира чрез нормализирано заглавие, две промени на реда и нормализирано резюме. Заедно с всяко генериране се записват хранилището на модела и точната ревизия, размерът на изхода, версията на входния формат, ролята на заявката или документа, нормализацията и хешът на съдържанието на заглавието и резюмето.
Генерацията на съдържание използва Qwen/Qwen3-Embedding-0.6B в фиксирана версия, с L2-нормализирани вектори с 256 измерения. Подсказките за документи и заявки остават отделни. При корпоративни документи един и същ договор трябва да обхваща както разделянето на части, така и обработката на езика, филтрите за метаданни и разрешенията за съдържание. В противен случай една система генеративно отговаряне на въпроси въз основа на корпоративни документи може да дава несъгласувани резултати, без да има видима техническа неизправност.
Създаването на корпуса започва от snapshot с repeatable-read на PostgreSQL. Експортерът предава редовете в поток, вместо да зарежда целия каталог в паметта, записва ограничени JSONL фрагменти и създава манифест с брой редове и SHA-256 контролни суми. Непроменяемата директория на изпълнението се синхронизира в частен Storage Bucket и се прикачва към задача с NVIDIA L4 GPU и 24 GB VRAM.
Работникът проверява манифеста и контролните суми, зарежда фиксираната ревизия, сортира текстовете по дължина, за да се намали излишното запълване, извършва кодиране на документа и автоматично намалява размера на партидата при изчерпване на паметта на GPU. След това разделя „Matryoshka“ представянето на 256 измерения, извършва нормализация и записва атомарно float16 Parquet фрагменти заедно с версиите на пакетите, хардуера, пиковата VRAM, пропускателната способност, броя на редовете и контролните суми на изхода.
Всеки завършен шард има маркер, така че при рестартиране вече проверената работа да бъде пропусната. Импортерът проверява отново схемата, контролната сума, измерението, нормализацията, уникалните идентификатори на статиите и текущия хеш на съдържанието. Зарежда новото поколение до активното, изгражда отделен HNSW индекс и го активира атомарно едва след като бъде обхваната всяка допустима текуща статия.
Ключовият производствен модел: Bucket е променлив, но всеки префикс на изпълнение се третира като непроменлив и се изчислява контролна сума за него. Новото поколение не замества старото по време на изграждането; то се въвежда, проверява и активира като отделно състояние, така че връщането назад да представлява промяна в конфигурацията, а не спешно преизграждане.
Заявката се кодира съгласно същия модел и договор чрез автентифициран Inference Endpoint с Text Embeddings Inference. API-то проверява дали векторът има 256 измерения, крайни стойности и очаквана норма, след което извършва търсене по косинусно разстояние в активната pgvector генерация. Индексът HNSW осигурява бързо търсене.
Endpoint има най-много една реплика и може да се мащабира до нула, когато не се използва. Тази икономия води до ’студени стартирания“, затова клиентът за заявки прилага таймаут в производствена среда от една секунда, ограничение за неблокираща паралелност, краткосрочен кеш и прекъсвач. Не записва сурови заявки, а нормализиран отпечатък. При изтичане на времето за изчакване, неправилно оформен вектор или липса на паралелност, семантичният клон се пропуска незабавно и потребителят получава лексикални резултати.
Четири размера от тази пилотна серия
Стойностите се отнасят за 5 000 статии и конфигурацията, описана от Hugging Face; те не представляват общ еталон за всеки корпус.
Цифрите показват как се оценява компромисът между качество, капацитет за съхранение и латентност в един и същ набор от данни. Те не доказват, че 256 измерения са правилният избор за друга област. Изборът изисква собствена „ground truth“, сравнение чрез точно търсене, преглед на релевантността и измерване на общата латентност на заявките, включително крайната точка на модела.
Всяка клонка връща до 50 кандидати. Papers with Code комбинира класиранията чрез „weighted reciprocal rank fusion“ (RRF), с равни тегла и константа на ранга k=60. RRF комбинира позициите, вместо да се опитва да сравнява директно резултатите от две системи с различни скали. Статия, която се намира на високи позиции и в двете класации, получава по-силен краен сигнал.
Над обединената класация се спазват правилата за идентичност. Точните заглавия и arXiv ID-тата остават на върха, таксономията на методите разпознава навигационни запитвания като «първата статия за BERT», докато непълните заглавия и ограничените правописни грешки използват консервативни триграмови кандидати. Когато едно неточно съвпадение е съмнително, системата предпочита да не показва грешен резултат.
Този пункт е свързан с прехвърляне на кредити при търсенето на AI агенти: Не е достатъчно просто да се появи един резултат. Трябва да знаем кой сигнал за извличане го е донесъл, как е повлиял на крайното класиране и дали наистина е помогнал на работата на потребителя.
Решението не се свежда до «ключови думи или вектори»
Започнете с комбинацията от заявки и разходите при грешка. Осигурете детерминистично обработване на кодове, марки и точни заглавия, измерете семантичния ефект при реални заявки и планирайте лексикален резервен вариант, преди крайната точка да влезе в пътя на заявката.
Пълните преизграждания, новите поколения модели и големите backfill-ове са част от задачите. Нови статии и коригирани резюмета обаче пристигат непрекъснато. Стартирането на GPU задача за няколко промени би довело до непропорционално голям разход за оркестриране, затова едночасова инкрементална процедура изпраща ограничено делта към същия ендпойнт, този път с подсказка за документа.
Всяко инкрементално изпълнение обработва до 500 статии в партиди по 16. Преди вграждането да бъде запазено, изходният ред се заключва и хешът на съдържанието се проверява отново. Ако статията е претърпяла промяна по време на извличането, векторът се отхвърля и се преразглежда при следващия цикъл. По този начин онлайн ендпойнтът не се превръща в процесор с неограничен капацитет за обработка на партиди, а активният индекс остава близък до актуалния списък.
Същите вграждания на документи захранват препоръките за свързани статии, без да се налага ново извикване на модела в заявката. Ако временно липсва вектор, приложението може да използва предишна версия от arXiv или резервен вариант, базиран на задачата и цитиранията. Повторното използване е безопасно, защото вграждането е дефинирано като продукт с версии, а не защото всеки екран произволно извиква един и същ модел.
В един електронен магазин лексикалната линия защитава SKU, номера на модели, марки и технически термини, докато семантичната линия може да свърже описателните изисквания с продукти или ръководства за покупки. Необходимите бизнес показатели не се изчерпват само с процента на търсения без резултати. Необходими са оценки на релевантността, кликвания, добавяне в кошницата или подпомогнати конверсии, латентност и анализ на заявките, при които семантичният клон е влошил точността. създаване на онлайн магазин трябва да свърже тези показатели за извличане с реалната навигация и продажбите.
В базите от знания договорът за вграждане трябва да обхваща разделянето на части, разрешенията, актуалността и проследимостта на източника. При обслужването на клиенти търсенето изисква сигурен достъп до политиките и историята, без да се разкриват данни на други клиенти. Един AI агент за обслужване на клиенти Това не го прави надежден само защото намира подобен текст; необходими са извличане на информация, което спазва правата, изготвяне на политика и ескалация.
При агентни уебсайтове резервният вариант трябва да бъде част от дизайна на продукта. Ако дадена семантична услуга не функционира, сайтът се нуждае от удобна страница с резултати от търсенето, ясни съобщения и контролирани действия. Същата логика се проявява в безопасен уебсайт за AI агенти и на оперативната надеждност на AI агенти в производството: грешките в модела не трябва да водят до премахването на основния продукт.
Преходът от прототип към серийно производство започва с данни и оценка, а не с покупката на векторна база данни. Едно малко, контролирано внедряване може да покаже дали семантичният подход добавя стойност, преди да се увеличи сложността.
От базовия набор от ключови думи към контролирано хибридно извличане
Събирайте точни идентификатори, марки, пълни и непълни заглавия, естествени въпроси, правописни грешки и заявки без резултати, като спазвате правото на личен живот.
Запишете показателите за релевантност, процент на липса на резултати, латентност и бизнес резултати, преди да бъдат добавени вградените вектори, за да може семантичният прираст да има реална отправна точка за сравнение.
Зафиксирайте ревизиите на моделите, размерите, заявките и подсказките за документи, нормализацията, форматирането на входните данни, разделянето на части и хеш-кода на съдържанието като версия, която се контролира навсякъде.
Генерирайте корпуса извън пътя на заявката и поддържайте онлайн само малкия вграден запит, като спазвате ясни ограничения по отношение на времето, едновременността и разходите.
Проверете манифестите, контролните суми, размерите, хеш-сумите на съдържанието и обхвата, създайте независим индекс и го активирайте атомарно едва след успешното завършване.
Използвайте таймаут, прекъсвач и сигурни логове без необработени заявки. Уверете се, че лексикалната пътека връща полезни резултати при „студен старт“ или прекъсване на захранването.
Сравнете лексикалните, семантичните и комбинираните класации при запазените заявки, проверете случаите на неуспех и продължете само ако подобрението оправдава закъснението, разходите за съхранение и оперативните разходи.
Архитектурата на Papers with Code не е рецепта, която може да се копира такава, каквато е. Тя е пример за дисциплина: различни инфраструктури за пропускателна способност и латентност, версионирани артефакти, детерминистични правила за идентичност, измервания в конкретния корпус и резервен вариант, който остава полезен и без семантичния компонент.
Преди да въведете хибридно AI търсене в производствена среда, потърсете отговори на пет въпроса: кои заявки подобрява, кои точни съвпадения не трябва да се изгубят, как се доказва, че векторите на документа и заявката са съвместими, как се извършват атомарната активация и отмяната, и какво вижда потребителят, когато крайната точка не отговаря. Ако резервният вариант е празен и оценката е неясна, системата все още не е готова за производствена експлоатация.
TWO DOTS може да свърже тази техническа основа с реалния уебсайт, електронната търговия или работния процес за поддръжка: от договори за данни и оценка на релевантността до наблюдаемост, сигурни автоматизации и измерими бизнес резултати. Целта не е търсенето да изглежда «умно», а да намира постоянно правилния резултат при контролирани разходи и предвидимо поведение.
Бизнес автоматизация и изкуствен интелект
TWO DOTS картографира намерението на заявката, договорите за данни, вгражданията, оценката, разрешенията, наблюдаемостта и лексикалния резервен вариант, така че търсенето да подобри потребителското преживяване, без да създава нова уязвима зависимост.
Често задавани въпроси
Това е търсене, което съчетава лексикални резултати от думи, заглавия и идентификатори със семантични резултати от вграждания, за да обхване както точни, така и концептуални формулировки.
Вградените модели подобряват семантичното извличане, но лексикалното търсене остава ефективно при точни заглавия, кодове, марки и редки термини. Той служи също като непосредствен резервен вариант, когато семантичният ендпойнт не е наличен.
pgvector съхранява вградените вектори в PostgreSQL и извършва търсене по сходство в активното поколение, докато пълнотекстовото търсене в същата база данни осигурява лексикалната верига.
Това е изричното посочване на версията на модела, ревизията, размерите, заявката или подсказката за документ, нормализацията, формата на входните данни и хеш-кода на съдържанието, които трябва да съвпадат по цялата верига.
Клиентът за заявки използва таймаут от една секунда, неблокиращ лимит за едновременни заявки, валидация, краткосрочен кеш и прекъсвач. Ако крайната точка се провали, семантичният клон се пропуска и се връщат лексикални резултати.
Всеки клон връща до 50 кандидати, а методът „weighted reciprocal rank fusion“ комбинира техните позиции с равни тегла и константа на ранга k=60, без да сравнява директно резултати от различна скала.
Те показват, че в конкретния корпус от 5 000 статии и при конкретната конфигурация векторите с 256 измерения са запазили много висок рекол на ANN при по-малко място за съхранение. Те не представляват общ еталон или гаранция за електронната търговия и други набори от данни.
Не. Самият източник препоръчва първо да се изготви бърз базов модел на ключови думи и да се добави семантично или хибридно търсене едва когато представителен набор от заявки покаже съществено подобрение в релевантността и в бизнес резултатите.
Източници
