Може нещо да блокира AI от сайта Ви, без да го виждате

Отворете своя robots.txt в браузър, тоест домейна си, следван от /robots.txt, и го прочетете. Ако видите ред Disallow за GPTBot, ClaudeBot, CCBot, PerplexityBot или Google-Extended, значи блокирате AI. Проверката отнема десет секунди, а може никога да не сте я правили.

Втората проверка са суровите логове за достъп, единственото място, където виждате какво реално е дошло, а не какво сте разрешили. Проверихме нашия на 6 август 2026 г. и числата си заслужават вниманието. За предходните 24 часа кроулърът на Meta е направил 1600 заявки и е изтеглил 1,17 MB. Googlebot е направил 4 заявки. GPTBot е направил 1. ClaudeBot, PerplexityBot и OAI-SearchBot не са направили нито една.

На този ден настройките ни допускаха всеки AI кроулър, а robots.txt изреждаше основните поименно с изричен Allow, така че никой не е бил спиран. Разрешението не е трафик. Meta обхожда агресивно, Google обхожда пестеливо, защото вече ни има, а асистентите, с които всички Ви убеждават, почти не минават. Ако някой Ви казва, че една редакция в robots.txt ще Ви докара ChatGPT още тази седмица, той предполага.

При българския малък бизнес почти винаги в WordPress. Данните на W3Techs към 30 септември 2026 г. поставят WordPress на 70,4 процента от .bg сайтовете, чиято CMS може да бъде разпозната, което прави Yoast, Rank Math и Wordfence най-вероятните скривалища за правило, което Вие никога не сте писали.

Yoast и Rank Math генерират виртуален robots.txt, така че файлът, който четете в браузъра, може да не съществува като файл никъде на диска. Редактира се от плъгина, не от файловия мениджър. Wordfence е другото често място, защото правилата му за блокиране и за ограничаване на заявките могат да задушат или откажат кроулър по user agent, без това да се появи в robots.txt. Кроулър, ограничен до провал, изглежда отвън точно като сайт, който няма какво да каже.

Третото място е .htaccess, където някой програмист или предишна агенция може да е поставил парче код за спиране на ботове преди години. Тези парчета обикалят форумите, изброяват ботовете, които са били досадни тогава, и никой никога не ги маха.

Да, и вероятно повече, отколкото предполагате, защото ако не сте зад Cloudflare, никой не филтрира ботове вместо Вас и никой не публикува какво се случва. При българския споделен хостинг блокът, ако има такъв, е или във Вашия собствен сайт, или невидим в мрежовата конфигурация на хостинга.

Данните на W3Techs за домейна .bg към 30 септември 2026 г. показват team.blue с 41,6 процента от .bg сайтовете, Delta.bg с 6,3 процента и Hetzner с 3,7 процента. Четете това като дял от сайтовете, които W3Techs вижда, а не като одитиран пазарен дял, защото W3Techs мери само това, което успява да идентифицира.

Числото на team.blue има значение, защото зад него стои повече консолидация, отколкото изглежда. SuperHosting.bg, Host.bg и ICN.bg вече са част от team.blue: SuperHosting купи Host.bg през 2017 г. и влезе в team.blue през 2020 г., а team.blue купи хостинг и домейн бизнеса на ICN.bg през 2021 г. Тоест три имена, които българският собственик мисли за отделни доставчици, седят в една група.

SuperHosting по подразбиране не поставя CDN или прокси пред сайтовете на клиентите си, а собствената им помощна страница пише, че активирането на Cloudflare през cPanel е било възможно при по-старите версии на контролния панел, а на сървърите им вече се използват новите. За обхождането от AI това е добра новина: нищо не се намесва в заявката. Но помощната им документация не казва абсолютно нищо за AI кроулъри. Статиите им за robots.txt и за ботове са последно обновени през 2022 г., а лошите ботове, които изброяват, са Surfbot, ChinaClaw и Zeus. Няма GPTBot, няма ClaudeBot, няма Google-Extended, защото през 2022 г. те не бяха тема.

Jump.bg е по-интересният случай. Филтрира това, което нарича сиви ботове, за клиентите си, освен ако сами не изключат защитата, изрично изброява SemrushBot, Ahrefs, DotMoz и Majestic SEO и потвърждава, че Googlebot и Bingbot не са блокирани. Тази страница е обновена на 24 април 2026 г., тоест е актуална. Това, което не казва в никаква посока, е каквото и да е за AI кроулърите. Клиент на Jump.bg не може да разбере от публикуваната документация дали GPTBot стига до сайта му.

Тук е нашата честна граница. Не можем да Ви кажем какво блокира Вашият хостинг, защото българските хостинг доставчици, които проверихме, не го публикуват. Можем да Ви кажем точно какво да попитате и как да прочетете отговора.

Попитайте две неща в писмен вид, по имейл или тикет, за да Ви остане отговорът. Първо: блокирате ли ботове или кроулъри на сървърно или мрежово ниво и може ли да видя списъка. Второ: в този списък ли са GPTBot, ClaudeBot и PerplexityBot.

Питайте писмено, а не по телефон, защото служител в чат, който Ви казва „не, всичко е отворено“, не струва нищо след три месеца, когато се чудите защо нищо не се е променило. Отговорът по тикет е запис, който можете да подадете на човека, който ще оправя нещата след Вас.

Ако отговорът е, че блокират сиви ботове по подразбиране, а служителят не може да каже дали AI кроулърите влизат в това, отговорът не е нечестен, а недокументиран, и това е Вашият знак да помолите да проверят при мрежовия екип, вместо да го приемете.

На 15 септември 2026 г. Cloudflare замени единичния бутон „Block AI bots“ с отделни настройки за кроулърите за търсене, за обучение и за агенти (Search, Training и Agent) и добави нова настройка, Disallow AI Training. Тя записва в robots.txt забрана за обучение и спира кроулърите за обучение, но пропуска кроулърите за търсене, които Cloudflare обозначава като Accountable, сред тях Googlebot, Bingbot и Applebot, така че оставате в търсенето. Настройките на съществуващите сайтове бяха прехвърлени така, че да работят както преди, като старото блокиране на обучението стана Disallow AI Training, а не Block, и съветът на Cloudflare към съществуващите клиенти беше, че в почти всички случаи не трябва да правят нищо. Новите домейни вече получават препоръчана настройка при добавянето си: търсене, обучение и агенти са разрешени за сайт без реклами, а при сайт с реклами обучението е ограничено с Disallow AI Training, а агентите се спират на страниците, които показват реклами.

Cloudflare се среща при 93,7 процента от .bg сайтовете, които изобщо използват reverse proxy, по данни на W3Techs към 30 септември 2026 г., и тази уговорка не е разкрасяване. Не значи, че 93,7 процента от българските сайтове ползват Cloudflare. Значи, че сред малцинството .bg сайтове зад reverse proxy почти всички са избрали Cloudflare. Който Ви цитира 93,7 процента като национално ниво на използване, греши, а ще го видите цитирано точно така.

И сега капанът, който си заслужава да запишете. Googlebot е многоцелеви кроулър, който събира страници едновременно за търсенето и за обучение на AI, а от 15 септември настройката Block за обучението в Cloudflare важи и за многоцелевите кроулъри. Cloudflare пише за Googlebot, Bingbot и Applebot със собствените си думи: „Selecting Block stops them entirely.“ (Изберете ли Block, ги спирате напълно.) Затова, ако сте зад Cloudflare и Ви е казано да блокирате AI обучението, за да пазите съдържанието си, изберете Disallow AI Training, а не Block, иначе може да го платите с видимостта си в Google.

Минете през това по ред. Струва Ви един час и е разликата между да предполагате, че сте видими, и да го знаете.

• Отворете своя robots.txt в браузър и потърсете редове Disallow с GPTBot, ClaudeBot, CCBot, PerplexityBot или Google-Extended.
• Ако robots.txt е генериран от плъгин, редактирайте го в Yoast, в Tools и File editor, или в Rank Math, в General Settings.
• Проверете .htaccess през File Manager в cPanel с включено показване на скритите файлове и потърсете правила по user agent.
• Проверете Wordfence, в Blocking и в Rate limiting.
• Ако сте зад Cloudflare, проверете настройките Search, Training и Agent в настройките за сигурност и се уверете, че за Training е избрано Disallow AI Training или Allow, а не Block.
• Пишете на хостинга си и попитайте писмено дали блокират ботове на сървърно ниво и дали GPTBot, ClaudeBot и PerplexityBot са в списъка.
• Проверете суровите логове за достъп за AI user agents, за да знаете какво реално идва.

Ако проблемът е в самите страници, а не в разрешенията, поправката е въпрос на изграждане, а какво трябва на AI от една страница сме описали в пълното ръководство за GEO. Ако предпочитате някой просто да отиде и да погледне, това е част от услугата ни за изработка на сайт.