Проверете първо своя robots.txt, после суровите логове. На 6 август 2026 г. нашият лог показа 1600 заявки от кроулъра на Meta за 24 часа, 4 от Googlebot, 1 от GPTBot и нито една от ClaudeBot, PerplexityBot и OAI-SearchBot.
Как да разбера дали AI може да чете сайта ми?
Отворете своя robots.txt в браузър, тоест домейна си, следван от /robots.txt, и го прочетете. Ако видите ред Disallow за GPTBot, ClaudeBot, CCBot, PerplexityBot или Google-Extended, значи блокирате AI. Проверката отнема десет секунди и повечето собственици никога не са я правили.
Втората проверка са суровите логове за достъп, единственото място, където виждате какво реално е дошло, а не какво сте разрешили. Проверихме нашия на 6 август 2026 г. и числата си заслужават вниманието. За предходните 24 часа кроулърът на Meta е направил 1600 заявки и е изтеглил 1,17 MB. Googlebot е направил 4 заявки. GPTBot е направил 1. ClaudeBot, PerplexityBot и OAI-SearchBot не са направили нито една.
Нашите настройки допускат всеки AI кроулър, а robots.txt изрежда дванадесет от тях с изричен Allow, така че никой не е бил спиран. Разрешението не е трафик. Meta обхожда агресивно, Google обхожда пестеливо, защото вече ни има, а асистентите, с които всички Ви убеждават, почти не минават. Ако някой Ви казва, че една редакция в robots.txt ще Ви докара ChatGPT още тази седмица, той предполага.
Къде би се крил блокът?
При българския малък бизнес почти винаги в WordPress. Данните на W3Techs от 16 юни 2026 г. поставят WordPress на 70,7 процента от .bg сайтовете, чиято CMS може да бъде разпозната, което прави Yoast, Rank Math и Wordfence най-вероятните скривалища за правило, което Вие никога не сте писали.
Yoast и Rank Math генерират виртуален robots.txt, така че файлът, който четете в браузъра, може да не съществува като файл никъде на диска. Редактира се от плъгина, не от файловия мениджър. Wordfence е другото често място, защото правилата му за блокиране и за ограничаване на заявките могат да задушат или откажат кроулър по user agent, без това да се появи в robots.txt. Кроулър, ограничен до провал, изглежда отвън точно като сайт, който няма какво да каже.
Третото място е .htaccess, където някой програмист или предишна агенция може да е поставил парче код за спиране на ботове преди години. Тези парчета обикалят форумите, изброяват ботовете, които са били досадни тогава, и никой никога не ги маха.
Засяга ли ме това, ако не съм на Cloudflare?
Да, и вероятно повече, отколкото предполагате, защото ако не сте зад Cloudflare, никой не филтрира ботове вместо Вас и никой не публикува какво се случва. При българския споделен хостинг блокът, ако има такъв, е или във Вашия собствен сайт, или невидим в мрежовата конфигурация на хостинга.
Данните на W3Techs за домейна .bg с дата 8 август 2026 г. показват team.blue с 42,6 процента от разпознатия .bg хостинг, Delta.bg с 6,4 процента и Hetzner с 3,6 процента. Четете това като дял от сайтовете, които W3Techs може да разпознае, а не като одитиран пазарен дял, защото W3Techs мери само това, което успява да идентифицира.
Числото на team.blue има значение, защото зад него стои повече консолидация, отколкото изглежда. SuperHosting.bg, Host.bg и ICN.bg вече са част от team.blue: SuperHosting придоби Host.bg през 2017 г., влезе в team.blue през 2020 г. и придоби хостинг бизнеса на ICN.bg през 2021 г. Тоест три имена, които българският собственик мисли за отделни доставчици, седят в една група.
SuperHosting по подразбиране не поставя CDN или прокси пред сайтовете на клиентите си, а собствената им помощна страница пише, че активирането на Cloudflare през cPanel вече не е достъпно на техните сървъри. За обхождането от AI това е добра новина: нищо не се намесва в заявката. Но помощната им документация не казва абсолютно нищо за AI кроулъри. Статиите им за robots.txt и за ботове са последно обновени през 2022 г., а лошите ботове, които изброяват, са Surfbot, ChinaClaw и Zeus. Няма GPTBot, няма ClaudeBot, няма Google-Extended, защото през 2022 г. те не бяха тема.
Jump.bg е по-интересният случай. По подразбиране блокира сивите ботове на мрежово ниво, изрично изброява SemrushBot, Ahrefs, DotMoz и Majestic SEO и потвърждава, че Googlebot и Bingbot не са блокирани. Тази страница е обновена на 24 април 2026 г., тоест е актуална. Това, което не казва в никаква посока, е каквото и да е за AI кроулърите. Клиент на Jump.bg не може да разбере от публикуваната документация дали GPTBot стига до сайта му.
Тук е нашата честна граница и точно тя е причината този текст да съществува. Не можем да Ви кажем какво блокира Вашият хостинг, защото повечето български хостинг доставчици не го публикуват. Можем да Ви кажем точно какво да попитате и как да прочетете отговора.
Какво да попитам хостинг компанията си?
Попитайте две неща в писмен вид, по имейл или тикет, за да Ви остане отговорът. Първо: блокирате ли ботове или кроулъри на сървърно или мрежово ниво и може ли да видя списъка. Второ: в този списък ли са GPTBot, ClaudeBot и PerplexityBot.
Питайте писмено, а не по телефон, защото служител в чат, който Ви казва „не, всичко е отворено", не струва нищо след три месеца, когато се чудите защо нищо не се е променило. Отговорът по тикет е запис, който можете да подадете на човека, който ще оправя нещата след Вас.
Ако отговорът е, че блокират сиви ботове по подразбиране, а служителят не може да каже дали AI кроулърите влизат в това, отговорът не е нечестен, а недокументиран, и това е Вашият знак да помолите да проверят при мрежовия екип, вместо да го приемете.
Каква е промяната в Cloudflare от 15 септември?
От 15 септември 2026 г. Cloudflare въвежда нови настройки по подразбиране: кроулърите за обучение и агентните кроулъри се блокират по подразбиране на страници, които показват реклами, а тези за търсене остават разрешени. Според съобщението за пресата на Cloudflare от 1 юли 2026 г. това важи и за съществуващи безплатни клиенти, които не са променяли настройките си.
Cloudflare се среща при 93,6 процента от .bg сайтовете, които изобщо използват reverse proxy, и тази уговорка не е разкрасяване. Не значи, че 93,6 процента от българските сайтове ползват Cloudflare. Значи, че сред малцинството .bg сайтове зад reverse proxy почти всички са избрали Cloudflare. Който Ви цитира 93,6 процента като национално ниво на използване, греши, а ще го видите цитирано точно така.
И сега капанът, който си заслужава да запишете. Cloudflare третира Googlebot като многоцелеви кроулър и решава настройките по подразбиране към най-ограничаващото приложимо правило. Собственият панел на Cloudflare пише за настройката за обучение, цитираме дословно: „This option will block all Training crawlers, even those who use the same bot for Search." Тоест като сложите чекче да блокирате обучението, блокирате и Google. Ако сте зад Cloudflare и Ви е казано да блокирате AI обучението, за да пазите съдържанието си, знайте, че може да го плащате с видимостта си в Google.
Списъкът за проверка
Минете през това по ред. Струва Ви един час и е разликата между да предполагате, че сте видими, и да го знаете.
- Отворете своя robots.txt в браузър и потърсете редове Disallow с GPTBot, ClaudeBot, CCBot, PerplexityBot или Google-Extended.
- Ако robots.txt е генериран от плъгин, редактирайте го в Yoast, в Tools и File editor, или в Rank Math, в General Settings.
- Проверете .htaccess през File Manager в cPanel с включено показване на скритите файлове и потърсете правила по user agent.
- Проверете Wordfence, в Blocking и в Rate limiting.
- Пишете на хостинга си и попитайте писмено дали блокират ботове на сървърно ниво и дали GPTBot, ClaudeBot и PerplexityBot са в списъка.
- Проверете суровите логове за достъп за AI user agents, за да знаете какво реално идва.
Ако проблемът е в самите страници, а не в разрешенията, поправката е въпрос на изграждане, и описахме как направихме своя сайт в как изградихме сайта си за AI търсене. Ако предпочитате някой просто да отиде и да погледне, това е част от услугата ни за изработка на сайт.
Източници
- W3Techs, хостинг дялове за домейна .bg, дата 8 август 2026 г.: team.blue 42,6 процента, Delta.bg 6,4 процента, Hetzner 3,6 процента, като дял от сайтовете, които W3Techs може да разпознае.
- W3Techs, системи за управление на съдържание за .bg, дата 16 юни 2026 г.: WordPress при 70,7 процента от .bg сайтовете с разпозната CMS.
- W3Techs, reverse proxy услуги за .bg: Cloudflare при 93,6 процента от .bg сайтовете, които изобщо ползват reverse proxy.
- Помощна документация на SuperHosting.bg за robots.txt и лоши ботове, последно обновена през 2022 г., с Surfbot, ChinaClaw и Zeus, и помощната им страница, че активиране на Cloudflare през cPanel вече не е достъпно на техните сървъри.
- Документация на Jump.bg, обновена на 24 април 2026 г., за блокиране на SemrushBot, Ahrefs, DotMoz и Majestic SEO на мрежово ниво и потвърждение, че Googlebot и Bingbot не са блокирани.
- Съобщение за пресата на Cloudflare от 1 юли 2026 г. за новите настройки по подразбиране от 15 септември 2026 г. и текстът в панела на Cloudflare за настройката за обучение.
- Собствен лог за обхождане на Wonder Works Design, 6 август 2026 г., предходните 24 часа.