AI로 만든 사이트가 구글 검색에 안 나올 때 먼저 봐야 할 5가지
사이트를 만들어 도메인까지 연결했는데 며칠이 지나도 구글에 잡히지 않는다면, robots.txt, sitemap, search console, noindex 메타 태그를 순서대로 확인해야 합니다.
사이트를 만들고 도메인까지 연결했는데, 며칠이 지나도 구글에서 내 사이트가 잡히지 않는다는 분들이 많습니다.
브랜드명을 그대로 검색해도 첫 페이지는 커녕 어디에도 안 보입니다. 직접 주소를 치면 사이트는 잘 열리는데 말이죠.
검색에 노출되려면 두 가지가 모두 필요합니다. 사이트를 만드는 것과, 구글이 그 사이트의 존재를 알게 하는 것입니다. AI로 만든 프로젝트는 첫 번째까지는 잘 끝나는데, 두 번째가 통째로 비어 있는 경우가 거의 표준에 가깝습니다.
구글이 내 사이트를 알고 있는지부터
가장 먼저 봐야 할 것은 "구글이 이 사이트의 존재를 알기는 하는가" 입니다.
방법은 간단합니다. 구글 검색창에 site:내도메인.com 을 입력해 보세요. 예를 들어 site:lastfix.kr 처럼 치면, 구글이 알고 있는 그 도메인의 페이지 목록이 나옵니다.
결과가 0개라면 구글은 이 사이트를 아직 찾아내지 못한 상태입니다. 어느 페이지가 잡혀 있는지, 몇 페이지가 잡혀 있는지를 보면 출발점이 잡힙니다.
검색에 등록되려면 보통 둘 중 하나가 작동해야 합니다.
- 사이트맵을 우리가 직접 알려주거나
- 구글 봇이 다른 사이트의 링크를 따라 자연스럽게 발견하거나
신규 사이트는 외부에서 링크 걸린 곳이 거의 없기 때문에, 첫 번째 방법이 훨씬 빠릅니다.
robots.txt에서 막혀 있지 않은지
AI가 만든 코드 중에 의외로 자주 보이는 게, robots.txt가 검색 자체를 막아놓은 상태로 배포된 경우입니다.
robots.txt는 검색엔진에게 "어디까지 봐도 되는지"를 알려주는 파일입니다. 잘못 설정되어 있으면 사이트 전체가 차단된 채 운영됩니다.
확인하는 가장 빠른 방법은 브라우저 주소창에 도메인 뒤에 /robots.txt 를 붙여서 열어보는 것입니다. 안에 이런 줄이 있다면 빨간불입니다.
User-agent: *
Disallow: /
"모든 봇에게 모든 경로를 막아라" 라는 뜻입니다. 개발 중에 차단을 켜뒀다가 그대로 배포된 경우거나, AI가 임시로 만들어둔 파일을 그대로 두고 운영한 경우입니다.
운영 사이트라면 보통 이런 모양이어야 합니다.
User-agent: *
Allow: /
Sitemap: https://내도메인.com/sitemap.xml
sitemap.xml이 실제로 응답하는지
sitemap.xml은 검색엔진에게 "내 사이트에 있는 페이지 목록은 이거예요" 라고 알려주는 파일입니다.
도메인 뒤에 /sitemap.xml 을 붙여 열었을 때 페이지 목록이 XML 형태로 보여야 합니다. 404가 뜨면 사이트맵이 없는 상태입니다.
Next.js 같은 프레임워크라면 sitemap.ts 같은 파일을 만들어 자동으로 생성할 수 있고, 정적 사이트라면 sitemap.xml을 직접 작성해 public 폴더에 넣어둡니다.
주의할 점이 하나 있습니다. AI가 만든 sitemap.xml에 도메인이 잘못 박혀 있는 경우가 종종 있습니다. http://localhost:3000으로 시작하는 URL이 그대로 들어가 있으면, 구글은 그 주소로 가서 사이트를 못 찾습니다. 사이트맵을 열어서 안에 있는 URL이 실제 운영 도메인으로 시작하는지 한 번 확인해 보세요.
구글 서치 콘솔에 등록하기
구글이 빠르게 사이트를 발견하게 만드는 가장 직접적인 방법입니다.
순서는 이렇습니다.
- search.google.com/search-console 에 접속해 도메인을 추가한다
- 도메인 소유 확인을 한다 (DNS 레코드 추가 또는 HTML 메타 태그 삽입)
- 등록이 끝나면 좌측 메뉴 Sitemaps에서 sitemap.xml 주소를 제출한다
- URL 검사 메뉴에서 메인 페이지 주소를 한 번 색인 요청한다
이 과정만 끝내면 빠르면 며칠, 늦어도 1~2주 안에 site:내도메인.com 검색 결과에 페이지가 나타나기 시작합니다.
도메인 소유 확인 단계에서 막히는 경우가 많은데, 비개발자라면 메타 태그 방식이 가장 쉽습니다. 구글이 발급해준 코드를 head 태그 안에 한 줄 추가하고 재배포하면 끝입니다.
각 페이지에 noindex가 박혀 있는지
사이트맵도 등록하고 robots.txt도 멀쩡한데 검색에 안 잡힌다면, 각 페이지의 메타 태그를 확인해야 합니다.
페이지 HTML head에 이런 줄이 있으면 그 페이지는 검색에서 빠집니다.
<meta name="robots" content="noindex" />
AI가 "SEO를 잘 처리해줘" 라는 요청을 받고 임시로 noindex를 넣어둔 경우가 있습니다. 또는 어드민 페이지에만 적용하려던 게 전체 페이지에 들어간 경우도 있습니다.
브라우저에서 사이트를 연 뒤 우클릭 → 페이지 소스 보기로 들어가, Cmd+F 또는 Ctrl+F 로 noindex 라는 단어를 검색해 보세요. 메인 페이지에 있다면 일단 빼는 게 맞습니다.
검색 결과에 보일 메타 정보 다듬기
사이트가 검색에 잡히기 시작했다면, 검색 결과 화면에 어떻게 보이는지를 다듬을 차례입니다.
기본적으로 챙길 것:
- 페이지마다 다른 title (홈, 소개, 가격 등 각각의 의미가 드러나야 합니다)
- 100자 안팎의 description
- 의미가 분명한 URL (영문 슬러그가 안전합니다)
- 모바일에서 잘 보이는 화면 (구글은 모바일 기준으로 색인합니다)
특히 description은 검색 결과에 그대로 노출되기 때문에, 이 페이지가 어떤 내용인지 한 줄에 들어가야 합니다. AI가 만든 description은 종종 너무 일반적이거나 비슷한 문장이 반복되는 경우가 있어, 페이지마다 직접 다듬을 가치가 있습니다.
그래도 안 잡힌다면
신규 사이트가 구글에 노출되기까지는 빨라도 며칠, 보통 1~2주 정도 걸립니다. 위 다섯 가지를 점검하고 서치 콘솔에 사이트맵까지 제출했다면 일단 기다려도 되는 단계입니다.
다만 시간이 충분히 지났는데도 site:도메인 검색 결과가 0개라면, 구조적인 문제가 남아 있는 경우가 많습니다. 정적 빌드가 빈 화면을 내보내고 있거나, 자바스크립트로만 콘텐츠가 그려져서 봇이 읽지 못하거나, 도메인 리다이렉트가 꼬여 있는 식입니다.
이때는 코드와 배포 설정을 같이 확인해야 풀립니다. 검색 노출은 마케팅 영역으로 보이지만, 실제 원인은 거의 항상 구현과 배포의 문제입니다.
관련 글: 바이브코딩으로 만든 MVP 배포 전 체크리스트, 비개발자의 바이브코딩, 왜 배포에서 자주 막힐까?