Robots.txt 파일: 정의 및 SEO에 최적화하는 방법

robots.txt 파일은 WordPress 웹사이트에 구현되어 검색 엔진에 원하는 URL, 파일 및 유형을 크롤링하도록 신호를 보냅니다. 초보자이든 노련한 WordPress 사용자이든 robots.txt 파일의 목적과 적절한 사용법을 이해하는 것이 중요합니다.

Google이나 다른 검색 엔진에 어떤 콘텐츠를 크롤링할지 알려주면 가장 관련성 있는 콘텐츠를 인덱싱하는 속도가 빨라질 수 있습니다.

이 가이드에서는 주로 다음 사항에 대해 알아봅니다.

👉 WordPress의 robots.txt 파일이란 무엇인가요?

👉 WordPress에서 robots.txt 파일을 만드는 방법?

👉 WordPress에서 robots.txt 파일을 최적화하는 방법은?

👉 robots.txt 파일을 테스트하는 방법?

이렇게 하면 WordPress 웹사이트 크롤링 및 인덱싱을 개선할 수 있습니다.

Robots.txt 파일이란 무엇인가요?

Robots.txt 파일을 WordPress 웹사이트 루트 디렉토리에 추가하는 것은 검색 엔진에 크롤링할 페이지와 무시할 페이지를 지시하는 일반적인 SEO 관행입니다. 일반적으로 웹 브라우저는 크롤링이라고 알려진 프로세스에서 웹사이트의 모든 공개 웹 페이지를 검색합니다.

WordPress 웹사이트의 루트 디렉토리에 robots.txt 파일을 배치하면 검색 엔진은 해당 파일에 지정된 모든 URL을 찾아 크롤링할 URL을 결정합니다. 여기서 한 가지 분명해야 할 점은 robots.txt 파일이 인덱스 또는 비인덱스 목적으로 사용되지 않는다는 것입니다. 오히려 robots.txt 파일은 검색 엔진 봇이 웹 페이지를 크롤링하는 데 도움이 될 뿐입니다.

Robots.txt는 어떻게 생겼나요?

우리는 이미 Robots.txt 파일에 대해 배웠기 때문에 그것이 어떻게 보이는지 보고 싶습니다. 그것은 간단한 텍스트 파일이며, 웹사이트가 얼마나 크든 상관없습니다. 대부분의 웹사이트 소유자는 요구 사항에 따라 몇 가지 규칙을 설정합니다. 

다음은 robots.txt 파일의 예입니다. 

위의 robots.txt 파일에서는 다양한 규칙을 통해 웹사이트 내에서 어떤 URL과 파일 크롤러가 접근을 허용하거나 허용하지 않을지 지정합니다.

robots.txt 파일의 세부 내용은 다음과 같습니다.

사용자 에이전트: 모든 웹 크롤러에 다음 규칙을 적용합니다.

허용: /?display=wide: 크롤러가 쿼리 문자열에 ?display=wide를 포함한 URL에 액세스할 수 있도록 허용합니다.

허용: /wp-content/uploads/: 검색 엔진 봇이 /wp-content/uploads/ 내의 모든 파일과 디렉토리를 크롤링하도록 권장합니다.

허용: /wp-admin/admin-ajax.php: 크롤러가 /wp-admin/ 디렉토리 내의 admin-ajax.php 파일에 접근할 수 있도록 허용합니다.

허용 안 함: /readme.html: 크롤러가 readme.html 파일에 접근하는 것을 방지합니다.

허용 안 함: /refer/: 크롤러가 /refer/ 디렉토리와 그 안의 모든 내용에 접근하는 것을 차단합니다.

허용 안 함: /wp-admin/: 크롤러가 /wp-admin/ 디렉토리와 그 내용에 접근하는 것을 방지합니다.

허용: /wp-admin/admin-ajax.php: 크롤러가 /wp-admin/ 디렉토리 내의 admin-ajax.php 파일에 접근할 수 있도록 허용합니다.

사이트맵: 마지막으로, 사이트맵에 링크된 모든 URL은 검색 봇이 크롤링할 수 있습니다.

WordPress 사이트에 Robots.txt 파일이 필요합니까?

이제 WordPress 웹사이트에 잘 구성된 robots.txt 파일의 중요성을 알아보겠습니다. 다음은 사이트의 성능과 가시성을 관리하고 최적화하는 데 있어 robots.txt 파일의 몇 가지 중요한 역할입니다. 

➡️ 크롤링 제어: 검색 엔진 봇은 귀하의 웹사이트의 모든 공개 페이지나 콘텐츠를 알아낼 만큼 똑똑합니다. 하지만, 플러그인 페이지나 WordPress 웹사이트의 시스템 파일과 같은 관리 파일이 들어 있는 일부 페이지는 비공개로 유지하고 싶습니다. 그리고 robots.txt 파일을 사용하면 이러한 무관한 페이지의 크롤링을 방지하는 데 도움이 됩니다. 

➡️ SEO를 위한 더 빠른 인덱싱: 이미 말했듯이 robots.txt 파일은 웹 페이지 인덱싱을 직접 용이하게 하지 않습니다. 그러나 robots.txt 파일은 여전히 인덱싱 프로세스를 빠르게 할 수 있습니다. 이는 불필요하고 관련성이 없는 페이지를 크롤링에서 제거하기 때문에 발생합니다.

➡️ 대역폭이 덜 필요함: 검색 엔진 봇은 크롤링해야 할 영역에 대한 지침을 제공할 때 웹사이트 전체를 탐색할 필요가 없습니다. 서버 리소스와 대역폭 사용량이 줄어듭니다. 또한 전반적인 웹사이트 성능도 향상됩니다.

➡️ 중복 콘텐츠 문제 없음: 웹사이트 소유자의 원치 않는 일반적인 실수 중 하나는 중복된 콘텐츠를 게시하는 것입니다. 그것은 속입니다. 어떤 콘텐츠를 인덱싱해야 하는지에 대한 검색 엔진 봇. 또는 오해를 받아 원래 콘텐츠가 더 낮은 순위를 받거나 처벌을 받을 수 있습니다. robots.txt 파일을 추가하면 동일한 콘텐츠의 여러 버전이 인덱싱되지 않도록 할 수 있습니다.

➡️ 안전하지 않은 봇 및 크롤러를 피하세요: robots.txt 파일에서 스팸 크롤러나 검색 봇을 쉽게 제한할 수 있습니다. WordPress 웹사이트의 보안을 강화합니다. 또한 관리자 페이지가 크롤링되는 것을 허용하지 않을 수도 있습니다.

WordPress에서 Robots.txt 파일을 만드는 방법?

이제 WordPress 웹사이트에 robots.txt 파일을 추가하는 것의 중요성을 이해했으므로 다음 단계는 robots.txt 파일을 만드는 방법을 배우는 것입니다. 이를 염두에 두고 WordPress 웹사이트에서 robots.txt 파일을 만드는 방법에 대한 두 가지 방법을 보여드리겠습니다.

방법 1: 플러그인을 사용하여 Robots.txt 파일 만들기

robots.txt 파일을 만들고 편집하는 가장 쉬운 방법은 플러그인을 사용하는 것입니다. WordPress 대시보드로 이동하여 다음을 따르세요. 플러그인 > 새로 추가. 이제 다음과 같은 SEO 플러그인을 설치하고 활성화하세요. 요스트 SEO 또는 순위 수학 
그들의 방식을 살펴보겠습니다.

🟢 요스트 SEO:

Yoast SEO를 사용하는 경우 WP 관리자 영역에서 다음으로 이동하세요. Yoast SEO > 도구 그리고 클릭 파일 편집기, 그런 다음 "Robots.txt 파일 생성” robots.txt 파일이 없다면 다음으로, 편집기 화면으로 이동합니다.

robots.txt 파일을 편집하거나 변경한 후 "robots.txt에 변경 사항 저장"을 클릭합니다. 그게 전부입니다.

🟢 랭크 수학:

Rank Math 플러그인을 사용하는 동안 WordPress 대시보드 내의 Rank Math 대시보드로 이동하여 클릭하세요. 일반 설정. 그런 다음 다음을 선택하세요. robots.txt를 편집하세요 탭. robots.txt 화면에서 변경하고 편집하고 다음을 누르세요. 변경 사항 저장 완료되면 버튼을 클릭하세요. 

참고: FTP 클라이언트를 사용하여 웹사이트의 루트 폴더에서 기본 robots.txt 파일을 삭제해야 합니다.

방법 2: FTP를 사용하여 수동으로 Robots.txt 파일 만들기

robots.txt 파일을 수동으로 추가하려면 FileZilla, WinSCP, Cyberduck과 같은 FTP 클라이언트를 사용하여 WordPress 호스팅에 액세스해야 합니다. FTP 로그인 정보는 cPanel에서 사용할 수 있습니다. 

아시다시피 robots.txt 파일은 웹사이트의 루트 폴더에 업로드해야 하므로 하위 디렉토리에 넣으면 안 됩니다. 

FTP 클라이언트에 robots.txt 파일이 없다면 만들 수도 있습니다. 로컬 컴퓨터에서 메모장과 같은 간단한 텍스트 편집기를 열고 아래 지시문을 입력합니다.

이 파일을 robots.txt로 저장하세요. 이제 FTP 클라이언트 내에서 "파일 업로드” 옵션을 선택하고 robots.txt 파일을 웹사이트의 루트 폴더에 업로드합니다.

이제 새로 만든 robots.txt 파일이나 이전 파일을 열려면 해당 파일을 마우스 오른쪽 버튼으로 클릭하고 "편집하다” 옵션을 선택하세요. 변경 사항을 적용하고 편집한 다음 구하다 옵션. 이제 도메인 이름 뒤에 robots.txt 파일을 추가하여 robots.txt 파일을 확인하세요. 예: yourdomain.com/robots.txt.

SEO를 위해 WordPress robots.txt를 최적화하는 방법

이제 WordPress 웹사이트에서 robots.txt 파일을 만들고 편집하는 방법을 알았으니, WordPress 사이트에 맞게 robots.txt 파일을 최적화하는 모범 사례에 대해 알아보겠습니다.

✅ 간결한 파일 만들기

간단한 robots.txt 파일을 추가하면 크롤러의 봇이 귀하의 지시를 쉽게 이해하여 리소스를 덜 소모합니다. 게다가 충돌이나 오류로 인해 발생하는 원치 않는 위험을 피할 수 있습니다. 

✅ WP 디렉토리 및 파일 제외

특정 파일과 디렉토리는 검색 봇이 크롤링하도록 해서는 안 됩니다. 이러한 영역에는 필수적이고 민감한 정보가 포함되어 있기 때문입니다. robots.txt 파일에서 이러한 링크를 제외하면 검색 봇이 웹사이트의 이러한 영역을 방문하지 않습니다. 따라서 크롤링 리소스를 최적으로 사용할 수 있습니다.

WP 디렉토리와 파일 중 일부를 알아보겠습니다.

/wp-관리자/ 그리고 /wp-includes/: 이러한 디렉토리는 전체 WordPress 웹사이트를 작동시키는 관리자 영역과 핵심 파일에 대한 액세스를 제공할 수 있으며, 이는 보안 위협이 될 수 있습니다. 검색 봇이 이러한 영역을 크롤링하면 중대한 보안 위협이 될 수 있습니다. 따라서 Disallow 지시문을 올려야 합니다.

로그인 페이지: 또 다른 중요한 보안 조치는 로그인 페이지의 색인을 해제하는 것입니다. 크롤링을 중지하려면:

readme.html: readme 페이지는 잠재적인 해커에게 웹사이트의 현재 WordPress 버전과 같은 중요한 정보를 공개할 수 있습니다. 따라서 이것도 디인덱싱하는 것을 고려하세요.

태그 및 카테고리 페이지: 이러한 페이지는 검색어와 관련이 없어서 크롤링 예산을 낭비하고, 중복된 콘텐츠로 검색 엔진을 혼란스럽게 합니다.

검색 결과: 위의 이유는 내부 검색 결과 페이지에도 적용됩니다.

추천 링크: 제휴 프로그램은 크롤링이 필요 없는 추천 링크를 생성합니다.

✅ 사이트맵 링크 삽입

일반적으로 WordPress 사용자는 분석 및 성과 데이터를 추적하기 위해 Google Search Console 또는 Bing Webmaster Tools 계정에 사이트맵을 제출합니다. 그러나 robots.txt 파일에 사이트맵을 추가하면 크롤러가 웹사이트의 콘텐츠를 발견하는 데 도움이 될 수 있습니다.

사이트맵은 검색 엔진이 웹사이트 구조와 계층을 쉽게 탐색할 수 있으므로 웹사이트 색인을 더 빠르게 만드는 데 도움이 됩니다. 크롤링 우선순위를 지정할 페이지를 정의할 수 있습니다. 또 다른 좋은 점은 사이트맵이 크롤러를 웹사이트의 최신 업데이트로 안내할 수 있다는 것입니다.

✅ 와일드카드의 효과적인 사용

와일드카드는 검색 엔진이 URL 그룹이나 특정 파일 유형을 차단하거나 액세스할 수 있도록 하는 패턴 기반 규칙을 정의하는 데 효과적인 무기입니다. 이렇게 하면 많은 시간을 들여 여러 페이지를 별도로 제한할 필요가 없습니다.

와일드카드는 다음과 같은 특수 문자입니다. 별표(*) 그리고 달러 기호 ($). 설명해보자:

별표(*): 가장 일반적인 와일드카드는 별표(*)로, 그룹이나 특정 패턴 일치 URL이나 파일 유형에 광범위하게 규칙을 적용합니다.

위 코드는 검색 엔진이 웹사이트의 어떤 부분도 크롤링하는 것을 허용하지 않습니다. 
달러 기호($): 이는 URL의 끝을 나타내므로 "와 같은 특정 용어가 포함된 모든 URL을 허용하거나 차단할 수 있습니다.PDF 파일".

당신은 할 수 있습니다 와일드카드를 사용하여 더 전략적으로. 예를 들어, 다음을 차단하거나 허용할 수 있습니다.
특정 디렉토리: /private/로 시작하는 모든 URL과 그 안에 있는 모든 파일이나 하위 디렉토리를 차단합니다.

특정 매개변수가 있는 URL: /category/?pdf=asc와 같이 쿼리 매개변수 정렬을 포함하는 모든 URL을 차단합니다.

특정 패턴: "체크아웃"이라는 단어가 포함된 모든 URL을 차단합니다. /product/checkout 또는 /cart/checkout.

차단된 디렉토리 내의 특정 파일 또는 디렉토리 허용: /wp-admin/ 아래의 모든 URL을 차단합니다(admin-ajax.php 제외)

✅ 주석을 사용하세요

robots.txt 파일의 가독성과 명확성을 높이기 위해 주석을 추가할 수 있습니다. 주석으로 추가하려는 줄의 시작 부분에 해시(#) 기호를 사용하여 이를 수행합니다.

✅ 크롤링 동작 모니터링

Google Search Console이나 Bing 웹마스터 도구와 같은 검색 엔진 도구를 사용하여 robots.txt 파일을 제출한 후 크롤링 및 인덱싱 문제가 있는지 확인하세요. 

✅ 검색 봇에 대한 규칙 지정

일부 전문가들은 또한 효과적인 전략 중 하나는 robots.txt 파일에 다른 검색 엔진 봇에 대한 다른 규칙을 만드는 것이라고 말했습니다. 각 봇이 귀하의 웹사이트에 어떻게 액세스하고 크롤링할지 지정하면 귀하의 웹사이트를 구축하는 데 도움이 됩니다. 콘텐츠 전략 및 최적화 성능.

✅ 모바일 및 AMP 버전 고려

마찬가지로, 모바일 및 AMP 버전에 맞게 robots.txt 파일의 지침을 변경하고 조정할 수 있습니다. 

✅ Robots.txt 파일을 업데이트하세요

하지만 WordPress 웹사이트를 빌드하기 시작할 때 robots.txt 파일을 만드는 것은 당신의 과제입니다. 하지만 robots.txt 파일을 업데이트할 수 있도록 웹사이트 구조와 검색 엔진 알고리즘 업데이트의 변경 사항을 자주 살펴봐야 합니다.

✅ 실험을 하지 마세요 

robots.txt 파일은 WordPress 웹사이트 루트 디렉토리의 일부입니다. 따라서 이 파일에 대해 실험을 해서는 안 됩니다. 혼란스러우면 전문가의 도움을 받거나 간단한 robots.txt 파일을 보관하세요.

✅ 최종 확인

robots.txt 파일을 업로드하거나 편집하기 전에 최종 확인을 해야 합니다.

Robots.txt 파일을 테스트하는 방법

지금까지 WordPress 웹사이트에서 robots.txt 파일을 편집하고 최적화하는 방법을 알아보았습니다. 그러나 테스트하는 방법을 이해하지 않고는 이 지식이 완전하지 않습니다. 검색 엔진 봇이 사이트를 정확하게 크롤링하는지 확인하려면 테스트가 필수적입니다.

주요 방법 중 하나는 다음을 사용하는 것입니다. robots.txt 테스트 도구 Google Search Console에서. 이 도구는 Google이 귀하의 웹사이트를 귀하가 지정한 지침에 따라 크롤링하는지 확인합니다.

이제 귀하의 웹사이트가 Google Search Console에 추가되었다면, 로그인하세요. "속성을 선택하세요"에서 귀하의 웹사이트를 선택하세요. 도구가 귀하의 웹사이트의 robots.txt 파일을 가져오기 시작할 것입니다.

확인 후 robots.txt 테스트 도구는 모든 오류와 구문 경고를 언급합니다. 따라서 이를 수정하고 robots.txt 파일을 다시 제출해야 합니다.

마무리!

robots.txt 파일을 이해하고 최적화하는 것은 기술적 SEO와 효과적인 웹사이트 관리의 중요한 부분입니다. SEO를 위해 WordPress robots.txt를 최적화하는 방법에 대한 이 포괄적인 가이드가 도움이 되기를 바랍니다. 

이제 검색 엔진에서 웹사이트의 어떤 부분을 크롤링해야 하는지 쉽게 구성할 수 있습니다. 전반적으로 사이트의 인덱싱 효율성과 전반적인 성능이 향상되는 것을 볼 수 있습니다.