robots.txt

Creator

Creator

Created

Created

2020 Apr 4 9:14

Editor

Editor

Edited

Edited

2024 Feb 16 7:47

Refs

Refs

루트 디렉토리에 위치해야 합니다

User-agent

Disallow

자주 쓰이는 검색로봇의 이름은 구글 (Googlebot), 네이버 (Yeti), 빙 (Bingbot), 야후 (Slurp) 등이 있습

The text file that runs the internet

As unscrupulous AI companies crawl for more and more data, the basic social contract of the web is falling apart.

The text file that runs the internet

https://www.theverge.com/24067997/robots-txt-ai-text-file-web-crawlers-spiders

The text file that runs the internet

Robots.txt와 Sitemap.xml 알아보기

검색엔진 최적화(SEO, Search Engine Optimization)란 구글 등과 같은 검색엔진의 검색 결과에 상위 랭크되어 보다 많은 사람들이 여러분의 웹사이트를 방문하게 만드는 것에서 부터 시작합니다. 그러다보니 검색엔진최적화를 위해서는 검색엔진이 우리의 웹사이트를 쉽게 찾아 크롤링하고 색인할 수 있게 해줘야 하고, 이를 위해서 검색엔진에게 몇가지 가이드 및 힌트를 제공하면 좋습니다.

Robots.txt와 Sitemap.xml 알아보기

https://www.twinword.co.kr/blog/basic-technical-seo/

Robots.txt와 Sitemap.xml 알아보기

Recommendations

/////////