Seonglae Cho루트 디렉토리에 위치해야 합니다
.well-known- User-agent
- Disallow
자주 쓰이는 검색로봇의 이름은 구글 (Googlebot), 네이버 (Yeti), 빙 (Bingbot), 야후 (Slurp) 등이 있습
The text file that runs the internet
As unscrupulous AI companies crawl for more and more data, the basic social contract of the web is falling apart.
https://www.theverge.com/24067997/robots-txt-ai-text-file-web-crawlers-spiders
/cdn.vox-cdn.com/uploads/chorus_asset/file/25282612/246992_AI_at_Work_TXT_FILE_ECarter.png)
Robots.txt와 Sitemap.xml 알아보기
검색엔진 최적화(SEO, Search Engine Optimization)란 구글 등과 같은 검색엔진의 검색 결과에 상위 랭크되어 보다 많은 사람들이 여러분의 웹사이트를 방문하게 만드는 것에서 부터 시작합니다. 그러다보니 검색엔진최적화를 위해서는 검색엔진이 우리의 웹사이트를 쉽게 찾아 크롤링하고 색인할 수 있게 해줘야 하고, 이를 위해서 검색엔진에게 몇가지 가이드 및 힌트를 제공하면 좋습니다.
https://www.twinword.co.kr/blog/basic-technical-seo/
