禁止搜索引擎收录和抓取图片/JS/CSS等文件
通过robots.txt文件实现禁止搜索引擎收录和抓取图片/JS/CSS等文件，robots.txt文件内容如下：
User-agent: * Allow: / Disallow: /ad* Disallow: /*.jpg Disallow: /*.gif Disallow: /*.png Disallow: /*.asp Disallow: /*.js$ Disallow: /*.css$ Disallow: /*.csv Disallow: /*.pptx Disallow: /*.ppt Disallow: /*.shtml Disallow: /*.ico