User-agent: * 
Disallow: /js 
# запретить всем роботам индексировать ссылки, 
# которые начинаются с /js

User-agent: StackRambler 
User-agent: Aport 
User-agent: Yandex 
Disallow: 
# StackRambler Aport Яндексу разрешить все. 

User-agent: Googlebot 
Disallow: *.js$ 
Disallow: *.css$ 
Disallow: *.wav$ 

#Запрет индексации файлов .JS .CSS .WAV