# Disabilito l'accesso di Google, adesso ha rotto le scatole, consuma 20GB di banda al mese, aggiunto il 16/12/2007 #User-agent: Googlebot #Disallow: / # Limito il crawler di yahoo che rompe le balle succhiando tutta la banda disponibile, aggiunto il 23/06/2007 User-agent: Slurp #Disallow: / #Crawl-delay: 100 # Consento l'indicizzazione dei contenuti da parte di eDintorni, aggiunti il 16/11/2006 #User-agent: eDintorni crawler #User-agent: eDintorni # Consento di indicizzare il sito dagli Annunci di Google, aggiunto il 18/04/2005 # User-agent: Mediapartners-Google* # Escludo lo spider di Google che indicizza le immagini, aggiunto il 10/11/2004 # User-agent: Googlebot-Image # Disallow: / #Escludo i robot di Netmechanic, il sito che offre servizi di controllo di siti Web cui non sono interessato, aggiunto il 10/11/2004 User-agent: NetMechanic Disallow: / #Escludo EmailCollector, un software che ricerca sulla rete indirizzi di e-mail per poi utilizzarli nello spam, aggiunto il 10/11/2004 User-agent: EmailCollector Disallow: / #Escludo Teleport, l'offline browser noto per le sue capacità di sovraccaricare i server, aggiunto il 10/11/2004 User-agent: Teleport Disallow: / #Escludo tutti gli spider e robor nelle cartelle private, aggiunto il 10/11/2004 #User-agent: * #Disallow: /md/ #Disallow: /md/config/ #Disallow: /private/