User-agent: Scrapy Allow: / User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /trackback/ Disallow: /feed/ Disallow: /comments/ Disallow: */trackback/ Disallow: */feed Disallow: */comments Disallow: /*.php$ Allow: /wp-content/uploads/ Disallow: /wp/ Disallow: /galeria/ Disallow: /wyjazdy/2004boston/ Disallow: /wyjazdy/2004usa/ Disallow: /wyjazdy/2005krym/ Disallow: /wyjazdy/2005picos/ Disallow: /wyjazdy/2006korsyka/ Disallow: /wyjazdy/2006morawy/ Disallow: /wyjazdy/2007tajlandia/ Disallow: /wyjazdy/2008korsyka/ Disallow: /wyjazdy/2008maroko/ Disallow: /wyjazdy/2008wlochy/ Disallow: /wyjazdy/2009kaniony/ Disallow: /wyjazdy/2011indonezja/ Disallow: /wyjazdy/2002explorers/ Disallow: /wyjazdy/2003grecja/ Disallow: /wyjazdy/2005tatry/ Disallow: /wyjazdy/2005arco/ Disallow: /wyjazdy/2005explorers/ Disallow: /wyjazdy/2006sniezna/ Disallow: /wyjazdy/2008londyn/ Disallow: /wyjazdy/2008slowenia/ Disallow: /wyjazdy/2009myanmar/ Disallow: /wyjazdy/2009alpy/ Disallow: /wyjazdy/2010francja/ Disallow: /wyjazdy/2010majorka/ Disallow: /wyjazdy/2010wegry/ Disallow: /wyjazdy/2011holandia/ Disallow: /wyjazdy/2011italia/ Disallow: /wyjazdy/2012srilanka/ Disallow: /xsiega/ Disallow: /embed.js?pname=wordpress&pver=2.74 Disallow: /birma/inl...n-na-jeziorze/ Disallow: /media_details.php?photo=2010_12_poznajswiat_inside