Posted By: chomer () on 'CZflames'
Title:     Re: google
Date:      Tue Jun  3 09:56:16 2008

> > > Ty debile, rika ti neco /robots.txt?
> > 
> > Mas to rozbity.
> > 
> > T.
> 
> robots.txt vypada takto:
> 
> -----------------------------
> User-agent: *
> Disallow: /
> -----------------------------
> 

No, tak se to nakonec ukazalo jako kombinace zaludnosti apache a googlu:
Ten robots.txt je ve skutecnosti robots.txt.php a v apachi je zapnute 
MultiViews. Jenze apache z nejakeho duvodu nechce (a nenecha si vnutit),
aby poslal dokument pomoci MultiViews pokud nedostane od klienta
v hlavicce Accept: prislusny mimetype (v tomto pripade text/plain).

Coz normalni browser posila, ale GoogleBot nikoliv; cili mu apache vrati
chybu "406 Not acceptable".

Nakonec jsem to vyresil natvrdo pomoci mod_rewrite, ale je to fuckt vopruz... 
:(

 
Chomer

                                                 Hodlam vytmavovat.