Googlebot crawlar omkring...

[Chaan]

Ibland använder den detta ip 66.249.65.5 ibland ett annat.


Jag tror jag hajjar varför Google snokar - det är väl för att hålla sig uppdaterad var som försiggår på sidan.

Kan det här ställa till med nånting? Jag håller på att lägga upp forumet och kan inte alltid ha det släckt men är rätt angelägen att ingen lägger sig i förrän det är klart.

[virtuality]

Det kan inte ställa till med något annat än att din sajt blir indexerad hos Google. Om du inte vill det så kan du skapa en fil i din webbplats rotmapp, döp den till robots.txt och sätt in följande:

Kod: Markera allt

User-agent: *
Disallow: /

Detta kommer hålla alla sökmotorers botar ute.

När du sen öppnat sajten så ändrar du till:

Kod: Markera allt

User-agent: *
Disallow:

[elis]

Det är bra för dig att google söker igenom din webbplats, då kommer du med i deras sökresultat. Jag skulle dock rekommendera att du inte låter dem läsa profilerna. Dels för att folk inte vill ha sina e-postadresser uppsnokade och dels för att fler kommer att spamma ditt forrum genom att skapa profiler med länkar till sina hemsidor och google hittar dem.

Du kommer få besök om många andra botar förutom googles så det kan vara en bra idé att modda forumet så att bara de som loggat in kan läsa profilerna.

Min robot.txt fil har dessutom:

Kod: Markera allt

User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /templates/subSilver/images/
Disallow: /faq.php
Disallow: /groupcp.php
Disallow: /login.php
Disallow: /memberlist.php
Disallow: /portal.php
Disallow: /posting.php
Disallow: /privmsg.php
Disallow: /profile.php
Disallow: /usercp.php
Disallow: /viewonline.php

Detta för att botarna ska koncentrera sig på innehållet, det vill säga diskussionerna. Vem vill hiotta en login-sida på google?

[Chaan]

Jättebra, tack så mycket!!!

[BigKahuna]

ska man "disallowa" /admin/ också eller spelar det ingen roll?

[elis]

ska man "disallowa" /admin/ också eller spelar det ingen roll?

Jag har inte gjort det och inte upplevt några problem, men förmodligen har robotarna försökt läsa in adminsidan. Du slipper de försöken om du tar med /admin/.