Kaskus

Tech

t1kusAvatar border
TS
t1kus
[ ASK ] Robots.txt
gan mau tanya nih untuk penulisan robots.txt yang benar gmn ya gan?

Disallow: /login.html => ini untuk supaya google tidak mengindex file login.html

Disallow: /member/info.php => ini supaya google tidak mengindex file info.php yang berada di folder member

nah gan bedanya:
Disallow: /member/ sama Disallow: /member
apa ya gan? yang ane tau /member/ itu untuk supaya google ngak mengindex semua isi di folder member. nah kalo Disallow: /member => ini untuk apa ya? apa sama dengan Disallow: /member/ ?

nah gan ane kan punya masalah sama google webmaster nih gan. di Duplicate Meta Description dan title tags.
nah ane mau akalin menggunakan robots.txt

contoh nih gan:
h**p://www.abcdefghij.com/0/posts/10-forum/69-forum-abc/123-isi-forum.html
h**p://www.abcdefghij.com/0/posts/10/69/123-isi-forum.html

h**p://www.abcdefghij.com/0/posts/11-forum/70-forum-def/123-judul-forum.html
h**p://www.abcdefghij.com/0/posts/11/70/123-judul-forum.html

nah kalo ane mau masukan ke robots.txt gmn ya gan? ane mau Disallow
/0/posts/10/69/ sama /0/posts/11/70/ dan masih banyak gan.

nah kalo ane tulis :
Disallow: /0/posts/*/*/
berarti nanti yang h**p://www.abcdefghij.com/0/posts/10-forum/69-forum-abc/123-isi-forum.html ini juga ngak di index sama google dong ya gan?

kalo gini gmn gan :
Disallow: /0/posts/11/70/*
Disallow: /0/posts/10/69/*

mohon petunjuk mastah2 disini.
Diubah oleh t1kus 09-04-2013 19:25
0
999
10
GuestAvatar border
Komentar yang asik ya
Mari bergabung, dapatkan informasi dan teman baru!
Website, Webmaster, Webdeveloper
Website, Webmaster, Webdeveloper
KASKUS Official
23.5KThread5.3KAnggota
Urutkan
Terlama
GuestAvatar border
Komentar yang asik ya
Ikuti KASKUS di
© 2025 KASKUS, PT Darta Media Indonesia. All rights reserved.