- Beranda
- Website, Webmaster, Webdeveloper
[ ASK ] Robots.txt
...
TS
t1kus
[ ASK ] Robots.txt
gan mau tanya nih untuk penulisan robots.txt yang benar gmn ya gan?
Disallow: /login.html => ini untuk supaya google tidak mengindex file login.html
Disallow: /member/info.php => ini supaya google tidak mengindex file info.php yang berada di folder member
nah gan bedanya:
Disallow: /member/ sama Disallow: /member
apa ya gan? yang ane tau /member/ itu untuk supaya google ngak mengindex semua isi di folder member. nah kalo Disallow: /member => ini untuk apa ya? apa sama dengan Disallow: /member/ ?
nah gan ane kan punya masalah sama google webmaster nih gan. di Duplicate Meta Description dan title tags.
nah ane mau akalin menggunakan robots.txt
contoh nih gan:
h**p://www.abcdefghij.com/0/posts/10-forum/69-forum-abc/123-isi-forum.html
h**p://www.abcdefghij.com/0/posts/10/69/123-isi-forum.html
h**p://www.abcdefghij.com/0/posts/11-forum/70-forum-def/123-judul-forum.html
h**p://www.abcdefghij.com/0/posts/11/70/123-judul-forum.html
nah kalo ane mau masukan ke robots.txt gmn ya gan? ane mau Disallow
/0/posts/10/69/ sama /0/posts/11/70/ dan masih banyak gan.
nah kalo ane tulis :
Disallow: /0/posts/*/*/
berarti nanti yang h**p://www.abcdefghij.com/0/posts/10-forum/69-forum-abc/123-isi-forum.html ini juga ngak di index sama google dong ya gan?
kalo gini gmn gan :
Disallow: /0/posts/11/70/*
Disallow: /0/posts/10/69/*
mohon petunjuk mastah2 disini.
Disallow: /login.html => ini untuk supaya google tidak mengindex file login.html
Disallow: /member/info.php => ini supaya google tidak mengindex file info.php yang berada di folder member
nah gan bedanya:
Disallow: /member/ sama Disallow: /member
apa ya gan? yang ane tau /member/ itu untuk supaya google ngak mengindex semua isi di folder member. nah kalo Disallow: /member => ini untuk apa ya? apa sama dengan Disallow: /member/ ?
nah gan ane kan punya masalah sama google webmaster nih gan. di Duplicate Meta Description dan title tags.
nah ane mau akalin menggunakan robots.txt
contoh nih gan:
h**p://www.abcdefghij.com/0/posts/10-forum/69-forum-abc/123-isi-forum.html
h**p://www.abcdefghij.com/0/posts/10/69/123-isi-forum.html
h**p://www.abcdefghij.com/0/posts/11-forum/70-forum-def/123-judul-forum.html
h**p://www.abcdefghij.com/0/posts/11/70/123-judul-forum.html
nah kalo ane mau masukan ke robots.txt gmn ya gan? ane mau Disallow
/0/posts/10/69/ sama /0/posts/11/70/ dan masih banyak gan.
nah kalo ane tulis :
Disallow: /0/posts/*/*/
berarti nanti yang h**p://www.abcdefghij.com/0/posts/10-forum/69-forum-abc/123-isi-forum.html ini juga ngak di index sama google dong ya gan?
kalo gini gmn gan :
Disallow: /0/posts/11/70/*
Disallow: /0/posts/10/69/*
mohon petunjuk mastah2 disini.
Diubah oleh t1kus 09-04-2013 19:25
0
999
10
Komentar yang asik ya
Mari bergabung, dapatkan informasi dan teman baru!
Website, Webmaster, Webdeveloper
23.5KThread•5.3KAnggota
Urutkan
Terlama
Komentar yang asik ya