List Komplit Kode Pemanggil Robot Crawler Part 1

Perlu sobat ketahui, bahwasanya tidak semua pengguna internet di dunia ini menggunakan +Google sebagai mesin search di browser mereka. memang untuk saat ini google adalah rajanya mesin pencari. tapi ingat.. itu tidak di semua tempat dan semua browser. lihatlah di china, google disana tidak berlaku, penduduk china 90% menggunakan baidu daripada mesin pencari lainnya. dan faktanya china adalah penduduk terbanyak di muka bumi. itu baru china, belum rusia yang lebih loyal terhadap yandex. belum australia, jerman dsb. dan perlu diketahui juga bahwa tidak semua pengguna internet di indonesia menggunakan google, karena ada sebagian free software yang jika diinstal akan mengharuskan penggunanya untuk memakai mesin pencari tertentu, seperti ask.com, bing, conduit, gigablast, live ataupun mesin pencari yang lainnya.

Sobat bisa melihat gambar ranking alexa internasional dibawah ini, memang google adalah no 1, tapi bukan berarti google tidak ada saingannya kan?

List Komplit Kode Pemanggil Robot Crawler Part 1

Nah, di postingan kali ini SEO Tools akan membagikan List Komplit Kode Pemanggil Robot Crawler yang berguna untuk memanggil robot crawler ke blog sobat. saya yakin postingan ini adalah postingan pertama blogger indonesia yang akan membagikan kode pemanggil robot crawler secara komplit

dan tentunya lumayan kan jika visitor website atau blog sobat bukan hanya dari google.com. sebagai pembukaan cobalah lihat kode meta pemanggil robot dibawah ini.

~~<meta content='ALL' name='SPIDERS'/>~~
~~<meta content='ALL' name='WEBCRAWLERS'/>~~
~~<meta content='follow, all' name='alexabot'/>~~
<meta content='follow, all' name='googlebot'/>
<meta content='follow, all' name='Googlebot-Image'/>
<meta content='follow, all' name='msnbot'/>
<meta content='follow, all' name='robots'/>
<meta content='follow, all' name='Scooter'/>
<meta content='follow, all' name='Slurp'/>
<meta content='follow, all' name='ZyBorg'/>

Yang saya coret 3 baris paling atas adalah sebuah kesalahan yang fatal, karena tidak ada kode all untuk spiders dan webcrawlers, sedangkan robot alexa adalah ia_archiver bukan alexabot, lihat penjelasannya di http://www.alexa.com/faqs/?p=18031 dan http://www.alexa.com/faqs/?p=18361.

Dan dibawah ini adalah screenshoot blog saya yang pernah mendapatkan kunjungan dari alexa search tentunya dengan menggunakan kode ia_archiver

List Komplit Kode Pemanggil Robot Crawler

Kemudian kode 'Scooter' adalah robot crawler asing yang mana saya sendiri belum pernah menemukan kode yang valid tentang Scooter, kode ZyBorg memang ada. yang mana ZyBorg ini adalah agen dari wisenutbot.com, sebuah mesin search dari jepang. akan tetapi menggunakan kode meta ZyBorg tidak akan berguna sama sekali kecuali postingan sobat memakai tulisan kanji dan hiragana

Dibawah ini adalah listnya. saya sertakan juga sumber valid kode robot dibawahnya. karena banyaknya kode maka postingan ini akan saya bagi menjadi 2 bagian. cara menggunakan meta pemanggil robot ini sangat mudah, contoh <meta content='follow, all' name='008'/> kemudian pasang diantara <head> ... </head> di template sobat.

008

http://www.80legs.com/webcrawler.html

ABACHOBot

Abacho's spider. German based portal and search engine. Has localized versions in the following countries: Austria, Switzerland, France, UK, Spain, Italy, Sweden and Turkey.

Accoona-AI-Agent

Accoona's webcrawler

AnyApexBot

http://www.anyapex.com/bot.html

Arachmo

Baiduspider

http://www.baidu.com/search/spider_jp.html
http://www.baidu.com/search/spider.htm

BecomeBot

http://www.become.com/site_owners.html

BeslistBot

http://www.beslist.nl

BillyBobBot

http://www.billybobbot.com/crawler

Bimbot

Bingbot

http://www.bing.com/bingbot.htm

boitho.com-dc

http://www.boitho.com/dcbot.html

boitho.com-robot

boitho.com-robot/1.0

btbot

http://www.btbot.com/btbot.html

CatchBot

http://www.catchbot.com

Charlotte

http://www.searchme.com/support/

ConveraCrawler

http://ews.converasearch.com/crawl.htm

Covario IDS

http://www.covario.com/ids

DataparkSearch

DiamondBot

Discobot

http://discoveryengine.com/discobot.html

Dotbot

http://www.dotnetdotcom.org/#info

EmeraldShield.com WebBot

http://www.emeraldshield.com/webbot.aspx

envolk[ITS]spider

http://www.envolk.com/envolkspider.html

EsperanzaBot

http://www.esperanza.to/bot

Exabot

FAST Enterprise Crawler

http://www.scirus.com/srsapp/contactus

FAST-WebCrawler

http://fast.no/support/crawler.asp

FDSE robot

Search engine of Fluid Dynamics Software Corporation

FindLinks

http://wortschatz.uni-leipzig.de/findlinks/

FurlBot

Furl's crawler. Furl is a social bookmark service from LookSmart

FyberSpider

http://www.fybersearch.com/fyberspider.php

Gaisbot

http://gais.cs.ccu.edu.tw/robot.php

GalaxyBot

http://www.galaxy.com/galaxybot.html

genieBot

Web-indexing robot of GenieKnows Local Search Engine

Gigabot

http://www.gigablast.com/spider.html

Googlebot

http://www.google.com/bot.html

Googlebot-Image

http://www.google.com/bot.html

GurujiBot

http://www.guruji.com/en/WebmasterFAQ.html

HappyFunBot

http://www.happyfunsearch.com/bot.html

Holmes

http://morfeo.centrum.cz/bot

htdig

Crawler of the ht://Dig Group's software package, a system for indexing and searching a finite (not necessarily small) set of sites or intranet. It is not meant to replace any of the many internet-wide search engines. htdig retrieves HTML documents using the HTTP protocol.

iaskspider

Bot for iAsk , chinese search engine from Sina.com

http://iask.com/help/help_index.html

ia_archiver

Alexa Web crawler

http://www.alexa.com/faqs/?p=18031

iCCrawler

http://www.iccenter.net/bot.htm

ichiro

http://help.goo.ne.jp/door/crawler.html

igdeSpyder

http://igde.ru/doc/tech.html

IRLbot

http://irl.cs.tamu.edu/crawler

IssueCrawler

Govcom.org Foundation's web bot. Locates and visualizes networks on the Web. The Issue Crawler is used by NGOs and other researchers to answer questions about specific networks and effective networking more generally. You also may do in-depth research with the software. You need an account to use it.

Jaxified Bot

http://www.jaxified.com/crawler

Jyxobot

Czech Webcrawler for Jyxo

KoepaBot

http://www.koepa.nl/bot.html

L.webis

http://webalgo.iit.cnr.it/index.php?pg=lwebis

LapozzBot

http://robot.lapozz.com

LDSpider

http://code.google.com/p/ldspider/wiki/Robots

Software SEO | SEO Tools