Bot - to test Search engine's behave

在 這裡(http://walkingice.twbbs.org/blog/?p=178) 看到的。(他說明的很好了)。

只是我覺得這個很有趣，作一堆link網頁，配合偵測的機制，測試各search-engine在這個"link堆"的爬行動作。並且log 下來。

文章裡就有各種search engine的爬行 軌跡喔。

很有趣。好像作個餌 來釣魚一樣。