“小網(wǎng)站本不需要維護，只是因為你的程序太笨了，所以你成了無休止的網(wǎng)站維護者。”—沉默的海
前言
經(jīng)常有朋友在Q群(75604923)里問起采集的相關(guān)問題，每次針對個人回答的時候，總是無法說得很全面，很多朋友表示不滿意，今天發(fā)表此文，詳細介紹一下采集程序的設計思路。其實“沉默的海”本是一名業(yè)余ASP愛好者，ASP綜合技術(shù)水平應該說是一個“二把刀”。但對于采集程序的編寫，應該說還有點研究，因為我是因為采集程序才迷上編程、迷上ASP，也是從這里開始了自己的編程之路。
一、 采集程序的作用。
這個問題也許不用多說，每個站長可能都感覺特別的需要，因為我們精力必竟有限，不象那些大的網(wǎng)絡公司，有專門的新聞記者和網(wǎng)絡寫手。這樣以來，要想使自己的網(wǎng)站內(nèi)容豐富起來，借簽別的網(wǎng)站上的內(nèi)容無疑成了一個最好的辦法，也就是這個原因，數(shù)以千計的站長不知不覺中成了“復制粘貼”的操作手，在和站長朋友的聊天中得知，多數(shù)站長每天做的工作就是“復制粘貼”。這是一個多么枯燥的工作啊，但，為了自己的希望也不得不去做這些最讓人討厭的事情。
這樣以來，采集程序成為站長們必不可少的一個工具，給站長們帶來了很多的便利，即使我們的網(wǎng)站內(nèi)容得到了豐富，又節(jié)省了很多的精力和時間。(和也許可以作為采集程序示例網(wǎng)站，無需要任何更新，網(wǎng)站永遠都是新的。)
但，有多站長卻又不會自己設計采集程序，從網(wǎng)上下載的程序要么是收費的，要么是功能不全的，往往不能讓人滿意。即便是收費的，用起來也不是十分方便，因為需要很多手工的操作。
“沉默的海”認為：采集程序要想真正發(fā)揮其方便快捷的優(yōu)勢，最好的一個辦法是針對自己的網(wǎng)站量身設計，而后和網(wǎng)站集成在一起，成為網(wǎng)站的一部分，只有這樣，才能算是一個成功的采集程序。
可是，采集程序怎么做呢?難嗎?
二、 采集程序怎么做。
“沉默的海”認為，采集程序設計一點都不難，只要有一些ASP編程常識，我覺得一天之內(nèi)學會它，是沒有問題的。(相信我的話，你就把文章看完，我保證不會讓你失望;不相信我的話也請你看完，我保證看完后你會相信我的話。)
采集程序的基本原理其實很簡單：包括兩個步驟：
1、 下載目標網(wǎng)頁;
大家知道，采集程序幫我們做的工作其實就是“復制和粘貼”，那么要把一個網(wǎng)站復制下來，首頁你需要把網(wǎng)頁打開啊，這個過程其實就是下載目標網(wǎng)頁，只不過我們不是人工下載，而是利用程序來完成它。
這里有“核心技術(shù)”：XMLHTTP，它可以把網(wǎng)頁下載以備下一步的使用。
2、 提取網(wǎng)頁中我們需要的內(nèi)容;
上一步我們完成了第一步：下載網(wǎng)頁。
但并不是所有下載的內(nèi)容都是我們需要的，所以還要做的工作就是，提取我們需要的內(nèi)容，去除不需要的，存入數(shù)據(jù)庫。這一步的主要技術(shù)是：正則表達式。
三、 做什么樣的采集程序。
做了以上兩步，應該說一個完整的采集程序已經(jīng)完成了。它可以采集到我們需要的內(nèi)容，而后存入數(shù)據(jù)庫，供我們使用?？墒牵@是我們真正需要的嗎?顯然不是，因為我們既然要用采集程序來支持我們的網(wǎng)站，那就要用它來完成幾乎所以的工作。我認為：如果你的網(wǎng)站加了采集程序，那么即使長年不維護，網(wǎng)站依然是新的，這樣才算是成功的。
上面的采集程序顯然做不到，因為你還得啟動采集程序，然后把數(shù)據(jù)導入網(wǎng)站的數(shù)據(jù)庫，然后生成html，等等等等，還有很多工作需要我們來做。我們理想中的采集程序是不需要人工來做任何工作的，所以在完成采集程序之后我們還要做一些配套的程序，以保證采集程序的運行，和與網(wǎng)站的完美集成。
1、 自動啟動采集程序;
2、 將采集數(shù)據(jù)直接寫入網(wǎng)站數(shù)據(jù)庫;
3、 配套生成html等后續(xù)工作。
做了以上三點，我們才可以說自己做了一套還算可以的采集程序，那么我們具體應該怎么做呢，請看《采集程序設計經(jīng)驗交流(二)—下載網(wǎng)頁》。
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！
