火車采集器電腦版應(yīng)用擴展圖文教學

火車采集器是一款通用型的采集器，可以滿足大部分數(shù)據(jù)抓取的需要，火車采集器可以同時運行多個任務(wù)，采集不同的網(wǎng)站或同一站點下的不同的欄目。您可以在任務(wù)列表樹里同時選中運行多個任務(wù)或是設(shè)置自動運行，有計劃的調(diào)度多個任務(wù)。同一站點下建議一次運行一到兩個任務(wù)，以防止網(wǎng)址數(shù)據(jù)庫操作頻繁而鎖死。

火車采集器電腦版應(yīng)用擴展圖文教學圖1

如上圖的。用戶如果需要在列表當中添加字段，archives 和addonarticle.這個用戶注意的是列表當中數(shù)據(jù)表擁有前綴，通常這就是用來插入ID記錄的。這個數(shù)據(jù)表前輟是可以使用多個的，應(yīng)注意的是那個表里應(yīng)有個自增字段。其它的update，delete等語句也是可以使用的(比如 delete * from table aaa)。入庫方式適合一般數(shù)據(jù)格式而不是很復(fù)雜的數(shù)據(jù)庫操作。如果是多表操作且表間關(guān)系復(fù)雜最好用web發(fā)布方式.

火車采集器電腦版應(yīng)用擴展圖文教學圖2

另外的一些SQL函數(shù)也是支持的，比如替換標題內(nèi)容，可以這樣使用:

UPDATE table set 字段名=REPLACE(字段名，'原字符串'，'替換的字符串') where 判斷語句

入庫只是執(zhí)行用戶的簡單的SQL語句，所以請在入庫前進行測試，保存語句的正確.測試工作為入庫配置管理器(程序為LocoyDatabase.exe).

火車采集器電腦版應(yīng)用擴展圖文教學圖3

使用外部編程插件，可以對你的數(shù)據(jù)做任意你想要的處理。處理過程是采集器先獲取網(wǎng)頁內(nèi)容，然后將網(wǎng)頁內(nèi)容，網(wǎng)頁地址等數(shù)據(jù)傳遞給插件，插件可以針對傳送過來的數(shù)據(jù)做處理，然后返回一定格式的數(shù)據(jù)給采集器.目前火車采集器里有四個位置可以使用插件.

1.采網(wǎng)址:是采集器對網(wǎng)址列表里的網(wǎng)址請求完數(shù)據(jù)未分析源碼前給插件使用.

2.采內(nèi)容:采集默認頁后返回源代碼給插件處理.

3.采多頁:在多頁采集時每個頁面都將使用.

4.保存時:在采集器處理完數(shù)據(jù)，保存數(shù)據(jù)到數(shù)據(jù)庫之前，在網(wǎng)頁內(nèi)容符合排除條件之前處理.

具體的插件開發(fā)請配合插件管理器進行開發(fā).

具體插件的開發(fā)，請點擊插件管理器里的新建按鈕，即可以查看到相應(yīng)的開發(fā)文件和開發(fā)示例.

如下是幾個簡單的PHP插件中可能使用到的小程序.

第一個，如果標題小于一定字節(jié)，就用其它的字符替換掉標題。