火車頭采集(LocoySpider)是一款非常專業(yè)的批量采集網(wǎng)絡(luò)數(shù)據(jù)工具,火車頭采集(LocoySpider)功能強(qiáng)大軟件功能非常強(qiáng)大,界面簡(jiǎn)潔明晰、操作方便快捷,設(shè)計(jì)得很人性化,火車采集器(LocoySpider)通過靈活的配置,您可以很輕松的從網(wǎng)頁上抓取文字、圖片、文件等任何資源,無論新聞、論壇、
視頻、黃頁、圖片、
下載類
網(wǎng)站,只要通過
瀏覽器能看到的結(jié)構(gòu)化的內(nèi)容,通過指定匹配規(guī)則,都能采集到您所需要的內(nèi)容,需要的朋友就來下載體驗(yàn)吧,小編下面給大家說說一些設(shè)置技巧吧,希望可以幫助到大家。
軟件特色:
分布式高速采集
任務(wù)被分發(fā)到多個(gè)客戶端,并且收集在同一時(shí)間運(yùn)行,這使效率提高了一倍。
多識(shí)別系統(tǒng)
配備多種識(shí)別系統(tǒng),例如文本識(shí)別,中文分詞識(shí)別,任意代碼識(shí)別等,使智能識(shí)別操作更加輕松。
可選驗(yàn)證方式
您可以隨時(shí)選擇是否使用加密狗來確保數(shù)據(jù)安全。
全自動(dòng)運(yùn)行
無需手動(dòng)操作,它將在任務(wù)完成后自動(dòng)關(guān)閉。
替換功能
同義,同義單詞替換,參數(shù)替換,偽原始必不可少的技能。
任意文件格式下載
可以輕松下載任何格式的文件,例如圖片,壓縮文件和視頻。
采集監(jiān)控系統(tǒng)
實(shí)時(shí)監(jiān)控采集,確保數(shù)據(jù)的準(zhǔn)確性。
支持Access/MySQL/MsSQL/Sqlite/Oracle多種類型的數(shù)據(jù)庫保存及發(fā)布。
無限級(jí)多頁采集
支持包含ajax請(qǐng)求數(shù)據(jù)在內(nèi)的多個(gè)頁面信息的無限級(jí)采集。
支持?jǐn)U展
支持接口和插件擴(kuò)展,滿足各種采發(fā)需求。
功能介紹:
真正通用
收集無限的網(wǎng)頁,無限的內(nèi)容,支持多個(gè)擴(kuò)展并打破操作限制。 您決定選擇什么以及如何選擇!
高效穩(wěn)定
分布式高速采集系統(tǒng),多個(gè)大型服務(wù)器可同時(shí)穩(wěn)定運(yùn)行,快速分解任務(wù)并最大化效率。
性價(jià)比高
高性能產(chǎn)品,價(jià)格適中,“為客戶節(jié)省成本,提高價(jià)值”,是列車收藏家的服務(wù)理念。
數(shù)據(jù)精準(zhǔn)
內(nèi)置采集監(jiān)控系統(tǒng),實(shí)時(shí)報(bào)告錯(cuò)誤并及時(shí)修復(fù); 在收集和發(fā)布期間零遺漏數(shù)據(jù),為用戶提供最準(zhǔn)確的數(shù)據(jù)。
使用技巧:
登錄信息設(shè)置:對(duì)于某些需要登錄的網(wǎng)站,您需要設(shè)置此項(xiàng)目。
單擊設(shè)置按鈕跳到第四步其他設(shè)置-Http請(qǐng)求設(shè)置
火車頭采集(LocoySpider)設(shè)置技巧圖2
單擊“使用瀏覽器獲取網(wǎng)頁登錄信息”按鈕,登錄URL,輸入帳戶密碼,然后關(guān)閉窗口
火車頭采集(LocoySpider)設(shè)置技巧圖3
這樣,登錄信息已經(jīng)記錄在收集器中,這就是我們通常所說的Cookie和User-Agent。
更新日志:
用于輔助代理服務(wù)器的新的Socks代理
在任務(wù)運(yùn)行過程中,您可以修改線程數(shù)和其他參數(shù),實(shí)時(shí)調(diào)整運(yùn)行速度,并添加功能以檢查任務(wù)運(yùn)行的當(dāng)前速度和總體速度
支持SSH(SFTP文件)上傳
內(nèi)容提取增加了JSON提取方法,更容易提取JSON數(shù)據(jù)
插件編輯器添加了一個(gè)C#源代碼文件插件,該插件類似于PHP源代碼插件,該插件在編輯后直接生效,但是比PHP源代碼插件支持更多的插件接口。
該軟件崩潰并支持保存未完成任務(wù)的進(jìn)度
新增消息機(jī)制
V9合并了收集URL和內(nèi)容的方法,使用不同的隊(duì)列進(jìn)行列表收集和內(nèi)容收集的隊(duì)列,優(yōu)化了收集過程,并將更新數(shù)據(jù)內(nèi)容的方法從“更新”更改為“插入”,從而大大提高了收集和存儲(chǔ)的速度;
任務(wù)運(yùn)行合并到一個(gè)統(tǒng)一的界面中,并添加了“實(shí)時(shí)數(shù)據(jù)”查看和“任務(wù)詳細(xì)信息”統(tǒng)計(jì)信息;修改了原來的無限級(jí)列表頁面URL獲取方式,使無限級(jí)配置操作更加輕松;
字段重復(fù)性比較功能不再使用數(shù)據(jù)庫的獨(dú)特方法,而是更改為內(nèi)存Md5_16比較,這更加準(zhǔn)確;
標(biāo)簽數(shù)據(jù)的來源更加詳細(xì),可以設(shè)置為從源代碼中提取默認(rèn)頁面,頁面調(diào)度和多個(gè)頁面的URL地址和返回標(biāo)頭信息。
- 軟件性質(zhì):國(guó)產(chǎn)軟件
- 授權(quán)方式:免費(fèi)版
- 軟件語言:簡(jiǎn)體中文
- 軟件大。23789 KB
- 下載次數(shù):4213 次
- 更新時(shí)間:2020/11/15 15:00:09
- 運(yùn)行平臺(tái):WinAll...
- 軟件描述:火車采集器是使用人數(shù)比較多的互聯(lián)網(wǎng)數(shù)據(jù)挖掘軟件。能采集99%的網(wǎng)頁,就算網(wǎng)頁需要... [立即下載]