AV男人的天堂在线观看国产,国内精品亚洲,青青青草国产费观看,真实国产乱子伦视频对白

央廣網(wǎng)

“爬蟲”如何搶低價票?借助超鏈接信息抓取網(wǎng)頁

2017-12-27 07:39:00來源:科技日報

  你的低價機票 被“蟲子”吃了

  不到兩個月,2018年春節(jié)要來了。

  “今年我得早下手,搶張回家的低價機票。”在北京打工的小王對科技日報記者說,由于老家在云南,春節(jié)機票太貴,他都選擇坐兩天兩夜的火車回去,長途跋涉,苦不堪言。

  然而,就在小王摩拳擦掌,準備使出“洪荒之力”搶張便宜機票時,看到網(wǎng)上曝出這樣一則消息:航空公司放出的低價機票,80%以上被票務公司的“爬蟲”搶走,普通用戶很少能買到。

  小王傻眼了,“爬蟲”究竟是什么鬼?它又是怎么搶機票的?難道就沒有辦法治理嗎?

  借助超鏈接信息抓取網(wǎng)頁

  “‘爬蟲’技術是實現(xiàn)網(wǎng)頁信息采集的關鍵技術之一,通俗來說,‘爬蟲’就是一段用來批量、自動化采集網(wǎng)站數(shù)據(jù)的程序,幾乎不需要人工干預。”北京理工大學網(wǎng)絡科學與技術研究院副教授閆懷志告訴科技日報記者。

  閆懷志介紹,“爬蟲”又稱網(wǎng)頁“蜘蛛”、網(wǎng)絡機器人,它是一種按照一定規(guī)則自動抓取網(wǎng)頁信息的程序或者腳本,通常駐留在服務器上。在Web網(wǎng)頁中,既包含可供用戶閱讀的文字、圖片等信息,還包含一些超鏈接信息。網(wǎng)絡“爬蟲”正是借助這些超鏈接信息來不斷抓取網(wǎng)絡上的其他網(wǎng)頁。

  “這種信息采集過程很像一個爬蟲或蜘蛛在網(wǎng)絡上漫游,網(wǎng)絡‘爬蟲’或網(wǎng)頁‘蜘蛛’因此得名。”閆懷志說,“爬蟲”最早應用在搜索引擎領域,比如谷歌、百度、搜狗等搜索引擎工具每天需要抓取互聯(lián)網(wǎng)上數(shù)百億的網(wǎng)頁,它們需要借助龐大的“爬蟲”集群來實現(xiàn)搜索功能。

  當前,“爬蟲”已被廣泛用于電子商務、互聯(lián)網(wǎng)金融等諸多領域。比如,“爬蟲”可以抓取航空公司官網(wǎng)的機票價格,發(fā)現(xiàn)低價或緊俏機票后,“爬蟲”可以利用虛假客源的真實身份信息實現(xiàn)搶先預訂。再有,很多互聯(lián)網(wǎng)瀏覽器都推出了自己的搶票插件,以高訂票成功率來推廣瀏覽器。

  根據(jù)抓取任務和目標的不同,網(wǎng)絡“爬蟲”可大致分為批量型、增量型和垂直型。批量型“爬蟲”的抓取范圍和目標較為明確,可以是網(wǎng)頁的設定數(shù)量,也可以是消耗時間的設定。增量型“爬蟲”主要用于持續(xù)抓取更新的網(wǎng)頁,以適應網(wǎng)頁的不斷變化。垂直型“爬蟲”主要是用于特定主題內(nèi)容或特定行業(yè)的網(wǎng)頁。

  “爬蟲”究竟是如何搶票的

  此前,在線票務服務公司攜程的“反爬蟲”專家在技術分享中透露,某網(wǎng)站的一個頁面,每分鐘的瀏覽量是1.2萬,真實用戶只有500個,“爬蟲”流量占比為95.8%。

  采訪中,很多業(yè)內(nèi)人士也表示,即使在“爬蟲”活動的淡季,虛假流量也占到訂票網(wǎng)站總流量的50%,高峰期更是在90%以上。

  那么,“爬蟲”究竟是如何實現(xiàn)搶票的呢?對此,閆懷志解釋,主要是機票代理公司利用“爬蟲”技術,不斷抓取航空公司售票官網(wǎng)網(wǎng)頁信息,如果發(fā)現(xiàn)該航空公司有低價票放出,“爬蟲”即刻利用虛假客源身份進行批量預定但不實際支付,以達到搶占低價票源的目的。由于“爬蟲”的效率遠遠超過正常的手動操作,導致通過正常操作幾乎無法搶到票。

  隨后,機票代理公司會通過其自身銷售渠道(包括公司網(wǎng)站、在線旅行社、客戶電話訂購等)找到真正的客源,在航空公司允許的賬期內(nèi),退訂此前使用虛假客源身份預定的低價票,然后使用真實身份信息進行訂購,最后實現(xiàn)該低價票的加價轉(zhuǎn)售。

  如果未在航空公司規(guī)定的賬期內(nèi)找到真正客源,機票代理公司會在訂單失效前再追加虛假身份訂單,繼續(xù)“霸占”該低價票,如此反復,直至找到真正客源售出為止。

  “上面的操作流程就構成了完整的機票銷售鏈條。在這個過程中,航空公司售票系統(tǒng)允許在賬期內(nèi)反復訂、退票的規(guī)定為機票代理公司利用‘爬蟲’搶票并加價獲利提供便利。這種搶票方式,被稱為技術‘黃牛’。”閆懷志強調(diào)。

  的確,有業(yè)內(nèi)人士表示,這些“爬蟲”流量消耗了大量的機器資源,卻不產(chǎn)生任何消費,這是每個公司最痛恨的東西。但是,因為怕誤傷真實用戶,各家公司的“反爬蟲”策略做得非常謹慎。

  采用一定手段 “爬蟲”可防可控

  任何事情都有兩面,“爬蟲”技術也不例外。

  在閆懷志看來,“爬蟲”既可為正常的數(shù)據(jù)批量獲取提供有效的技術手段,也可被惡意使用以獲取不當利益。如果“爬蟲”技術被不正當利用,就會帶來一定的危害。

  首先,威脅數(shù)據(jù)安全。航空公司售票網(wǎng)站數(shù)據(jù)被惡意爬取,數(shù)據(jù)可能會被機票代理公司惡意利用,而且還存在被同業(yè)競爭對手獲取的風險。

  其次,導致系統(tǒng)性能下降,影響用戶體驗。“爬蟲”大量的抓取請求會導致航空公司售票網(wǎng)站服務器資源負載上升、性能下降,網(wǎng)站響應變慢甚至無法提供服務,對用戶搜索和交易體驗造成負面影響。但由于存在巨大的灰色利益空間,同時“反爬蟲”技術在與“爬蟲”對抗中作用有限,使得這種顯失公平的“作弊”方式成為擾亂機票市場秩序的技術“頑疾”。

  “從技術角度來看,阻擊‘爬蟲’可以通過網(wǎng)站流量統(tǒng)計系統(tǒng)和服務器訪問日志分析系統(tǒng)。”閆懷志說,通過流量統(tǒng)計和日志分析,如果發(fā)現(xiàn)單個IP訪問、單個session訪問、User-Agent信息超出設定的正常頻度閾值,則判定該訪問為惡意“爬蟲”所為,將該“爬蟲”的IP列入黑名單以拒絕其后續(xù)訪問。

  再就是設置各種訪問驗證環(huán)節(jié)。比如,在可疑IP訪問時,返回驗證頁面,要求訪問者通過填寫驗證碼、選取驗證圖片或者字符等方式實現(xiàn)驗證。如果是惡意“爬蟲”爬取,顯然很難完成上述驗證操作,進而可以封鎖該“爬蟲”的訪問,防止其惡意爬取信息。

  互聯(lián)網(wǎng)空間不能有“灰色地帶”

  當前,云計算、大數(shù)據(jù)等為代表的新一代信息技術處在高速發(fā)展階段。

  “上述新技術如果被非法或者不當應用,則會產(chǎn)生嚴重的危害。互聯(lián)網(wǎng)空間安全需要建立健全完善的保護體系,絕不能‘裸奔’。”閆懷志說。

  2017年6月1日,我國《網(wǎng)絡安全法》正式實施,明確了各方在網(wǎng)絡安全保障中的權利與責任。這是中國網(wǎng)絡空間治理和法制建設從量變到質(zhì)變的重要里程碑,這部法律作為依法治網(wǎng)、化解網(wǎng)絡風險的法律重器,成為我國互聯(lián)網(wǎng)在法治軌道上健康運行的重要保障。

  然而,目前對于高科技“黃牛”倒票行為,尚未有明確規(guī)定,使得惡意爬取信息并不當獲利行為處在法律法規(guī)監(jiān)管的“灰色地帶”。

  閆懷志介紹,國際上,針對“爬蟲”應用,專門制訂了Robots協(xié)議(即“爬蟲”協(xié)議、網(wǎng)絡機器人協(xié)議等)。該協(xié)議全稱為“網(wǎng)絡爬蟲排除標準”,網(wǎng)站可通過該協(xié)議告知“爬蟲”可以爬取哪些頁面及其信息,不能爬取哪些頁面及其信息。該協(xié)議作為網(wǎng)站和“爬蟲”的溝通方式,用來規(guī)范“爬蟲”行為,限制不正當競爭。

  作為國際互聯(lián)網(wǎng)界通行的道德規(guī)范,該協(xié)議的原則是:“爬蟲”及搜索技術應服務于人類,同時尊重信息提供者的意愿,并維護其隱私權;網(wǎng)站有義務保護其使用者的個人信息和隱私不被侵犯。這就規(guī)定了爬取者和被爬取者雙方的權利和義務。

  一位不愿具名的法律專家也表示,“反爬蟲”不僅要依靠技術防范和業(yè)界自律,還應該通過完善管理和法律法規(guī)手段來約束這種行為,尤其是法律手段才能彰顯懲治力和震懾力。航空公司也要完善賬期管理,不給“爬蟲”搶票提供機會。

  本報記者 付麗麗

編輯: 王丹蕾

“爬蟲”如何搶低價票?借助超鏈接信息抓取網(wǎng)頁

在閆懷志看來,“爬蟲”既可為正常的數(shù)據(jù)批量獲取提供有效的技術手段,也可被惡意使用以獲取不當利益。目前對于高科技“黃牛”倒票行為,尚未有明確規(guī)定,使得惡意爬取信息并不當獲利行為處在法律法規(guī)監(jiān)管的“灰色地帶”。