聯(lián)璧港：數據科學(xué)面臨的共同挑戰

隨著(zhù)我們進(jìn)入2017年下半年，是時(shí)候看看那些使用數據科學(xué)和機器學(xué)習的公司面臨的共同挑戰。假設你的公司已經(jīng)在大規模收集數據，需要用到分析工具，而且你已經(jīng)認識到數據科學(xué)可以發(fā)揮重大作用（包括改善決策或企業(yè)經(jīng)營(yíng)、增加收入等等），并進(jìn)行了優(yōu)先排序。收集數據和識別感興趣的問(wèn)題并非小事，但假設你已經(jīng)在這些方面起了個(gè)好頭，那么還剩下哪些挑戰呢？

數據科學(xué)是一個(gè)寬泛的話(huà)題，所以我要說(shuō)明一下：本文主要探討的是督導式機器學(xué)習的使用現狀。

假設你有一支處理數據攝取和整合的團隊，以及一支維護數據平臺（“真相來(lái)源”）的團隊，新的數據來(lái)源不斷出現，由領(lǐng)域專(zhuān)家負責找出這些數據來(lái)源。而且，由于我們主要探討督導式學(xué)習，因此，訓練數據的缺乏依然是機器學(xué)習項目的首要瓶頸，這一點(diǎn)毫不意外。

在迅速創(chuàng )建龐大的訓練數據集（或者加強現有的訓練數據集）方面，有一些很好的研究項目和工具。斯坦福大學(xué)的研究人員已經(jīng)證明，弱監督和數據編程可以用來(lái)訓練模型，不必使用大量手工標記的訓練數據。深度學(xué)習研究人員對生成式模型的初步研究，已經(jīng)在無(wú)督導式學(xué)習的計算機視覺(jué)和其他領(lǐng)域取得了可喜的成果。

“思考特性而不是算法”，這是在機器學(xué)習背景下評估數據的另一個(gè)有用方法。友情提示：數據擴充可能改善你的現有模型，在某些情況下，甚至有助于緩解冷啟動(dòng)問(wèn)題。大部分數據科學(xué)家可能已經(jīng)利用開(kāi)源數據或者通過(guò)第三方數據提供商，來(lái)擴充他們的現有數據集，但我發(fā)現，數據擴充有時(shí)會(huì )遭到忽視。人們覺(jué)得，獲取外部數據、使之規范化、并利用這些數據進(jìn)行實(shí)驗，這不像開(kāi)發(fā)模型和算法那么具有吸引力。

讓數據科學(xué)項目實(shí)現產(chǎn)品化，這是許多用例的目標。為了使這一過(guò)程更有效率，近來(lái)出現了一個(gè)新的工作角色——機器學(xué)習工程師。還有一套新的工具用于推進(jìn)從原型到產(chǎn)品的轉變，幫助追蹤與分析產(chǎn)品有關(guān)的背景和元數據。

機器學(xué)習在產(chǎn)品中的應用還處于早期階段，最佳實(shí)踐才剛剛開(kāi)始出現。隨著(zhù)高級分析模型的普及，有幾點(diǎn)需要考慮，包括：

·        部署環(huán)境：你可能需要與已有的日志或A/B測試基礎設施進(jìn)行整合。除了把穩定、高性能的模型部署到服務(wù)器以外，部署環(huán)境還越來(lái)越多地包括，如何以及何時(shí)把模型部署到邊緣側（移動(dòng)設備是常見(jiàn)的例子）。把模型部署到邊緣設備的新工具和策略已經(jīng)出現。

·        規模，延遲，新鮮度：需要用多少數據來(lái)訓練模型？模型推導的響應時(shí)間應該是多少？重新訓練模型和更新數據集的頻率應該是多少？后者說(shuō)明你擁有可重復的數據管道。

·        偏差：如果你的訓練數據不具有代表性，那么你將得到不理想（甚至不公正）的結果。在某些情況下，你也許可以利用傾向得分或其他方法，相應地調整數據集。

·        監控模型：我認為人們低估了監控模型的重要性。在這個(gè)方面，學(xué)過(guò)統計學(xué)的人擁有競爭優(yōu)勢。想知道模型何時(shí)退化以及退化了多少，這可能很棘手。概念漂移也許是一個(gè)因素。就分類(lèi)器而言，一個(gè)策略是把模型預測的類(lèi)別分布與預測類(lèi)別的觀(guān)測分布進(jìn)行比較。你也可以設立不同于機器學(xué)習模型評估指標的商業(yè)目標。比如，一個(gè)推薦系統的任務(wù)可能是幫助發(fā)現“隱藏或長(cháng)尾”內容。

·        關(guān)鍵應用程序：與普通的消費者應用程序相比，在關(guān)鍵環(huán)境中部署的模型必須更加穩定。另外，這類(lèi)環(huán)境中的機器學(xué)習應用程序必須能夠數月“連續”運行（不會(huì )發(fā)生內存泄漏等故障）。

·        隱私和安全：通常來(lái)說(shuō)，如果你能讓用戶(hù)和企業(yè)相信他們的數據是安全的，那么他們可能更愿意共享數據。如上文所述，用額外特征進(jìn)行擴充的數據往往會(huì )帶來(lái)更好的結果。對于在歐盟經(jīng)商的企業(yè)而言，一個(gè)迫在眉睫的問(wèn)題是，《一般數據保護條例》（GDPR）將于2018年5月生效。在其他領(lǐng)域，對抗性機器學(xué)習和安全性機器學(xué)習（包括能夠處理加密數據）的實(shí)踐研究開(kāi)始出現。

媒體對模型和算法開(kāi)發(fā)的報道越來(lái)越多，但如果你同數據科學(xué)家交談，他們中的大多數人都會(huì )告訴你，訓練數據的匱乏以及數據科學(xué)的產(chǎn)品化是更加緊迫的問(wèn)題。通常來(lái)說(shuō)，市面上已有足夠多的簡(jiǎn)單明了的用例，讓你可以開(kāi)發(fā)你喜歡的（基本或高級的）算法，并在以后進(jìn)行調整或替換。

由于工具使算法的應用變得容易，因此，先回想一下如何評估機器學(xué)習模型的結果，這很有必要。盡管如此，不要忽視了你的業(yè)務(wù)指標和目標，因為它們未必與調試得最好或表現得最好的模型完全相符。關(guān)注與公正和透明有關(guān)的事情進(jìn)展，研究人員和企業(yè)正開(kāi)始檢查、解決這方面的問(wèn)題。對隱私的擔憂(yōu)，加之設備的激增，催生了不依賴(lài)于集中式數據集的技術(shù)。

深度學(xué)習正逐漸變成數據科學(xué)家必須了解的算法。深度學(xué)習最初用于計算機視覺(jué)和語(yǔ)音識別，現在開(kāi)始涉及數據科學(xué)家能想到的各種數據類(lèi)型和問(wèn)題。其中的挑戰包括，選擇適當的網(wǎng)絡(luò )結構（結構工程是新的特征工程），超參數調整，以及描述問(wèn)題和轉換數據以適合深度學(xué)習。（巧合的是，今年我見(jiàn)過(guò)的最有趣的大型數據產(chǎn)品之一，并不是基于深度學(xué)習。）

很多時(shí)候，用戶(hù)更喜歡可解釋的模型（某些情況下，黑盒模型不被人們所接受）�？紤]到基本機制易于理解，可解釋的模型也更容易改進(jìn)。隨著(zhù)深度學(xué)習的興起，企業(yè)開(kāi)始使用那些能解釋模型預測原理的工具，以及能解釋模型從何而來(lái)（通過(guò)追蹤學(xué)習算法和訓練數據）的工具。

我不想列出一個(gè)工具清單，因為可列舉的工具實(shí)在太多了。幫助我們攝取、整合、處理、準備和存儲數據以及部署模型的工具都非常重要。以下是對機器學(xué)習工具的幾點(diǎn)看法：

·        Python和R是最流行的機器學(xué)習編程語(yǔ)言。對于那些想使用深度學(xué)習技術(shù)的人來(lái)說(shuō)，Keras是最受歡迎的入門(mén)級語(yǔ)言。

·        雖然筆記本電腦似乎是不錯的模型開(kāi)發(fā)工具，但集成開(kāi)發(fā)環(huán)境（IDE）在R用戶(hù)中深受歡迎。

·        通用機器學(xué)習和深度學(xué)習的庫有很多，其中一些更善于推進(jìn)從原型到產(chǎn)品的轉變。

·        推進(jìn)從單機到集群的擴展是重要的考慮事項。在這方面，Apache Spark是使用廣泛的執行框架。經(jīng)過(guò)一系列的數據整理后，你的數據集往往適合部署到穩定的單一服務(wù)器上。

·        供應商開(kāi)始支持協(xié)作和版本控制。

·        最后，你可能需要數據科學(xué)工具來(lái)無(wú)縫整合現有的生態(tài)系統和數據平臺。

企業(yè)如果想評估哪些問(wèn)題、哪些用例適合于運用機器學(xué)習，眼下就是一個(gè)很好的時(shí)機。我總結了一些近期的趨勢和尚未解決的瓶頸，你從中得出的主要結論應該是：現在可以開(kāi)始使用機器學(xué)習了。先從已經(jīng)擁有一部分數據的問(wèn)題入手，然后建立出色的模型。

聯(lián)璧港，免費SaaS上傳平臺，API SDK海量資源平臺。

官網(wǎng)：http://lbp.lincomb.com/