從事IT范疇任務二十年以來，我發(fā)明人工智能技巧慢慢從概念轉向現實——機械進修技巧位于前沿，而且變得更容易于應用，即便關于沒有專業(yè)常識的團隊也是如斯。

　　跟著愈來愈多的團隊應用猜測模子，引導者和治理者必需認識到能夠會歪曲團隊任務成果的罕見成績。為了完成靠得住的機械進修進程，以下是要防止的九個罕見圈套，和可采取的最好理論辦法。

　　圈套1：抽樣誤差

　　任何機械進修項目標終點都是選擇練習數據。平日，組織機構有一些可用的數據，或許可以辨認相干的內部供給商，例如公營企業(yè)或行業(yè)協會。這是成績開端的處所。

　　建模團隊及其營業(yè)資助商必需界說要應用的數據集。選擇一個會曲解或低估現實案例的數據聚會會議很輕易惹起誤差，這會歪曲成果。例如，一個拜訪只選擇在特定地位行走的人群，但卻將他們看成安康人群的過度代表。

　　處理計劃：為防止采樣誤差，團隊必需包管他們是真正地隨機選擇數據，而不是僅僅由于應用簡略就應用特定案例。關于指點有用的數據選擇而言，幻想數據集的清楚界說和模子的邏輯相當主要。經由過程在晚期階段與企業(yè)一切者協作，讓幾位評審人員驗證選擇尺度，機械進修團隊可以確保他們的數據采樣辦法有效并靠得住。

　　圈套2：不相干的功效選擇

　　在很多情形下，因為變量選擇的纖細差異，建模師碰見了很多艱苦。很多技巧須要年夜量功效集來推進進修進程。然則，為了搜集足夠的進修數據，確保您獲得了準確且相干的功效能夠異常具有挑釁性。

　　處理計劃：構建一特性能優(yōu)越的模子的進程須要細心的摸索和剖析，以確保您選擇和設計恰當的功效。懂得范疇和包括主題專家，是選擇準確功效最主要的兩個驅動身分。另外，諸如遞歸特點清除（recursive feature elimination，RFE），隨機叢林（random forest），主成份剖析（principal component analysis，PCA）和主動編碼器等技巧有助于將建模任務集中在多數幾個更有用的功效上。

　　圈套3：數據泄漏

　　機械進修團隊能夠會有時地搜集建模數據，應用的尺度是團隊試圖猜測成果的一部門，是以，模子會顯示出優(yōu)良到掉真的機能。例如，一個團隊能夠毛病的包括了一個在旨在猜測疾病的模子中指導某些疾病醫(yī)治的變量。

　　處理計劃：建模團隊必需細心構建他們的數據集，在模子估量成果之前僅應用練習時現實可用的數據。

　　圈套4：缺乏數據

　　在某些情形下，因為缺乏某些記載，數據聚會會議變得不完全。毛病地調劑該前提或假定沒出缺掉值，建模師能夠會對成果的認知發(fā)生嚴重誤差。例如，缺掉的數據能夠其實不老是隨機的，例如，當查詢拜訪受訪者不太能夠答復某個特定成績時。是以，均勻預算能夠會誤導模子。

　　處理計劃：假如您沒法設計培訓籌劃以確保應用完全的數據集，則可以采取統(tǒng)計技巧，包含拋棄缺掉值的記載，或應用恰當的插補戰(zhàn)略來預算缺掉的數據值。

　　圈套5：禁絕確的縮放和尺度化

　　構建用于機械進修任務的數據集平日須要團隊搜集分歧類型的輸出端，這些輸出端有著分歧的權衡標準。在樹立模子之前，假如未能調劑變量的值以許可通用比例，線性回歸（linear regression），支撐向量機（support vector machine，SVN），或k近鄰（k nearest neighbors，KNN）等算法會遭到很年夜影響。這些成績的涌現在于規(guī)模年夜的話會招致功效的高度變更，是以，它們能夠變很多余。例如，假如您將二者都看成未處置的投入應用，那末薪水的數據能夠會取得頻年齡更重的權重。

　　處理計劃：在開端樹立模子之前，您必需當心地對數據集停止尺度化。您可以經由過程經常使用統(tǒng)計技巧（如尺度化或功效縮放）來轉換數據集，這取決于數據的類型和團隊的首選算法。

　　圈套6：疏忽異常值

　　忘卻異常值能夠會對模子的機能發(fā)生嚴重影響。例如，像AdaBoost如許的算法會將異常值視為艱苦情形，并將不恰當的權重放在恰當的地位上，而決議計劃樹更寬容。另外，分歧的用例須要分歧的離群值處置。例如，在發(fā)明訛詐行動的情形下，應重點存眷存款中異常值。

　　處理計劃：要處理此類成績，您的團隊應當應用建模算法，它可以或許準確處置異常值，或許在建模前過濾異常值。優(yōu)越的開始在于讓您的團隊做一個初步檢討，以肯定數據中能否存在異常值。最簡略的辦法是審查數據的圖標或檢討任何數值，它們能夠是幾個尺度差，或更闊別均勻值的數值。

　　圈套7：盤算毛病功效

　　當一個團隊為建模供給投入時，微分進程中的任何毛病都能夠會為模子帶來誤導性輸出。毫無破例，不管團隊若何構建，模子都出人意料地發(fā)生了弗成靠的成果。這個成績的一個例子是，一個團隊弱化了一個依附于盤算的應用率的信譽評分猜測模子，由于這個團隊包含來自負用申報的不活潑商業(yè)信息。

　　處理計劃：建模師必需細心檢討團隊若何獲得數據。癥結的動身點是要懂得哪些功效是原始格局，哪些是經由設計的。自此，建模師便可以在停止建模之前檢討衍生功效的假定和盤算。

　　圈套8：疏忽多線投入（multi－collinear inputs）

　　應用數據集而不斟酌多重共線性猜測因子（multi－collinear predictors）是誤導模子建構的另外一種方法（多線性輸出的存在乎味著兩個或多個變量之間存在著很高的相干性）。成果使其很難辨認任何一個變量的影響。在這類情形下，選定功效的渺小變更會對成果發(fā)生嚴重影響。這個成績的一個例子是，告白預算和流量作為猜測變量出現共線性。

　　處理計劃：檢測多重共線性的簡略辦法是盤算一切變量對應的相干系數。以后您就有諸多選擇來處理任何肯定的共線性成績，如修建構圖或刪除冗余變量。

　　圈套9：有效績效KPI

　　當建模數據各類過程進入均衡狀況時，年夜多半建模算法表示最好。當數據顯示不屈衡時，權衡模子機能的準確目標變的相當主要。例如，均勻背約率為1.2％。一個模子的精確度能到達98％，猜測在一切情形下都不會產生變更。

　　處理計劃：除非可以選擇生成更平衡的練習集，或應用基于本錢的進修算法，選擇營業(yè)驅動的績效目標是最好的處理計劃。關于超越精確度的模子的績效有著各類辦法，如準確度，召回率，F1得分和受試者任務特點（receiver operating characteristic，ROC）曲線。選擇最適合的器量尺度將指點建模算法毛病最小化。

　　從堅實的基本開端

　　因為技巧和對象的提高，機械進修培訓項目比以往更輕易履行。然則，要取得靠得住的成果須要對數據迷信和統(tǒng)計學道理有深刻的懂得，如斯能力確保團隊從一個堅弗成摧的底層數據集開端，這邊是勝利的基本。

　　Pejman Makhfi是Credit Sesame的首席技巧官。Credit Sesame是一個教導信貸和小我財政網站，為花費者供給收費的信譽評分辦事。