什么是數(shù)據(jù)挖掘？
數(shù)據(jù)挖掘是搜索和分析大量原始數(shù)據(jù)以識(shí)別模式并提取有用信息的過(guò)程。
公司使用數(shù)據(jù)挖掘軟件來(lái)了解有關(guān)其客戶(hù)的更多信息。它可以幫助他們制定更有效的營(yíng)銷(xiāo)策略，增加銷(xiāo)售額并降低成本。數(shù)據(jù)挖掘依賴(lài)于有效的數(shù)據(jù)收集、倉(cāng)庫(kù)和計(jì)算機(jī)處理。
關(guān)鍵要點(diǎn)
數(shù)據(jù)挖掘是分析大量信息以識(shí)別趨勢(shì)和模式的過(guò)程。
公司可以使用數(shù)據(jù)挖掘進(jìn)行從了解客戶(hù)感興趣或想要購(gòu)買(mǎi)的內(nèi)容到欺詐檢測(cè)和垃圾郵件過(guò)濾。
數(shù)據(jù)挖掘程序根據(jù)用戶(hù)請(qǐng)求或提供的信息來(lái)分解數(shù)據(jù)中的模式和連接。
社交媒體公司使用數(shù)據(jù)挖掘技術(shù)將其用戶(hù)商品化以產(chǎn)生利潤(rùn)。
這種數(shù)據(jù)挖掘的使用最近受到批評(píng)，因?yàn)橛脩?hù)通常不知道他們的個(gè)人信息發(fā)生數(shù)據(jù)挖掘，特別是當(dāng)它被用來(lái)影響偏好時(shí)。
數(shù)據(jù)挖掘的工作原理
數(shù)據(jù)挖掘涉及探索和分析大塊信息，以收集有意義的模式和趨勢(shì)。它用于信用風(fēng)險(xiǎn)管理、欺詐檢測(cè)和垃圾郵件過(guò)濾。它也是一種市場(chǎng)研究工具，有助于揭示特定人群的情緒或意見(jiàn)。數(shù)據(jù)挖掘過(guò)程分為四個(gè)步驟：
數(shù)據(jù)收集并加載到現(xiàn)場(chǎng)或云服務(wù)上的數(shù)據(jù)倉(cāng)庫(kù)中。
業(yè)務(wù)分析師、管理團(tuán)隊(duì)和信息技術(shù)專(zhuān)業(yè)人員訪(fǎng)問(wèn)數(shù)據(jù)并確定他們希望如何組織數(shù)據(jù)。
自定義應(yīng)用軟件對(duì)數(shù)據(jù)進(jìn)行排序和組織。
最終用戶(hù)以易于共享的格式（如圖形或表格）呈現(xiàn)數(shù)據(jù)。
數(shù)據(jù)倉(cāng)庫(kù)和挖掘軟件
數(shù)據(jù)挖掘程序根據(jù)用戶(hù)請(qǐng)求分析數(shù)據(jù)中的關(guān)系和模式。它將信息組織成類(lèi)。
例如，一家餐廳可能希望使用數(shù)據(jù)挖掘來(lái)確定它應(yīng)該提供哪些特色菜以及在什么日期提供。數(shù)據(jù)可以根據(jù)客戶(hù)訪(fǎng)問(wèn)的時(shí)間和他們訂購(gòu)的內(nèi)容組織成類(lèi)。在其他情況下，數(shù)據(jù)挖掘者根據(jù)邏輯關(guān)系找到信息集群，或者查看關(guān)聯(lián)和順序模式，以得出有關(guān)消費(fèi)者行為趨勢(shì)的結(jié)論。
倉(cāng)儲(chǔ)是數(shù)據(jù)挖掘的一個(gè)重要方面。倉(cāng)儲(chǔ)是將組織的數(shù)據(jù)集中到一個(gè)數(shù)據(jù)庫(kù)或程序中。它允許組織剝離數(shù)據(jù)段，供特定用戶(hù)根據(jù)其需求進(jìn)行分析和使用。云數(shù)據(jù)倉(cāng)庫(kù)解決方案使用云提供商的空間和功能來(lái)存儲(chǔ)數(shù)據(jù)。這使較小的公司能夠利用數(shù)字解決方案進(jìn)行存儲(chǔ)、安全和分析。
數(shù)據(jù)挖掘技術(shù)
數(shù)據(jù)挖掘使用算法和各種其他技術(shù)將大量數(shù)據(jù)轉(zhuǎn)換為有用的輸出。最流行的數(shù)據(jù)挖掘技術(shù)類(lèi)型包括：
關(guān)聯(lián)規(guī)則（也稱(chēng)為市場(chǎng)籃分析）搜索變量之間的關(guān)系。這種關(guān)系本身在數(shù)據(jù)集中創(chuàng)造了額外的價(jià)值，因?yàn)樗︽溄訑?shù)據(jù)片段。例如，關(guān)聯(lián)規(guī)則將搜索公司的銷(xiāo)售歷史記錄，以查看最常一起購(gòu)買(mǎi)的產(chǎn)品;有了這些信息，商店就可以計(jì)劃、推廣和預(yù)測(cè)。
分類(lèi)使用預(yù)定義的類(lèi)分配給對(duì)象。這些類(lèi)描述項(xiàng)目的特征或表示數(shù)據(jù)點(diǎn)與每個(gè)項(xiàng)目的共同點(diǎn)。這種數(shù)據(jù)挖掘技術(shù)允許在類(lèi)似的功能或產(chǎn)品線(xiàn)中更整齊地對(duì)基礎(chǔ)數(shù)據(jù)進(jìn)行分類(lèi)和匯總。
聚類(lèi)類(lèi)似于分類(lèi)。但是，聚類(lèi)分析可識(shí)別對(duì)象之間的相似性，然后根據(jù)這些項(xiàng)目與其他項(xiàng)目的不同之處對(duì)這些項(xiàng)目進(jìn)行分組。雖然分類(lèi)可能導(dǎo)致“洗發(fā)水”、“護(hù)發(fā)素”、“肥皂”和“牙膏”等組，但聚類(lèi)可以識(shí)別“頭發(fā)護(hù)理”和“牙齒健康”等組。
決策樹(shù)用于根據(jù)一組標(biāo)準(zhǔn)或決策列表對(duì)結(jié)果進(jìn)行分類(lèi)或預(yù)測(cè)。決策樹(shù)用于請(qǐng)求輸入一系列級(jí)聯(lián)問(wèn)題，這些問(wèn)題根據(jù)給出的響應(yīng)對(duì)數(shù)據(jù)集進(jìn)行排序。決策樹(shù)有時(shí)被描述為樹(shù)狀視覺(jué)對(duì)象，允許在深入鉆取數(shù)據(jù)時(shí)提供特定的方向和用戶(hù)輸入。
K-最近鄰 （KNN） 是一種根據(jù)數(shù)據(jù)與其他數(shù)據(jù)的接近程度對(duì)數(shù)據(jù)進(jìn)行分類(lèi)的算法。KNN 的基礎(chǔ)植根于這樣的假設(shè)，即彼此接近的數(shù)據(jù)點(diǎn)比其他數(shù)據(jù)位更相似。這種非參數(shù)的監(jiān)督技術(shù)用于根據(jù)單個(gè)數(shù)據(jù)點(diǎn)預(yù)測(cè)組的特征。
神經(jīng)網(wǎng)絡(luò)通過(guò)使用節(jié)點(diǎn)來(lái)處理數(shù)據(jù)。這些節(jié)點(diǎn)由輸入、權(quán)重和輸出組成。數(shù)據(jù)通過(guò)監(jiān)督學(xué)習(xí)進(jìn)行映射，類(lèi)似于人腦相互連接的方式?？梢詫?duì)該模型進(jìn)行編程，以給出閾值以確定模型的準(zhǔn)確性。
預(yù)測(cè)分析致力于利用歷史信息來(lái)構(gòu)建圖形或數(shù)學(xué)模型來(lái)預(yù)測(cè)未來(lái)的結(jié)果。與回歸分析重疊，該技術(shù)旨在根據(jù)當(dāng)前手頭的數(shù)據(jù)支持未來(lái)的未知數(shù)字。
數(shù)據(jù)挖掘過(guò)程
為了最有效，數(shù)據(jù)分析師通常會(huì)在數(shù)據(jù)挖掘過(guò)程中遵循一定的任務(wù)流。如果沒(méi)有這種結(jié)構(gòu)，分析師可能會(huì)在分析過(guò)程中遇到問(wèn)題，如果他們?cè)琰c(diǎn)做好準(zhǔn)備，這個(gè)問(wèn)題本來(lái)很容易避免。數(shù)據(jù)挖掘過(guò)程通常分為以下步驟。
第 1 步：了解業(yè)務(wù)
在接觸、提取、清理或分析任何數(shù)據(jù)之前，了解基礎(chǔ)實(shí)體和手頭的項(xiàng)目非常重要。該公司試圖通過(guò)挖掘數(shù)據(jù)來(lái)實(shí)現(xiàn)的目標(biāo)是什么？他們目前的業(yè)務(wù)狀況如何？SWOT 分析的結(jié)果是什么？在查看任何數(shù)據(jù)之前，挖掘過(guò)程首先要了解該過(guò)程結(jié)束時(shí)的成功定義。
步驟 2：了解數(shù)據(jù)
明確定義業(yè)務(wù)問(wèn)題后，就該開(kāi)始考慮數(shù)據(jù)了。這包括可用的來(lái)源、如何保護(hù)和存儲(chǔ)它們、如何收集信息以及最終結(jié)果或分析可能是什么樣子。此步驟還包括確定數(shù)據(jù)、存儲(chǔ)、安全性和收集的限制，并評(píng)估這些約束將如何影響數(shù)據(jù)挖掘過(guò)程。
步驟 3：準(zhǔn)備數(shù)據(jù)
收集、上傳、提取或計(jì)算數(shù)據(jù)。然后對(duì)其進(jìn)行清理、標(biāo)準(zhǔn)化、清除異常值、評(píng)估錯(cuò)誤并檢查合理性。在數(shù)據(jù)挖掘的這個(gè)階段，還可以檢查數(shù)據(jù)的大小，因?yàn)檫^(guò)大的信息集合可能會(huì)不必要地減慢計(jì)算和分析速度。
步驟 4：構(gòu)建模型
有了我們干凈的數(shù)據(jù)集，是時(shí)候處理數(shù)字了。數(shù)據(jù)科學(xué)家使用上述數(shù)據(jù)挖掘類(lèi)型來(lái)搜索關(guān)系、趨勢(shì)、關(guān)聯(lián)或順序模式。數(shù)據(jù)也可以輸入預(yù)測(cè)模型，以評(píng)估以前的信息位如何轉(zhuǎn)化為未來(lái)的結(jié)果。
步驟 5：評(píng)估結(jié)果
數(shù)據(jù)挖掘的以數(shù)據(jù)為中心的方面通過(guò)評(píng)估一個(gè)或多個(gè)數(shù)據(jù)模型的結(jié)果來(lái)結(jié)束。分析的結(jié)果可能會(huì)被匯總、解釋并呈現(xiàn)給到目前為止基本上被排除在數(shù)據(jù)挖掘過(guò)程之外的決策者。在此步驟中，組織可以選擇根據(jù)結(jié)果做出決策。
步驟 6：實(shí)施更改和監(jiān)視
數(shù)據(jù)挖掘過(guò)程結(jié)束時(shí)，管理層根據(jù)分析結(jié)果采取措施。公司可能會(huì)認(rèn)為信息不夠有力或調(diào)查結(jié)果不相關(guān)，或者公司可能會(huì)根據(jù)調(diào)查結(jié)果進(jìn)行戰(zhàn)略調(diào)整。在任何一種情況下，管理層都會(huì)審查業(yè)務(wù)的最終影響，并通過(guò)識(shí)別新的業(yè)務(wù)問(wèn)題或機(jī)會(huì)來(lái)重新創(chuàng)建未來(lái)的數(shù)據(jù)挖掘循環(huán)。
不同的數(shù)據(jù)挖掘處理模型將具有不同的步驟，盡管一般過(guò)程通常非常相似。例如，知識(shí)發(fā)現(xiàn)數(shù)據(jù)庫(kù)模型有九個(gè)步驟，CRISP-DM模型有六個(gè)步驟，SEMMA過(guò)程模型有五個(gè)步驟。1
數(shù)據(jù)挖掘的應(yīng)用
在當(dāng)今的信息時(shí)代，幾乎任何部門(mén)、行業(yè)、部門(mén)或公司都可以利用數(shù)據(jù)挖掘。
銷(xiāo)售
數(shù)據(jù)挖掘鼓勵(lì)更智能、更高效地利用資本來(lái)推動(dòng)收入增長(zhǎng)?？紤]在您最喜歡的當(dāng)?shù)乜Х鹊赀M(jìn)行銷(xiāo)售點(diǎn)登記。對(duì)于每筆銷(xiāo)售，該咖啡館都會(huì)收集購(gòu)買(mǎi)時(shí)間和銷(xiāo)售的產(chǎn)品。利用這些信息，商店可以戰(zhàn)略性地制作其產(chǎn)品線(xiàn)。
營(yíng)銷(xiāo)
一旦上面的咖啡館知道了它的理想陣容，就該實(shí)施這些變化了。但是，為了使?fàn)I銷(xiāo)工作更有效，商店可以使用數(shù)據(jù)挖掘來(lái)了解客戶(hù)在哪里看到廣告、定位哪些人口統(tǒng)計(jì)數(shù)據(jù)、在哪里放置數(shù)字廣告以及哪些營(yíng)銷(xiāo)策略最能引起客戶(hù)的共鳴。這包括使?fàn)I銷(xiāo)活動(dòng)、促銷(xiāo)優(yōu)惠、交叉銷(xiāo)售優(yōu)惠和計(jì)劃與數(shù)據(jù)挖掘的結(jié)果保持一致。
制造業(yè)
對(duì)于生產(chǎn)自己產(chǎn)品的公司來(lái)說(shuō)，數(shù)據(jù)挖掘在分析每種原材料的成本、最有效的材料使用、制造過(guò)程中花費(fèi)的時(shí)間以及哪些瓶頸對(duì)流程產(chǎn)生負(fù)面影響方面起著不可或缺的作用。數(shù)據(jù)挖掘有助于確保貨物流動(dòng)不間斷。
欺詐檢測(cè)
數(shù)據(jù)挖掘的核心是查找將數(shù)據(jù)點(diǎn)鏈接在一起的模式、趨勢(shì)和相關(guān)性。因此，公司可以使用數(shù)據(jù)挖掘來(lái)識(shí)別不應(yīng)該存在的異常值或相關(guān)性。例如，一家公司可能會(huì)分析其現(xiàn)金流并找到未知賬戶(hù)的重復(fù)交易。如果這是出乎意料的，公司可能希望調(diào)查資金是否管理不善。
人力資源
人力資源部門(mén)通常有廣泛的數(shù)據(jù)可供處理，包括有關(guān)保留、晉升、工資范圍、公司福利、這些福利的使用和員工滿(mǎn)意度調(diào)查的數(shù)據(jù)。數(shù)據(jù)挖掘可以將這些數(shù)據(jù)關(guān)聯(lián)起來(lái)，以更好地了解員工離職的原因以及吸引新員工的原因。
顧客服務(wù)
客戶(hù)滿(mǎn)意度可能由于各種原因而引起（或破壞）。想象一下，一家運(yùn)送貨物的公司?？蛻?hù)可能對(duì)運(yùn)輸時(shí)間、運(yùn)輸質(zhì)量或通信不滿(mǎn)意。同一客戶(hù)可能會(huì)對(duì)電話(huà)等待時(shí)間過(guò)長(zhǎng)或電子郵件響應(yīng)緩慢感到沮喪。數(shù)據(jù)挖掘收集有關(guān)客戶(hù)交互的運(yùn)營(yíng)信息，并總結(jié)調(diào)查結(jié)果，以查明弱點(diǎn)并突出公司做得對(duì)的地方。
數(shù)據(jù)挖掘的好處
數(shù)據(jù)挖掘確保公司收集和分析可靠的數(shù)據(jù)。它通常是一個(gè)更僵化、結(jié)構(gòu)化的過(guò)程，它正式識(shí)別問(wèn)題，收集與問(wèn)題相關(guān)的數(shù)據(jù)，并努力制定解決方案。因此，數(shù)據(jù)挖掘有助于企業(yè)變得更有利可圖、更高效或運(yùn)營(yíng)更強(qiáng)大。
