結合數據和知識多樣性解決數據偏差
結合數據和知識多樣性解決數據偏差
2020-03-12 18:07:08 來源：今日頭條
搶沙發
2020-03-12 18:07:08 來源：今日頭條
摘要：大數據是一種加速發展的趨勢，正在各個行業滲透。為了使系統自動化并消除對人力的需求，需要多種多樣的數據，這些數據全面涵蓋人類行為和行動的所有可能方面。世界正在以比正常速度更快的速度數字化。方式上存在一些挑戰。
關鍵詞：
大數據
大數據是一種加速發展的趨勢，正在各個行業滲透。為了使系統自動化并消除對人力的需求，需要多種多樣的數據，這些數據全面涵蓋人類行為和行動的所有可能方面。世界正在以比正常速度更快的速度數字化。方式上存在一些挑戰。例如，數字世界需要強大的處理能力和安全性。這些屬性因利基而異。挑戰是要在兩者之間保持平衡并順利進行數字處理。
為了自動化在線系統，應用了先進的技術和算法。例如，與在線系統集成的自動聊天機器人傾向于在沒有人工查詢處理程序任何幫助的情況下與客戶進行通信。在這些聊天機器人中，大量數據用于針對在線查詢進行訓練。數據包括常見問題和一些非常規問題。模型中嵌入了多樣化的字典以進行訓練和測試。
人工智能和機器學習模型渴望獲得數據。在AI方法中，一種被稱為“終身學習機器”的新品種正在被設計為無限地，連續地處理數據。數據流構建了渴望的模型和所需的模型。但是，對數據的日益增長的重要性和需求正在以“數據偏差”的形式引入障礙。全世界的AI公司在積極解決數據偏差問題方面都面臨著困難。
AI模型的過失
“技術界需要改進”。由于AI模型中的多次失敗，這種姿態出現了。例如，Google照片有時無法正確標記實體。該應用程序將非裔美國人標記為“大猩猩”。還有更多 亞馬遜的面部識別系統標記了國會議員的罪犯。這種冗長的詞句進入現實世界會導致毀滅性的環境。這就是微軟公司的創始人比爾·蓋茨不贊成將AI模型和此類技術用于監視目的(例如在戰爭中)的原因。
數據偏差不是AI模型的一部分，但數據包含偏差元素。例如，用于數據處理，過濾，標記和分析的算法無法有效地按比例對特定性狀進行分類。所有問題通常都與數據偏見相對應，在這種情況下，模型無法將案例無障礙地分類到相關類別中。此外，由于實踐模型失敗，法律后果對AI公司施加了重罰。
多樣化的數據集：解決方案
AI數據經過各個階段。在策劃階段可以積極解決數據偏差問題。原因是有時收集的數據不包含所有可能性或各種元素。在此問題上，數據源起著關鍵作用。例如，從某些來源收集的數據包含有關男人長相的更多數據。
有關男性的屬性已明確定義并顯示在數據中，但其中并未包含有關女性特征的任何細節。現在，在分類時，與男性有關的數據在女性類別中越來越少。該數據集將被有效地訓練以識別男性，并且在識別女性的情況下將給出負面結果。這導致數據偏差。因此，第一件事是均勻而多樣化的數據收集。
人種學視角
在數據收集階段，應進行多元化的調查和人口分析。具體而言，此方法稱為人種志。順便說一句，在技術研究方法論中，人種學對應于提出解決方案的多種社會分析。在收集AI模型的數據時應考慮這一點，同時要牢記抽象觀點和來源。例如，基于AI的面部識別系統對女性的面部特征的影響要大于女性的特征，這將使女性比男性更容易識別男性的特征。
如今，在構建面部識別系統時要考慮到寬敞的數據視圖。它們涵蓋了來自不同文化和國家的面孔的廣闊視角。這就是人臉識別技術的重大改進使其在全球范圍內被工業應用的原因。
智力多樣性
另一種類型的多樣性。當要在解決問題中發揮創造力和提高生產力時，需要一個知識分子團隊。該小組包括政治方面，學術紀律和風險承受能力計劃。知識多樣性可以提高模型的生產率和增長速度。而且，它增加了在正確類別中識別特征的可能性，并最終減少了數據偏差。當一個知識團隊為開發AI模型做出貢獻時，可以有效地涵蓋更廣闊的視野，而標準實體無法顯示任何重大成果。
但是，數據偏差問題尚未完全解決。AI模型中存在一些漏洞，這些漏洞是他們從未面對過的例外。全世界的數據科學家都在積極提出新方法，以幫助最大程度地減少AI模型中的問題并將其商業化以產生更好的收入。
大數據游戲就此誕生。大數據技術和方法論正在為各種數據源和類型的海量數據集的生產做出貢獻。數據越多，AI模型越好。因此，機器和自動化系統將在不久的將來取代人工，這為組織中的員工差異創造了令人震驚的局面。
人與各種數據的融合塑造了未來
個體多樣化的數據和人類知識分子無法從AI模型獲得預期結果。需要集體利用它們。將多樣化的數據集進行模型訓練和測試以及智能多樣性相結合，可以幫助提高模型效率。游戲只是在相關類別中準確標記輸入要素并相應地提供輸出。多種數據和人類知識分子的融合共同增強了AI模型的優化，使它們在結果精度方面更加強大和準確。
第三十屆CIO班招生
法國布雷斯特商學院碩士班招生
北達軟EXIN網絡空間與IT安全基礎認證培訓
北達軟EXIN DevOps Professional認證培訓
責編：baiyl
