每代人都會(huì )遇到“數據危機”：基于當時(shí)的知識、技術(shù)和工具，還無(wú)法處理的數據。歷史上，最常見(jiàn)的海量數據危機，是天文數據和人口數據，這些真是“天文數據”。
現代意義上的數據危機發(fā)生在19世紀中后期，當時(shí)全球工業(yè)革命蓬勃發(fā)展，全球性貿易大繁榮，而記錄和管理這些商品、財富和人口信息的技術(shù)，卻遠遠趕不上工業(yè)社會(huì )進(jìn)步的步伐。最典型的是人口普查難題：美國在1880年開(kāi)展的人口普查，耗時(shí)8年才完成數據匯總。
隨著(zhù)時(shí)間的推移，不僅人口數據處理越來(lái)越復雜，軍事、科學(xué)和商業(yè)等更多領(lǐng)域的數據量也持續增長(cháng)，通用電子計算機由此誕生，海量數據的“簡(jiǎn)單”統計處理不再是難題。
然而，計算機硬件能力以摩爾定律呈指數級增長(cháng)，而軟件的生產(chǎn)方式還很原始，生產(chǎn)效率相對低下，導致20世紀60年代“軟件危機”爆發(fā)，業(yè)界開(kāi)始將主要注意力從硬件轉移到軟件。這時(shí)，復雜的數據庫管理軟件只是軟件危機的一部分。
軟件危機最初定義是為了提高軟件的生產(chǎn)效率，但后來(lái)演變成強調如何提升軟件質(zhì)量。軟件危機主要表現在以下幾個(gè)方面：超預算項目、超時(shí)開(kāi)發(fā)項目、軟件運行效率低下、軟件質(zhì)量無(wú)法保證、軟件不符合客戶(hù)要求、項目管理指南缺失、代碼維護困難和軟件從未交付等。
軟件危機導致了“軟件工程”的誕生，讓程序員的編程從手工作業(yè)走向工程化。從20世紀70年代到90年代的20多年里，軟件的每一項新技術(shù)和新實(shí)踐，都會(huì )被吹捧為是解決軟件危機的靈丹妙藥，但事實(shí)上，所有已知的技術(shù)和實(shí)踐，都只是漸進(jìn)式地提升了軟件生產(chǎn)效率或質(zhì)量。
進(jìn)入21世紀，“軟件危機”的說(shuō)法逐漸“淡出”。這不是因為導致危機的問(wèn)題解決了，而是因為人們對軟件危機產(chǎn)生了心理疲勞，并且新的危機出現了。在過(guò)去的20余年中，硬件技術(shù)、軟件技術(shù)和網(wǎng)絡(luò )技術(shù)等都在飛速發(fā)展，全球數據每年以50%的速度飛速增長(cháng)，新一輪“數據危機”開(kāi)始出現。
在新一輪“數據危機”下，非結構化的數據量過(guò)大，無(wú)法用現有技術(shù)尤其是關(guān)系型數據庫技術(shù)工具加工處理，于是催生了“大數據”技術(shù)，其旨在從技術(shù)層面解決“能”處理海量數據的問(wèn)題。目前，我們大致處于從“數據手工藝”到“數據工程”的演進(jìn)中，支持全生命周期“數據運營(yíng)”的技術(shù)（如DataOps、隱私計算）等尚待成熟和融合。
但是，數據產(chǎn)業(yè)在通過(guò)各種技術(shù)手段解決了“大”的危機后，卻催生出“隱私保護”的新危機，這是個(gè)人數據的用途問(wèn)題，可以稱(chēng)為“數據危機2.0”。沒(méi)有之前大數據的成功，就不會(huì )引發(fā)今天的隱私危機。
任何一個(gè)時(shí)代都有“數據危機”。多年后，數據產(chǎn)業(yè)在又解決了隱私危機后，可能還會(huì )引發(fā)新的危機，邁入“數據危機3.0”時(shí)代。彼時(shí)，危機的產(chǎn)生可能是因為數據的生產(chǎn)要素化取得了巨大成功，可能數據已經(jīng)成為大宗商品，大量的數據衍生品在金融市場(chǎng)上“量化”交易，于是引發(fā)新一輪的金融危機。20年前，引發(fā)金融危機的是互聯(lián)網(wǎng)泡沫；或許20年后，引發(fā)金融危機的是“數據泡沫”。
編輯：薛姣
現代意義上的數據危機發(fā)生在19世紀中后期，當時(shí)全球工業(yè)革命蓬勃發(fā)展，全球性貿易大繁榮，而記錄和管理這些商品、財富和人口信息的技術(shù)，卻遠遠趕不上工業(yè)社會(huì )進(jìn)步的步伐。最典型的是人口普查難題：美國在1880年開(kāi)展的人口普查，耗時(shí)8年才完成數據匯總。
隨著(zhù)時(shí)間的推移，不僅人口數據處理越來(lái)越復雜，軍事、科學(xué)和商業(yè)等更多領(lǐng)域的數據量也持續增長(cháng)，通用電子計算機由此誕生，海量數據的“簡(jiǎn)單”統計處理不再是難題。
然而，計算機硬件能力以摩爾定律呈指數級增長(cháng)，而軟件的生產(chǎn)方式還很原始，生產(chǎn)效率相對低下，導致20世紀60年代“軟件危機”爆發(fā)，業(yè)界開(kāi)始將主要注意力從硬件轉移到軟件。這時(shí)，復雜的數據庫管理軟件只是軟件危機的一部分。
軟件危機最初定義是為了提高軟件的生產(chǎn)效率，但后來(lái)演變成強調如何提升軟件質(zhì)量。軟件危機主要表現在以下幾個(gè)方面：超預算項目、超時(shí)開(kāi)發(fā)項目、軟件運行效率低下、軟件質(zhì)量無(wú)法保證、軟件不符合客戶(hù)要求、項目管理指南缺失、代碼維護困難和軟件從未交付等。
軟件危機導致了“軟件工程”的誕生，讓程序員的編程從手工作業(yè)走向工程化。從20世紀70年代到90年代的20多年里，軟件的每一項新技術(shù)和新實(shí)踐，都會(huì )被吹捧為是解決軟件危機的靈丹妙藥，但事實(shí)上，所有已知的技術(shù)和實(shí)踐，都只是漸進(jìn)式地提升了軟件生產(chǎn)效率或質(zhì)量。
進(jìn)入21世紀，“軟件危機”的說(shuō)法逐漸“淡出”。這不是因為導致危機的問(wèn)題解決了，而是因為人們對軟件危機產(chǎn)生了心理疲勞，并且新的危機出現了。在過(guò)去的20余年中，硬件技術(shù)、軟件技術(shù)和網(wǎng)絡(luò )技術(shù)等都在飛速發(fā)展，全球數據每年以50%的速度飛速增長(cháng)，新一輪“數據危機”開(kāi)始出現。
在新一輪“數據危機”下，非結構化的數據量過(guò)大，無(wú)法用現有技術(shù)尤其是關(guān)系型數據庫技術(shù)工具加工處理，于是催生了“大數據”技術(shù)，其旨在從技術(shù)層面解決“能”處理海量數據的問(wèn)題。目前，我們大致處于從“數據手工藝”到“數據工程”的演進(jìn)中，支持全生命周期“數據運營(yíng)”的技術(shù)（如DataOps、隱私計算）等尚待成熟和融合。
但是，數據產(chǎn)業(yè)在通過(guò)各種技術(shù)手段解決了“大”的危機后，卻催生出“隱私保護”的新危機，這是個(gè)人數據的用途問(wèn)題，可以稱(chēng)為“數據危機2.0”。沒(méi)有之前大數據的成功，就不會(huì )引發(fā)今天的隱私危機。
任何一個(gè)時(shí)代都有“數據危機”。多年后，數據產(chǎn)業(yè)在又解決了隱私危機后，可能還會(huì )引發(fā)新的危機，邁入“數據危機3.0”時(shí)代。彼時(shí)，危機的產(chǎn)生可能是因為數據的生產(chǎn)要素化取得了巨大成功，可能數據已經(jīng)成為大宗商品，大量的數據衍生品在金融市場(chǎng)上“量化”交易，于是引發(fā)新一輪的金融危機。20年前，引發(fā)金融危機的是互聯(lián)網(wǎng)泡沫；或許20年后，引發(fā)金融危機的是“數據泡沫”。
編輯：薛姣
