來自宇宙的數(shù)據(jù)洪流Comments>>

Shea 發(fā)表于 2014-06-06 14:21 | Tags 標簽：原創(chuàng), 大數(shù)據(jù), 巡天, 數(shù)字巡天, 譯文

Preston Lerner　文　Shea　編譯

數(shù)字巡天和實時望遠鏡觀測正在引發(fā)一場前所未有的數(shù)據(jù)洪水。埋藏在這些數(shù)據(jù)中的可能有宇宙學中最大謎題的答案。

對于工作在美國宇航局（NASA）國家空間科學數(shù)據(jù)中心的科學家來說，一場信息革命從2000年起便悄然而至。在一個會議上，有一位天文學家詢問，這個中心是否能放下由暈族大質(zhì)量致密天體巡天——專門用來研究僅發(fā)出少量光線和其他輻射的神秘天體——所收集的1萬億字節(jié)的數(shù)據(jù)。雖然今天許多臺式計算機的硬盤就能放下1萬億字節(jié)的數(shù)據(jù)，但對于當時的這個數(shù)據(jù)中心來說卻是不可能的，因為在此之前的45年中NASA所收集的數(shù)據(jù)總量也只有1萬億字節(jié)。

[圖片說明]：斯隆數(shù)字巡天的2.4米望遠鏡。版權(quán)：SDSS。

一個實驗所產(chǎn)生的數(shù)據(jù)就相當于之前15,000個實驗的總和。于是有人意識到，科學界必須要做點什么，不但把使所有這些數(shù)據(jù)提供給科學家，而且還要能從所有這些信息中做出科學發(fā)現(xiàn)。

在隨后的十年中，天文學家所使用的工具發(fā)生了徹底的變化，而我們對宇宙的認知也跟著發(fā)生了翻天覆地的改變。用照相底片來辛苦地拍攝天空的日子已經(jīng)一去不復返。今天地球上和太空中的天文臺可以讓天文學家從射電波到γ射線縱覽整個宇宙。而隨著數(shù)字化探測設(shè)備的發(fā)展，計算機取代了原先的暗室。這些新生力量為了解我們的宇宙提供了一條更有意義的途徑，但它們同時也引發(fā)了一場駭人的數(shù)據(jù)洪災(zāi)。驚人的發(fā)現(xiàn)也許就在其中，但你必須要先梳理所有的數(shù)據(jù)。

從2000年起，耗資8,500萬美元的斯隆數(shù)字巡天（SDSS）已經(jīng)拍攝了超過三分之一的夜空，獲得了超過930,000個星系和120,000個類星體的信息。對SDSS龐大數(shù)據(jù)的計算分析發(fā)現(xiàn)了一些已知最年老天體的證據(jù)、確定了絕大多數(shù)大型星系擁有超大質(zhì)量黑洞、甚至還測定出了局部宇宙的三維結(jié)構(gòu)。在SDSS之前，單個天文學家或者小組占據(jù)了天文學。你要申請望遠鏡的使用時間，獲得你的數(shù)據(jù)，然后再對其進行分析。之后SDSS問世了，突然間有了為了某個目的而獲得的大量數(shù)據(jù)，但人們卻把它們用到了其他各自感興趣的研究上。因此，天文學的研究方式出現(xiàn)了巨大的改變，即便不屬于某個項目的天文學家也能提出全新的問題、做出嶄新的發(fā)現(xiàn)。

SDSS：宇宙制圖家　　斯隆數(shù)字巡天（SDSS）始于2000年，昭示著海量數(shù)據(jù)天文學時代的到來。多年來，對于需要了解宇宙全局特征的天文學家來說，他們主要依靠的是20世紀50年代的帕洛瑪照相天圖。SDSS也觀測了帕洛瑪天圖中的大量區(qū)域，但卻把之前的照相底片換成了可以在任何地方更新和分析的數(shù)字圖像。SDSS的科學家由此做出了一些驚人的發(fā)現(xiàn)。2000年，他們發(fā)現(xiàn)了已知最遙遠的類星體。而獨立于SDSS之外的科學家卻根據(jù)它的數(shù)據(jù)已經(jīng)發(fā)表了2,000多篇的科學論文，把SDSS的公開數(shù)據(jù)作為了他們研究的基礎(chǔ)。另一個生動的例子是，天文學家由SDSS發(fā)現(xiàn)了“星流場”，這一群恒星分布的跨度長達近四分之一個天空。它們可能是小型星系被銀河系吞噬時所產(chǎn)生的殘骸。

[圖片說明]：斯隆數(shù)字巡天對天空的覆蓋情況以及對其中某一塊逐步放大的圖像。版權(quán)：SDSS。

在這其中，數(shù)據(jù)挖掘和其他信息學工具對于從基本的亮度測量中提取有用的信息進而得出新的科學結(jié)果起到了至關(guān)重要的作用。

新一代的巡天將會觀測并記錄下數(shù)百億個的天體。但問題是，在已知的宇宙中沒有那么多的研究生能對它們進行分類。2019年當大口徑全天巡視望遠鏡（LSST）在智利帕瓊山上將其32億像素的數(shù)碼相機（世界上最大）對準天空的時候，它會以15秒的曝光時間拍攝一片比滿月大49倍的天區(qū)，一個晚上拍攝2,000次。在其后10年中所拍攝的這些快照最終會被串編起來，構(gòu)成一部可見天空的電影。每晚可以生成30萬億字節(jié)數(shù)據(jù)的LSST將會成為千萬億字節(jié)天文學的核心。

洪水般的數(shù)據(jù)已經(jīng)令過去為獲得大型天文臺那么一丁點觀測時間就激烈競爭的天文學家們感到了勢不可擋。有史以來第一次天文學家們不再能夠檢查并使用所有的數(shù)據(jù)。這不僅僅在于數(shù)據(jù)的數(shù)量，還關(guān)乎數(shù)據(jù)的質(zhì)量和復雜性。一個大型巡天可能會觀測數(shù)百萬甚至數(shù)十億個天體，而對每一個天體可能又會測量它的數(shù)千個特性。雖然有現(xiàn)成的數(shù)據(jù)挖掘程序包，但如果你想處理10億個對象而每個對象又包含1,000個數(shù)據(jù)的時候，就算有世界上最大的超級計算機你也只能干瞪眼。其挑戰(zhàn)是發(fā)展出適用于21世紀的新科學方法。

宇宙攝像機　　建在智利帕瓊山上的大口徑全天巡視望遠鏡（LSST）是一個價值4.5億美元的龐大工程，它將真正把天文學和信息學揉合在一起。它的目標是探測暗能量和暗物質(zhì)、對太陽系和銀河系進行前所未有的詳盡普查并且尋找天空中任何會變化或者移動的目標。

[圖片說明]：建在智利帕瓊山上的大口徑全天巡視望遠鏡。版權(quán)：Michael Mullen Design/LSST Corporation。

裝備有一面8.4米的主鏡和一架世界上最大的32億像素的照相機，LSST只要幾個晚上就能獲得和SDSS在8年的時間里所得到的一樣多的數(shù)據(jù)。據(jù)估計LSST總共會觀測到200億個左右的目標，這將是第一次有一個巡天能觀測到比地球上的人口還要多的天體。

如此龐大而驚人的數(shù)字使得LSST也成為第一個把信息學融入其設(shè)計的天文項目，其中涉及到數(shù)據(jù)挖掘、機器學習、可視化研究以及除了天文學家之外的計算機科學家和統(tǒng)計學家。LSST會一絲不茍地對整個可見天空進行成像，最終會生成一部10年長的宇宙電影。這將導致研究天體快速變化現(xiàn)象——黑洞形成、超新星爆發(fā)——的時間域天文學和對地球構(gòu)成潛在威脅的小行星以及位于海王星軌道之外的柯伊伯帶天體的搜尋向前邁進一大步。

這一方法的核心是被稱為信息學的大批量數(shù)據(jù)處理技術(shù)。它已經(jīng)改變了生物學和醫(yī)學，使得科學家可以對數(shù)千種生物的脫氧核糖核酸（DNA）進行測序并尋找出與健康和疾病有關(guān)的基因線索。天文學家相信信息學也能為他們做同樣的事情?；镜南敕ㄊ怯糜嬎銠C來從過于復雜而人腦無法理解的原始數(shù)據(jù)中提取出有意義的信息。軟件可以在幾秒鐘的時間里處理數(shù)萬億字節(jié)的數(shù)據(jù)，找出其中的規(guī)律和異常，對關(guān)鍵信息進行可視化，甚至在這個過程中“自我學習”。

從這個意義上講，信息學其實就是讓天文學家能更快、更準確地去完成他們一直在從事的工作。例如，對于這天文學中的兩大關(guān)鍵技術(shù)——分類和整合信息——而言，數(shù)據(jù)挖掘是有益的。這個天體是一顆恒星還是一個星系？如果它是一個星系，那它是旋渦星系還是橢圓星系？如果是橢圓星系，它是圓的還是扁的？就在不久之前，這些問題還是處理照相底片的人必須要回答的。當你手中只有數(shù)百個太陽系外行星或者數(shù)千顆超新星的時候，分類不是什么大不了的事情。但當你面對數(shù)十億個天體的時候，它就會變得極其復雜而繁重。

1996年天文學家為了了解遙遠宇宙中的大尺度結(jié)構(gòu)試圖證認出幾百個類星體。當時的做法很原始，一只鉛筆和一張紙，還有反復地試驗。而當LSST完工的時候，它輕而易舉地就能給我們收集到以數(shù)百萬計的類星體。

[圖片說明]：大口徑全天巡視望遠鏡焦平面的實際大小模型，其直徑達64厘米。請注意其中由于比較視場大小的月球（直徑0.5度）。版權(quán)：LSST Corporation。

針對大樣本的算法不僅能更容易地發(fā)現(xiàn)規(guī)律，還能加速識別出異?，F(xiàn)象?，F(xiàn)在，一百萬分之一被認為是實屬意外的發(fā)現(xiàn)，你恰好在正確的時間把望遠鏡對準了正確的方向。這是搜尋高紅移類星體——由超大質(zhì)量黑洞所驅(qū)動的極為遙遠而明亮的天體——中經(jīng)常發(fā)生的現(xiàn)象。目前尋找它們基本是靠運氣的事情。有了計算機來篩選數(shù)十億個天體，天文學家能夠更具方法性地來尋找這些天體以及其他不同尋常的目標。這一方法不僅更快而且更準確。

另一方面，信息學也是進行統(tǒng)計的有力工具，它可以反映出宇宙整體的圖像。例如，傳統(tǒng)上天文學家會利用分光儀來估計遙遠星系的距離，后者會把一個天體所發(fā)出的光分解到不同的波長上。但對于SDSS中每一個具有光譜數(shù)據(jù)的天體，又有大約100個沒有光譜而只有圖像的天體與之對應(yīng)。這里就是天文信息學派上用場的地方了。天文學家們開發(fā)出了一個算法，它可以讓天文學家僅分析圖像就能估計出天體的距離，為研究宇宙的三維結(jié)構(gòu)提供了大得多的數(shù)據(jù)集。這對于LSST尤為重要，因為天文學家無法獲得其中99%天體的光譜。

望遠鏡無國界　　為了盡可能多得了解遙遠的天體，天文學家會在不同的波段上對它們進行觀測。不幸的是，由此產(chǎn)生的數(shù)據(jù)通常都存放在全世界的各個地方，這使得它們變得很難獲取。此外，它們中的絕大部分并不兼容，因此把它們合并到一起需要花費大量的辛苦勞動。大約10年前，一群天文學家開始討論建立一個全球統(tǒng)一的虛擬天文臺。就像互聯(lián)網(wǎng)，這個虛擬的天文臺是一個超乎實體的框架，它將眾多望遠鏡的數(shù)據(jù)資料連接了起來并為之提供了研究工具。在美國，一個試驗性的虛擬天文臺——美國國家虛擬天文臺——于2002年上線，但由于缺乏好的數(shù)據(jù)分析工具而難以使用。2010年5月NASA和美國國家科學基金會決定在未來5年為虛擬天文臺注資2,750萬美元并繼續(xù)開發(fā)數(shù)據(jù)共享工具，這使得虛擬天文學的前景再一次變得誘人。

虛擬天文臺本身不會取得突破，但它卻會讓新的突破成為可能。這就像互聯(lián)網(wǎng)改變了世界，而造就它的是超文本傳輸協(xié)議（HTTP）一樣。

計算機科學和天文學間跨學科的聯(lián)姻還沒有得到各自領(lǐng)域的完全擁護，不過情況正在發(fā)生改變。2010年5月初次登臺的虛擬天文臺是一個分水嶺。這個歷經(jīng)10年時間打造的國際網(wǎng)絡(luò)使得天文學家能通過互聯(lián)網(wǎng)獲得來自幾十架望遠鏡的數(shù)據(jù)。之后，在2010年6月又召開了首次國際天文信息學會議。

天文學家習慣于行走在人類想象力的極限，但即便是他們也會在從如洪水般涌來的新數(shù)據(jù)中提煉出新的認識時遇到尷尬。路已經(jīng)修好，現(xiàn)在就要看法拉利的了。