『Economist』：多いことは良いことだ（基本的には）
2000年に日米共同の銀河地図作成プロジェクトがスタートしたとき、ニューメキシコ市に作られた天体望遠鏡は、最初の数週間で、それまでの天文学の歴史上集められたよりも多くのデータを集めました。それから10年、今やプロジェクトのアーカイブに積み上げられたデータ量は 140 テラバイト。このプロジェクトの後継としてチリ 2016 年に始まる調査では、5日ごとに同じだけのデータ量が蓄積されていくと予想されています。
このような情報の大爆発は、宇宙でのみ起こっているわけではありません。小売業の巨人ウォールマートは、1時間に100万トランザクションの業務量を捌いており、そのデータベースの規模は 2.5ぺタバイトに昇ると推測されています。これは、アメリカ国会図書館の蔵書の 167 倍の情報量と同じです。SNSサービスの Facebook は、400億枚の画像ファイルを保持しているし、人間の遺伝子解読が読んだ塩基対の数は30億個です。2003年にゲノム計画が始まったとき、これだけの情報を解読するには10年かかると言われていましたが、今では1週間で終わります。
これらのことは全て、ある一つの事実を示しています。つまり、世界には想像もできないほど巨大なデジタル情報が溢れ、しかもそれは急速に膨れ上がっている、ということです。これによって、今まではできなかった多くのことが可能になりました。例えば、ビジネスのトレンドを予測したり、病気を予防したり、犯罪に対抗したり、等々。うまく使えば、データは新たな経済的価値の源泉になり、科学に新たな光をもたらし、政策の正しい評価も可能にします。
しかし同時に、データの爆発は多くの新しい問題も生み出しています。情報の獲得や処理、共有のためのツールは世の中に多く存在します。代表的なのはもちろんパソコンですが、携帯電話も最近はスマートフォンの登場によって、情報処理端末としての重要性を増しています。しかしそれにもかかわらず、既に情報を格納するためのストレージが不足している。加えて、情報が極度に増加し、それが世界中で共有されるようになると、データのセキュリティ確保とプライバシーの保護は、どんどん難しくなっています。
ジョン・ホプキンス大学の宇宙物理学者アレックス・シュザレイは、データが増加すればするほど、データは利用できなくなっていく、という逆説が起こると言います。「一体、どうやって全てのデータを理解すればいい？ どういう風に子供たちにその使い方を教えるか、科学者だけでなく政府や産業界も心配するべきだ。」
カリフォルニア大学バークレイ校のジョー・ヘレスタインは、この状況を「データの産業革命」と名づけました。この効果は、ビジネスから科学、芸術といたる分野で確認されています。新しい概念の大好きな科学者とコンピュータ・エンジニアは、早速この現象に命名しています。その名もビッグ・データ。
そもそも認識論的な観点から見れば、情報とデータは異なるものでした。情報というのはデータの集積であり、さらに知識は情報を様々に組み合わせることで作られるものでした。でも今では、データと情報はほとんど互換可能なタームとして使われるようになっています。それは、最近のアルゴリズムとマシンパワーの進化のおかげで、十分な量のデータが与えられれば、以前は到達できなかった情報へアクセスできるようになったからです。
情報の爆発とともに、その膨大な情報を管理するビジネスも大きな成長を遂げています。ここ最近、Oracle、IBM、SAPがデータ分析ソフトウェアを作っていた企業を買収した金額は、15億ドルに昇ります（Oracle は Sieble、IBM は Cognos、SAP は Business Objects を、それぞれ買収している）。この BI （Business Intelligence）と呼ばれる分野の成長率は、年率 10% と見積もられており、ソフトウェア産業全体の成長率の 2倍にあたります。Google のチーフ・エコノミストをつとめるハル・ヴァリアンは、今後もっとも「セクシー」な仕事は統計学者だと予言している。「データはふんだんにある。足りないのは、そのデータから知恵を引き出す能力だ。」
ここ数年で情報が急激に増えた理由は、いくつかあります。一つは明らかで、テクノロジーの進歩。もう一つは、そのテクノロジーを利用できる人口が増えたことです。1990年から2005年の間で、中産階級の仲間入りをした人は 全世界で 1億人を超えると推測されています（格差がどうこう言われるけど、世界的に見れば人々の暮らし向きはどんどん良くなっている）。豊かな人が増えると識字率もあがり、情報の生産も消費も増える、という仕掛けです。この調子で世界中の人々が情報を増やし続けると、2013 年までに、インターネットを流れる情報は1年間で 667 エクサバイトに達するといいます（Cisco による試算）。これは、ネットワークの回線速度の進歩を遥かに凌駕するペースです。
この絶対的に過大な情報量は、私たちにどんな未来をもたらすのか。思えば人類は、これまでもずっと、情報の多さに圧倒されてきた歴史を持っています。1917年、コネティカットにある製造業の経営者は、電話の影響についてこう言っていました。「電話のせいで時間がとられるんだよ。しかも混乱するし、金まで出て行く。」 でも、今起きている変化に比べれば、電話のエピソードはまだ牧歌的です。量的な変化は、やがて質的な変化を引き起こす。
それは既に、データマイニングという形で姿を現しつつあります。既に、幾つかの分野では、過去に蓄積された膨大なデータを分析することで、高い精度をもって未来のパターンを予測することができるようになっています。株や為替の予測をする技術が実用化されるのも遠くないでしょう。それだけでなく、過去のデータの不自然なパターンを見つけることで、スポーツの八百長を暴くことも可能になる（レヴィット
こうした技術は、これまで私たちが知らなかった真実を一つまた一つと暴いては、私たちに突きつけてきます。その中には、できれば知りたくなかったような politically incorrect な真実も含まれているでしょう。あるいは 100年前、電話に文句をつけた社長と同じことを、情報技術に対して言いたくなるかもしれません。「時間も金も取られる。おまけに混乱する」と（皮肉なことに、BI システムを導入した先駆的な企業の中には、実はこういう感想を持っているところが少なくない）。でも、文句を付けたところで情報爆発のスピードが止まることはありません。ラッダイトに勝ち目がないのは、産業革命のときから同じです。むしろそれなら、爆発の向こう側に何が待っているのか、ジェットコースターの一番前の席で景色を見てみるほうが、きっと面白いに違いありません。
コースターもろとも吹っ飛ばされないという保証はないけど。
