スキップしてメイン コンテンツに移動

【番外編】ビッグデータ解析やってみた。【第1回】地震解析 ~最近地震多くないですか?~

「なんか最近地震多くない?」と思って調べ始めたら結果としてBI(ビジネスインテリジェンス)ツールを使った”なんちゃってビッグデータ解析”になってしまいました。4回くらいに分けて連載してみようと思います。

「なんか最近地震多くない?」

世の中は新型コロナウイルス感染拡大一色ですが、Yahoo防災アプリでちょこちょこ地震速報を受信している気がします(Yahoo防災アプリは通知が早いので愛用しています)。あくまで個人の直感なので、何か定量的に裏付ける方法はないかとググってみました。

地震のオープンデータを探してみる

まず見つけたのは気象庁の「震度データベース」です。日付範囲や地域・震度などを選択してデータの一覧や日本地図に震源をマッピングした見やすい地図がサクッと得られます。
これはこれで優れたデータソースだと思うのですが、微妙な点が2つほど。

  1. 日本の情報しかない
    • 東日本大震災など、地震の多くはプレートの移動によって起こります。環太平洋一帯にプレートの沈み込むエリアがあるので、日本だけでなく南米やオーストラリア・インドネシア沿岸の地震の傾向も見たほうがよさそうです。実際東日本大震災の直前にはニュージーランドのクライストチャーチで大きな地震がありましたし。
  2. データが扱いづらい
    • データを年単位で一括ダウンロードできるのですが、タイトルレコードがないこと・区切り文字のないことから、BIツールなりエクセルなりに流し込むにはCSV形式(カンマで区切られたデータ)にするなど、少し加工しないといけなさそうです(僕のスキルの問題かもしれないですが)。


なので、グローバルな地震のオープンデータを提供しているサイトがないかと探していたら、アメリカ地質調査所(USGS)のサイト見つけました。
こちらのサイトでも気象庁同様、日付で範囲を絞って検索したり結果をマップに図示できるできるほか、緯度経度で地域を絞ることもできます。世界で観測された地震を網羅している点CSVやKML(Google Earthに放り込めるデータ型)を指定して出力できる点がGoodなのです。さすがアメリカ様。

オープンデータの解析方法を考える

解析するデータを見つけた次は、どうやって解析するかを考えないといけないです。もともと、「オープンデータから直近3か月で起きた地震をマグニチュード別でマッピングしてみて世界的に日本近辺で地震がいつもより多いのか?」みたいなことを検証できればいいかなと思っていました。

なので、最初は上記のアメリカ地質調査所で「直近3か月の地震マップ」を表示すればいいんじゃない?と思ったのですが、同時に表示できる件数に上限がありました。表示するサンプル数が少ないと客観的な評価はできないので、この方法は早々に断念。。

次に思い付いたのは、オープンデータの緯度・経度をGoogle MapのAPI(※)使って流し込めば「地震マップ」的なものができるんじゃない?APIを叩くプログラムをPythonで書けばいけそうじゃない?でした。
※API(Application Programming Interface):僕みたいな一般人がGoogle Mapを使ったプログラムを作るためにGoogle様が定めた使い方説明書的なもの

確かにこの方法だとマップは作れそうですが、マグニチュードなどの地震の特性をどう表現すればよいか悩んだのと、「きっと同じようなことに悩んでいる人はいるだろうから、既にツールなどの解決策はあるはず」というヨコシマな考えがよぎり、ググってみました。で、見つけたのがTableau(タブロー)という有名なBIツール14日間はトライアル版を無料で使えるのです。


とりあえずデータを放り込んでみる

アメリカ地質調査所のサイトから直近3か月分のデータをCSV形式でダウンロードし、Tableauに放り込んでみます。チュートリアルをざっと読んで勢いで操作します。割と直感的に操作できるのがすごいのです。

参考にしたチュートリアル


マップ表示してみた

読み込んだデータには発生した地震の日時や震央の緯度・経度、マグニチュードなどの情報が含まれています。Tableauのワークシートはエクセルのピボットデーブルに似ていて、縦軸・横軸・集計する項目に読み込んだデータ系列名を指定していきます。

地図にマッピングしたいので、縦軸に緯度・横軸に経度を指定し、集計する項目にマグニチュードを指定するとあっという間に世界地図ができました。すごーい!
オレンジの大きい円ほどマグニチュードが大きく、青い小さい点ほどマグニチュードが小さいことを示します。プレート境界のある環太平法に震央が点在しているのが分かります。Google mapのように地図の拡大縮小も簡単です。日本周辺に絞るとこんな感じ。

うーん、確かにそれなりの地震が点在していますが、これだけでは最近多いのかわからないですよね。比較対象が必要です。まずは、一年前と比べてみます。一年前のこの日の直近3か月はこんな感じでした。


うーん、あまり顕著な違いを感じないですね。。「最近地震多くない?」は気のせいかもしれません。まぁ思い付きで始めた試みなので、必要なデータと解析方法が見つかっただけで今回は良しとしましょう!

次回は過去起こった大地震の直前3か月のデータをマッピングしてみて何か特徴がないか、今の直近のデータが大地震を予感させるものか?を検証してみようと思います!


関連情報

ビッグデータ解析やってみた

AI(機械学習)やってみた

AI(機械学習)関連書籍



ベストビュー(過去1カ月)

【番外編】ボストン旅行記(UMASS Lowell卒業式編)【Day 4:卒業式】

UMASS Lowellの卒業式@Boston。4 日目は卒業式本番です。とても賑やかでアメリカンな式典でした。ただしあいにくの雨、僕曇り男なのに。。

『九龍城探訪 魔窟で暮らす人々 - City of Darkness』 ☆4

魔窟とも言われた香港の九龍城の住人へのインタビューや、在りし日の写真集。香港の本土返還に伴い取り壊されてしまっているけど、その怪しさに妙に惹かれるのです。

【番外編】ボストン旅行記(UMASS Lowell卒業式編) 【Day2:晩餐会】

UMASS Lowellの卒業式@Boston。 2日目は午前中はボストン観光、夕方から Hooding ceremonyという卒業生(大学院生)向けの晩餐会です。卒業式で被るHoodをもらいました。

【番外編】ボストン旅行記(UMASS Lowell卒業式編) 【Day0:渡米前にやっておくこと】

UMASS Lowellの卒業式@Bostonについて、計画の立て方やら行く前にやっておくことやらをまとめておきます。

【番外編】ボストン旅行記(UMASS Lowell卒業式編) 【Day5:帰国】

UMASS Lowellの卒業式@Boston。5 日目にして帰国なのです。

【番外編】ボストン旅行記(UMASS Lowell卒業式編) 【Day3:終日観光】

UMASS Lowellの卒業式@Boston。3 日目は終日フリーなので、ゆっくりボストンを観光しました。

【番外編】ボストン旅行記(UMASS Lowell卒業式編) 【Day1:ボストンへ】

UMASS Lowellの卒業式@Boston。 1日目は移動だけで終わりました。

『女たちの王国 「結婚のない母系社会」中国秘境のモソ人と暮らす』☆3

雲南省と四川省の境にある「世界で最後の母系社会を営むモソ族」の社会に入り込んだ中華系シンガポール人女性の手記。結婚という概念がない・一夫一妻制でもないなど、父系社会が当たり前の我々にはイメージしづらい世界ですが、命をはぐくむ女性を中心とした母系社会のほうが生物としては正しい在り方なのかもしれません。

【番外編】AI(機械学習)やってみた。【第3回】ソムリAI ~ニューラルネットワーク編~

AI(機械学習)やってみた、第3弾です。「ニューラルネットワーク(Neural Network)」を使ったソムリAIを作ってみようと思います。”ニューラルネットワーク”、見るからにAIっぽい名前ですよね。

【番外編】AI(機械学習)やってみた。【第4回】ソムリAIの改良(正規化)

ソムリAI(ワインの評価を機械学習で当てる「ソムリエ+AI」)はもういいかなと思っていたのですが、機械学習の教科書的な本を読んでいるといくつか改良ポイントが見えてきたので、実際に適用してみようと思います。 まずは データの正規化 という手法を試してみました。結論から言うと、 あまり効果はなかった のです。。 ソムリAIの振り返り ワインの成分とランクのデータに対して、決定木・ロジスティック回帰・ニューラルネットワークの3通りのモデルを使って機械学習 を行い、モデルの精度を検証してきました。それぞれのソムリAIの性能はこんな感じでした。 どのモデルも概ね60%程度の精度 でした。 改良その1:正規化 正規化とは まずは 正規化 という手法を試してみます。標準化とも呼ばれます。正規化を行うことで 尺度の異なるデータを比べやすくする とともに、 はずれ値の影響を小さくする ことができます。正規化には 各データを平均0・標準偏差1に成形する手法 と、各データを 0から1の範囲に成形する手法 の2つがあります。 前者は標準偏差が出てくることからも分かるように、 データが正規分布に従うことを前提にした正規化手法 です。 元のデータが釣鐘型の分布になっている場合に有効 です。後者は単純に データの範囲を0から1の範囲に狭める手法 であり、 元のデータが一様分布の場合 (規則性が無くランダムなように見える場合) に有効 です。 どちらの手法でもデータの範囲を一定のレンジに狭めており、そうすることで異なる尺度のデータを比べやすくしつつ、はずれ値の影響を下げるのです。 正規化してみる 元データの分布を確認 前回同様のワインのデータを使って正規化してみます。まずはワインのデータを読み込んで表示してみます。ついでに機械学習で使うワインの成分と、ワインの評価にデータを分割しておきます。 【オリジナルのワインデータ】 UCI(University of California, Irvine:カリフォルニア大学アーバイン校) http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality-red.csv #入力データセットを読み込み i

ベストビュー(全期間)

Malaysia Quarantine Premium Package 【番外編】Malaysia赴任記 隔離ホテル情報

Once entering Malaysia, we need to be quarantined for 14days. At the beginning of COVID-19 spread, the hotel for quarantine have been determined randomly. In these days, we can choose "premium quarantine stay package" in advance . This article is summary of premium packages which I asked each hotel. Note: Information in this article might be old. It's better to confirm the latest plan to the hotel. Note: Only Hotel Istana can be booked via its homepage so far. As the other hotels don't show their premium package plans on their homepage, you need to contact them through their reservation E-mail address or "Contact us". マレーシア入国とともに14日間ホテルで隔離されます。当初は滞在ホテルがランダムに割り振られていたようですが、より快適なプレミアムプランが追加されました。各ホテルにどんなプランがあるのか聞いてみたので、聞いた内容をまとめます。 ※情報が古い可能性があるので、念のため最新情報を各ホテルに確認したほうがよいかもしれません。

【番外編】AI(機械学習)やってみた。【第1回】ソムリAI ~決定木編~

最近ブームのAI(機械学習)に手を出しました。まずは、決定木(Decision Tree)というモデルを使って「ソムリAI(ワインソムリエAI)」を作ってみようと思います。

【番外編】ボストン旅行記(UMASS Lowell卒業式編) 【Day0:渡米前にやっておくこと】

UMASS Lowellの卒業式@Bostonについて、計画の立て方やら行く前にやっておくことやらをまとめておきます。

【番外編】AI(機械学習)やってみた。【第6回】乳がん診断AI その1

ソムリAI(ワインソムリエAI)で使った手法で乳がん診断AIを作ってみます。まずは決定木とニューラルネットワークの2つのモデルを試してみます。かなり高性能なモデルができました。名医誕生かもしれません 笑

【番外編】AI(機械学習)やってみた。【第3回】ソムリAI ~ニューラルネットワーク編~

AI(機械学習)やってみた、第3弾です。「ニューラルネットワーク(Neural Network)」を使ったソムリAIを作ってみようと思います。”ニューラルネットワーク”、見るからにAIっぽい名前ですよね。

【番外編】ボストン旅行記(UMASS Lowell卒業式編) 【Day5:帰国】

UMASS Lowellの卒業式@Boston。5 日目にして帰国なのです。

【番外編】ボストン旅行記(UMASS Lowell卒業式編)【Day 4:卒業式】

UMASS Lowellの卒業式@Boston。4 日目は卒業式本番です。とても賑やかでアメリカンな式典でした。ただしあいにくの雨、僕曇り男なのに。。

【番外編】AI(機械学習)やってみた。【第2回】ソムリAI ~ロジスティック回帰編~

AI(機械学習)やってみた、第2弾です。前回は決定木(Decision Tree)を使ったソムリAI(ワインソムリエAI)を作りました。今回は「ロジスティック回帰(Logistic Regression)」というモデルを使ったソムリAIを作ってみようと思います。

【番外編】ボストン旅行記(UMASS Lowell卒業式編) 【Day2:晩餐会】

UMASS Lowellの卒業式@Boston。 2日目は午前中はボストン観光、夕方から Hooding ceremonyという卒業生(大学院生)向けの晩餐会です。卒業式で被るHoodをもらいました。

『深層学習教科書 ディープラーニング G検定(ジェネラリスト) 公式テキスト』 ☆5

一般社団法人日本ディープラーニング協会が実施している「Deep Learning for GENERAL (通称G検定 ) 」 の公式テキスト 。 ディープラーニングについて1冊で網羅的によくまとめられているので 、 ディープラーニングの入門書としてもおすすめです 。 ついでに勢いで資格も取ってしまいました 。 AI人材への第一歩なのです 笑