Loading [MathJax]/extensions/tex2jax.js
スキップしてメイン コンテンツに移動

『統計学の図鑑』☆4

平均や分散などの基本的な用語から、近年注目が高まっている「ベイズの定理」や「べき分布(ロングテール)」まで、統計学の基本から応用・実践までを図解した本。「図鑑」なので、僕のような数式だとピンと来ない派(イメージで理解したい派)にぴったりです。この先、コンピュータサイエンス・統計学(・英語)が社会人に必要な基礎的素養になる(持論)と思うので、入門にいかがでしょう?

↑気になったらここからポチっと(買ってくれるとお小遣いが入ります)↑

この本を読むとわかること

記述統計学

  • 3種類の代表値表現「平均値」「中央値」「最頻値」のメリット・デメリット
    • 最頻値<中央値<平均値
  • 偏差値の生みの親は旧陸軍
  • 偏差値が100を超えるケース・マイナスになるケース
  • 2種類のデータの関係性を測る「共分散」と「相関係数」

推測統計学の考え方

  • 母集団の平均値と標本の平均値
  • 標本分布における「中心極限定理」と「大数の法則委」
  • 統計における「推定」の考え方
  • 「片側検定」と「両側検定」の違い・使い分け
    • そのデータが偶然である確率を示す「p値」
    • エクセルを使ったp値の求め方
  • 統計における「第一種の過誤」と「第二種の過誤」
    • 第一種の過誤を犯す確率αと第二種の過誤を犯す確率βはトレードオフ

統計学の実際を知る

  • データの「不偏性」と「自由度」
  • 標本数が少ない場合のt分布を使った母平均の推定
  • はい/いいえで構成される標本の母比率の推定
    • 政党の支持率や喫煙率など、サンプルから母集団を推定するのにつかわれる
  • 統計分析の主役「分散分析」の考え方と方法
    • 各データを「全体平均±グループ間偏差±グループ内偏差」に分解
    • グループ間偏差とグループ内偏差の関係と、不偏分散を使った有意性の測定

関係を科学する統計学(多変量解析)

  • クロス集計表の有意差を測定するのにつかわれるカイ二乗検定
    • クロス集計表の項目間の独立性(関係があるのか無関係なのか)
  • 回帰分析を応用した「非線形」の回帰分析
  • データの内容を集約する「主成分分析」と、主成分分析の精度を評価する「寄与度」
  • 多変量データの背景にある共通項を導き出す「因子分析」
  • アンケートなどの定性データを数値化し、予測式を導き出す方法

ベイズ統計学

  • ベイズの定理による「原因の確率」から「結果の確率」の推定
  • ベイズの定理を使った3ステップでの確率推定
    • モデル化し「尤度」を算出→「事前確率」を設定→「事後確率」の算出
  • 算出結果を次の計算に活かす「ベイズ更新」

活躍する統計学

  • ロングテール分析に使われる「べき分布」
    • 従来の正規分布重視の統計学のパラダイムシフト
  • 原因の白黒を算出するのに使われる「オッズ比」
  • 「平均寿命」の算出方法
    • 「平均余命」との違い
  • 死亡率を使った保険料算定の仕組み

↓気になったらここからポチっと(買ってくれるとお小遣いが入ります)↓

ベストビュー(過去1カ月)

『動物たちのすごいワザを物理で解く』☆4

生物×物理という着眼点の面白い本。なぜヤモリは天井にへばりつけるのかや、百発百中のテッポウウオの視界、温かい生き物の血を吸う蚊の驚きの排熱メカニズムなど、生き物の不思議を物理の視点で解説してくれます。子どもにドヤ顔で話せるようになると思います。

【番外編】ボストン旅行記(UMASS Lowell卒業式編) 【Day2:晩餐会】

UMASS Lowellの卒業式@Boston。 2日目は午前中はボストン観光、夕方から Hooding ceremonyという卒業生(大学院生)向けの晩餐会です。卒業式で被るHoodをもらいました。

【番外編】ボストン旅行記(UMASS Lowell卒業式編)【Day 4:卒業式】

UMASS Lowellの卒業式@Boston。4 日目は卒業式本番です。とても賑やかでアメリカンな式典でした。ただしあいにくの雨、僕曇り男なのに。。

【番外編】ボストン旅行記(UMASS Lowell卒業式編) 【Day5:帰国】

UMASS Lowellの卒業式@Boston。5 日目にして帰国なのです。

【番外編】ボストン旅行記(UMASS Lowell卒業式編) 【Day3:終日観光】

UMASS Lowellの卒業式@Boston。3 日目は終日フリーなので、ゆっくりボストンを観光しました。

【番外編】ボストン旅行記(UMASS Lowell卒業式編) 【Day0:渡米前にやっておくこと】

UMASS Lowellの卒業式@Bostonについて、計画の立て方やら行く前にやっておくことやらをまとめておきます。

【番外編】ボストン旅行記(UMASS Lowell卒業式編) 【Day1:ボストンへ】

UMASS Lowellの卒業式@Boston。 1日目は移動だけで終わりました。

【番外編】AI(機械学習)やってみた。【第3回】ソムリAI ~ニューラルネットワーク編~

AI(機械学習)やってみた、第3弾です。「ニューラルネットワーク(Neural Network)」を使ったソムリAIを作ってみようと思います。”ニューラルネットワーク”、見るからにAIっぽい名前ですよね。

【番外編】AI(機械学習)やってみた。【第6回】乳がん診断AI その1

ソムリAI(ワインソムリエAI)で使った手法で乳がん診断AIを作ってみます。まずは決定木とニューラルネットワークの2つのモデルを試してみます。かなり高性能なモデルができました。名医誕生かもしれません 笑

【番外編】AI(機械学習)やってみた。【第4回】ソムリAIの改良(正規化)

ソムリAI(ワインの評価を機械学習で当てる「ソムリエ+AI」)はもういいかなと思っていたのですが、機械学習の教科書的な本を読んでいるといくつか改良ポイントが見えてきたので、実際に適用してみようと思います。 まずは データの正規化 という手法を試してみました。結論から言うと、 あまり効果はなかった のです。。 ソムリAIの振り返り ワインの成分とランクのデータに対して、決定木・ロジスティック回帰・ニューラルネットワークの3通りのモデルを使って機械学習 を行い、モデルの精度を検証してきました。それぞれのソムリAIの性能はこんな感じでした。 どのモデルも概ね60%程度の精度 でした。 改良その1:正規化 正規化とは まずは 正規化 という手法を試してみます。標準化とも呼ばれます。正規化を行うことで 尺度の異なるデータを比べやすくする とともに、 はずれ値の影響を小さくする ことができます。正規化には 各データを平均0・標準偏差1に成形する手法 と、各データを 0から1の範囲に成形する手法 の2つがあります。 前者は標準偏差が出てくることからも分かるように、 データが正規分布に従うことを前提にした正規化手法 です。 元のデータが釣鐘型の分布になっている場合に有効 です。後者は単純に データの範囲を0から1の範囲に狭める手法 であり、 元のデータが一様分布の場合 (規則性が無くランダムなように見える場合) に有効 です。 どちらの手法でもデータの範囲を一定のレンジに狭めており、そうすることで異なる尺度のデータを比べやすくしつつ、はずれ値の影響を下げるのです。 正規化してみる 元データの分布を確認 前回同様のワインのデータを使って正規化してみます。まずはワインのデータを読み込んで表示してみます。ついでに機械学習で使うワインの成分と、ワインの評価にデータを分割しておきます。 【オリジナルのワインデータ】 UCI(University of California, Irvine:カリフォルニア大学アーバイン校) http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality-red.csv #入力データセットを読み込み i...

ベストビュー(全期間)

Malaysia Quarantine Premium Package 【番外編】Malaysia赴任記 隔離ホテル情報

Once entering Malaysia, we need to be quarantined for 14days. At the beginning of COVID-19 spread, the hotel for quarantine have been determined randomly. In these days, we can choose "premium quarantine stay package" in advance . This article is summary of premium packages which I asked each hotel. Note: Information in this article might be old. It's better to confirm the latest plan to the hotel. Note: Only Hotel Istana can be booked via its homepage so far. As the other hotels don't show their premium package plans on their homepage, you need to contact them through their reservation E-mail address or "Contact us". マレーシア入国とともに14日間ホテルで隔離されます。当初は滞在ホテルがランダムに割り振られていたようですが、より快適なプレミアムプランが追加されました。各ホテルにどんなプランがあるのか聞いてみたので、聞いた内容をまとめます。 ※情報が古い可能性があるので、念のため最新情報を各ホテルに確認したほうがよいかもしれません。

【番外編】AI(機械学習)やってみた。【第1回】ソムリAI ~決定木編~

最近ブームのAI(機械学習)に手を出しました。まずは、決定木(Decision Tree)というモデルを使って「ソムリAI(ワインソムリエAI)」を作ってみようと思います。

【番外編】ボストン旅行記(UMASS Lowell卒業式編) 【Day0:渡米前にやっておくこと】

UMASS Lowellの卒業式@Bostonについて、計画の立て方やら行く前にやっておくことやらをまとめておきます。

【番外編】AI(機械学習)やってみた。【第3回】ソムリAI ~ニューラルネットワーク編~

AI(機械学習)やってみた、第3弾です。「ニューラルネットワーク(Neural Network)」を使ったソムリAIを作ってみようと思います。”ニューラルネットワーク”、見るからにAIっぽい名前ですよね。

【番外編】AI(機械学習)やってみた。【第6回】乳がん診断AI その1

ソムリAI(ワインソムリエAI)で使った手法で乳がん診断AIを作ってみます。まずは決定木とニューラルネットワークの2つのモデルを試してみます。かなり高性能なモデルができました。名医誕生かもしれません 笑

【番外編】ボストン旅行記(UMASS Lowell卒業式編) 【Day5:帰国】

UMASS Lowellの卒業式@Boston。5 日目にして帰国なのです。

【番外編】ボストン旅行記(UMASS Lowell卒業式編)【Day 4:卒業式】

UMASS Lowellの卒業式@Boston。4 日目は卒業式本番です。とても賑やかでアメリカンな式典でした。ただしあいにくの雨、僕曇り男なのに。。

【番外編】ボストン旅行記(UMASS Lowell卒業式編) 【Day2:晩餐会】

UMASS Lowellの卒業式@Boston。 2日目は午前中はボストン観光、夕方から Hooding ceremonyという卒業生(大学院生)向けの晩餐会です。卒業式で被るHoodをもらいました。

【番外編】AI(機械学習)やってみた。【第2回】ソムリAI ~ロジスティック回帰編~

AI(機械学習)やってみた、第2弾です。前回は決定木(Decision Tree)を使ったソムリAI(ワインソムリエAI)を作りました。今回は「ロジスティック回帰(Logistic Regression)」というモデルを使ったソムリAIを作ってみようと思います。

【番外編】ボストン旅行記(UMASS Lowell卒業式編) 【Day1:ボストンへ】

UMASS Lowellの卒業式@Boston。 1日目は移動だけで終わりました。