スキップしてメイン コンテンツに移動

『Python機械学習プログラミング 達人データサイエンティストによる理論と実践』 ☆5

投稿日：
これ1冊マスターすればそれなりに戦えるPython技術者になれます（きっと）。機械学習の基礎（パーセプトロンとか）とPythonの基本文法を覚えた後に読むのがよさそうです。

↑気になったらここからポチっと↑

見よう見まねで機械学習をやってきたので、後付けだけど機械学習について体系的に学んでみようの第三弾。

scikit-learnという機械学習の王道ライブラリ（ニューラルネットワークのモデルやら便利な関数やらが標準装備された無料のライブラリ）の実践的な使い方指南から、画像認識・文章解析、機械学習したモデルのWebサーバーへの実装まで幅広く解説されています。表紙に「AI技術の基本を習得！」って書いてありましたが、個人的な感覚だと、中級者向けのような気がします。

この本を読むとわかること

本書の章立てと各章の概要はこんな感じです。Jupyterで動かせるソースコードがダウンロードできるので、本の内容がよくわからない場合はとりあえずそのまま実行したり、少しパラメータをいじって動かしたりするとなんとなく理解した気になれます。

分類問題：機械学習のアルゴリズムトレーニング

  • 機械学習のアルゴリズムに対する直観を養う。
  • pandas・Numpy・matplotlibを使ってデータの読込・処理・可視化を行う。
  • 線形分類のアルゴリズムをPythonで実装する。

分類問題：機械学習ライブラリscikit-learnの活用

  • よく使用されている分類アルゴリズムの概念
  • scikit-learn機械学習ライブラリの使用方法
  • 機械学習アルゴリズムを選択するときに生じる疑問

データ前処理：よりよいトレーニングセットの構築

  • データセットにおける欠測値の削除と推定
  • 機械学習のアルゴリズムに合わせたカテゴリデータの整形
  • モデルの構築に適した特徴量の選択

次元削減でデータを圧縮する

  • 教師なしデータ圧縮での主成分分籍（PCA）
  • クラスの分離を最大化する教師あり次元削減法としての線形判別分析（LDA）
  • カーネル主成分分籍による非線形次元削減

モデルの評価とハイパーパラメータのチューニングのベストプラクティス

  • モデルの性能の偏りのない推定量の算出
  • 機械学習のアルゴリズムに共通する問題の診断
  • 機械学習のモデルのチューニング
  • 様々な性能指標に基づく予測モデルの評価

アンサンブル学習：異なるモデルの組み合わせ

  • 多数決に基づく予測
  • トレーニングデータセットのランダムな組み合わせを繰り返し抽出することによる過学習の抑制
  • 誤答から学習する「弱学習」による強力なモデルの構築

機械学習の適用1：感情分析

  • テキストデータのクレンジングと準備
  • テキストドキュメントからの特徴ベクトルの構築
  • 映画レビューを肯定的な文と否定的な文に分類する機械学習のモデルのトレーニング
  • アウトオブコア学習に基づく大規模なテキストデータセットの処理

機械学習の適用2：Webアプリケーション

  • トレーニングされた機械学習モデルの状態を保存する。
  • データストレージとしてSQLiteデータベースを使用する。
  • 人気の高いWebフレームワークFlaskを使ってWebアプリケーションを開発する。
  • 機械学習アプリケーションをパブリックWebサーバーにデプロイ（展開）する。

回帰分析：連続値をとる目的変数の予測

  • データセットの探索と可視化。
  • 線形回帰モデルを実装するための各種アプローチの考察。
  • 外れ値に対して頑健な回帰モデルのトレーニング。
  • 回帰モデルの評価と一般的な問題の診断。
  • 回帰モデルの非線形データでの学習。

クラスタ分析：ラベルなしデータの解析

  • よく知られているk-means（k平均法）を使って類似点の中心を見つけ出す。
  • 階層的クラスタ木をボトムアップ方式で構築する。
  • 密度に基づくクラスタリングアプローチを使ってオブジェクトの任意の形状を識別する。

ニューラルネットワーク：画像認識トレーニング

  • 多層ニューラルネットワークの概念を理解する。
  • 画像を分割するためのニューラルネットワークをトレーニングする。
  • ニューラルネットワークをトレーニングするための強力なバックプロパゲーションアルゴリズムを実装する。
  • ニューラルネットワークの実装をデバッグする。

ニューラルネットワーク：数値計算ライブラリTheanoによるトレーニングの並列化

  • Theanoを使って最適化された機械学習コードを作成する。
  • 人工ニューラルネットワークの活性化関数を選択する。
  • すばやく簡単に実験を行うためにディープラーニングライブラリKerasを使用する。

↓気になったらここからポチっと↓

関連情報

AI（機械学習）やってみた

【番外編】AI（機械学習）やってみた。【第1回】ソムリAI　～決定木編～ 
【番外編】AI（機械学習）やってみた。【第2回】ソムリAI　～ロジスティック回帰編～ 
【番外編】AI（機械学習）やってみた。【第3回】ソムリAI　～ニューラルネットワーク編～ 
【番外編】AI（機械学習）やってみた。【第4回】ソムリAIの改良（正規化）
【番外編】AI（機械学習）やってみた。【第5回】ソムリAIの改良（アンサンブル学習）
【番外編】AI（機械学習）やってみた。【第6回】乳がん診断AI　その1
【番外編】AI（機械学習）やってみた。【第7回】乳がん診断AI　その2

AI（機械学習）関連書籍

『深層学習 (機械学習プロフェッショナルシリーズ)』岡谷 貴之 ☆4） 
『ITエンジニアのための機械学習理論入門』中井 悦司 ☆4 
『ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装』☆5
『深層学習 Deep Learning (監修:人工知能学会)』 ☆4
『深層学習教科書 ディープラーニング G検定(ジェネラリスト) 公式テキスト』 ☆5

ラベル：

ベストビュー（過去1カ月）

【番外編】ボストン旅行記（UMASS Lowell卒業式編）【Day 4：卒業式】

投稿日：
UMASS Lowellの卒業式＠Boston。４ 日目は卒業式本番です。とても賑やかでアメリカンな式典でした。ただしあいにくの雨、僕曇り男なのに。。
続きを読む

『九龍城探訪 魔窟で暮らす人々 - City of Darkness』 ☆4

投稿日：
魔窟とも言われた香港の九龍城の住人へのインタビューや、在りし日の写真集。香港の本土返還に伴い取り壊されてしまっているけど、その怪しさに妙に惹かれるのです。
続きを読む

【番外編】ボストン旅行記（UMASS Lowell卒業式編）　【Day2：晩餐会】

投稿日：
UMASS Lowellの卒業式＠Boston。 2日目は午前中はボストン観光、夕方から Hooding ceremonyという卒業生（大学院生）向けの晩餐会です。卒業式で被るHoodをもらいました。
続きを読む

【番外編】ボストン旅行記（UMASS Lowell卒業式編）　【Day0：渡米前にやっておくこと】

投稿日：
UMASS Lowellの卒業式＠Bostonについて、計画の立て方やら行く前にやっておくことやらをまとめておきます。
続きを読む

【番外編】ボストン旅行記（UMASS Lowell卒業式編）　【Day5：帰国】

投稿日：
UMASS Lowellの卒業式＠Boston。5 日目にして帰国なのです。
続きを読む

【番外編】ボストン旅行記（UMASS Lowell卒業式編）　【Day3：終日観光】

投稿日：
UMASS Lowellの卒業式＠Boston。３ 日目は終日フリーなので、ゆっくりボストンを観光しました。
続きを読む

【番外編】ボストン旅行記（UMASS Lowell卒業式編）　【Day1：ボストンへ】

投稿日：
UMASS Lowellの卒業式＠Boston。 1日目は移動だけで終わりました。
続きを読む

【番外編】AI（機械学習）やってみた。【第3回】ソムリAI　～ニューラルネットワーク編～

投稿日：
AI（機械学習）やってみた、第3弾です。「ニューラルネットワーク（Neural Network）」を使ったソムリAIを作ってみようと思います。”ニューラルネットワーク”、見るからにAIっぽい名前ですよね。
続きを読む

【番外編】AI（機械学習）やってみた。【第4回】ソムリAIの改良（正規化）

投稿日：
ソムリAI（ワインの評価を機械学習で当てる「ソムリエ+AI」）はもういいかなと思っていたのですが、機械学習の教科書的な本を読んでいるといくつか改良ポイントが見えてきたので、実際に適用してみようと思います。 まずは データの正規化 という手法を試してみました。結論から言うと、 あまり効果はなかった のです。。 ソムリAIの振り返り ワインの成分とランクのデータに対して、決定木・ロジスティック回帰・ニューラルネットワークの3通りのモデルを使って機械学習 を行い、モデルの精度を検証してきました。それぞれのソムリAIの性能はこんな感じでした。 どのモデルも概ね60％程度の精度 でした。 改良その1：正規化 正規化とは まずは 正規化 という手法を試してみます。標準化とも呼ばれます。正規化を行うことで 尺度の異なるデータを比べやすくする とともに、 はずれ値の影響を小さくする ことができます。正規化には 各データを平均0・標準偏差1に成形する手法 と、各データを 0から1の範囲に成形する手法 の2つがあります。 前者は標準偏差が出てくることからも分かるように、 データが正規分布に従うことを前提にした正規化手法 です。 元のデータが釣鐘型の分布になっている場合に有効 です。後者は単純に データの範囲を0から1の範囲に狭める手法 であり、 元のデータが一様分布の場合 （規則性が無くランダムなように見える場合） に有効 です。 どちらの手法でもデータの範囲を一定のレンジに狭めており、そうすることで異なる尺度のデータを比べやすくしつつ、はずれ値の影響を下げるのです。 正規化してみる 元データの分布を確認 前回同様のワインのデータを使って正規化してみます。まずはワインのデータを読み込んで表示してみます。ついでに機械学習で使うワインの成分と、ワインの評価にデータを分割しておきます。 【オリジナルのワインデータ】 UCI（University of California, Irvine：カリフォルニア大学アーバイン校） http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality-red.csv #入力データセットを読み込み i
続きを読む

【番外編】AI（機械学習）やってみた。【第2回】ソムリAI　～ロジスティック回帰編～

投稿日：
AI（機械学習）やってみた、第2弾です。前回は決定木（Decision Tree）を使ったソムリAI（ワインソムリエAI）を作りました。今回は「ロジスティック回帰（Logistic Regression）」というモデルを使ったソムリAIを作ってみようと思います。
続きを読む

ベストビュー（全期間）

Malaysia Quarantine Premium Package　【番外編】Malaysia赴任記　隔離ホテル情報

投稿日：
Once entering Malaysia, we need to be quarantined for 14days. At the beginning of COVID-19 spread, the hotel for quarantine have been determined randomly. In these days, we can choose "premium quarantine stay package" in advance . This article is summary of premium packages which I asked each hotel. Note: Information in this article might be old. It's better to confirm the latest plan to the hotel. Note: Only Hotel Istana can be booked via its homepage so far. As the other hotels don't show their premium package plans on their homepage, you need to contact them through their reservation E-mail address or "Contact us". マレーシア入国とともに14日間ホテルで隔離されます。当初は滞在ホテルがランダムに割り振られていたようですが、より快適なプレミアムプランが追加されました。各ホテルにどんなプランがあるのか聞いてみたので、聞いた内容をまとめます。 ※情報が古い可能性があるので、念のため最新情報を各ホテルに確認したほうがよいかもしれません。
続きを読む

【番外編】AI（機械学習）やってみた。【第1回】ソムリAI　～決定木編～

投稿日：
最近ブームのAI（機械学習）に手を出しました。まずは、決定木（Decision Tree）というモデルを使って「ソムリAI（ワインソムリエAI）」を作ってみようと思います。
続きを読む

【番外編】ボストン旅行記（UMASS Lowell卒業式編）　【Day0：渡米前にやっておくこと】

投稿日：
UMASS Lowellの卒業式＠Bostonについて、計画の立て方やら行く前にやっておくことやらをまとめておきます。
続きを読む

【番外編】AI（機械学習）やってみた。【第6回】乳がん診断AI　その1

投稿日：
ソムリAI（ワインソムリエAI）で使った手法で乳がん診断AIを作ってみます。まずは決定木とニューラルネットワークの2つのモデルを試してみます。かなり高性能なモデルができました。名医誕生かもしれません　笑
続きを読む

【番外編】AI（機械学習）やってみた。【第3回】ソムリAI　～ニューラルネットワーク編～

投稿日：
AI（機械学習）やってみた、第3弾です。「ニューラルネットワーク（Neural Network）」を使ったソムリAIを作ってみようと思います。”ニューラルネットワーク”、見るからにAIっぽい名前ですよね。
続きを読む

【番外編】ボストン旅行記（UMASS Lowell卒業式編）　【Day5：帰国】

投稿日：
UMASS Lowellの卒業式＠Boston。5 日目にして帰国なのです。
続きを読む

【番外編】AI（機械学習）やってみた。【第2回】ソムリAI　～ロジスティック回帰編～

投稿日：
AI（機械学習）やってみた、第2弾です。前回は決定木（Decision Tree）を使ったソムリAI（ワインソムリエAI）を作りました。今回は「ロジスティック回帰（Logistic Regression）」というモデルを使ったソムリAIを作ってみようと思います。
続きを読む

【番外編】ボストン旅行記（UMASS Lowell卒業式編）【Day 4：卒業式】

投稿日：
UMASS Lowellの卒業式＠Boston。４ 日目は卒業式本番です。とても賑やかでアメリカンな式典でした。ただしあいにくの雨、僕曇り男なのに。。
続きを読む

【番外編】ボストン旅行記（UMASS Lowell卒業式編）　【Day2：晩餐会】

投稿日：
UMASS Lowellの卒業式＠Boston。 2日目は午前中はボストン観光、夕方から Hooding ceremonyという卒業生（大学院生）向けの晩餐会です。卒業式で被るHoodをもらいました。
続きを読む

『深層学習教科書 ディープラーニング G検定(ジェネラリスト) 公式テキスト』 ☆5

投稿日：
一般社団法人日本ディープラーニング協会が実施している「Deep Learning for GENERAL (通称G検定 ） 」 の公式テキスト 。 ディープラーニングについて1冊で網羅的によくまとめられているので 、 ディープラーニングの入門書としてもおすすめです 。 ついでに勢いで資格も取ってしまいました 。 AI人材への第一歩なのです 笑
続きを読む