Loading [MathJax]/extensions/tex2jax.js
スキップしてメイン コンテンツに移動

『Pythonエンジニア ファーストブック』☆4

投稿日：
Pythonを実務で使う人向けの本。チーム開発のノウハウだったり、効率的なテスト技法などが紹介されています。Pythonの文法やIDLE（開発環境）についてある程度理解したうえで、「2冊目」として読むとよいと思います。カテゴリごとの参考書籍のリストが充実している点がよいのです。

↑気になったらここからポチっと（買ってくれるとお小遣いが入ります）↑

この本を読むとわかること

最低限知っておきたいPython言語の基本

  • 充実した標準ライブラリの利用
  • 便利なサードパーティ製パッケージ

開発環境とチーム開発

  • Gitを使った開発
  • venvを使った開発環境の分離
  • unittestによる試験自動化
  • coverageパッケージによるユニットテストのカバレッジ測定
  • flake8による静的コード解析

スクレイピング

  • 様々なHTMLメソッドに対応したRequests
  • スクレイピングとクローリングのフレームワークScrapy

PyData入門ガイド

  • GithubによるJupyternotebookの共有
  • pandasが扱うデータフレーム
    • 行と列からなる表形式のデータ
    • データの概要を把握するためのdescribeメソッド
  • 複数の変数の散布図を一括して作る方法
  • 後から変更したくない定数的な変数はすべて大文字にするのが流儀
  • 便利なパッケージ
    • NumPy：行列計算と数値計算
    • SciPy：回帰などの科学技術計算
    • NLTK：センテンスの単語分割など、自然言語処理
    • Seaborn：Matplotlibを拡張させた視認性の高いグラフ描画
    • scikit-image：画像加工やエッジ検出など
    • SymPy：xを使うようなシンボリック計算や因数分解・微分など
    • TensorFlow / Keras：Googleが作ったTensorFlowと、それを拡張したKeras

Webアプリケーション開発

  • Python製のWebフレームワーク
    • Bottle：軽量・シンプル
    • Flask：軽量・シンプル
    • Pyramid：サードパーティ製のライブラリを取り込めることで柔軟性が高い
    • Tornado：シンプルで高速、APIやWebソケットなどに対応
    • Django：フルスタックなフレームワークで、OSS

↓気になったらここからポチっと（買ってくれるとお小遣いが入ります）↓

ラベル

ラベル：

ベストビュー（過去1カ月）

『動物たちのすごいワザを物理で解く』☆4

投稿日：
生物×物理という着眼点の面白い本。なぜヤモリは天井にへばりつけるのかや、百発百中のテッポウウオの視界、温かい生き物の血を吸う蚊の驚きの排熱メカニズムなど、生き物の不思議を物理の視点で解説してくれます。子どもにドヤ顔で話せるようになると思います。
続きを読む

【番外編】ボストン旅行記（UMASS Lowell卒業式編）　【Day2：晩餐会】

投稿日：
UMASS Lowellの卒業式＠Boston。 2日目は午前中はボストン観光、夕方から Hooding ceremonyという卒業生（大学院生）向けの晩餐会です。卒業式で被るHoodをもらいました。
続きを読む

【番外編】ボストン旅行記（UMASS Lowell卒業式編）【Day 4：卒業式】

投稿日：
UMASS Lowellの卒業式＠Boston。４ 日目は卒業式本番です。とても賑やかでアメリカンな式典でした。ただしあいにくの雨、僕曇り男なのに。。
続きを読む

【番外編】ボストン旅行記（UMASS Lowell卒業式編）　【Day5：帰国】

投稿日：
UMASS Lowellの卒業式＠Boston。5 日目にして帰国なのです。
続きを読む

【番外編】ボストン旅行記（UMASS Lowell卒業式編）　【Day3：終日観光】

投稿日：
UMASS Lowellの卒業式＠Boston。３ 日目は終日フリーなので、ゆっくりボストンを観光しました。
続きを読む

【番外編】ボストン旅行記（UMASS Lowell卒業式編）　【Day0：渡米前にやっておくこと】

投稿日：
UMASS Lowellの卒業式＠Bostonについて、計画の立て方やら行く前にやっておくことやらをまとめておきます。
続きを読む

【番外編】ボストン旅行記（UMASS Lowell卒業式編）　【Day1：ボストンへ】

投稿日：
UMASS Lowellの卒業式＠Boston。 1日目は移動だけで終わりました。
続きを読む

【番外編】AI（機械学習）やってみた。【第6回】乳がん診断AI　その1

投稿日：
ソムリAI（ワインソムリエAI）で使った手法で乳がん診断AIを作ってみます。まずは決定木とニューラルネットワークの2つのモデルを試してみます。かなり高性能なモデルができました。名医誕生かもしれません　笑
続きを読む

【番外編】AI（機械学習）やってみた。【第3回】ソムリAI　～ニューラルネットワーク編～

投稿日：
AI（機械学習）やってみた、第3弾です。「ニューラルネットワーク（Neural Network）」を使ったソムリAIを作ってみようと思います。”ニューラルネットワーク”、見るからにAIっぽい名前ですよね。
続きを読む

【番外編】AI（機械学習）やってみた。【第4回】ソムリAIの改良（正規化）

投稿日：
ソムリAI（ワインの評価を機械学習で当てる「ソムリエ+AI」）はもういいかなと思っていたのですが、機械学習の教科書的な本を読んでいるといくつか改良ポイントが見えてきたので、実際に適用してみようと思います。 まずは データの正規化 という手法を試してみました。結論から言うと、 あまり効果はなかった のです。。 ソムリAIの振り返り ワインの成分とランクのデータに対して、決定木・ロジスティック回帰・ニューラルネットワークの3通りのモデルを使って機械学習 を行い、モデルの精度を検証してきました。それぞれのソムリAIの性能はこんな感じでした。 どのモデルも概ね60％程度の精度 でした。 改良その1：正規化 正規化とは まずは 正規化 という手法を試してみます。標準化とも呼ばれます。正規化を行うことで 尺度の異なるデータを比べやすくする とともに、 はずれ値の影響を小さくする ことができます。正規化には 各データを平均0・標準偏差1に成形する手法 と、各データを 0から1の範囲に成形する手法 の2つがあります。 前者は標準偏差が出てくることからも分かるように、 データが正規分布に従うことを前提にした正規化手法 です。 元のデータが釣鐘型の分布になっている場合に有効 です。後者は単純に データの範囲を0から1の範囲に狭める手法 であり、 元のデータが一様分布の場合 （規則性が無くランダムなように見える場合） に有効 です。 どちらの手法でもデータの範囲を一定のレンジに狭めており、そうすることで異なる尺度のデータを比べやすくしつつ、はずれ値の影響を下げるのです。 正規化してみる 元データの分布を確認 前回同様のワインのデータを使って正規化してみます。まずはワインのデータを読み込んで表示してみます。ついでに機械学習で使うワインの成分と、ワインの評価にデータを分割しておきます。 【オリジナルのワインデータ】 UCI（University of California, Irvine：カリフォルニア大学アーバイン校） http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality-red.csv #入力データセットを読み込み i...
続きを読む

ベストビュー（全期間）

Malaysia Quarantine Premium Package　【番外編】Malaysia赴任記　隔離ホテル情報

投稿日：
Once entering Malaysia, we need to be quarantined for 14days. At the beginning of COVID-19 spread, the hotel for quarantine have been determined randomly. In these days, we can choose "premium quarantine stay package" in advance . This article is summary of premium packages which I asked each hotel. Note: Information in this article might be old. It's better to confirm the latest plan to the hotel. Note: Only Hotel Istana can be booked via its homepage so far. As the other hotels don't show their premium package plans on their homepage, you need to contact them through their reservation E-mail address or "Contact us". マレーシア入国とともに14日間ホテルで隔離されます。当初は滞在ホテルがランダムに割り振られていたようですが、より快適なプレミアムプランが追加されました。各ホテルにどんなプランがあるのか聞いてみたので、聞いた内容をまとめます。 ※情報が古い可能性があるので、念のため最新情報を各ホテルに確認したほうがよいかもしれません。
続きを読む

【番外編】AI（機械学習）やってみた。【第1回】ソムリAI　～決定木編～

投稿日：
最近ブームのAI（機械学習）に手を出しました。まずは、決定木（Decision Tree）というモデルを使って「ソムリAI（ワインソムリエAI）」を作ってみようと思います。
続きを読む

【番外編】ボストン旅行記（UMASS Lowell卒業式編）　【Day0：渡米前にやっておくこと】

投稿日：
UMASS Lowellの卒業式＠Bostonについて、計画の立て方やら行く前にやっておくことやらをまとめておきます。
続きを読む

【番外編】AI（機械学習）やってみた。【第3回】ソムリAI　～ニューラルネットワーク編～

投稿日：
AI（機械学習）やってみた、第3弾です。「ニューラルネットワーク（Neural Network）」を使ったソムリAIを作ってみようと思います。”ニューラルネットワーク”、見るからにAIっぽい名前ですよね。
続きを読む

【番外編】AI（機械学習）やってみた。【第6回】乳がん診断AI　その1

投稿日：
ソムリAI（ワインソムリエAI）で使った手法で乳がん診断AIを作ってみます。まずは決定木とニューラルネットワークの2つのモデルを試してみます。かなり高性能なモデルができました。名医誕生かもしれません　笑
続きを読む

【番外編】ボストン旅行記（UMASS Lowell卒業式編）　【Day5：帰国】

投稿日：
UMASS Lowellの卒業式＠Boston。5 日目にして帰国なのです。
続きを読む

【番外編】ボストン旅行記（UMASS Lowell卒業式編）【Day 4：卒業式】

投稿日：
UMASS Lowellの卒業式＠Boston。４ 日目は卒業式本番です。とても賑やかでアメリカンな式典でした。ただしあいにくの雨、僕曇り男なのに。。
続きを読む

【番外編】ボストン旅行記（UMASS Lowell卒業式編）　【Day2：晩餐会】

投稿日：
UMASS Lowellの卒業式＠Boston。 2日目は午前中はボストン観光、夕方から Hooding ceremonyという卒業生（大学院生）向けの晩餐会です。卒業式で被るHoodをもらいました。
続きを読む

【番外編】AI（機械学習）やってみた。【第2回】ソムリAI　～ロジスティック回帰編～

投稿日：
AI（機械学習）やってみた、第2弾です。前回は決定木（Decision Tree）を使ったソムリAI（ワインソムリエAI）を作りました。今回は「ロジスティック回帰（Logistic Regression）」というモデルを使ったソムリAIを作ってみようと思います。
続きを読む

【番外編】ボストン旅行記（UMASS Lowell卒業式編）　【Day1：ボストンへ】

投稿日：
UMASS Lowellの卒業式＠Boston。 1日目は移動だけで終わりました。
続きを読む