notebook 001

notebook 001

INPUTとOUTPUTの個人的な備忘録です。

2018-01-01から1年間の記事一覧

緑本を読みはじめました④:7章 GLMM

今日は7章。GLMM = generalized linear mixed model), 一般化線形混合モデル

緑本を読みはじめました③

4章5章はいったん飛ばして、今日は6章。

google colaboratoryとgoogle driveの特定のディレクトリ内のファイル名を比較

google colaboratoryを使って画像認識をしてみた。教師データが正しいかどうかを目で見て確認するのにgoogle driveを使いたい。 google colaboratory上でスクレイピングして画像を集める 写真が合ってるか(キーワードで検索の結果なので、間違った画像もた…

Macにpyenv + Python + TensorFlowインストールしてmnist使って識別問題

インストール/実行のログ。参考にしたサイトに掲載のコマンドをほぼそのまま実行した時のログです。

緑本を読み始めました②

今日は第3章。

緑本を読み始めました

GLMについて調べていたら、いろんな記事で参照されていたので読んでいます。 できれば1日1章ずつ気になった内容を備忘録していきたい。

統計にまつわる類義語をまとめる

いろいろと本を読んでいて混乱するのが、統計学にまつわる用語、同じモノを指す・結果的に同じものを指しているのだけど、違う言葉を使っていることが多いこと。。。

Kafka (Confluent) インストールと動作確認

Linux環境にKafka (Confluent) インストール。 クラスタは組まず、お試し構成。1台で。

線形回帰をstatsmodelsで実行・2回目(簡略な書き方編)

statsmodelsとscikit-learn Pythonで機械学習といえばscikit-learn。ですが、まずは統計学寄りのstatsmodelから触ってみる。statsmodelは予測モデルの表示に加えて、その名の通り、統計的な情報、例えば検定結果も計算して表示する。t値とかp値とか。 Webの…

線形回帰をstatsmodelsで実行。scikit-learnの結果と比べてみる。

statsmodelsとscikit-learn Pythonで機械学習といえばscikit-learn。ですが、まずは統計学寄りのstatsmodelから触ってみる。statsmodelは予測モデルの表示に加えて、その名の通り、統計的な情報、例えば検定結果も計算して表示する。t値とかp値とか。 scikit…

箱ひげ図や、分布(二項分布・正規分布・t分布・カイ二乗分布)のグラフで使用したPythonコード

Pythonでmatploblibを使ってグラフ作成 視覚的に理解するの大事!とmatplotlibパッケージを触っている。慣れてきたら、さらにそれを美しく簡単に描けるらしいseaborn(matplotlibベース)も触りたい。

PythonとJupyter Notebook環境をWindows10にセットアップ。文字化け対応も。

PythonとJupyter Notebook環境をWindows10にセットアップする。

機械学習と統計学を行ったり来たり

機械学習と統計学の違いがよく分からない 余談:Statisticsの語源 今日の単語帳 参考文献 機械学習と統計学の違いがよく分からない 一旦、今の理解で思うことを。 機械学習で出てくる「線形回帰」は、統計学では「単回帰分析/重回帰分析」として登場する。用…

検定いろいろ:あの二人付き合ってるよね~?

まずは仮説検定とは t検定・t値・p値(有意確率) カイ二乗検定 今日の単語帳 t検定やカイ二乗検定について。 まずは仮説検定とは 説明を読むと、帰無仮説?対立仮説?棄却?・・・裁判かよっ!と、どうにもとっつきにくいので超ざっくり考えた。 仮設検定と…

目で見る分布(二項分布・正規分布・t分布・カイ二乗分布)

分布いろいろ 二項分布 正規分布 t分布 カイ二乗分布(χ二乗分布) おまけ(グラフ内のpmf, pdf補足) 今日の単語帳 分布いろいろ 目で見て、そして、それがどんな目的で使われるのかの観点で。 二項分布 コイン投げ(表が出たら成功、裏が出たら失敗)のよ…

データを要約する(サマる)こと。分散・標準偏差・正規分布。

データを要約する(サマる) 離散値(整数で表現できる数字) 連続量(小数点込みで表現する数字) データをサマって可視化する 箱ひげ図(boxplot) ヒストグラム 標準偏差と正規分布 分散と標準偏差 正規分布(ガウス分布)、で、何が嬉しいの? 今日の単…