読者です 読者をやめる 読者になる 読者になる

Rを通じて統計学を学ぶ備忘録ブログ

SPSSからRに移行したい私のような人向けのR解説ブログ兼学習用備忘録。

第80回 因子ベクトルのあれこれ

今回は「因子ベクトル」のあれこれを見ていきます。個人的には、なんかエラーが出ていると、原因は因子ベクトルにまつわるものでした…ということが多いので、因子ベクトルを再学習したものをまとめました。では行きましょう。 因子ベクトルとは!? CRANに載…

テキストマイニングはじめました〜その11〜

今回はTwitterとRを連携させて、テキストマイニングを実行していきます。Twitterはリアルタイムで「言葉」が集まってくるメディアなので、テキストマイニングを行えば、「今がわかる!!!!!」かもしれないですね。例えば、NHKの夜のニュース番組でも「つ…

テキストマイニングはじめました~その10~

今回はwordcloud関数の使い方をみていきます。wordcloud関数の説明は以下のページでもされているのですが、テキストマイニング初心者の私では、想像力が足りないため、出力された結果がどのような過程で出力されているのかわかりませんでした・・・ なので、…

テキストマイニングはじめました〜その9〜

今回はテキストマイニングとコレスポンデンス分析(対応分析)について見ていきます。目標は以下の通りです。 自由記述の回答を成形し、対応分析を行うこと 今回利用する自由記述のデータは、STAP細胞でおなじみの小保方先生著「あの日」のアマゾンのレビュ…

テキストマイニングはじめました〜その8〜

今回の目的は、以下の通りです。 テキストの長さを比較し、Brunner-Munzel Testで差を調べる 今回使用するデータは、石田先生著「テキストマイニング入門」からお借りしています。このデータもとは徳島大学の岸江先生の「日本語の配慮表現」に関する研究の際…

テキストマイニングはじめました〜その7〜

今回の目的は、最近?公開されたMeCabで使用する辞書「mecab-ipadic-neologd」をRMeCabで使うまでの道のりを書き記しました。なので、今回の目標は以下のとおりです。 Macで「mecab-ipadic-neologd」をRMeCabで使う 以下の公式ページを見ればなんとなくわか…

テキストマイニングはじめました〜その6〜

今回は共起関係を中心に学習していきます。この記事の目標は以下の通りです。 目標 collocate()関数、collScore()関数、T値、MI値の理解 また、今回使用するフォントは「国鉄方向幕書体」です。特徴は、懐かしさを思い出させる字体です。教科書とか、博物館…

テキストマイニングはじめました〜その5〜

今回はNgramを中心に学習していきます。そのため、この記事の目標は以下の通りです。 目標 Ngram()関数、NgramDF()関数、NgramDF2()関数、docNgram()関数、Ngram2()関数を理解する また、今回使用するフォントは「はんなり明朝」です。特徴は、やさしくて、…

テキストマイニングはじめました〜その4〜

テキストマイニングのことを書き始めてはや4つ目です。今回の記事の目的は以下の通りです。 目標 docMatrix()関数、docMatrix2()関数、docMatrixDF()関数、文書行列の重み付けの理解 気にしてないと思いますが、今回使用するフォントは「青柳衡山フォントT…

テキストマイニングはじめました〜その3〜

前回に引き続きテキストマイニングについて勉強していきます。今回の目標は以下のとおりです。 RMeCabC()関数、RMeCabText()関数、RMeCabFreq()関数、RMeCabDF()関数を理解する また、今回使用するフォントは「あおぞら明朝」です。 Rヘルプによれば、RMeCab…

テキストマイニングはじめました〜その2〜

今回から、さっそくRMeCab(R和布蕪)を使いながらテキストマイニングを学習していきます。MeCabというのは形態素解析をするためのツールです。名前の由来は、開発者の工藤さんがMeCab(和布蕪)が好物らしく、それに由来したと聞いております。また、RMeCab…

ベイズ統計学その20〜ベイズ推定を用いたt検定〜

□Bayesian Estimation Supersedes the t Test(BEST) 本日はベイズで平均値の差の検定を行っていきます。使用パッケージはBESTですが、JAGSもインストールしておく必要がありますので、ご注意ください。また、以下2本の論文と説明書を参考にしております。 ・…

第78回 ブートストラップ法

今回はブートストラップ法について見ていきましょう。ブートストラップ法はモンテカルロ法の一種で、標本から標本を再抽出することで、母集団の性質を推測する方法のことです。観測されたサンプルデータから母集団の性質を推測するとき、必ず誤差が生じてい…

ベイズ統計学その19〜個体差と場所差を含む階層ベイズモデル〜

今回はrjagsを使って、個体差と場所差を含めた階層ベイズモデルを動かしていきます。 今回の内容とデータは久保先生の「データ解析のための統計モデリング」を参考に一部修正・変更したものです。 とにかく、一般化線形モデルから階層ベイズまでを学習したい…

ベイズ統計学その18〜ポアソン回帰、負の二項回帰とJAGS〜

今回はポアソン回帰モデル、負の二項回帰モデルをJAGSで動かしてみましょう。ポアソン回帰モデルの説明はもはや不必要だと思いますが、簡単におさらいします。数学的な話はしません。目的変数yがポアソン分布に従うような場合に、扱うモデルで、いわゆる一般…

ベイズ統計学その17〜二項ロジットとJAGS〜

今回は二項ロジットモデルをJAGSで動かしてみましょう。二項ロジットモデルの説明はもはや不必要だと思いますが、簡単におさらいします。数学的な話はしません。目的変数yが0,1のような2値データの時に、扱うモデルで、いわゆる一般化線形回帰モデルの一つで…

第76回 重回帰分析と交互作用〜説明変数が2つ以上の時の作図〜

久しぶりの更新です。このブログのアクセス解析ページを見てみると、重回帰分析と交互作用のページへのアクセスが多いようなので、それに関連するトピックで記事を書いていきます。過去の関連記事は以下から参照ください。 第31回 回帰分析と重回帰分析 - …

第75回 ポリコリック相関係数・ポリシリアル相関係数

R

ポリコリック相関係数のp_11~p_00のp_00の式に誤りがありましたので、修正しました。(2016年2月21日) ポリコリック相関係数・ポリシリアル相関係数 カテゴリ変数の関係をみようとすると、これまではスピアマンの順位相関係数とかケンドールの順位相関係数…

ベイズ統計学その16〜 Just Another Gibbs Sampler(JAGS)〜

前回は、MCMCpackを用いて、回帰分析のパラメタをMCMCで推定しましたが、MCMCpackを用いない方法でも分析することができます。それが「JAGS」です。JAGS は Just Another Gibbs Sampler の略です。「rjags」パッケージをインストールすれば、Rから JAGSを利…

ベイズ統計学その15〜線形回帰モデルとMCMC〜

今回はMCMCを使った線形回帰モデルをRで実践しながら見ていきます。その過程ででくわす基本的な用語も攫っていきます。 ベイズの線形回帰モデルを考える際には、未知パラメタβと誤差項のσ^2を求めることが目標になります。その際に、尤度関数をどう考えるか…

第74回 ポアソン分布とサッカーのゴール数

今回は、ポアソン分布とサッカーのゴール数の関係をもとに、基本的なポアソン分布の説明から、オフセットと過分散も検討したポアソン回帰までみていきます。 ポアソン分布 サッカーのゴール数がポアソン分布に従うことは有名な話ですね。そもそもポアソン分…

ベイズ統計学その14〜線形回帰モデルの補足〜

線形回帰モデル ここでは、照井伸彦先生の「Rによるベイズ統計分析」を参考にさせてもらいます。 誤差項の尤度関数の部分は他の参考書には詳細に載っていなかったのですが、この本には詳しく書かれており、大変参考になりました。より詳しくはこの本をみてく…

ベイズ統計学その13〜Bayesian Computation with R〜

今回から、ベイズ統計学の続きを進めてまいります。その続きで参考にさせていただくのは、「Bayesian Computation with R(Rで学ぶベイズ統計学入門)」の英語版(ネットに落ちてた)です。 例題〜アメリカ人大学生の睡眠時間調査〜 アメリカの大学生の睡眠…

第73回 データの整形に関する備忘録

個人的には重要なのにすぐ忘れるので、データの整形に関する備忘録。 □データフレームの操作 □因子の順序を変更 > sizes <- factor(c("small", "large", "large", "small", "medium”)) > sizes.sml <- factor(sizes, levels = c("small", "medium", "large”)…

第72回 ggplot備忘録その8

今回はヒストグラムに関するggplotのコードを見ていきます。 基本的な設定ではビンの数が30になっているので、binwidthで調整することも忘れずに。また、同じデータでも、調整次第では全く違うように見させることも可能ですが、そうならないように注意する必…

第71回 apply familyとdplyrパッケージの備忘録

今回はapply familyについて見ていきます。apply familyとは大量のデータを効率よく処理してくれる関数群のことです。for文を書かなくてもapply familyで解決できることもあります。apply familyには、apply(),tapply(),lapply(), sapply(),mapply()がありま…

第70回 ggplotの備忘録その7

今回は散布図に回帰直線と信頼区間を書き込み場合のggplotのコードを見ていきます。 単回帰分析であってもRのベースグラフィックから散布図に信頼区間を書き込むのは苦労しますが、ggplotでは非常に簡単です。ggplotが自動的に計算してくれます。 > ggplot(d…

第68回 ggplotの備忘録その5

今回は折れ線グラフを中心に見ていきます。注意することは、x軸には連続変数をもってくることが多いですが、離散変数を使う場合はファクタ化する必要があることかなー。 ggplot(demo, aes(x = no, y = y, col = class)) + geom_line(linetype = "dashed") + …

第67回 ggplotの備忘録その4

今回はggplot2の棒グラフを中心にみていきます。棒グラフを作成する際に注意すべき点は、y軸に「個数」を配置するのか、「値」を配置するのかを区別することくらいかなー。 > ggplot(demo, aes(x = order, y = y))+geom_bar(stat = "identity") #stat="iden…

第69回 ggplotの備忘録その6

今回は散布図を中心にみていきます。注意することは、、、、点が重ならないように少しだけずらすことぐらいかなー。 > ggplot(demo, aes(x = x1, y = y, shape = class, col = rank)) + geom_point(size = 5) + scale_shape_manual(values = c(4, 7)) + scal…

第66回 ggplotの備忘録その3

今回はggplot2で基本的なグラフを作成していくことが目的となります。基本的なグラフは、散布図、折れ線グラフ、棒グラフ、ヒストグラム、ボックスプロットなどです。ggplotの基本的な考え方については、この記事を参照ください。 sugisugirrr.hatenablog.co…

ベイズ統計学その12〜階層ベイズモデル〜

今回は階層ベイズモデルについて見ていきます。階層ベイズモデルとはなんでしょう。Wikipediaによると、(日本語版にはありませんでした。。。) Bayesian hierarchical modeling is a statistical model written in multiple levels (hierarchical form) th…

ベイズ統計学その6〜平均と分散の推定〜

尤度が正規分布に従い、σ2が既知の場合のμの推測を行なっていきます。xに関するn個のランダムサンプリングの観測値の尤度関数p(x|μ,σ2)はサンプルの積で表されます。 次にμが正規分布に従うとすると、事前分布は以下のようになります。 以上より、尤度と事前…

第63回 ggplot2の備忘録その1

第63回はggplot2の基本的概念について書いていきます。ggplot2は図を作成するための超強力なパッケージです。使い方さえ覚えてしまえば、簡単かつ効率良く作図できるようになります。 □ggplot2の用語と概念 ここでは、ggplot2におけるいくつかの用語の説明…

第62回 Time Seriesデータへの成型

Time Seriesデータへの成型 参考にするのは以下の書籍です。 www.shoeisha.co.jp さて、今回扱うデータ、コードは「楽しいR」のものを利用させてもらいます。目標は、曜日変数とtime lag変数の追加です。 □Time lagとは データをシフトして比較するときや、…

第61回 クラスター分析

□クラスター分析 クラスター分析とは、個体の類似性を(距離)をもとにいくつかのクラスター(房)に分け、集団の特徴を捉えるための分析手法。大別すると、デンドログラム(樹形図)で表現される「階層的」な方法と、あらかじめクラスターの数を固定し、そ…

第60回 曜日の追加

R

第60回はデータセットへ曜日の追加について書いていきます。まさに本日の内容は備忘録。元データをエクセルで加工すれば、こんなことはしなくても良いのですが・・・・Rで実践。 sample <- read.csv("demo.csv",header=TRUE) sample day1 <- weekdays(as.D…

第59回 マルチレベル分析〜R実践〜

第59回はRでマルチレベル分析を行っていきます。用いるデータはマルチレベル分析の生みの親でもあるRaudenbushが実際に使った高校のデータを使っていきます。データはここからダウンロードできます。 □hsb12の内容 hsb12の内容は、高校をサンプリングした…

補足の回 重回帰分析の交互作用の検討 R実践

【お詫びのお知らせ】20160628 作図2:オンラインツール(Preacher, Curran, & Bauer, 2006)の箇所で入力に誤りがありましたので訂正いたしました。 今回は重回帰分析の交互作用の検討をRで実践してみます。前回も同様の記事を書きましたが、今回は地味に地…

第58回 マルチレベル分析

第58回はマルチレベル分析について書いていきます。マルチレベル分析は、その名が表すように、複数の水準を分けて分析していく手法です。マルチレベル分析は、「マルチレベルモデル」「階層線形モデル」「線形混合モデル」など様々な呼び方をされている手…

第57回 マルチレベル分析と分散分析

第57回はマルチレベル分析と分散分析について書きます。マルチレベル分析の理論を学ぶ中で、「級内相関」というものに出会います。級内相関の考え方は、分散分析の考え方に似ていると思ったので、分散分析をおさらいする復習回となります。詳しくは書きま…

第56回 時系列データの視覚化

第56回は時系列データの視覚化について書きます。よくウェブとか広告効果の分析をしていると、cvとかimpressionとか呼ばれる指標と出会います。現在の仕事では、統計と無関係なので、私は出会いませんが・・・・笑 この指標は毎日のようにカウントされて具…

第55回 検定力分析

第55回は検定力分析について書いていきます。検定では、サンプルサイズ、有意水準、効果量、検定力を適切に検討しなければいけません。なぜなら、サンプルサイズが大きいと、有意な差が生まれやすくなってしまいますし、サンプルサイズが小さい、本当は差…

第52回 ポアソン回帰分析

第52回はポアソン回帰分析について書いていきます。これは見てわかる通り、誤差構造にポアソン分布を利用します。つまり、ポアソン回帰分析の目的変数は「ポアソン分布」に従います。従い、ポアソン分布に従って発生する観測値(y)に影響する要因(x)との…

第51回 多項(Multi)ロジスティック回帰分析

第51回は「多項ロジスティック回帰分析」。これはどのようなときに使う手法なのでしょうか。簡単に言うと、名義尺度の目的変数が3つ以上のとき、多項ロジスティック回帰分析、目的変数に順序関係がある場合には順序ロジスティック回帰分析(もしくは、順序…

第50回 プロビット回帰分析

第50回はロジスティックとプロビットの関係について書いていきます。ロジスティック回帰分析のことを調べると、爾汝の交わりのようにつきまとってくるプロビットという言葉。「プロビット」って何者なのでしょうか。 ・許容値分布 2値変数を扱う場合はロ…

第49回 ロジスティック回帰分析(R実践)

第49回はロジスティック回帰分析をRで実践していきます。データセットのサンプルは、以前の記事でも使わせていただいた「マンガでわかる統計学〜回帰分析〜」をもとにしております。書籍では、ノルンという喫茶店の「スペシャルケーキ」が売れるかどうかを…

第48回 ロジスティック回帰分析

第48回はロジスティック回帰分析について書きます。ロジスティック回帰分析を簡単に説明すると、目的変数が「2値」の時に利用する分析手法です。例えば、売れる/売れない、勝つ/負ける、投票する/投票しない、発生する/発生しない、0/1、などなどです。普…

第46回の補足の補足 重回帰分析×交互作用項(質的×質的)

第46回で交互作用と重回帰分析について書きましたが、それの補足記事です。 説明変数が、質的×質的の交互作用項を含めた場合、どのように係数を解釈すればよいのでしょうか。 例を示して説明します。性別によって生活する国が幸福度に与える影響を明らかに…

二項検定と大阪ダービー(ガンバ大阪 vs. セレッソ大阪)

今回は二項検定を使って、サッカーJ1リーグ、ガンバ大阪とセレッソ大阪のどちらが強いのかを検定してみたいと思います。 二項検定とは、試合に勝つ・負けるというような2値しかとらない変数を対象とする検定法です。これまで、ガンバ大阪とセレッソ大阪の通…