読者です 読者をやめる 読者になる 読者になる

Rを通じて統計学を学ぶ備忘録ブログ

SPSSからRに移行したい私のような人向けのR解説ブログ兼学習用備忘録。

R

第80回 因子ベクトルのあれこれ

今回は「因子ベクトル」のあれこれを見ていきます。個人的には、なんかエラーが出ていると、原因は因子ベクトルにまつわるものでした…ということが多いので、因子ベクトルを再学習したものをまとめました。では行きましょう。 因子ベクトルとは!? CRANに載…

テキストマイニングはじめました〜その11〜

今回はTwitterとRを連携させて、テキストマイニングを実行していきます。Twitterはリアルタイムで「言葉」が集まってくるメディアなので、テキストマイニングを行えば、「今がわかる!!!!!」かもしれないですね。例えば、NHKの夜のニュース番組でも「つ…

ベイズ統計学その20〜ベイズ推定を用いたt検定〜

□Bayesian Estimation Supersedes the t Test(BEST) 本日はベイズで平均値の差の検定を行っていきます。使用パッケージはBESTですが、JAGSもインストールしておく必要がありますので、ご注意ください。また、以下2本の論文と説明書を参考にしております。 ・…

第78回 ブートストラップ法

今回はブートストラップ法について見ていきましょう。ブートストラップ法はモンテカルロ法の一種で、標本から標本を再抽出することで、母集団の性質を推測する方法のことです。観測されたサンプルデータから母集団の性質を推測するとき、必ず誤差が生じてい…

第76回 重回帰分析と交互作用〜説明変数が2つ以上の時の作図〜

久しぶりの更新です。このブログのアクセス解析ページを見てみると、重回帰分析と交互作用のページへのアクセスが多いようなので、それに関連するトピックで記事を書いていきます。過去の関連記事は以下から参照ください。 第31回 回帰分析と重回帰分析 - …

第75回 ポリコリック相関係数・ポリシリアル相関係数

R

ポリコリック相関係数のp_11~p_00のp_00の式に誤りがありましたので、修正しました。(2016年2月21日) ポリコリック相関係数・ポリシリアル相関係数 カテゴリ変数の関係をみようとすると、これまではスピアマンの順位相関係数とかケンドールの順位相関係数…

ベイズ統計学その15〜線形回帰モデルとMCMC〜

今回はMCMCを使った線形回帰モデルをRで実践しながら見ていきます。その過程ででくわす基本的な用語も攫っていきます。 ベイズの線形回帰モデルを考える際には、未知パラメタβと誤差項のσ^2を求めることが目標になります。その際に、尤度関数をどう考えるか…

第74回 ポアソン分布とサッカーのゴール数

今回は、ポアソン分布とサッカーのゴール数の関係をもとに、基本的なポアソン分布の説明から、オフセットと過分散も検討したポアソン回帰までみていきます。 ポアソン分布 サッカーのゴール数がポアソン分布に従うことは有名な話ですね。そもそもポアソン分…

第73回 データの整形に関する備忘録

個人的には重要なのにすぐ忘れるので、データの整形に関する備忘録。 □データフレームの操作 □因子の順序を変更 > sizes <- factor(c("small", "large", "large", "small", "medium”)) > sizes.sml <- factor(sizes, levels = c("small", "medium", "large”)…

第72回 ggplot備忘録その8

今回はヒストグラムに関するggplotのコードを見ていきます。 基本的な設定ではビンの数が30になっているので、binwidthで調整することも忘れずに。また、同じデータでも、調整次第では全く違うように見させることも可能ですが、そうならないように注意する必…

第71回 apply familyとdplyrパッケージの備忘録

今回はapply familyについて見ていきます。apply familyとは大量のデータを効率よく処理してくれる関数群のことです。for文を書かなくてもapply familyで解決できることもあります。apply familyには、apply(),tapply(),lapply(), sapply(),mapply()がありま…

第70回 ggplotの備忘録その7

今回は散布図に回帰直線と信頼区間を書き込み場合のggplotのコードを見ていきます。 単回帰分析であってもRのベースグラフィックから散布図に信頼区間を書き込むのは苦労しますが、ggplotでは非常に簡単です。ggplotが自動的に計算してくれます。 > ggplot(d…

第68回 ggplotの備忘録その5

今回は折れ線グラフを中心に見ていきます。注意することは、x軸には連続変数をもってくることが多いですが、離散変数を使う場合はファクタ化する必要があることかなー。 ggplot(demo, aes(x = no, y = y, col = class)) + geom_line(linetype = "dashed") + …

第67回 ggplotの備忘録その4

今回はggplot2の棒グラフを中心にみていきます。棒グラフを作成する際に注意すべき点は、y軸に「個数」を配置するのか、「値」を配置するのかを区別することくらいかなー。 > ggplot(demo, aes(x = order, y = y))+geom_bar(stat = "identity") #stat="iden…

第69回 ggplotの備忘録その6

今回は散布図を中心にみていきます。注意することは、、、、点が重ならないように少しだけずらすことぐらいかなー。 > ggplot(demo, aes(x = x1, y = y, shape = class, col = rank)) + geom_point(size = 5) + scale_shape_manual(values = c(4, 7)) + scal…

第66回 ggplotの備忘録その3

今回はggplot2で基本的なグラフを作成していくことが目的となります。基本的なグラフは、散布図、折れ線グラフ、棒グラフ、ヒストグラム、ボックスプロットなどです。ggplotの基本的な考え方については、この記事を参照ください。 sugisugirrr.hatenablog.co…

第63回 ggplot2の備忘録その1

第63回はggplot2の基本的概念について書いていきます。ggplot2は図を作成するための超強力なパッケージです。使い方さえ覚えてしまえば、簡単かつ効率良く作図できるようになります。 □ggplot2の用語と概念 ここでは、ggplot2におけるいくつかの用語の説明…

第62回 Time Seriesデータへの成型

Time Seriesデータへの成型 参考にするのは以下の書籍です。 www.shoeisha.co.jp さて、今回扱うデータ、コードは「楽しいR」のものを利用させてもらいます。目標は、曜日変数とtime lag変数の追加です。 □Time lagとは データをシフトして比較するときや、…

第61回 クラスター分析

□クラスター分析 クラスター分析とは、個体の類似性を(距離)をもとにいくつかのクラスター(房)に分け、集団の特徴を捉えるための分析手法。大別すると、デンドログラム(樹形図)で表現される「階層的」な方法と、あらかじめクラスターの数を固定し、そ…

第60回 曜日の追加

R

第60回はデータセットへ曜日の追加について書いていきます。まさに本日の内容は備忘録。元データをエクセルで加工すれば、こんなことはしなくても良いのですが・・・・Rで実践。 sample <- read.csv("demo.csv",header=TRUE) sample day1 <- weekdays(as.D…

第59回 マルチレベル分析〜R実践〜

第59回はRでマルチレベル分析を行っていきます。用いるデータはマルチレベル分析の生みの親でもあるRaudenbushが実際に使った高校のデータを使っていきます。データはここからダウンロードできます。 □hsb12の内容 hsb12の内容は、高校をサンプリングした…

補足の回 重回帰分析の交互作用の検討 R実践

【お詫びのお知らせ】20160628 作図2:オンラインツール(Preacher, Curran, & Bauer, 2006)の箇所で入力に誤りがありましたので訂正いたしました。 今回は重回帰分析の交互作用の検討をRで実践してみます。前回も同様の記事を書きましたが、今回は地味に地…

第58回 マルチレベル分析

第58回はマルチレベル分析について書いていきます。マルチレベル分析は、その名が表すように、複数の水準を分けて分析していく手法です。マルチレベル分析は、「マルチレベルモデル」「階層線形モデル」「線形混合モデル」など様々な呼び方をされている手…

第57回 マルチレベル分析と分散分析

第57回はマルチレベル分析と分散分析について書きます。マルチレベル分析の理論を学ぶ中で、「級内相関」というものに出会います。級内相関の考え方は、分散分析の考え方に似ていると思ったので、分散分析をおさらいする復習回となります。詳しくは書きま…

第56回 時系列データの視覚化

第56回は時系列データの視覚化について書きます。よくウェブとか広告効果の分析をしていると、cvとかimpressionとか呼ばれる指標と出会います。現在の仕事では、統計と無関係なので、私は出会いませんが・・・・笑 この指標は毎日のようにカウントされて具…

第55回 検定力分析

第55回は検定力分析について書いていきます。検定では、サンプルサイズ、有意水準、効果量、検定力を適切に検討しなければいけません。なぜなら、サンプルサイズが大きいと、有意な差が生まれやすくなってしまいますし、サンプルサイズが小さい、本当は差…

第52回 ポアソン回帰分析

第52回はポアソン回帰分析について書いていきます。これは見てわかる通り、誤差構造にポアソン分布を利用します。つまり、ポアソン回帰分析の目的変数は「ポアソン分布」に従います。従い、ポアソン分布に従って発生する観測値(y)に影響する要因(x)との…

第51回 多項(Multi)ロジスティック回帰分析

第51回は「多項ロジスティック回帰分析」。これはどのようなときに使う手法なのでしょうか。簡単に言うと、名義尺度の目的変数が3つ以上のとき、多項ロジスティック回帰分析、目的変数に順序関係がある場合には順序ロジスティック回帰分析(もしくは、順序…

第50回 プロビット回帰分析

第50回はロジスティックとプロビットの関係について書いていきます。ロジスティック回帰分析のことを調べると、爾汝の交わりのようにつきまとってくるプロビットという言葉。「プロビット」って何者なのでしょうか。 ・許容値分布 2値変数を扱う場合はロ…

第49回 ロジスティック回帰分析(R実践)

第49回はロジスティック回帰分析をRで実践していきます。データセットのサンプルは、以前の記事でも使わせていただいた「マンガでわかる統計学〜回帰分析〜」をもとにしております。書籍では、ノルンという喫茶店の「スペシャルケーキ」が売れるかどうかを…

第48回 ロジスティック回帰分析

第48回はロジスティック回帰分析について書きます。ロジスティック回帰分析を簡単に説明すると、目的変数が「2値」の時に利用する分析手法です。例えば、売れる/売れない、勝つ/負ける、投票する/投票しない、発生する/発生しない、0/1、などなどです。普…

第46回の補足の補足 重回帰分析×交互作用項(質的×質的)

第46回で交互作用と重回帰分析について書きましたが、それの補足記事です。 説明変数が、質的×質的の交互作用項を含めた場合、どのように係数を解釈すればよいのでしょうか。 例を示して説明します。性別によって生活する国が幸福度に与える影響を明らかに…

二項検定と大阪ダービー(ガンバ大阪 vs. セレッソ大阪)

今回は二項検定を使って、サッカーJ1リーグ、ガンバ大阪とセレッソ大阪のどちらが強いのかを検定してみたいと思います。 二項検定とは、試合に勝つ・負けるというような2値しかとらない変数を対象とする検定法です。これまで、ガンバ大阪とセレッソ大阪の通…

第45回 重回帰分析と交互作用

第45回の補足では、重回帰分析と交互作用について書きます。 20150810時点で訂正しました。 数式解説の部分、mとzが混同しておりました。ただしくはmです。 申し訳ありません。 20150927時点:以下の記事を追加しました。 ・交互作用とは 重回帰分析では交…

第43回 変数間の関連パターン

第43回は変数間の関連について書きます。次回、重回帰分析の「階層的」重回帰分析の記事を書くために、変数間の「媒介関係」をおさえましょう。次いでに「疑似相関」「交互作用」についてもおさえておきましょう。 □媒介関係 xが原因変数、yが結果変数とし…

第42回 仮説検定

第42回は検定について書きます。仮説検定では、「差がある」「差がない」、「薬の影響がある」「薬の影響がない」というように、仮説を設定します。その際に、帰無仮説は基本的に、「主張したいこと」の反対のものを設定します。???って初めはなります…

第41回 AIC

第41回はAICについて書きます。 以前の記事でもモデル選択の記事でAICはちらっと紹介しましたが、今回はAICに焦点をあてて書いていきます。数式はほとんど使いません。 □AICの考え方 モデル選択では、問題意識として、どのような統計モデルを選択するべき…

第40回 パラメタ推定法(最尤法) 

第40回はパラメタ推定法(最尤法)について書きます。 パラメタの推定法はいくつかありますが、回帰分析では特に指定がない限り、「最小二乗法」を使ってパラメタを推定します。しかし、回帰分析の種類によっては、最小二乗法でパラメタを求めることが好ま…

第38回 因子分析

第38回は因子分析について書きます。 そもそも因子分析は、「探索的因子分析」と「検証的因子分析」の2つに分けられます。ここでは、「探索的因子分析」のことについて書いていきます。 因子分析は端的に言うと、「データの背後に存在するであろう説明変…

第37回 主成分分析

第37回は主成分分析について書きます。 主成分分析と因子分析はセットで語られることが多く、似たような分析法というイメージが強いのですが、目的が違います。主成分分析は「情報をまとめること」を目的としており、因子分析のように変数の背後にある潜在…

第35回 モデル選択

第35回はモデル選択について書きます。前回の記事で、重回帰分析では変数の選択が重要とかきました。そこで今回は、変数の有効な選択法について書いていきます。 変数選択法には大きく3つあります。 ①変数増加法:説明変数1つから順次増やしていく ②変数…

第34回 重回帰分析

第34回は重回帰分析について書きます。 重回帰分析は単回帰分析の説明変数が1つではなく、複数になったものです。単回帰分析のときには問題にならなかった「多重共線性(マルチコリニアリティ)」ということを考慮しなければいけません。 多重共線性:回…

第32回 区間推定

第32回は区間推定について書きます。 前回は回帰分析の信頼区間や予測区間について書きましたが、統計的推定について書いていなかったので、順番逆ですが「そもそも」区間推定とは何か、これが今回のお話です。 標本→母集団のパラメタを推定する方法は2つ…

第31回 回帰分析の信頼区間・予測区間

第31回は回帰分析の信頼区間・予測区間について書きます。 前回は、母平均の信頼区間についてかきましたが、回帰分析では、母回帰の推定を行うことになります。信頼区間の解釈は前回記事と同じです。予測区間とは、xの値は信頼率○%でいくつ以上、いくつ以…

第30回 信頼区間

はやいもので第30回に突入。とはいっても、忘れた時に見返すために学生の頃にメモに書いていた授業・自習の内容をはてなブログに載せているからですが・・・ そんな個人的なことはさておき、本日は信頼区間について書きます。 信頼区間は案外、解釈が難し…

第31回 回帰分析と重回帰分析

第31回は回帰分析と重回帰分析について書きます。 説明変数が 1つの場合=単回帰分析 説明変数が 2つ以上の場合=重回帰分析 線形回帰、非線形回帰に回帰分析は分類できるが、「線形」回帰の由来は「yとxの関係を直線で表せる」からである。まずは単回帰…

第13回の補足 2変量以上の相関係数 

第13回の補足では2変量の相関係数について書きます。 相関係数が2変数(データセットでは2列)の場合、cor(x,y)と簡単に相関係数を求めることができましたが、変数が10列、20列と多い場合はどうすればよいでしょうか。1つ1つ、組み合わせて係数を求めて…

第29回 検定の多重性

第29回は検定の多重性について書きます。 以下の書籍のコードを参考に見ていきましょう

第28回 二元配置分散分析(対応なし)

第28回は二元配置分散分析(対応なし)について書きます。 2つの条件の組み合わせによって母平均が異なるかどうかを検定します。例えば、教室A、Bがあり、教室Aの中でも生徒数を10人クラス、20人クラス、30人クラスと分け、教室Bでも同様に振り分ける。教…

第27回 分散分析(対応あり)

第27回は分散分析(対応あり)について書きます。 対応のある分散分析としていきましょう。 対応のある分散分析は例えば、食品a、b、cの美味しさを測定するときに、食品aを1〜5の人に食べてもらい、食品b、食品cも同様に1〜5の人に食べてもらいます。つま…