標準偏差について

標準偏差ってバラツキを測ってるんですよね。
じゃあ1.10と0.90ではどういう違いがあるんですか？
素人なものですいません。

標準偏差は平均値と各サンプルの測定値の差をとって
自乗し，それを全サンプル分足しあわせてサンプル数で
割ったもののルートをとったもの（ルートをとらないのが
分散）．したがって，標準偏差は平均値と組み合わせて
初めて意味をなす．

平均値が+1.00だったら，標準偏差が1.10なら-0.10〜+2.10の
範囲に全体の68％のサンプルが収まる，という程度のばらつき，
標準偏差が0.90では+0.10〜+1.90の範囲に全体の68％が
収まるようなばらつき．けっこう違いは大きい．

これが平均値+10.00だったら，68％が収まるのが
+8.90〜+11.10か，+9.10〜+10.90かの違いだから，
ばらつきの違いは大したことない．

しかし，この程度のことも知らない「素人」だったら，
標準偏差なんてこと自体考えない方がいいだろうな．

つけたし。
たとえば身長を測定して、平均プラマイ標準偏差が表示されている時、156.5±13.2だったら、156.5の単位は当然cmだけれども、標準偏差13.2の単位もcm。これを知らないでいる人は案外多い。

>>2
いわずもがな、かな。補足。
６８％とかっていうのは、正規分布を仮定した場合です。

工学の品質管理では３シグマというのをよく使う。シグマ＝標準偏差
１シグマは上記の通り６８％くらい、
２シグマは９５％くらい（１，９５が９５％信頼区間）
３シグマが９９％くらい。

ちゅうか，標準偏差ってもの自体，正規分布を仮定しなくちゃ
意味のないものだと思ってたけど，違うの？

ちゃうよ

＞＞6
俺も正規分布が前提だと思っていた。
できれば教えて欲しい。

サンプルの標準偏差の定義は２さんの式の手続きどおりのもの。数式。
分布形は関係なし。

サンプルの何パーセントが入るかどうかは正規分布を
仮定した場合のみ。正規分布の性質みたいなもの。

かな？

>>8

たしかに標準偏差の「算出」自体はデータの分布に関係ないよね．
ただデータの分布によって標準偏差という数値の意味が変わってくる．
分布によっては標準偏差（そもそも平均値も）を知ることががほとんど
意味のある情報をもたらさない，ってことはあるし，
逆に標準偏差がもっとも意味のある情報をもたらすのは正規分布の場合だね．

7です。了解。ダンケ。

標準偏差は正規分布と関連付けられて重要な意味を持つ場面と，バ
ラツキの尺度としての指標で分布形を問わない場合がある．記述統
計として使うか，推測統計として使うかを分離して考えればいいの
では？．

すなわち

（１）記述統計
観測値のバラツキの指標となる．分布形と外れ値に非常に敏感なため
ロバストな統計量と視察の併用が重要（EDAの精神）

（２）推測統計
統計量のバラツキの指標となる．母集団の分布形を「ほぼ」問うこと
なく正規分布に漸近する．標準化することで確率密度と対応する（標
準正規分布）．まさに，この時こそ標準偏差の位置が確率と対応する
のである．

だから，
観測標本のある変数が正規分布していないから，標準偏差を
求めることに意味がない，というような議論をすることはない
のだよ．
ある変数の平均値が正規分布するから，その標準偏差が決定的
に重要なのだ，だから初等統計の最初に標準偏差とか正規分布
とか勉強させられるんだよ．
わかる？　言ってること

不偏分散の平方根をとっても標準偏差の不偏推定量にならないって
どういうことか誰か教えて！ちょんまげ。

さらに、関数電卓で計算すると、不偏分散のルートをとった値が
標準偏差として算出されますよね？

あれはどのような意味があるんでせうか？

>>12
わからないと思いますよ、１には。他の人はしらないけど。
１はまだ母集団と標本の概念がはっきりわからないのではないかと。

>>13
そういえば、不偏標準偏差っていわないけど、「ならない」って
だれがいってたの？単に次元が違うだけだと思ってたんだけど。
そもそも標準偏差と分散って言い出した人が違うから、言葉の違いだと
思ってたんだけど・・・

>>15

ちょっとネットをあさってみました。
私の「不偏」と言う概念の理解が足りないのかもしれません。

http://www.okayama-u.ac.jp/user/le/psycho/member/hase/org/Hasegawa9407/Hasegawa9407.html
に下のような記述があります。

2.2.2.標本分散と不偏分散
　関数機能付き電卓や統計パッケージを用いると，数値を投入しただけで自動的に分散が出力される．そのさい，求められた値が，平均値からの偏差の自乗の合計を標本数nで割った値（記述統計レベルでの分散，ここでは標本分散と呼ぶ）であるのか，それともn-1で割った不偏分散であるのか，はっきりと区別しておく必要がある．特にnが小さいときには，これらを混同すると算出値にズレが生じることになる．
　なお，しばしば誤解されているが，不偏分散の正の平方根をとっても母数σの不偏推定量にはならない．このあたりの議論については，岩原(1965, p.59-60)，岡田(1966, p.111-113)などを参照されたい．

うーん。私が勉強不足なのか・・・
一応、私の解釈では、
不偏推定量というのは、その期待値が母集団のパラメタと一致する
という意味にとっていたんだけど。Ｅ｛Ｖ｝＝σ＾２となるようなＶが
不偏分散（σ＾２の不偏推定量）というようなかんじに。

うわあ。こんなとこでマジでお勉強教えてる人がいる。

１７＝４です。

役に立つスレ上げ

>>17
僕もそう理解していたので、「母数σの不偏推定量にはならない」との記述には
少々面食らいました。
でも、関数電卓で計算すると出てくるのは不偏分散のルートをとった値ですよね。
またExcelでSTDEVという関数で計算しても、算出されるのは関数電卓の場合と同じなんです。
この値は一体どのような意味を持っているんでしょうかねえ？

私は不偏推定量とかって積極的には使ったことないんですよね。
概念としては知っていて、演習とかで使ったかな？という程度。
実は私は工学が専門なもので、どちらかというと実験がメインで
検定ばかり使ってるんです。特に推定をするようなこともないんで。
確かに、電卓の関数は前から疑問に思ってたことなんですが。

あああー頭いてえー

いまどきまっとうなスレッド上げ

>>22
分散分析で検定するとき不偏推定量を使うだろうが！ｺﾞﾙｧ!

不偏推定量と最尤推定量と，どっちが望ましい
推定量なの？

>>25
まことその通り、不偏分散使っていますね。
またまたドキョソぷりを発揮してしまいました。
パラメタの推定を行うことがほとんどないっていうことが
いいたかったことです。

あげますね。
不偏推定量と最尤推定量ですか？
勉強不足・・・だ。

ただ分散の場合、不偏推定量は不偏分散、最尤推定量は標本分散になるんですよねえ？

ネット上をたまたまうろうろしていたら、標準偏差の不偏推定量について次のような記述
がありました。どっかの掲示板で昔同じことを聞いていた人がいたようです。
>変動を(n-1.5)で割ったものの平方根が，不偏標準
>偏差だそうです。
>石川栄助「実務家のための新統計学」槇書店，
>p.164-165
上の式の導出は本をあたらないとわからないですね。

ただ、統計を専門でやっている人に聞いたら、
「そんなことがエッセンシャルじゃないじゃない。nが大きければ関係ないし。
相当費用がかかる実験で３から１０くらいしかデータとれないなら別だけどね。」
とかいわれました。

最尤推定量については正直、勉強が足りないので、
コメントはとりあえず控えておきます。すいません。

ありがとうございます。>>29
たしかにこんなことで悩む暇があればｎを増やせという考えもありますね(笑）

>>30
私はユーザの立場なのであまりこだわらなかったけれど、
　（実は私が尋ねた人もどちらかというと理論よりは、現実に存在する問題に対して
　どのような手法を適用するかを重んじる人でした。
　それでも、私よりは全然数理について詳しい人ですが）
心理学のように厳密に何かを論じていくのにはこのような議論は重要なことだと思います。
そういう意味で、このような質問・疑問はいいことだと思いますよ。

ちなみに、nといえば、心理学では実験のコストを考えた実験計画法とかってやりますか？
直交表とか。心理学の分野では全然そういう話を聞いたことがないんですが、
どうなんでしょうか？

>>31
実験のコストを考えた実験計画法って
具体的にどのようなものをさすのですか？

私は工学屋なので、
心理学とかだと、厳密性を重視するだろうから、
あまり使わないかなぁとか勝手に想像していたんだけど。
実際どうなのかなぁと思って書いてみました。

例えば、一度実験するのに非常に費用がかかるとか、
（プラントを動かさなきゃいけないとか)
そういう時に少ない実験回数でできるだけ多くの情報を得たい、
という場合があると思います。

工学の分野だと、特に工学での実験計画法というと、いかに効率
よくデータをとるかということが、一つのテーマとなるんです。
ただ、その場合、交互作用を無視してよいとか、線形のモデルで
近似するとかあるんですが。
ラテン方格とか直行表とかを用いた実験なんかは代表的です。

>>33
訂正
＞という場合があると思います。
　　↓
という場合が工学ではあります。

工学では、安くて、よい製品とか、ばらつきの少ない製品とかを作ろう！という
発想がありますので、なるべく特性値（性能とか）に大きな影響を与える
要因を探して、最適な水準を見つけようとするということをするんです。

心理学だとしくみとか原理を探求するから、そういうような発想ではやらないで
しょうけど、
実験コストという観点から、効率よく実験を行おうとかはするのかなぁ？とか思って。
素朴な疑問なんですが。

age

効率を上げることを目的として実験を組むことは
恥ずかしいこととみなされます。

>>37
やっぱり、そうなんだ。なんとなくそんな気がしてたんですけど、
図書館にあった心理学の実験の文献（少し古めで、心理学というよりほとんど統計に関する文献）で、
直交表のことがちらりと書いてあったので、使われることもあるのかー？と思っていたものですから。

ちなみに、ここでいってる「工学」って主に品質工学とか品質管理とか、非常に泥臭い分野です。
経済性を扱うので、同じ工学でも、人によっては「学問に商売を持ち込むなんて、けしからん」
と思っている人もいるようです（経済性＝商売というのはちょっと違うと私は思うが）。
立場の違いなんですが。

37>効率を上げることを目的として実験を組むことは
37>恥ずかしいこととみなされます。
みなされるかどうかは知らない。
だが、実際に実験計画を組むとなると、効率性は無視できない。
コントロール条件を完全に組み込んだ直交計画のサイズは
指数関数的に増大する。

それがなんになる

これくらい勉強しよう(w)

工学やさんといっしょにやると、なかなか相容れないときがありますね。
そもそも目的が違うんだから（ｗ

age

工学屋と一緒にやる時って、具体的にはどういうとき？

もすこしやさしくね。age

>>40
それがなんになるって？
無駄な調査で時間と手間と人をかけなくても、結果が出る。
無駄なことばっかりやってるから、心理の調査や実験は
現実に対して答えるには程遠く、
現象の記述すらできないんちゃう？

そういえば、昔、fprで似たようなこと豊田先生言ってたな。

>>46
時間と手間と人を（誤）
時間と手間・人とお金（正）

age

>>46
なるほど、そのような議論もあるのですね。
やはり、実践されている方もおられるんでしょうか？

いる。

で、結局のところ、関数電卓で産出される不偏分散の平方根は
一体何を表している値なんでしょうか？

このような素人にわかりにくいスレはいけないですよ。

悲しいなあ。。。

>>51
特に意味があるわけではないということでは？

age

age

age

ちょっと前の話で恐縮ですが，不偏分散の平方根をとっても，母標準偏差の推定値にならないっていう話がありましたよね。大村平「統計のはなし」（p.108辺り）によりますと，その理由は，分布は開くと形が変わってしまうからだということです（が，ドキュソな私自身には意味がよく分かりません）。

ここではその理屈が大切なのでしょうが，それは他の方にお任せするとして，私からの情報提供としては，水増し係数なるものをかければよいということです。その水増し係数は，n=2のときで1.77，n=50のときで1.01だということです。nが50以上なら気にしなくてもいいってことですね。

上記のこととは，関係ないというか，前段階の話になりますが，

私は，不偏分散を算出する際に，n-1とすることの意味が未だに分かりません。よく統計の教科書なんかでは，「標本自体も母集団の中で散らばっているから，少し大きめに見積もるんだ」って説明されています。なんか分かったような分からないようなです。仮にそういう理由で善しとしても，何で「1」なのかよく分かりません。「1」って一体どこからやってきた数字なのでしょうか。

私と同じ悩みを抱えておられる方，一緒に悩みませんか。悩みを乗り越えられた方，ご教授頂けませんか。よろしくお願いします。

n-1は自由度です。私も実はイメージ程度でしかないんですが・・・
ドキュソなので説明できるように頭整理してきます。
以下次号。

↑あ、でもわかる方の説明のほうがいいと思うので、わかる方の説明も
キボーン。

>私と同じ悩みを抱えておられる方，一緒に悩みませんか。
>悩みを乗り越えられた方，ご教授頂けませんか。

大げさだよー(笑）

俺も統計は苦手さー。わかる日と説明機ボーン

自由度がｎ-1って話は、統数研の人でも研究所で
「n-1で当然」という顔をしていても、
広尾の坂を下って電車に乗る頃には
「nだろやっぱ」と思うって位、きっちり理解するのが難しいって
永田先生が話してたような？

そういえば、永田本が一番初心者向けに説明書いてあるかなあ？

実は、私は”一応”理工系ﾄﾞｷｮｿなので、応用統計の助教授
自由度について聞いたことがあった。良い質問だが、分かりやすく説明するのは
難しいとのことでした。

その人本人も大学院になって多変量解析の理論を本格的に勉強するまでよくわからなかった
とのことでした。
私は未だよくわからない、別の先生の直感的な例えを聞いてわかったふりをしているような感じ。
厳密には理解していない、というより聞けばわかった気になるが、やっぱりわからんって感じ。
大学院生になったというのに・・・
（まぁ統計を専門にやってるワケじゃないからセーフ？）

なかなか本質的な議論ですね．

「自由に動ける変数の数がn-1しかない」という説明は，たぶん最初に聞く
説明としては．理解しやすい説明方法「ではない」のでしょうね．

（１）自由度を歴史的に最初に主張した人の本を読むのはどうでしょう．
（２）式をひとつひとつ展開していって，s2の期待値を計算してはどうでしょう．
(n-1)で割ると σ2 になり，(n)で割ると，(n-1/n)σ2 になり（有限修正項なし）
σ2 とならない．
（３）コンピュータのシミュレーションで両者の分散の分布を確認すると
理解はできなくても実感はできるのではないでしょうか．
（４）究極的な場合，つまり n=1 の場合を考えてはどうでしょうか．これでも
理解できないにしろ母分散を過小推定していることの実感はできるでしょう．

不偏分散の平方根・・・という話．

ぼくよく分かりませんけど，共分散と相関を考えるとどうでしょう．
標本共分散の分布は正規分布するけど，標本相関係数の分布はどうでしょう．
特に母相関係数が｜１｜に近い大きな値の時，分布は正規でなく
偏ることは容易に想像できます．相関係数の区間は決まっているから．
これと同様に不偏分散の平方根である標準偏差を考えると・・・

理論的には自由度は勉強すべきだと思うけどさ
母分散を(n-1/n)だけ過小評価したところで何よ．
n=100のとき，母分散の0.99倍，たった１％小さく
みつもることの影響がなんなのよ．

>>67

そういうことなのでしょうね。つまり，nが十分に大きければ，標本の標準偏差は，母標準偏差に近づいていくということなのでしょうね。n=2のときだったら，50%小さく見積もることになりますよ。>>65さんがアドバイスして下さっている中の(4)はそういうことなんでしょうね。

この視点での実感は湧くんだけどなぁ。

小さく→大きく

＜強迫性人格障害の診断基準＞
アメリカ精神医学界　DMS-IV
秩序、完全主義、精神面および対人関係の統制にとらわれ、柔軟性、開放性、効率性が犠牲にされる。 成人早期に始まり、種々の状況で明らかになる。
以下のうち４つ（またはそれ以上）で示される。

1.活動の主要点が見失われるまでに、細目、規制、一覧表、順序、構成、予定表にしばられる。
2.課題の達成を妨げるような完全主義を示す。
（例：自分自身の過度に厳密な基準が満たされない という理由で１つの計画を完成させることができない。）
3.娯楽や友人関係を犠牲にしてまで仕事と生産性に過剰にのめりこむ。
（明白な経済的必要性はない。）
4.道徳、倫理、価値観についての事柄に、過度に誠実で良心的かつ融通がきかない。
5.感傷的な意味のない物の場合でも、使い古した、または価値のないものを捨てることができない。
6.他人が自分のやるやり方に従わない限り、仕事をまかせることができない。また一緒に仕事をすることができない。
7.自分のためにも他人のためにも、ケチなお金の使い方をする。お金は将来の破局に備えて貯めるべきだという歪んだ信念を持っている。
8.堅さと頑固さを示す。

回帰分析とかでの、自由度ならなんとなくイメージつくんだけどなぁ。

統計では「わかった」というレベルが、人によってずいぶん違うように思います。
私の場合、計算して、式を展開して展開して行き着くだけだと、
解けただけに過ぎなくて、納得がいかない。
いつもその意味がわかるのに時間が掛かる。
式の意味がわからないと、解った気がしない。
だから、数学は苦手で自分にはセンスがないのだろうと思っている。
（できたら、統計学でご飯が食べたかったが・・・。）
ああ、そういうことか、わかった！！というあの気持ちに行き着かないと、
どうもモヤモヤが残る。
シュミレーションは、見ればわかるので便利だけど、それを果たしてわかった、
と言ってよいのか、疑問に思ったりする。
式とともに理解しないといけない気がする。
実感とは非常にムズカシイものではないでしょうか。

しかし、私の尊敬している年配の先生は、まったく「知ったか」を
しない先生で、イメージできない、と素直におっしゃる。
式展開などは簡単にやってのけるのに。
それを聞くと、そんなに卑下することもないか、と思えたりも、して。

みんな素直でよろしい。

「シュミレーション」と書くドキュンがまだいるのか

>>７４
どうでもいいじゃないか、そんなことは。
それよりも、自由度のわかりやすい説明がほしいのだが、
どうかね？

統計理論的には，n-1で割るより，nで割ったほうがいいんでしょ？

大標本で正規性が仮定できる場合，最尤推定量はnで割った分散

>>76
すまん、よくわからないんだけど、
統計理論的には・・・
って、平均とか分散はすでに統計のような気がするんだけど。
どういうことがいいたいのか、詳細を希望。

ほかのいろんな理論との整合性が良いということではないの？>>77
詳しいことはよく分からないんだけど。

age

age

粛清

粛清