统计学基本知识

本文是在学习《深入浅出统计学》时做的一些关键笔记。

我的理解

从图形、平均值、期望、方差、概率计算、排列组合、三类典型的离散概率分布、正态分布…到样本与总体之间的相互估算，《深入浅出统计学》这本书结合现实案例非常生动地介绍了各种概念的现实用途，让我真切感受到统计学“在充满偶然性的世界里尽可能寻找确定性”的巨大魅力。

我在豆包上提了一个问题“统计学的终极定义是什么”，AI给了我几种定义，这些定义都非常好：

• 教科书标准定义：统计学是一门收集、整理、展示、分析数据，并从数据中推断总体、量化不确定性的科学。
• 精炼本质定义：统计学是在信息不完全、存在噪声的条件下，从有限样本获取关于总体的知识，并衡量推断风险的方法论。
• 哲学层面定义：统计学是一套理性的语言，用来在充满偶然性的世界里区分“信号”和“噪声”。

怎么展示数据？直观展示有各种图表，数据是任人打扮的小姑娘，我们以不同的方式展示她，那么她就会呈现出不同特点。更深一步，有各种分析数据，可以定量告诉人们数据的内涵。总而言之，数据展示都是数据的内涵视图。

给我们一系列数据，我们最先想到的就是求均值、中位数、众数等各种基本量，这些量很简单，但是也有大学问。在不同场景下，各有优劣。

平均值把一系列数据压缩成一个值，只能作为数据的集中度量，那么怎么度量数据的分散性呢？全距、四分距、方差、标准差应运而生。

概率是统计学的核心之一，如何求各种概率，这又带来了一系列的概念，当然还有一系列的公式。

求单一变量的期望和方差很简单，如果将多个独立变量进行线性组合，又怎么能快速求取组合量的期望和方差呢？这有固定公式可循，这些公式可以赋予我们化繁为简解决复杂问题的能力。

排列组合不必多说，很多场景会用到，本书给了一些独特的理解视角，很棒！

三种典型的离散分布，对应三种典型的概率计算问题，是思维的模式和模块化，也是思考复杂问题的工具箱。

正态分布的重要性也不言而喻，一个期望和一个方差是定义唯一正态概率分布的唯二指标。

从样本预测总体、从总体预测样本，是统计学的核心。这里面的抽样概率分布是相对较难理解的部分。

当然，还有假设检验等更烧脑的内容也是非常实用的，后续碰到了再进一步理解吧。

信息图形化

• 统计研究内容：搜集数据→分析数据→得出结论
• 意义：数据中隐藏着趋势和模式，但看数据很难发现，通过图表和量化指标才能反映
• 相同的数据，不同的处理，会给人不同的印象
• 各种统计图形各有侧重，都是数据的内涵视图

• 饼图：比例比较，比例相当时失效

• 条形图：对比更加精准。度量标准很关键，是频数还是比例，需要斟酌

• 其他条形图：堆积条形图（相同度量）、分段条形图（可不同度量，频数 + 百分比）

• 直方图：表现分组数据，区间宽度不同时，应保证长方形面积与频数成比例，其高度就反映频数密度

• 累积频数：很容易反映度量值在某个范围内的频数

• 折线图：更容易反映趋势

集中趋势的量度

平均数有多种：均值、中位数、众数都属于平均数

• 均值：对异常值非常敏感

• 中位数：抗异常值能力强
• 均值和中位数的问题：如果数据呈现明显的断层分组聚集特性，那么中位数也会巨大波动

• 众数：频数最高的指标

分散性与变异性的量度

当通过平均值没法评价多个数据分布的优劣时，均要考虑数据的分散和变异特性。

• 全距（极差）：描述数据的宽度，无法描述数据在上下界之间的分布形态。且对异常值极度敏感

• 四分位距（上下四分位数、中位数）：摆脱异常值的利器

• 十分位距、百分位距
• 箱型图：非常直观地展示各分位数和分位距

• 平均距离的局限性
• 优秀：方差、标准差

• 标准分：度量数据的好坏，和自己比；标准分=距离均值的标准差个数

概率计算

概率的含义：只是表示可能性的大小，无论某件事多么不可能发生，只要不是完全不可能发生，该事件就仍然可能发生。

• 基本概率

• 维恩图

• 对立事件

• 互斥事件：两个事件不可能同时发生 P(A∪B)=0

• 条件概率：事件B发生的前提下，事件A发生的概率

• 概率数：与维恩图有别的另一种概率可视化表达方法
• 全概率公式

• 贝叶斯定理：提供一种计算逆条件概率的方法，贝叶斯定理在现实生活中有多种用途

• 独立事件：两个事件的发生互不影响

独立的真实含义：一个人报不报瑜伽，不影响他报游泳的可能性。

• 相关事件：不独立事件

离散概率分布的运用

• 期望

• 概率分布的方差

• 概率分布的标准差

• 线性变换的通用公式

• 独立观测值

排列与组合

• 排列：n个数排列共有n!中排序情况

• 重复排列：n个数中有多组重复数，不考虑相同数的顺序

• 组合

几何分布、二项分布及泊松分布

• 几何分布：答对一个题的概率是p，求第r次答对的概率

• 几何分布的计算

• 二项分布：答对一个题的概率是p，一共答n次，求一共答对r次的概率

• 二项分布的期望与方差

• 泊松分布：小概率独立事件，知道时间区间内平均发生次数为λ，求在该时间区间内发生k次的概率

• 泊松分布的期望和方差

• 泊松分布近似二项分布

正态分布的运用

• 连续数据
• 概率密度函数
• 概率：概率密度函数的面积
• 正态分布

• 正态分布的概率求法：求标准分，然后根据标准分查表即可

再谈正态分布的运用

• 一个经典问题

• 解法

• 更一般的情况

• 使用正态分布近似二项分布：二项分布是离散分布，正态分布是连续分布，需要进行连续性修正

• 使用正态分布近似泊松分布

统计抽样的运用

用样本来预测总体，样本必须能代表目标总体，抽样方法至关重要。

总体和样本的估计

从样本估算总体，从总体估算样本

• 从样本估算总体均值

• 从样本估计总体方差：样本天然会过滤极端数值，因此所求方差偏小；因此，在计算点估计方差时，除以（n-1）

• 从样本估算总体比例

• 从总体估算多样本比例的期望

  

• 从总体估算多样本比例的方差

  

• 样本比例分布：样本比例在一定条件下呈现正态分布，同样需要考虑整数的连续性修正

  

  

  解决问题：

  

• 样本均值的抽样分布

​ 直观理解：

​ 问题引入：

​ 问题解决：从总体中多次取30袋样本，需要求这些样本均值的分布，然后根据概率分布求概率。且样本均值分布呈正态分布。

• 中心极限定理

置信区间的构建

• 置信区间定义：一般求样本比例和样本均值的置信区间

• 置信区间的求法

• 置信区间有简易求法