随机过程作业 Chapter2 Poisson过程 • chinosan's notes

Sheldon M. Ross "Stochastic Processes" 2nd Edition 随机过程（第二版）习题

2.2#

解：

(1) 令 $P_n(t)=P(N(t)=n)$ . 于是

\begin{aligned} P_0(t+s)&=P\left(N(t+s)=0\right)\\ &=P(N(t)=0, \, N(t+s)-N(t)=0)\\ &=P(N(t)=0)\cdot P(N(t+s)-N(t)=0)\quad(独立性)\\ &=P(N(t)=0)\cdot P(N(s)=0)\quad(平稳性)\\ &=P_0(t)P_0(s) \end{aligned}

(2) 由 $P_0(s+t)=P_0(s)P_0(t)$ 得 $P_0$ 为指数函数. 设 $P_0(t)={\rm e}^{\alpha t}{}$ .

由第二定义有，

P_0(t)=P(N(t)=0)=1-P(N(t)=1)-P(N(t)\geqslant2)\\ =1-\lambda t+o(t)

将 $P_0$ 指数函数形式 Taylor 展开到1阶

\begin{aligned}P_0(t)={\rm e}^{\alpha t}&=1+\alpha t+o(t)\\&=1-\lambda t+o(t)\end{aligned}{}

于是 $\alpha=-\lambda$ ， $P_0(t)={\rm e}^{-\lambda t}{}$

故：

$P(X_1>t)=P(N(t)=0)={\rm e}^{-\lambda t}{}$
$\begin{aligned}P(X_2>t\mid X_1=s)&=P\big(在区间(s,s+t]上0个事件\mid X_1=t\big)\\&=P\big(N(t)=0\big)\quad(独立平稳)\\&={\rm e}^{-\lambda t}\end{aligned}{}$
以此类推可得 $P(X_i>t)={\rm e}^{-\lambda t}{}$ ，即 $X_1,X_2,\cdots$ 独立同分布，服从速率为 $\lambda$ 的指数分布.

(3) 到达时间 $S_n$ 服从参数为 $k$ 与 $\lambda$ 的 gamma 分布. 于是

\begin{aligned} P\big(N(t)=k\big)&=P(S_{k+1}>t)-P(S_k\leqslant t)\\ &=\int_t^{+\infty}\dfrac{\lambda {\rm e}^{-\lambda \tau}(\lambda\tau)^k}{k!}{\rm d}\tau-\int_t^{+\infty}\dfrac{\lambda {\rm e}^{-\lambda \tau}(\lambda\tau)^{k-1} }{(k-1)!}{\rm d}\tau\\ &=\dfrac{1}{k!}\int_{\lambda t}^{+\infty}{\rm e}^{-u}u^k{\rm d}u-\dfrac{1}{(k-1)!}\int_{\lambda t}^{+\infty}{\rm e}^{-u}u^{k-1}{\rm d}u\\ &=\dfrac{1}{k!}\left(-{\rm e}^{-u}u^k\bigg|^{+\infty}_{\lambda t}+\int_{\lambda t}^{+\infty}{\rm e}^{-u}ku^{k-1}{\rm d}u\right)-\dfrac{1}{(k-1)!}\int_{\lambda t}^{+\infty}{\rm e}^{-u}u^{k-1}{\rm d}u\\ &=\dfrac{ {\rm e}^{-\lambda t}(\lambda t)^k}{k!}+减号后面的积分-减号后面的积分\\ &=\dfrac{ {\rm e}^{-\lambda t}(\lambda t)^k}{k!} \end{aligned}

即 $N(t)$ 服从均值为 $\lambda t$ 的 Poisson 分布.

2.5#

解：

(1) 令 $N(t)=N_1(t)+N_2(t)$ . 使用第二定义证明 $\{N(t)\}{}$ 是速率为 $\lambda_1+\lambda_2$ 的 Poisson 过程.

条件一： $N(0)=N_1(0)+N_2(0)=0$ ，满足.
条件二： $N(s+t)-N(s)=\big[N_1(s+t)-N_1(s)\big]+\big[N_2(s+t)-N_2(s)\big]$ ，由 $\{N_1(t)\}{}$ 和 $\{N_2(t)\}{}$ 的独立平稳增量可推得 $N(t)$ 也具有独立平稳增量.
条件三：

\begin{aligned}P\left(N(h)=1\right)&=P\left(N_1(h)=1,\,N_2(h)=0\right)+P\left(N_1(h)=1,\,N_2(h)=0\right)\\&=(\lambda_1h+o(h))(1-\lambda_2h+o(h))+(\lambda_2h+o(h))(1-\lambda_1h+o(h))\\&=\lambda_1h-\lambda_1\lambda_2h^2+\lambda_2h-\lambda_1\lambda_2h^2+o(h)\\&=(\lambda_1+\lambda_2)h+o(h)\end{aligned}{}

条件四：

\begin{aligned}P\left(N(h)=0\right)&=P\left(N_1(h)=0,\,N_2(h)=0\right)\\&=(1-\lambda_1h+o(h))(1-\lambda_1h+o(h))\\&=1-(\lambda_1+\lambda_2)h+o(h)\\P\left(N(h)\geqslant 2\right)&=1-P_0-P_1=o(h)\end{aligned}{}

于是 $\left\{N(t)\right\}{}$ 是速率 $\lambda=\lambda_1+\lambda_2$ 的 Poisson 过程.

(2)

\begin{aligned} P\big(第一个事件来自\{N_1(t)\}\big)&=\dfrac{P\big(N_1(t)=1,\,N_2(t)=0\big)}{P(N(t)=1)}\\ &=\frac{ {\rm e}^{-\lambda_1t}(\lambda_1t)\cdot {\rm e}^{-\lambda_2t} }{ {\rm e}^{-\lambda t}(\lambda t)}\\ &=\dfrac{\lambda_1}{\lambda_1+\lambda_2} \end{aligned}

2.13#

解：

记原始冲击过程为 $\left\{N(t)\right\}{}$ . 若一次冲击使得系统失效，则称该冲击是Ⅰ类的，否则称为Ⅱ类的. 由分类定律有，Ⅰ类冲击过程 $\left\{N_1(t)\right\}{}$ 是速率为 $\lambda p$ 的 Poisson 过程，Ⅱ类冲击过程 $\left\{N_2(t)\right\}{}$ 是速率为 $\lambda (1-p)$ 的 Poisson 过程.

$P(N=n\mid T=t)=\dfrac{P(N=n,\,T=t)}{P(T=t)}{}$ . 分母即“Ⅰ类冲击首次发生的时刻为 $t$ ”，分子即“时刻 $t$ 及以前共 $n$ 次冲击，其中时刻 $t$ 发生Ⅰ类冲击、其他 $n-1$ 次为Ⅱ类冲击”.

使用到达时间刻画事件发生的时刻. 记Ⅰ类冲击过程的到达时间序列为 $\left\{S_n^{(1)}\right\}{}$ . 则

\begin{aligned} P(N=n\mid T=t)&=\dfrac{P(N=n,\,T=t)}{P(T=t)}\\ &=\dfrac{P(N_2(t)=n-1,S_1^{(1)}=t)}{P(S_1^{(1)}=t)}\\ &=\dfrac{P(N_2(t)=n-1)\cdot P(S_1^{(1)}=t)}{P(S_1^{(1)}=t)}\quad(N_1\,N_2 两过程相独立)\\ &=P(N_2(t)=n-1)={\rm e}^{-\lambda t(1-p)}\dfrac{(\lambda t(1-p))^{n-1} }{(n-1)!}\\ \end{aligned}

2.15#

解：

(1) 题目描述的就是负二项分布的定义，其所指的变量为 Bernoulli 试验中恰好成功 $n_i$ 次时的试验次数，其中试验成功的概率为 $P_i$ .

(2) 不独立. 假定只有 1 和 2 两面，投出 1 面的概率为 $p$ ， $n_1=n_2=2$ . 由负二项分布或者直接推理，事件 $N_1=k$ 发生，iff 第 $k$ 次投掷为面1、前 $k-1$ 次投掷中有一个面1、其余都是面2. 即

P(N_1=k)=\binom{k-1}{1}p^2(1-p)^{k-2}

而若给定 $N_2=k$ ，事件 $N_1=k \mid N_2=k$ 不可能发生，因为第 $k$ 次投掷结果只可能是1或2的其中一个，不可能恰好同时满足 $N_1=n_1$ 、 $N_2=n_2$ ，必然有一个面是先达成所需次数 $n_i$ 、而另一个面未达成. 即

P(N_1=k \mid N_2=k)=0\neq P(N_1=k)

于是不独立.

(3) 假设投出面 $i$ 的事件为第 $i$ 类. 由 $\left\{N(t)\right\}{}$ 为 Poisson 过程可知， $\{N_i(t)\}{}$ 是相互独立的、速率为 $\lambda P_i=P_i$ 的 Poisson 过程. 而 $T_i$ 则是过程 $\left\{N_i(t)\right\}{}$ 第 $n_i$ 个事件发生的到达时间，故 $T_i$ 服从参数为 $n_i$ 和 $P_i$ 的 gamma 分布.

(4) 独立. 一方面，事件的归类是独立的；另一方面， $T_i$ 的分布参数只与它自己的 $n_i$ 和 $P_i$ 有关.

(5) 以 $\left\{Y_{i,1},\,Y_{i,2},\,\cdots\right\}{}$ 表示过程 $\left\{N_i(t)\right\}{}$ 的到达间隔时间序列，可知 $Y_{i,j}{}$ 服从速率为 $P_i$ 的指数分布，即 $E[Y_{i,j}]=\dfrac{1}{P_i}{}$ . 于是

E[T_i]=E[\sum\limits_{j=1}^{n_i}Y_{i,j}]=\sum\limits_{j=1}^{n_i}E[Y_{i,j}]=\dfrac{n_i}{P_i}{}

(6) 题目隐含了一个意思，即通过一个特殊的连续的投掷过程，可以得到 $N$ 的期望. 于是可以猜想 $T$ 与 $N$ 的期望存在某种直接关联.

于是首先计算 $T$ 的期望. $T_i$ 是参数为 $n_i$ 和 $P_i$ 的 gamma 分布，其分布函数

F(t)=\displaystyle\int_0^tf(\tau){\rm d}\tau=\displaystyle\int_0^t\dfrac{P_i {\rm e}^{-P_i\tau}(P_i\tau)^{n-1} }{(n-1)!}{\rm d}\tau

$T$ 是 $T_i$ 的最小值，故 $T$ 的分布函数 $G(t)=1-\prod\limits_{i=1}^r(1-F(t))$ . 于是

\begin{aligned} E[T]&=\displaystyle\int_0^{+\infty}P(T>t){\rm d}t\\ &=\displaystyle\int_0^{+\infty}(1-G(t)){\rm d}t\\ &=\displaystyle\int_0^{+\infty}\prod\limits_{i=1}^r(1-F(t)){\rm d}t\\ &=\displaystyle\int_0^{+\infty}\prod\limits_{i=1}^r\left(\displaystyle\int_t^{+\infty}\dfrac{P_i {\rm e}^{-P_i\tau}(P_i\tau)^{n_i-1} }{(n_i-1)!}{\rm d}\tau\right){\rm d}t\\ \end{aligned}

由题意，投掷次数到达 $N$ 的时刻为 $t=T$ ，于是 $T=\sum\limits_1^NX_i$ ，其中 $X_i$ 为投掷的到达间隔时间序列. 对上式取期望得

E[T]=E\left[\sum\limits_{j=1}^NX_i\right]

取条件于 $N$ 的值，

\begin{aligned} E[T]&=E\left[E\left[\sum\limits_{j=1}^NX_i\,\bigg|\, N\right]\right]\\ &=E\left[\sum\limits_{j=1}^NE\left[X_i\right]\right]\\ &=E\left[NE(X_i)\right]=E[N\lambda]\quad(X_i\sim E(\lambda))\\ &=E[N] \end{aligned}

于是 $E[N]=E[T]=\displaystyle\int_0^{+\infty}\prod\limits_{i=1}^r\left(\displaystyle\int_t^{+\infty}\dfrac{P_i {\rm e}^{-P_i\tau}(P_i\tau)^{n_i-1} }{(n_i-1)!}{\rm d}\tau\right){\rm d}t$

2.25#

解：

用 $Y_i$ 表示第 $i$ 个事件的贡献值. 由题意，它的分布依赖于该事件发生的时间，即

P(Y_i<y\mid S_i=s)=F_s(y)

故取条件于该事件发生的时间. 记该事件发生的时间的PDF为 $g$ ，则贡献值的分布函数

\begin{aligned} P(Y_i<y)&=\sum\limits_tP(Y_i<y\mid S_i=s)P(S_i=s)\\ &=\displaystyle\int_0^tP(Y_i<y\mid S_i=s)g(s){\rm d}s\\ \end{aligned}

而当 $N(t)$ 给定时，由均匀分布定律， $S_i\sim U[0,t]$ ，故 $g(s)=\dfrac1t$ . 故贡献值的分布函数

P(Y_i<y)=\dfrac1t\displaystyle\int_0^tF_s(y){\rm d}s

该式与 $i$ 无关，于是各个 $Y_i$ 之间独立同分布. 又 $\left\{N(t)\right\}{}$ 为 Poisson 过程，故贡献和 $W=\sum\limits_{i=1}^{N(t)}Y_i$ 是一个复合 Poisson 变量，分量分布函数即 $P(Y_i<y)=\dfrac1t\displaystyle\int_0^tF_s(y){\rm d}s$ ，均值即 $N(t)$ 的均值 $\lambda t$ .

2.41#

解：

(1) 取条件于 $\Lambda$ 的分布 $G$ ，于是增量的分布为

P\big(N(t+s)-N(s)=n\big)=\displaystyle\int_{0}^{+\infty}{\rm e}^{-\lambda t}\frac{(\lambda t)^{n} }{n!}{\rm d}G(\lambda)

该式不含区间起点 $s$ ，说明相同长度 $t$ 的时间区间上增量的分布一致，即该过程有平稳增量.

不满足独立性. 考虑下面这一情形

\begin{aligned} P(N(2t)-N(t)=0)&=\displaystyle\int_{0}^{+\infty}{\rm e}^{-\lambda t}{\rm d}G(\lambda)\\ P(N(2t)-N(t)=0\mid N(t)=0)&=P(N(2t)=0)=\displaystyle\int_0^{+\infty}{\rm e}^{-\lambda2t}{\rm d}G(\lambda) \end{aligned}

对于一般的 $G$ 均不能使得二者相等，故没有独立性.

(2) 已知历史，即已知 $[0,t]$ 上所有事件的到达间隔时间. 取条件于这些历史

\begin{aligned} &\quad\ P(\Lambda=\lambda\mid X_1=x_1,\,X_2=x_2,\,\cdots,\,X_{N(t)}=x_{N(t)})\\ &=\dfrac{P\big(X_1=x_1,\,X_2=x_2,\,\cdots,\,X_{N(t)}=x_{N(t)}\mid \Lambda=\lambda\big)\cdot P(\Lambda=\lambda)}{P\big(X_1=x_1,\,X_2=x_2,\,\cdots,\,X_{N(t)}=x_{N(t)}\big)}\\ &=\dfrac{\prod_{1}^{N(t)}\lambda{\rm e}^{-\lambda x_i}\cdot{\rm d}G(\lambda)}{分子对\lambda在0到\infty积分}\\ &=\dfrac{\lambda^{N(t)}{\rm e}^{-\lambda\sum x_i}\cdot{\rm d}G(\lambda)}{分子对\lambda在0到\infty积分}\\ &=\dfrac{\lambda^{N(t)}{\rm e}^{-\lambda t}\cdot{\rm d}G(\lambda)}{分子对\lambda在0到\infty积分}\\ \end{aligned}

于是 $\Lambda$ 的分布

\begin{aligned} &\quad\ P(\Lambda<\lambda\mid X_1=x_1,\,X_2=x_2,\,\cdots,\,X_{N(t)}=x_{N(t)})\\ &=\int_0^\lambda\dfrac{\lambda^{N(t)}{\rm e}^{-\lambda t}\cdot{\rm d}G(\lambda)}{\int_0^{+\infty}\lambda^{N(t)}{\rm e}^{-\lambda t}\cdot{\rm d}G(\lambda)}\\ &=\dfrac{\int_0^\lambda\lambda^{N(t)}{\rm e}^{-\lambda t}\cdot{\rm d}G(\lambda)}{\int_0^{+\infty}\lambda^{N(t)}{\rm e}^{-\lambda t}\cdot{\rm d}G(\lambda)}\\ \end{aligned}

可以看到， $\Lambda$ 基于历史的分布仅依赖于 $N(t)$ ，与 $N(s)\ (0<s<t)$ 无关. 这是合理的，因为当 $N(t)$ 已知时，由均匀分布定律，此前的到达时间序列为 $[0,t]$ 上 $n$ 个独立均匀分布的顺序统计量，这与 $\Lambda$ 的取值无关.

(3) $t$ 后首个事件即为第 $n+1$ 个事件. 设过了 $s$ 发生这个事件，则其发生时间分布

\begin{aligned} P(S_{n+1}>t+s \mid N(t)=n)&=\dfrac{P(N(t+s)=n,\,N(t)=n)}{P(N(t)=n)}\\ &=\dfrac{P(N(t+s)-N(t)=0,\,N(t)=n)}{P(N(t)=n)}\\ &=\dfrac{P(N(s)=0,\,N(t)=n)}{P(N(t)=n)}\\ \end{aligned}

对分子取条件于 $\Lambda$ ，这样可以利用独立性，有

\begin{aligned} P(N(s)=0,\,N(t)=n)&=\displaystyle\int_0^{+\infty}P(N(s)=0,\,N(t)=n\mid \Lambda=\lambda)\cdot{\rm d}G(\lambda)\\ &=\displaystyle\int_0^{+\infty}P(N(s)=0\mid \Lambda=\lambda)\cdot P(N(t)=n\mid \Lambda=\lambda)\cdot {\rm d}G(\lambda)\\ &=\displaystyle\int_0^{+\infty}{\rm e}^{-\lambda s}{\rm e}^{-\lambda t}\dfrac{(\lambda t)^n}{n!}{\rm d}G(\lambda) \end{aligned}

分母事实上是分子计算步骤的一部分

\begin{aligned} P(N(t)=n)&=\displaystyle\int_0^{+\infty}P(N(t)=n\mid \Lambda=\lambda)\cdot{\rm d}G(\lambda)\\ &=\displaystyle\int_0^{+\infty}{\rm e}^{-\lambda t}\dfrac{(\lambda t)^n}{n!}{\rm d}G(\lambda) \end{aligned}

代入表达式即可

\begin{aligned} P(S_{n+1}>t+s \mid N(t)=n)&=\dfrac{P(N(s)=0,\,N(t)=n)}{P(N(t)=n)}\\ &=\dfrac{\int_0^{+\infty}{\rm e}^{-\lambda s}{\rm e}^{-\lambda t}\frac{(\lambda t)^n}{n!}{\rm d}G(\lambda)}{\int_0^{+\infty}{\rm e}^{-\lambda t}\frac{(\lambda t)^n}{n!}{\rm d}G(\lambda)}\\ &=\dfrac{\int_0^{+\infty}{\rm e}^{-\lambda s}{\rm e}^{-\lambda t}{\lambda^n}{\rm d}G(\lambda)}{\int_0^{+\infty}{\rm e}^{-\lambda t}\lambda^n{\rm d}G(\lambda)} \end{aligned}

(4) 取条件于 $\Lambda$ 的分布 $G$

\begin{aligned} &\quad\lim\limits_{h\to0}\dfrac{P(N(h)\geqslant1)}{h}\\ &=\lim\limits_{h\to0}\dfrac{\sum_\lambda P(N(h)\geqslant1\mid \Lambda=\lambda)\cdot P(\Lambda=\lambda)}{h}\\ &=\lim\limits_{h\to0}\dfrac{\int_{0}^{+\infty}(1-P(N(h)=0))\cdot {\rm d}G(\lambda)}{h}\\ &=\lim\limits_{h\to0}\dfrac{\int_{0}^{+\infty}(1-{\rm e}^{-\lambda h})\cdot {\rm d}G(\lambda)}{h}\\ &=\int_{0}^{+\infty}\lim\limits_{h\to0}\dfrac{(1-{\rm e}^{-\lambda h})}{h}\cdot {\rm d}G(\lambda)\\ &=\int_{0}^{+\infty}\lambda\cdot {\rm d}G(\lambda)\\ \end{aligned}

(5) 取条件于 $\Lambda$ 的值，计算 $X_i$ 的分布

\begin{aligned} P(X_i<x)&=\displaystyle\int_0^{+\infty}P(X_i<x\mid \Lambda=\lambda)\cdot {\rm d}G(\lambda)\\ &=\displaystyle\int_0^{+\infty}(1-{\rm e}^{=\lambda x})\,{\rm d}G(\lambda) \end{aligned}

故它们同分布（因为在 $\Lambda=\lambda$ 的条件下，到达间隔时间都服从 $E(\lambda)$ ）.

而 $\text{Cov}(X_i,\,X_j)=\text{Cov}(X_i,\,X_i)=\text{Var}(X_i)=\dfrac{1}{\lambda^2}\neq0$ ，说明 $X_i$ 与 $X_j$ 相关，即不独立.