是因为这样：
iPad 画的草图，不太精准，见谅。
无论是录音带还是录像带，如果要从头播放，都是左边的轮盘剩余磁带更多，结构上很像一个向右三角形；播放时左边轮盘将磁带传送至右边轮盘，方向上也是指向右的。
所以快进是两个向右的三角形（表示加速传送），快退则是方向相反的两个三角形。
一开始忽略了题主还问了停止键（■）的来历，现在补上。
停止键实际上是一个 block，大致可以看做是这样来的：
这是卡带录音机的卡带仓内的构造（真是暴露年龄啊）。看到两个转轴正下方的那个金属的方方的东西了没？那个是卡带录音机的回放磁头（左边那个白色的是录音磁头）。
回放磁头的放大图：
如果开始播放，磁头会提上来接触磁带。停止播放时，磁头会退下，离开磁带。
所以这个 block 标志（■）表示播放停止还是蛮形象的。
最后说说暂停键吧，暂停键是两条短粗竖线(the “double pipe” sign)，起源于诗歌和乐谱结尾的停顿标志 Caesura。 Caesura 在乐谱里是倾斜的两道，在诗歌里是竖直的两道。
（图片来自 Wikipedia：http://upload.wikimedia.org/wikipedia/commons/7/73/Music-caesura.svg）
