12 个边缘节点当前全部在线 · 更新于 12 秒前

挂了多久修好, 我们写进规则里

菠萝tv 是一个影视聚合客户端,但这一页不介绍片库。这里只放三件事:每 5 分钟跑一次的全节点主动巡检、P0/P1/P2 三级故障的响应时限、以及每周三 04:00–05:00 的固定维护窗口。2024 年全年我们记录了 47 次线上故障,其中 41 次在 30 分钟内恢复,剩下 6 次没有,原因也写在下面。

  • P0 首次响应中位数 8 分钟
  • 状态页 60 秒刷新
  • 故障单 30 天可回溯
菠萝tv 状态监控面板示意
节点 cn-east-1 · 首帧 0.9s 最近一次巡检 00:00:12 前
5′
巡检间隔
8′
P0 响应
99.6%
月度可用

Reliability

四件跟"挂了怎么办"直接相关的事

不讲画质,不讲片源。下面四条是这套系统里唯一被写成规则、并且可以被外部核对的部分:巡检多久跑一次、故障怎么定级、维护放在什么时候、状态公告在哪里看。

巡检节奏

每 5 分钟对 12 个边缘节点做一次主动探测,探测项是播放鉴权接口和首帧耗时,超时阈值 2.5 秒。任意两个节点同时超时,系统自动开故障单,不等用户来投诉。单节点异常只记日志不报警,用来压误报。

故障分级

分三级。P0 全站无法播放,15 分钟内必须首次响应;P1 单个清晰度档位或单个地区不可用,1 小时内响应;P2 字幕、收藏同步这类非播放功能异常,次工作日 12:00 前响应。定级标准钉在状态页顶部,不随当天人手多少改口径。

维护窗口

常规维护固定在每周三 04:00–05:00,一个月不超过 4 次。涉及数据库变更的大版本每季度一次,窗口拉长到 3 小时,提前 72 小时在 App 内和状态页双通道公告。窗口内 App 仍能打开,只是新剧集加载会失败。

状态公告

状态页 status.boluo.tv 每 60 秒刷新,展示 12 个节点的实时可用性和正在进行的故障单编号。P0 发生后 10 分钟内必须发出第一条公告,之后每 20 分钟更新一次进展。故障关闭后记录保留 30 天,你可以翻回去核对当时的说法。

5分钟
自动巡检间隔
8分钟
P0 首次响应
99.6%
近十二月可用性
47次
年度故障总数

Real Downtime

真遇上过故障的人怎么评价

下面三条来自提交过故障相关工单的用户,时间点、时长、故障单编号都是他们自己记的。我们没有删掉中间那些不太好听的部分。

去年 11 月 3 日晚上全站黑屏,我截图记了时间:20:41 挂,21:07 恢复,中间状态页更新了两次,第二次写的是"CDN 回源超时,正在切备用线路",不是那种"工程师正在紧急处理"的空话。26 分钟对我来说可以接受,我等了。
陈
陈默
已使用 14 个月
我赶上的是 P1:4K 档位全挂,1080P 是好的。提交工单 43 分钟后收到回复,说 4K 转码队列积压,当天没修好,第二天上午才恢复。缺点得说清楚——它不给补偿,也不发道歉推送,就是修好了、状态页改个颜色,然后没了。能接受,但别指望仪式感。
苏
苏念
已使用 8 个月
周三凌晨维护我碰上过 6 次,5 次都是 04:00 开始、05:00 前后恢复,只有一次拖到 06:20,App 里弹了说明。真正烦的是到点它不提醒你,你得自己记住别在那会儿点开。用久了会形成肌肉记忆,新用户大概会骂一次,我就是这么骂过来的。
周
老周
已使用 2 年 3 个月

FAQ

上面没交代完的,在这里补

先看状态页。12 个节点里如果有 2 个以上标红,基本就是服务端的事,不用动路由器。如果 12 个全是绿的而你还在转圈,八成是本地 DNS 被劫持或运营商回源慢,可以在 App 设置里点一次"切换线路",会依次尝试 3 条备选链路,每条等待 8 秒。实在不行再提交工单,工单里带上时间戳和节点名,我们查起来快得多。
不是。15 分钟指的是有人接手并发出第一条公开公告,不是恢复时间。2024 年 47 次故障里,P0 共 9 次,中位恢复时长 37 分钟,最长一次 2 小时 14 分——那次是主数据库主从切换失败,备用节点数据落后 6 分钟,我们选择先补数据再放流量。这个数字我们没往好看了修。
因为值班表上那个时段只有一个工程师在线,出了岔子没人能一起判断。04:00–05:00 是双人值守,出问题能立刻回滚。这是个取舍:我们宁可牺牲一点点用户便利,也不愿意在只有一个人的时候动数据库。等值班人手补齐,这个窗口可能会往前提,到时候会重新公告。
这是个已知问题。状态页每 60 秒拉一次服务端数据,是实时的;App 内公告走的是推送通道,遇到 P0 时推送服务本身经常也在排队,延迟可能到 5–12 分钟。冲突时以状态页为准。我们正在把 App 内公告改成和状态页同源,预计下个季度版本上线,在那之前请习惯多开一次网页。
有。第三方 CDN 的大面积故障,我们只能切换线路,切不了的时段只能等,2024 年有 2 次属于这种情况,各拖了 3 小时以上;另外版权方临时下架某部片源,我们无法恢复,也不在故障单统计口径内。这两类我们不会写在"已修复"里,会单独标成"外部依赖"放在状态页底部。

知道它什么时候会挂,比它永不挂更实在

下载后第一件事,建议你把状态页加到书签。它不是装饰——每周三 04:00 的维护、P0 故障的每 20 分钟更新、30 天可回溯的故障单编号,全在那一个页面上。装不装随你,但至少出问题时你知道该看哪儿。

当前版本 3.4.1 · 安装包 42.6 MB · 支持 Android 8.0 及以上