コンテンツフィルターを、まるで「何が安全か分かっている」かのように宣伝したくなるものだ。でも実際はそうじゃない——これはモデルが予測をしているだけであり、その予測がどう機能しているかを正直に伝えることこそが、信頼してもらう唯一の方法だと思う。Shieldが何かを見るとき、実際に何が起きているのかをここで説明する。
要するに
Shieldは端末内で動く物体検出モデルを使っていて、画像内の露出した身体部位の特定カテゴリを認識するよう訓練されている。「この写真がまずいかどうか」という曖昧な一発判定ではなく、特定の領域・特定のラベル・それぞれの信頼度スコアのリストとして判定する。設定でオンにしたカテゴリだけが隠され、それ以外はそのままだ。
写真と動画の違い
写真の場合、Shieldは表示される前に、実際のフル解像度の画像をチェックできる。動画の場合、全フレームをリアルタイムでチェックするのはノートPCのCPUでは現実的じゃない——そこでShieldは視聴中に約1秒に1回フレームをサンプリングし、そこから検出範囲を再チェックしている。つまり動画の保護は「常時チェック」というより「ほぼ毎秒チェック」に近い。サンプリングの合間のごく一瞬だけ何かが映り込むようなエッジケースを考えるなら、この点は重要だ。
あえて慎重にしている部分
- チェックが終わるまで何も表示しない。 検出が終わっていない、遅すぎる、あるいは完全に失敗した場合も、メディアは完全に隠されたままになる。表示がデフォルトになることは絶対にない。
- あいまいなケースも隠したままにする。 信頼度の低い検出でも、検出として扱われる——Shieldは明らかなものだけを検出するようにはチューニングされていない。
- 文脈は理解しようとしない。 キャプションを読んだり、意図を判断したり、アートとそれ以外を区別したりはしない。見ているのはピクセルであり、訓練されたパターンと照合しているだけだ。
間違える可能性がある部分
どんな検出モデルでも同じだが、見逃すこともあれば（フォールスネガティブ）、必要ないものを検出してしまうこともある（フォールスポジティブ）。不自然なアングル、強い圧縮、暗い照明、あるいはそもそも訓練されていない種類のコンテンツは、どれも精度を下げる要因になる。だからこそ「先に隠す」というルールは、その日のモデルの精度がどうであれ関係なく存在している——この安全性は、モデルが完璧であることに依存しているのではなく、失敗したときに必ず「隠す」側に倒れることに依存しているからだ。
モデルは時間とともに良くなっていく。でも「チェックされるまで何も表示しない」というルールは、バージョン1だけの制限じゃない——Shieldがある限り、どのプランでもずっと変わらない。
自分で決められること
何のカテゴリを検出するか、隠された部分をクリックで解除できるようにするかロックしたままにするか、隠し方の見た目のスタイルは、自分で選べる。どのプランでもできないのは、「確認する前に隠す」という挙動をオフにすることだ。そこだけは設定項目になっていない。