AIに「任せる」のがちょっと怖い？暴走させない"ガードレール設計"をこっそり教えます

こんにちは！株式会社雲海設計の技術部です。

最近「AIを業務に導入しました！」という声をよく聞くようになりました。

チャットで質問に答えてもらったり、文章の下書きを作ってもらったり——便利ですよね。

一方で導入が進むほど増えるのがこの不安です。

• 「AIが勝手に実行してしまわない？」

• 「誤送信や誤更新が起きたら取り返しがつかないのでは？」

• 「どこまで任せて、どこから人が見るべき？」

この記事ではAIを“怖いもの”から“使いこなせる道具”に変えるための考え方として、AIのガードレール設計（権限と承認の設計）を解説します。読み終える頃には、自社で「任せる範囲」と「人が確認すべき範囲」を線引きするための具体的な型が手に入ります。

そもそも「AIの実行権限」って何ができるの？

ここで言う「実行権限」とは、AIが呼び出せる外部ツールにどの範囲の権限を付与するかを指します。

（例）メール送信、請求書確定、顧客情報の更新、SaaSへの登録、チケット起票、権限変更…など

これまでのAI活用は「提案」までが中心でした。

「この文章どう？」→「こういう案はいかがでしょう」→最後に押すのは人間

しかし最近はAIが外部ツールと連携し「実行」まで担えるようになっています。

「明日の会議参加者にリマインド送って」→AIが本当に送る のように。

便利な反面、ここで事故が起きます。

• 間違った相手にメールを送る

• テストのデータを本番に入れる

• 参照してはいけない情報を読み込む

• 請求金額を誤って確定する

これが「AIの暴走」と呼ばれる事故です。

※ ここで重要な補足です

実務上よくある原因は、AIそのものというより「AIに紐づく仕組みに、メール送信やDB更新などの権限を渡している」ことが原因です。つまり重要なのは、AIではなく “権限と承認の設計” です。

まず押さえるべき：取り返せる仕事 / 取り返せない仕事

AI運用で最初にやるべきは、業務を「可逆（戻せる）」と「不可逆（戻せない）」で切ることです。

この分類があるだけで、線引きが一気に楽になります。

種類	例	事故った時の痛み	推奨ガードレール
可逆（戻せる）	下書き作成、要約、タグ付け、 社内Wiki案、議事録草案	小〜中	自動化しやすい （監査ログは残す※）
不可逆（戻せない）	社外メール送信、請求確定、 外部連携、権限変更、削除、 本番DB更新	大	原則「人の承認」 ＋範囲制限 ＋監査ログ必須

不可逆操作が混ざっているほど承認・制御・ログを厚くします。

逆に言うと、AI導入の第一歩は「不可逆を避けて始める」だけでも十分です。

※ ログは改ざんできない場所に保管・閲覧権限を限定する

ガードレール設計の結論：権限レベル（L0〜L4）で線引きする

AIに任せる範囲を、権限レベルで段階化して管理します。

これが、現場と決裁者の合意を作る最短ルートです。

AI権限レベル表（例）

レベル	AIに許すこと	典型ユースケース	原則ルール
L0：閲覧のみ	参照（検索・要約）	社内規程の検索、過去議事録検索	機密データは範囲を限定
L1：生成のみ	下書き生成（保存は可、実行は不可）	議事録草案、見積書たたき台	外部送信は不可
L2：社内実行 （原則可逆・限定範囲※）	社内ツールへの登録・更新（戻せる範囲）	チケット起票、社内通知、タグ更新	件数/対象を制限
L3：社外実行（不可逆）	社外送信・確定操作	顧客メール送信、請求確定	原則二者承認（最低でも人承認）
L4：本番変更（高リスク）	DB更新/権限変更/設定変更	本番データ更新、権限付与	原則禁止。やるなら変更管理プロセス必須

ポイントは「AIに何をさせるか」ではなく、「どのレベルまで許すか」で決めると揉めません。

※ 社内実行でも不可逆はあります

　 （例）社内全社通知・権限付与・大量データ更新・監査対象ログの改変など

4層で考える「ガードレール設計」

ここからが実務の型です。ガードレールは以下の4層で組むと漏れにくいです。

1. 権限設計（誰が、何に、どこまでアクセスできるか）

2. 実行前チェック（AIが“やろうとしていること”を事前に見せる）

3. 実行時の制御（件数・範囲・速度を制限して被害を抑える）

4. 実行後の保証（ログと検知で、問題が起きても早く止める）

以下は、各層の最小チェックリスト（Yes / No）です。

まずはこの“最低限”だけで運用が成立します。

1) 権限設計（アクセスと実行権限の分離）

•  AIがアクセスしてよいデータの範囲（会議種別、フォルダ、システム）が決まっている

•  個人情報・人事・役員・契約・売上など「機微」カテゴリは明示的に除外している

•  本番環境への書き込みは原則禁止になっている（少なくとも初期は）

•  AIの権限は“人の権限を代行”ではなく、“専用の最小権限アカウント”で付与している

要点：AIは“万能社員”ではなく“限定されたオペレーター”として扱う。

2) 実行前チェック（プレビューと承認）

•  AIは実行前に「何を・誰に・いつ・どれだけ」をプレビューできる

•  社外送信・請求確定など不可逆操作は、人の承認が必須になっている

•  承認者が内容を判断できる情報（差分、根拠、参照元）が提示される

•  “下書きで止める（提案モード）”が標準になっている

要点：事故の多くは「人が見ずに通る」ことから起きる。ワンクッションで激減します。

3) 実行時の制御（被害を小さくする安全装置）

•  1回の処理件数に上限がある（例：メールは最大10件まで）

•  対象範囲が限定される（例：特定顧客タグのみ、特定部署のみ）

•  レート制限・時間帯制限がある（深夜の一括実行を防ぐ等）

•  異常検知で自動停止できる（急増、宛先ドメイン異常など）

要点：100%の正しさをAIに期待しない。

　　　精度向上は継続するが、同時に“失敗しても致命傷にならない制御”を入れる。

4) 実行後の保証（監査ログと検知）

•  誰が（どのAIが）いつ何をしたか、監査ログが残る

•  重要操作はアラート通知される（Slack/メール等）

•  問題が起きたときの一次対応者が決まっている（止める人が明確）

•  定期レビュー（週次/月次）で、実行履歴と例外を棚卸しする

要点：“起きない”より“起きても早く気づいて止められる”が現実解です。

具体的な活用シーン：どう線引きする？

ケース1：議事録作成（社外秘が混ざる）

AIは議事録が得意ですが、会議には人事・売上・採用など機微情報が混ざりがちです。

推奨線引き：L1（生成のみ）＋アクセス範囲の制限

• 社内定例会議：文字起こし・議事録草案はOK

• 役員会議・人事・契約：対象外（または別環境・別ポリシー）

• 出力の保存先も制限（共有範囲の広い場所に自動保存しない）

ケース2：見積書作成（送信事故が致命傷）

「過去案件を参考に見積のたたき台」は生産性が上がります。

ただし、AI生成見積をそのまま送ると、単価や条件のミスで粗利が壊れます。

推奨線引き：L1（生成のみ）＋実行前チェック（送信は人）

• AI：見積書の草案作成、根拠（参照案件）提示

• 人：単価・条件・スコープ確認 → 送信ボタンは人が押す

• “送信つもりの下書き”で止める運用を標準化

ケース3：請求処理（不可逆の代表格）

請求確定は取り返しがつかない類です。自動化したいほど怖い領域。

推奨線引き：段階導入（L1→L2→L3）

• 初期：AIは下書きだけ（L1）、確定は経理が承認

• 次：軽微な範囲だけ自動（例：1万円以下の定型精算）※可逆性がある前提

• 実績が積めたら：定型請求の自動化（L3）※二者承認＋監査ログ＋上限

最初の2週間でやること（これだけで“事故確率”は下がる）

完璧な仕組みを最初から作る必要はありません。最初の2週間は、成果物を3つ作れば十分です。

1) AI利用の棚卸し（現状把握）

業務名 / ツール / 参照データ / 実行有無 / 不可逆操作有無 / 責任者→ 「今どこでAIが使われているか」を見える化

2) 権限レベルの暫定付与（L0〜L4）

• 各業務をL0〜L4に割り当て、まずはL1中心に寄せる

• 不可逆操作があるものは強制的に承認フローへ

3) 暫定ルール（A4 1枚でOK）

（例）

• 社外送信・請求確定・権限変更は必ず人が承認

• AIは最小権限の専用アカウントで運用

• 重要操作はログ＋通知必須

• 対象会議のルール（定例OK、役員/人事NG）を明記

この3点が揃うと「便利だけど怖い」状態から脱出できます。

まとめ

AIのガードレール設計は魔法ではありません。

ただ、「どこまで任せるか」を自分たちで決められるようになると、AIは“怖いもの”から“頼れる戦力”に変わります。

大切なのは「AIを使わない」でも「全部任せる」でもなく、自社に合った“ちょうどいい距離感”を設計することです。

御社では今、AIにどこまで任せていますか？

それは「意図して決めた範囲」でしょうか？

「うちで今、AIは何をしているんだろう？」——その問いを持つことがすべての始まりです。

あなたの会社に合った「ちょうどいい距離感」ぜひ見つけてみてください。