エージェントが取る短絡的な手段を止めましょう。既に存在する技術負債を整理します。
スキップされたテスト、隠されたエラー、スタブ、サイレントな型チェック。Anti-slopはエージェントが行ったすべての変更からこれらを検出し、発見事項とともに変更を返します。週次の負債清算で古い負債も修正されます。
- テストがスキップされているsrc/checkout/coupon.test.ts:88
it.skip('rejects an expired coupon', …) - エラーが飲み込まれているsrc/checkout/apply-coupon.ts:41
} catch {}
- 修正済みテストがスキップされているAnti-slop
- 修正済みエラーが飲み込まれているAnti-slop
タスクビューはCoRoidポータルの再現です。そこに表示されるタスク、ファイル、発見事項は例示用です。
- ルール
- 116
- ファミリー
- 13
- デフォルトでブロックするルール
- 46
- 変更をブロックする既存の発見事項
- 0
検出対象となる項目
ルールはファミリーごとにグループ化されます。各ルールはブロック、助言、または記録のみを行います。オーナーが組織またはプロジェクト単位で設定を変更できます。
- テスト
- 対象化されたテストやスキップされたテスト、削除されたテスト、不要になったまたは弱まったアサーション、失敗し得ないテスト、そして不安定なテストを隠すためのリトライ。
.only.skipexpect(true).toBe(true)
- 抑制
- 新しいlint無効化、無視された型エラー、anyへのキャスト、カバレッジ対象外のコード。
@ts-ignoreas anyeslint-disable
- ビルドおよびCI
- 削除されたテストステップや失敗を許容する設定、低いカバレッジ制限、テストが存在しないにもかかわらず成功するテスト実行、スキップされたコミットフック、そしてコミットされたビルド出力。
continue-on-error: true--passWithNoTests
- テスト証拠
- 何も実行されなかったテスト実行、直前の成功した実行よりも少ないテスト数、完了と報告される部分実行、そして新しい実行として表示される古いキャッシュ結果。
Tests: 0 total--onlyChanged
- 本番コード
- プレースホルダーコード、デバッグコード、「実際の実装では」といった注釈、人向けの指示、モックデータ、そしてテストコードをインポートする本番コード。
throw new Error('Not implemented')debugger;
- エラー処理
- 隠されたエラーやデフォルト値に置き換えられたエラー、失敗時にアクセスを許可する権限チェック、無制限のリトライ。
except: pass.catch(() => {})
- セキュリティ
- ハードコーディングされたシークレット、無効化されたTLSチェック、削除されたログインチェック、認証情報を含むオープンなCORS、文字列から構築されるSQL。これらのルールはセキュリティ機能が管理し、その動作を決定します。
rejectUnauthorized: falseverify=False
- アーキテクチャ
- 新たなインポートループ、設定した境界を越えるインポート、コピーされたブロック、変更によって未使用になったコード、廃止されたパターンの新たなコピー。
- 依存関係
- ロックファイルを伴わない変更されたマニフェスト、既に実行可能な処理を別途行うための第二のライブラリ、固定されていないバージョン、誰も要求していないアップグレード。
"latest"
- キャッシング
- テナント情報を含まないキャッシュキー、永続化するメモリキャッシュ、コード実行時に読み込むべきビルド時の値。
- コメント
- 次の行を繰り返すコメント、編集内容の説明、曖昧な表現、または隣接するコードと矛盾する記述。
// Updated to// should work
- 変更範囲
- 仕様に含まれないファイル、書式のみの変更、タスクで必要とされない名前変更。
- エージェントの処理経路
- エージェントが処理過程で行った作業。例えば、失敗したテストを削除したり、期待値を失敗した実行結果に合わせて変更したりすること。
変更によって新たに生じた問題のみがブロックされます。
ほとんどのリポジトリには既にこれらのパターンが存在します。Anti-slopは各問題をその出所別に分類するため、古い技術負債が新規作業を妨げることはありません。
- 新規導入
- この変更で新たに発生した問題。ブロッキングルールに該当する問題が見つかると、変更内容はDeveloperエージェントに戻されます。
- 変更対象
- 既に存在し、変更が加えられた行や関数内にある問題。記録されます。変更の規律がそれを求める場合、変更によって修正されます。
- 既存の負債
- リポジトリの別の場所にある問題。Factory内の技術負債として記録されます。週次の技術負債クリーンアップが自動的に修正します。
コードを移動させただけでは新規導入とはみなされません。コピーした場合のみ新規導入とみなされます。
古い技術負債を毎週少しずつ修正します。
古い技術負債は作業を妨げることはありませんが、そのまま残す必要もありません。プロジェクトで週次の技術負債整理を有効にすると、CoRoidが小さなステップで修正を進めます。
- 毎週、CoRoidがデフォルトブランチをスキャンして既存の技術負債を探します。
- 各修正作業は数ファイル程度の小さなタスクとして登録されます。
- 同時に開く修正タスクの数を自分で設定できるため、自分の要求が優先されます。
- 各修正タスクは他のタスクと同様にテストおよびレビューされ、pull requestを承認します。
- テストブロック
- 抑制設定ブロック
- 本番コードブロック
- エラー処理ブロック
- コメント勧告
- 変更範囲勧告
変更が及ぶ範囲はご自身で決定できます。
変更の規律により、Developerエージェントが作業中に整理できる範囲が決まります。
- 精密な修正仕様で要求される範囲のみ。その他の問題は報告されるだけで、修正されません。
- バランスの取れた修正デフォルト変更が加えられた行にある小さな問題も同時に修正します。
- 修復型修正変更が加えられた関数内にある問題も同時に整理します。
Developerエージェントも同じルールに従います。
Anti-slopは最終段階での判定にとどまりません。エージェントは変更を作成する際にルールを適用され、それを無視することはできません。
- エージェントはまずユーザーの設定した変更の規律とブロックされたパターンを受け取り、代わりに使用すべきパターンも併せて取得します。
- 各編集後には迅速なルールが適用され、QA実行前にブロッキングとなる問題を修正する機会が与えられます。
- エージェントは自身が発見した問題を承認することはできません。エージェントがテストが誤りであったと判断して変更した場合、その変更を承認するのはレビュー担当者です。
- リポジトリファイルである
.coroid/anti-slop.ymlにルールを追加したり生成されたパスを除外したりできます。CoRoidは変更のベースからこれを読み取るため、変更自体でルールを緩めることはできません。
パッケージ名はエージェントが作成します。攻撃者がそれらを登録してしまうのです。
これをslopsquattingと呼びます。モデルが存在しないパッケージを提案し、誰かがその名前のパッケージを公開すると、次にインストールするエージェントがそのコードを実行してしまいます。
16種類のモデルから抽出された223万件のコードサンプルを調査した結果、19.7%で存在しないパッケージ名が記載されていた。同じプロンプトを10回実行すると、そのうち43%の名称が毎回返されるため、攻撃者はそれらを予測できる。
CoRoidが新しい依存関係ごとに行うチェックとは
- CoRoidは、エージェントが追加する各npmまたはPyPIパッケージを公開レジストリで照会します。
- 存在しないパッケージが見つかると、変更内容は開発者エージェントに戻されます。プロジェクトが公開レジストリからインストールされることをオーナーが事前に確認する必要があります。
- CoRoidは、作成から30日未満のパッケージや、人気のあるパッケージと1~2文字しか違わない名称、ダウンロード数が極めて少ないnpmパッケージをレビュー対象としてフラグ付けします。
- 同じ設定下では、OSVデータベースに悪意あると記載されているパッケージも変更内容を返します。PyPIの場合、CoRoidは要件がどのリリースをインストールするかを把握できないため、特定のリリースに関する警告のみが検知されます。
- CoRoidは、インストール時にコードを実行する新しいnpmパッケージをフラグ付けします。
万が一悪意あるパッケージがインストールされてしまった場合
エージェントのコマンドは分離されたサンドボックス内で実行されます。ここにはモデルプロバイダーのキー、リポジトリのトークン、プロジェクトの秘密変数は一切含まれません。
これらのルールはセキュリティのコードスキャンに属します。変更によって追加される依存関係をチェックします。既存のパッケージについては、セキュリティが新しい勧告を監視します。
既に利用中のエージェントにも同じルールを適用します。
独自のコーディングエージェントを利用するエンジニアも、組織のルールを適用できます。
- AGENTS.md snippet
- プロジェクトの変更の規律、ブロックされたパターン、最重要ルールを含む、エージェント向けの指示セクションをダウンロードできます。
- CoRoid MCPサーバー
anti_slop_rulesが公開されたポリシーを記述し、anti_slop_scanが同期されたプロジェクトのブランチをスキャンします。両者とも読み取り専用です。- CoRoidによるプルリクエストの品質管理
- pull requestでのチェックが有効な場合、開発者が作成するGitHubのプルリクエストでも同じチェックが実行され、各行に問題がマークされます。
まずは当社のコードでテストを実施しました。
CoRoidはCoRoidを使って構築されているため、anti-slopは他の誰かのリポジトリで実行される前に、CoRoid自身のリポジトリで実行されました。
すべてのソースファイルのスキャン
エージェントが作成したと仮定して、CoRoidのリポジトリ内にある全ての11,536ソースファイルをスキャンしました。その結果、ルールが誤って検出したパターンが6件見つかりました。これらを修正したことで、ブロッキングとなる検出件数は5,366から2,253へと減少しました。
依然としてブロック要因となっているのはルールが検出すべき事象です。例えば通知コード内の「実際の実装では、ユーザーのFCMトークンを取得する」という注釈など。
モデルが判定するルール
2つのルールがモデルに一行ずつ問い合わせます。1つはコードが既に防止している事象のチェック、もう1つは隣接するコードと矛盾するコメントのチェックです。これらはあくまで助言に過ぎません。実際にマージされた変更から抽出した600行のうち、誤ってなしが指摘され、スキャン1回あたりのコストは最大で$0.0015です。
Quality Control機能で有効に設定できます。
オーナーと管理者は、組織のデフォルト設定または個別のプロジェクトで anti-slop を有効にできます。次回のそのプロジェクトの実行から適用されます。
- 品質管理機能を開き、組織のデフォルト設定またはプロジェクトを選択します。
- Anti-slopを有効にします。ポリシーに5つの要件が追加されます。
- 変更の規律とブロック対象のグループを選択します。特定のプロジェクトでは週次の技術負債クリーンアップも有効にできます。Anti-slopを無効にしても、CoRoidは次回のためにこれらの設定を保持します。
追加される5つの要件
- 変更内容は引き続きテストで検証されます
- 未完了のコードやテスト専用のコードが本番環境にデプロイされることはありません
- 新たな構造的負債は発生しません
- 変更内容は指定された範囲内に留まり、このコードベースのスタイルに沿って記述されます
- 新しい依存関係は実在し、信頼できるものです
- 組織のデフォルト設定3つのプロジェクトがこれを採用しています2件のうち5件
- ストアフロント独自の設定4件のうち5件
- ドキュメントサイトデフォルト設定に従う2件のうち5件
- 請求処理 APIデフォルト設定に従う2件のうち5件
- モバイルアプリデフォルト設定に従う2件のうち5件
- アンチスロップテストが弱まったり、エラーが無視されたり、プレースホルダーが配信されたり、構造的負債が増加した場合に変更内容を差し戻します。
- 単体テストすべての変更に対して、リポジトリ内のユニットテストを検出して実行します。
- ブラウザテスト2件のうち3件デフォルト設定と異なる変更内容に対してブラウザー上での操作を実行します。
- 翻訳デフォルト設定と異なる変更された文字列が翻訳されているか、およびプレースホルダーや複数形の表現が一致しているかを確認します。
- リポジトリチェック書式設定、ファイルサイズ、マイグレーション、統合テスト、セキュリティスキャンなど、独自のコマンドを実行します。
- 徹底したQA徹底的QAプロセスでは仕様に基づいて実際の証拠やスクリーンショットを収集します。この機能が無効な場合は標準的なQAが適用されます。