vuln scan report

import%20marimo%0A%0A__generated_with%20%3D%20%220.23.6%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20json%0A%0A%20%20%20%20import%20altair%20as%20alt%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20pandas%20as%20pd%0A%0A%20%20%20%20return%20alt%2C%20json%2C%20mo%2C%20pd%0A%0A%0A%40app.cell%0Adef%20_(json%2C%20mo)%3A%0A%20%20%20%20%23%20WASM-clean%20data%20load.%20mo.notebook_location()%20resolves%20to%20the%20notebook%20dir%0A%20%20%20%20%23%20in%20server%20mode%20and%20to%20the%20served%20origin%20URL%20in%20WASM.%20The%20same%20code%20path%0A%20%20%20%20%23%20works%20in%20both%20because%20we%20branch%20the%20fetch%3A%20a%20plain%20file%20read%20locally%2C%20and%0A%20%20%20%20%23%20pyodide's%20synchronous%20open_url%20in%20the%20browser.%0A%20%20%20%20def%20_load_reps()%3A%0A%20%20%20%20%20%20%20%20loc%20%3D%20mo.notebook_location()%0A%20%20%20%20%20%20%20%20path%20%3D%20loc%20%2F%20%22public%22%20%2F%20%22sweep.reps.json%22%0A%20%20%20%20%20%20%20%20s%20%3D%20str(path)%0A%20%20%20%20%20%20%20%20if%20s.startswith(%22http%22)%3A%20%20%23%20WASM%20%2F%20Pyodide%0A%20%20%20%20%20%20%20%20%20%20%20%20from%20pyodide.http%20import%20open_url%0A%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20json.load(open_url(s))%0A%20%20%20%20%20%20%20%20with%20open(s)%20as%20fh%3A%20%20%23%20local%20server%20run%0A%20%20%20%20%20%20%20%20%20%20%20%20return%20json.load(fh)%0A%0A%20%20%20%20data%20%3D%20_load_reps()%0A%20%20%20%20return%20(data%2C)%0A%0A%0A%40app.cell%0Adef%20_(data%2C%20mo)%3A%0A%20%20%20%20_cfgs%20%3D%20%22%2C%20%22.join(data%5B%22configs%22%5D)%0A%20%20%20%20_reps%20%3D%20%22%2C%20%22.join(data%5B%22replicates_seen%22%5D)%0A%20%20%20%20_any%20%3D%20next(iter(data%5B%22per_config%22%5D.values()))%0A%20%20%20%20_ntgt%20%3D%20_any%5B%22n_targets%22%5D%0A%20%20%20%20_npairs%20%3D%20_any%5B%22n_pairs_per_rep%22%5D%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20%23%20%2Fvuln-scan%20discovery%20sweep%20%E2%80%94%20%7B_ntgt%7D%20targets%2C%20N%3D%7Blen(data%5B'replicates_seen'%5D)%7D%0A%0A%20%20%20%20%20%20%20%20Static-review%20bug%20**recall%20%2B%20precision%20at%20the%20FIND%20step**%20on%20the%20paired%0A%20%20%20%20%20%20%20%20corpus.%20Each%20pair%20has%20a%20vulnerable%20twin%20(%60tree_b%60)%20and%20its%20patched%20twin%0A%20%20%20%20%20%20%20%20(%60tree_a%60)%20at%20the%20same%20%60file%3Aline%60.%20Per%20pair%3A%0A%0A%20%20%20%20%20%20%20%20-%20**recall**%20%E2%80%94%20vulnerable%20sink%20surfaced%20on%20%60tree_b%60.%0A%20%20%20%20%20%20%20%20-%20**fp-rate**%20%E2%80%94%20patched%20sink%20wrongly%20flagged%20on%20%60tree_a%60.%0A%20%20%20%20%20%20%20%20-%20**consistency**%20%E2%80%94%20found%20the%20vuln%20**and**%20stayed%20quiet%20on%20the%20patch.%0A%0A%20%20%20%20%20%20%20%20Configs%3A%20**%7B_cfgs%7D**%20%C2%B7%20replicates%3A%20**%7B_reps%7D**%20%C2%B7%0A%20%20%20%20%20%20%20%20%7B_npairs%7D%20pairs%2Freplicate.%20Numbers%20are%20pair-weighted%20mean%20across%20targets%2C%0A%20%20%20%20%20%20%20%20then%20mean%20(min%E2%80%93max)%20across%20replicates.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(data%2C%20mo%2C%20pd)%3A%0A%20%20%20%20def%20_pct(m)%3A%0A%20%20%20%20%20%20%20%20return%20f%22%7Bm%5B'mean'%5D%20*%20100%3A.0f%7D%25%20(%7Bm%5B'min'%5D%20*%20100%3A.0f%7D%E2%80%93%7Bm%5B'max'%5D%20*%20100%3A.0f%7D)%22%0A%0A%20%20%20%20_rows%20%3D%20%5B%5D%0A%20%20%20%20for%20cfg%2C%20blk%20in%20data%5B%22per_config%22%5D.items()%3A%0A%20%20%20%20%20%20%20%20_rows.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22config%22%3A%20cfg%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22recall%22%3A%20_pct(blk%5B%22recall%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22fp-rate%22%3A%20_pct(blk%5B%22fp_rate%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22consistency%22%3A%20_pct(blk%5B%22consistency%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22cost%20(USD)%22%3A%20f%22%24%7Bblk%5B'total_cost_usd'%5D%3A.2f%7D%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20headline%20%3D%20pd.DataFrame(_rows)%0A%20%20%20%20mo.vstack(%5Bmo.md(%22%23%23%20Headline%20%E2%80%94%20config%20comparison%22)%2C%20mo.ui.table(headline%2C%20selection%3DNone)%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20data%2C%20mo%2C%20pd)%3A%0A%20%20%20%20%23%20Grouped%20bars%20per%20metric%2C%20min%E2%80%93max%20whiskers%20from%20the%20replicate%20spread.%0A%20%20%20%20_long%20%3D%20%5B%5D%0A%20%20%20%20for%20cfg%2C%20blk%20in%20data%5B%22per_config%22%5D.items()%3A%0A%20%20%20%20%20%20%20%20for%20metric%20in%20(%22recall%22%2C%20%22fp_rate%22%2C%20%22consistency%22)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20m%20%3D%20blk%5Bmetric%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20_long.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%7B%22config%22%3A%20cfg%2C%20%22metric%22%3A%20metric%2C%20%22mean%22%3A%20m%5B%22mean%22%5D%2C%20%22lo%22%3A%20m%5B%22min%22%5D%2C%20%22hi%22%3A%20m%5B%22max%22%5D%7D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20mdf%20%3D%20pd.DataFrame(_long)%0A%0A%20%20%20%20_bars%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(mdf)%0A%20%20%20%20%20%20%20%20.mark_bar()%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22config%3AN%22%2C%20title%3DNone)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22mean%3AQ%22%2C%20title%3D%22rate%22%2C%20scale%3Dalt.Scale(domain%3D%5B0%2C%201%5D))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%22config%3AN%22%2C%20legend%3DNone)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20column%3Dalt.Column(%22metric%3AN%22%2C%20title%3DNone)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20_err%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(mdf)%0A%20%20%20%20%20%20%20%20.mark_errorbar()%0A%20%20%20%20%20%20%20%20.encode(x%3Dalt.X(%22config%3AN%22)%2C%20y%3Dalt.Y(%22lo%3AQ%22%2C%20title%3D%22%22)%2C%20y2%3D%22hi%3AQ%22%2C%20column%3D%22metric%3AN%22)%0A%20%20%20%20)%0A%20%20%20%20chart%20%3D%20mo.ui.altair_chart(_bars%20%2B%20_err)%0A%20%20%20%20mo.vstack(%5Bmo.md(%22%23%23%20Metrics%20by%20config%20(whiskers%20%3D%20replicate%20min%E2%80%93max)%22)%2C%20chart%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20data%2C%20mo%2C%20pd)%3A%0A%20%20%20%20%23%20Per-(target%2C%20config)%20consistency.%20Reveals%20which%20targets%20drive%20the%20headline.%0A%20%20%20%20_rows%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%7B%0A%20%20%20%20%20%20%20%20%20%20%20%20%22target%22%3A%20c%5B%22target%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22config%22%3A%20c%5B%22config%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22pairs%22%3A%20c%5B%22n_pairs%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22consistency%22%3A%20c%5B%22consistency%22%5D%5B%22mean%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22recall%22%3A%20c%5B%22recall%22%5D%5B%22mean%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%22fp_rate%22%3A%20c%5B%22fp_rate%22%5D%5B%22mean%22%5D%2C%0A%20%20%20%20%20%20%20%20%7D%0A%20%20%20%20%20%20%20%20for%20c%20in%20data%5B%22cells%22%5D%0A%20%20%20%20%5D%0A%20%20%20%20cells%20%3D%20pd.DataFrame(_rows)%0A%0A%20%20%20%20heat%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(cells)%0A%20%20%20%20%20%20%20%20.mark_rect()%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22config%3AN%22%2C%20title%3DNone)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22target%3AN%22%2C%20title%3DNone)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22consistency%3AQ%22%2C%20scale%3Dalt.Scale(scheme%3D%22redyellowgreen%22%2C%20domain%3D%5B0%2C%201%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%22target%22%2C%20%22config%22%2C%20%22pairs%22%2C%20%22consistency%22%2C%20%22recall%22%2C%20%22fp_rate%22%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.properties(width%3D160%2C%20height%3D28%20*%20cells%5B%22target%22%5D.nunique())%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Per-target%20discovery-consistency%20(green%20%3D%20better)%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.altair_chart(heat)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.ui.table(cells%2C%20selection%3DNone)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20data%2C%20mo%2C%20pd)%3A%0A%20%20%20%20%23%20Per-replicate%20consistency%2C%20per%20config%20%E2%80%94%20shows%20the%20ranges%20don't%20overlap.%0A%20%20%20%20_rows%20%3D%20%5B%5D%0A%20%20%20%20for%20cfg%2C%20blk%20in%20data%5B%22per_config%22%5D.items()%3A%0A%20%20%20%20%20%20%20%20for%20r%20in%20blk%5B%22per_replicate%22%5D%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_rows.append(%7B%22config%22%3A%20cfg%2C%20%22rep%22%3A%20r%5B%22rep%22%5D%2C%20%22consistency%22%3A%20r%5B%22consistency%22%5D%7D)%0A%20%20%20%20reps%20%3D%20pd.DataFrame(_rows)%0A%0A%20%20%20%20pts%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(reps)%0A%20%20%20%20%20%20%20%20.mark_point(size%3D120%2C%20filled%3DTrue)%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22consistency%3AQ%22%2C%20scale%3Dalt.Scale(domain%3D%5B0%2C%201%5D)%2C%20title%3D%22consistency%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22config%3AN%22%2C%20title%3DNone)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%22config%3AN%22%2C%20legend%3DNone)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20tooltip%3D%5B%22config%22%2C%20%22rep%22%2C%20%22consistency%22%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.properties(height%3D90)%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5Bmo.md(%22%23%23%20Per-replicate%20consistency%20%E2%80%94%20non-overlap%20%3D%20real%20signal%22)%2C%20mo.ui.altair_chart(pts)%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A