The missing layer for autonomous laboratories

让实验室拥有 可持续学习的 Brain.

RealityLoop Lab Brain 持续理解实验真实发生了什么,将人、样品、设备、软件与环境产生的碎片信息,转化为有证据、可检索、可复用、可执行的实验知识与技能。

Focus生物 · 化学 · 环境 · 材料
PrimitiveExperimental Memory Unit
North Star可信实验知识转化率
live laboratory graph
LABBRAIN
Human经验 · 操作 · 介入
Instrument状态 · 参数 · 日志
Sample身份 · 谱系 · 状态
Software流程 · 数据 · 分析
Robot执行 · 恢复 · 学习
Memory retained 97.8% 关键实验效用保留
Evidence graph 24 claims 全部连接原始证据
One living system

从原始实验数据到可靠 AI 自动化

7纵向能力层
组织知识资产
1统一实验任务链
01 · Definition

不只是自动记录,
而是实验室的事实与执行层。

Lab Brain 将“真实发生的实验”从一次性过程转化为组织能够长期拥有的数字资产,并进一步编译为人、软件与机器人可以安全复用的实验技能。

将实验室隐性经验沉淀为可追溯、可复用的执行智能,使科研从依赖个人经验走向可持续学习与自主执行。
RealityLoop · Lab Brain Product Thesis
01 / TRUST

可信实验记忆

视频、语音、设备日志、样品信息与软件过程被统一组织为可检索的 Experimental Memory Units。

Evidence-grounded memory
02 / TRACE

证据化报告

报告中的每个 Atomic Claim 都可回到对应的视频片段、仪器日志和原始数据。

Claim → Evidence
03 / REASON

实验推理与 Debate

不只是顺从现有步骤,而是基于文献、本地 Memory 与现场反馈主动发现风险和潜在失败原因。

Challenge with evidence
04 / EXECUTE

执行与持续学习

统一调度人、样品、设备、软件和机器人,并将人工介入持续学习为新的 Skill 与恢复策略。

Executable intelligence
02 · Core Primitive

Lab Brain 的基本单位,
不是视频,也不是一篇报告。

系统将长程实验拆解为标准化的 Experimental Memory Unit(EMU)。每个 EMU 都是一条能够被验证、检索、组合和进一步执行的实验事实。

EMUExperimental
Memory Unit
THE ATOMIC UNIT OF LAB KNOWLEDGE

把一次真实操作,保存为一条完整的实验事实。

EMU 同时连接实验对象、动作、参数、状态变化、异常与原始证据。报告、检索、复盘、推理和自动执行都建立在同一事实底座之上。

01Experiment

项目、实验、Run 与 Protocol 版本

02Objects

样品、容器、试剂、批次、设备与文件

03Actor

实验人员、机器人、软件 Agent 与仪器

04Action

加液、混匀、离心、孵育、测量与转移

05Parameters

体积、速度、温度、时间、转速与浓度

06Pre / Post State

操作发生前后的对象与系统状态

07Time

开始、结束、持续时间、顺序与并行关系

08Evidence

视频、关键帧、设备日志、截图与传感器

09Deviation

遗漏、超时、顺序偏差、参数偏差与介入

10Outcome

局部状态变化与最终实验结果

11Confidence

系统置信度、冲突证据与不确定性

12Provenance

数据来源、模型版本、修改历史与审核者

一条 EMU 必须闭合完整事实链WHO → WHEN → OBJECT → DEVICE → PARAMETER → ACTION → STATE → EVIDENCE
什么时候对哪个对象使用什么设备以什么参数做了什么产生什么状态变化什么证据证明
03 · Capability Map

七层能力,构成完整的实验智能链。

评价 Lab Brain 的关键,不是某个模型单点准确率,而是知识是否被捕获、结构化、证据化、检索并最终用于真实实验决策与执行。

理解实验真实发生了什么

融合第一/第三视角视频、语音、仪器日志与软件状态,持续识别人、样品、设备和实验动作。

MULTIMODAL PERCEPTION
Vision Stream · CAM-03 Real-time
Detected events14:36:08
14:35:42.281Sample B selectedIdentity confidence 99.1%
14:35:47.936120 μL reagent addedPipette P300 · Tip batch T24
14:35:54.603Speed deviation detectedInjection rate above local optimum

把实验转化为统一事件与对象图谱

将“谁、何时、对什么对象、以什么参数、做了什么、产生什么状态变化”组织为标准化实验记忆单元。

EXPERIMENTAL MEMORY UNIT
Object-centric event graphRun #RL-2048
ACTORResearcher / RobotIdentity · permission · intervention
OBJECTSample / ReagentBatch · lineage · state
ACTIONPipette / Mix / MeasureParameters · duration · sequence
DEVICEInstrument / SoftwareStatus · log · calibration
EVIDENCEVideo / Sensor / Raw dataTimestamp · source · integrity
OUTCOMEState change / ResultConfidence · deviation · audit
Schema healthvalidated
Object identity100% linked
Parameter coverage97.8% complete
Temporal consistencyNo conflicts
Evidence provenance4 sources connected

保留关键证据,而不是保存全部冗余

在关键步骤和异常证据召回率约束下,最小化长视频与多模态 Memory 的存储开销。

LONG-HORIZON MEMORY
10 GB raw video→ 286 MB memory
Critical step recall98.7%
Anomaly evidence recall99.4%
Report utility retention97.9%
Memory policyadaptive
Protocol-awareRetain expected critical steps
Event-awareRetain state changes and interventions
Query-awarePreserve future audit evidence
Outcome-awareBacktrace result-related moments

每个报告结论都能够回到原始证据

为 Atomic Claim 绑定视频片段、仪器日志、样品状态与原始数据,构建可审计的 Evidence Graph。

CLAIM → EVIDENCE
Atomic Claimverified
CLAIM-024Sample B 在 4°C、12,000g 条件下离心 10 分钟Confidence 98.4% · No contradictory evidence
Video14:42:03–14:42:21
Instrument LogTask ID CEN-1482
Screen Capture4°C / 12,000g / 10m
Audit qualitypass
Citation precision99.0%
Evidence coverage96.2%
Unsupported claim rate0.8%

主动质疑流程,并分析细粒度失败原因

结合文献、本地 Memory 与真实现场证据进行 Protocol Debate,避免 AI 只是顺从当前实验步骤。

SCIENTIFIC DEBATE
Protocol challenge3 risks found
HIGH RISK注液速度高于历史成功窗口Local Memory: 7 similar failed runs · p=0.021
MEDIUM RISK当前孵育时间不适配该批次材料Based on batch metadata and 2 local records
SUGGESTION将注液速度调整至 25–32 μL/sExpected recovery probability: 78%
Root cause rankingRCA
#1 Injection rate0.71 posterior
#2 Mixing intensity0.18 posterior
#3 Batch drift0.08 posterior

同时推进物理样品与仪器软件流程

将人、样品、仪器、软件和机器人编入同一条任务链,持续核验状态并在异常时分级恢复。

UNIFIED TASK CHAIN
Workflow runtime executing
01 · Human approvalProtocol version RL-P12 accepted
02 · Liquid handlerDispensing completed · evidence captured
03 · IncubatorEnvironment stable · timer synchronized
04 · Analysis softwareQC running in parallel
05 · Recovery branchPlate reader failed → retry with alternate endpoint
Runtime KPIsrun 2048
Task success96.4%
Mean recovery time41 sec
Human interventions2 → learning queue

把一次人工介入,变成下一次系统能力

从毕业生经验、异常恢复和成功实验中提炼适用边界、前置条件、操作步骤与恢复策略,形成可执行实验 Skills。

CONTINUAL SKILL LEARNING
Skill compilerversion 3.2
HUMAN KNOW-HOW“这个批次要慢一点加液”Video + speech + successful outcome
EXECUTABLE SKILLRate window: 25–32 μL/sGuard · evidence · recovery · scope
Skill qualityproduction
Compilation success94.1%
Cross-operator reuse91.8%
Intervention learning67% automated next time
04 · Automated Documentation

自动记录能力不能只看“生成了一份报告”。

必须同时验证记录负担、关键项完整性、事实正确性、时间与顺序、异常捕获以及从事件发生到报告反馈的全链路延迟。

PAIRED HUMAN–AI EVALUATION

人工记录 vs. Lab Brain 自动记录

示意目标 · 非实测结果
Human Documentation Overhead

记录时间应覆盖实验中暂停、实验后整理、搜索原始数据与修正记录的全部成本。

采用同一 Protocol、同一操作者的交叉对照设计,比较完成同等质量记录所需的主动人工时间。

人工记录
32 min
Lab Brain
5 min
Documentation saving84%示意目标
Weighted Completeness & Fidelity

关键步骤、安全项、样品批次和异常介入必须采用严重度加权,而非简单计算字段数量。

同时统计漏记、少记、错记和无证据生成内容,避免“看起来完整”的系统幻觉。

关键项完整率96.4%vs. human 78.6%
参数容差准确率94.8%volume · speed · temperature
Unsupported Record< 1.0%没有原始证据的记录
样品关联准确率98.2%sample–action–parameter
Step, Order & Temporal Fidelity

系统必须定位“做了什么”,也必须知道它何时开始、何时结束、持续多久以及是否发生顺序偏差。

对短步骤、长等待、多样品并行和设备软件流程分别评测,避免平均分掩盖高风险错误。

加液混匀孵育 +4m离心测量顺序偏差
94.1Step F1
1.8sBoundary MAE
97.2%Order Accuracy
92.6%Parallel Tracking
Latency & Human Intervention

反馈时间应拆分为实时事件记录、异常告警和最终报告三个延迟,并报告 P50 / P90 / P95。

每次人工确认、修改和接管都进入学习队列,用于判断自动化是否真正降低认知与操作负担。

Event → EMU1.6 s
Anomaly → Alert4.8 s
Experiment End → Report2.4 min
Active human corrections3 / run
05 · Long-horizon Memory

不是压缩视频,
而是压缩实验,同时保留可验证性。

Lab Brain 在关键步骤、异常证据、报告能力和历史检索能力的约束下,求解最小存储,而不是简单设定固定压缩比例。

Memory Retention Simulator

拖动压缩强度,观察存储开销与信息保真度之间的动态关系。

Raw experimental video10.0 GB
Structured Lab Memory318 MB
91%
Critical Recall99.1%
Report Utility98.0%
Info Density31.4×
Protocol-aware

知道什么应该发生

结合实验 Protocol 与 SOP,优先保留预期关键步骤、前后状态和参数确认。

Outcome-aware

知道哪些瞬间影响结果

从失败结果反向定位潜在影响片段,将注液速度、等待、暴露和人工纠正沉淀为可检索证据。

Audit-ready

知道未来如何被验证

不仅生成摘要,还保留足以支持报告复核、异常回放与第三方独立审计的最小证据集合。

06 · Evidence Graph

报告不是一段生成文本,
而是一组可以被复核的结论。

选择左侧 Claim,观察报告 Item 如何映射到视频、仪器日志、样品状态与原始数据。每个异常也能通过同一证据链回看。

CLAIM-024 · PROCESS

Sample B 在 4°C、12,000g 条件下离心 10 分钟

由视频、仪器日志和屏幕参数共同支持。

98.4% confidence3 evidence
CLAIM-031 · DEVIATION

注液速度超过历史成功区间

现场视频速度估计与历史失败 Memory 一致。

92.8% confidence4 evidence
CLAIM-042 · OUTCOME

重复失败与混匀不足高度相关

跨 7 个 Run 的操作特征与结果共同支持。

88.1% confidence6 evidence
Evidence Explorer · CLAIM-024● provenance complete
Atomic Claim离心条件与时长4°C · 12,000g · 10 min
Video Evidence14:42:03–14:42:21样品放入离心机并关闭舱门
Instrument LogTask CEN-1482Program completed without interruption
Object StateSample B · Post-statePellet formed · temperature maintained
07 · Reasoning to Action

Memory 的终点不是被搜索,
而是减少下一次失败。

Lab Brain 将异常检测、历史检索、Protocol Debate、根因分析、结果验证与 Skill 更新闭合为持续学习回路。

01 · DETECT注液速度偏离成功窗口

现场视频估计 44 μL/s,超过本地成功区间。

02 · RETRIEVE检索 7 次相似失败

关联相同材料批次、操作方式和最终结果。

03 · DEBATE挑战当前实验计划

结合文献、Memory 与设备约束提出替代参数。

04 · VERIFY下一次实验结果改善

修正后 5/6 次恢复成功,根因得到真实结果验证。

05 · LEARN编译为可执行 Skill

加入速度 Guard、证据要求、适用范围与恢复策略。

Critical Flaw Recall92.4%能否发现预设高风险缺陷
Root Cause Recall@388.7%真实根因是否进入前三
Intervention Success83.1%建议是否真实改善结果
Skill Reuse Success91.8%经验能否被下一位操作者复用
08 · LabBrain-Eval

功能是否真正有效,
必须通过量化方法被证明。

评价体系同时覆盖可信知识转化、技术能力、人机协作、实验结果改善和组织知识保留,使每项方法优化都能对应客观能力增益。

PRIMARY NORTH STAR

TEKCR

可信实验知识转化率

只有关键知识同时完成捕获、证据化、检索和成功复用,才被视为真正进入 Lab Brain。

01Capture正确捕获
02Ground充分证据
03Retrieve可被检索
04Reuse成功复用
TEKCR被正确捕获、有充分证据、可检索且被成功复用的关键知识单元/实验中全部关键知识单元
AUXILIARY NORTH STARS

八个指标回答 Lab Brain 是否真正创造价值

它们分别约束记录成本、证据保留、审计复核、一次成功率、失败减少、技能复用、跨人员复现与毕业交接。

01 · HUMAN LOADHuman Documentation Overhead

每次实验需要人工投入的主动记录、搜索、补充与修正时间。

↓ lower is better
02 · MEMORYCritical Evidence Recall

关键步骤、异常和人工介入证据被保留并可检索的比例。

↑ safety constrained
03 · AUDITAudit Replay Rate

第三方仅凭系统记录即可验证报告结论和重建过程的比例。

↑ independently verifiable
04 · OUTCOMEFirst-Time-Right Rate

使用 Lab Brain 规划、检查和执行后,一次成功完成实验的比例。

↑ scientific outcome
05 · FAILURERepeat Failure Reduction

已经分析和处理过的同类失败再次发生的下降程度。

↓ repeated waste
06 · SKILLSkill Reuse Success

历史经验被编译为 Skill 后,由其他人员或系统成功复用的比例。

↑ executable knowledge
07 · REPRODUCECross-Operator Reproducibility

不同实验人员执行相同流程时,过程和结果的一致性。

↑ operator invariant
08 · HANDOVERKnowledge Retention After Handover

关键人员毕业或离职后,实验室仍能检索并复用其核心经验的程度。

↑ organizational memory
Capability Profile

多维能力评分,而不是一个不可解释的总分

示意评分仅用于展示结构。正式 Benchmark 应先通过安全关键硬门槛,再报告各维度分数、置信区间和不同实验条件下的分层结果。

示意能力画像
86Lab Brain Score
Observation & Structuring91

步骤、参数、对象和时间结构化能力

Memory & Retrieval88

关键证据保留、历史检索与压缩效率

Evidence & Auditability93

Claim–Evidence 映射与独立审计能力

Reasoning & Diagnosis79

流程质疑、根因排序与建议有效性

Execution & Recovery82

任务成功、设备调用和异常恢复能力

Learning & Transfer74

人工介入学习与跨环境技能迁移

09 · System Architecture

从多模态世界状态,
到可执行实验技能。

系统架构围绕可信数据链设计:任何推理和执行都必须回到实验对象状态、原始证据和版本化的知识来源。

可信实验运行时

连接实验室多模态数据源,维护对象中心状态,并为异常检测、报告、推理与执行提供统一上下文。

统一时间轴与对象身份
实时状态同步与质量校验
全过程执行轨迹与版本记录
安全边界与人工审批节点
Human · Camera · Sensor · InstrumentWORLD INPUT
Perception & Event ExtractionOBSERVE
Object-Centric Lab Brain RuntimeSTATE + PROVENANCE
Memory · Evidence · ReasoningINTELLIGENCE
Human · Software · Robot ExecutionACTION

实验记忆与证据图谱

将长程实验转化为可搜索的记忆单元,并连接视频片段、日志、样品、参数、异常和实验结果。

Experimental Memory Unit
多模态证据索引
关键视频选择与压缩
历史相似实验检索
Raw Video · Audio · Logs · FilesRAW DATA
Temporal SegmentationEVENTS
Evidence-grounded Memory GraphMEMORY
Claim Retrieval · Audit ReplayACCESS
Cross-run Pattern MiningLEARNING

实验规划、Debate 与失败分析

联合公开文献、实验室历史经验和真实现场状态,对实验计划进行挑战、修正与根因排序。

Literature-aware planning
Local Memory retrieval
Protocol challenge benchmark
Evidence-backed root cause analysis
Goal · Protocol · ConstraintsINPUT
Literature + Local Memory RetrievalCONTEXT
Multi-Agent Scientific DebateREASON
Risk · Alternative · ConfidenceDECISION
Outcome VerificationLEARN

可执行实验技能与异常恢复

把成功经验和人工介入编译为带适用边界、前置条件、证据要求和恢复策略的 Executable Skills。

Protocol IR 与设备适配
Guard 与成功判据
分层异常恢复
跨设备、跨操作者复用
Human Know-how + Successful RunsEXPERIENCE
Skill CompilationSTRUCTURE
Executable Experimental SkillSKILL FILE
Runtime Guard + Recovery PolicySAFETY
Human · Software · RobotEXECUTE
10 · Benchmark & Data

构建产品的同时,
构建能够证明产品的方法学。

LabBrain-Eval 需要真实人工记录、完整原始视频、多模态设备数据、专家 Gold 标注和后续实验结果,才能回答每种方法究竟改善了什么。

BIO · CHEMISTRY · ENVIRONMENT · MATERIALS

生化环材四领域真实湿实验基准

BIO细胞培养 · PCR/qPCR · 免疫实验样品身份、无菌操作、孵育与长期状态
CHEM反应配置 · 监控 · 后处理纯化试剂批次、加料条件、反应状态与安全边界
ENV水样前处理 · 污染物检测 · 仪器分析采样链、保存条件、校准与数据质量
MAT浆料配置 · 涂布热处理 · 性能表征配比、工艺窗口、设备曲线与跨批次复现
01
Raw Multimodal Runs

第一/第三视角视频、语音、仪器日志、软件录屏、传感器、文件和人工记录。

02
Gold EMU & Evidence

步骤边界、对象、参数、状态、异常、报告 Item、证据区间和专家根因。

03
Generalization Splits

Unseen Operator、Device、Protocol Variant、Laboratory 与 Long Horizon。

04
Baselines & Ablations

人工记录、完整视频、固定抽帧、通用模型,以及移除 Memory、Evidence、Debate 和 Recovery。

METHOD CONTRIBUTION功能存在 ≠ 方法有效

每项能力必须通过 Baseline、Ablation 和真实结果验证,明确 Protocol-aware Memory、Evidence Graph 或 Debate 分别带来多少提升。

Method+Controlled Comparison+Real Outcome→ Quantified Contribution
11 · High-value Scenarios

从记录负担,到组织级实验智能资产。

Lab Brain 的价值不仅体现在单次实验效率,更体现在毕业交接、重复失败减少、实验复现和跨设备执行能力上。

01 / HANDOVER

毕业与知识交接

将师兄师姐的隐性操作经验、异常处理和历史上下文沉淀为新人可直接检索和复用的实验记忆。

Knowledge retention
02 / REPRODUCE

实验复现与偏差定位

识别步骤遗漏、超时、顺序和参数偏差,并帮助团队找到“看起来相同但结果不同”的细粒度原因。

Deviation intelligence
03 / FAILURE

失败复盘与根因分析

结合 Web、历史 Memory 和现场证据,对失败原因进行排序,并通过后续实验结果验证建议是否真正有效。

Evidence-backed RCA
04 / AUTONOMY

人机协同实验执行

统一推进物理样品、仪器软件与机器人流程,对人工介入节点持续记录、验证和学习。

Adaptive execution
Reality becomes reusable intelligence

让每一次真实发生的实验,
都成为实验室未来能力的一部分。

Lab Brain 将实验过程从一次性行为升级为可信、可追溯、可学习和可执行的组织智能。