by FluidInference
Automates form filling on Apple devices with on-device models, including Laya through Core ML
Local computer use on Apple silicon: on-device typed decisions with laya and form filling with CUA-S1-FORMS, driven through the macOS Accessibility API
Use cases
On X
Thanks for the model, we were able to port Laya to coreml with 99.5% of the ops on ANE + benchmarked too. it is now blazing fast with 3.7 ms per decision on an M5 Pro. Release: Models:
Project: FluidUse→
苹果芯片本地自动化迎来新突破：开源项目 FluidUse 实现了完全基于端侧运行的“Computer Use”。 它摒弃了昂贵且高延迟的云端多模态大模型方案，通过 macOS 原生的 Accessibility API（辅助功能接口）直接抓取运行中 Mac 应用或浏览器页面的表单上下文，由 Apple 芯片的 Neural Engine（ANE）或 GPU 运行超轻量端侧模型判定填入内容，再直接驱动系统完成键入与交互。 核心特性与性能亮点： • 极致速度与能效：运行 706K 参数的表单模型 CUA-S1-FORMS 时，在 Neural Engine 上的单次决策延迟仅约 1 毫秒（0.9ms）；搭配 322M 的 laya 模型，单次前向传播直接输出选择与评分概率，无需逐字生成 token， short 决策耗时仅约 3.7ms。 • 全面的端侧模型矩阵：支持 GLiNER 2.5、Kev-0.8B、Clef-vision（端侧视觉决策）、Decision 2.0/3.0 以及用于意图分类与 PII 隐私脱敏的 Vela 2.0。除了自动填表，还适配了 Tetris、2048 等交互演示。 • 100% 数据隐私安全：计算完全在本地设备完成，零数据出机，非常适合财务报销、内部审批、客户凭证录入等敏感场景。 • 清晰的安全边界：专注把字段匹配到已有数据画像，不盲目生成长篇自由文本，且默认不自动触发最终 Submit 提交，兼顾自动化与人工复核。 对于探索端侧 AI Agent、Swift + Core ML 落地以及隐私优先型工作流自动化的开发者，这个项目提供了一套极佳的工程实践范式。 项目链接：
Project: FluidUse→Related projects
laya-coreml
mizorewww
Runs Laya typed-decision models locally on Apple Silicon using Core ML and the Neural Engine
typesafe-mcp
itsmostafa
Connects AI agents to typed-decision models through an MCP server
quackd
rokbenko
A Python CLI coordinates robots using LLMs, vision-language-action models, and decision models
laya-ultrafast
ipenywis
Runs a browser automation agent using local Laya decisions through MLX
mu
qybaihe
Provides a coding agent with a judgment kernel that can use Laya as its local judge
laya-typed-decisions
convaiinnovations
A Laya model fine-tuned for agent traces, customer service, invoices, and security incidents
