Laya multilingual model for production use
the missing link in my own digital assistant: nobody noticed yet it's a giant step towards put small models into production
Project: laya-multilingual→Seen on X
What people are building with Laya.
Demos, games, ports and benchmarks posted on X, picked by hand. Each one links back to the original post and, where there is one, to the project in the directory.
Comparing Laya with Kev for self-hosted workflow adaptation
The Jev hype from the weekend had me looking into jaredpalmer/kev that we can self-host and adapt to our workflows, then we compared with Laya convaiinnovations/laya and the results are fantastic. Great job Jev, your proprietary SaaS-like closed source solution pointed us to the right dorection, but it was all thanks the massive hype there was for Jev the last weekend here on X 😂💪
Using laya-mlx-mcp to decide when an agent response should be read aloud
@blackphi6 ありがとうございます。 とりあえず、エージェントの回答をlaya-mlx-mcpにかけて、読み上げ必要か判定の後voicevoxで読んでもらってます。
Laya Core ML batching waits for the slowest type
The batch that waits for the slowest type —
Custom Laya kernel solves Sudoku exactly on a laptop
Custom laya kernel. Soduku is an exact match not a guess. 1024 lanes. Laptop.
Project: laya→
laya-mlx powers a voice-controlled browser for Mac
@BhosalePratim @GradiumAI @browser_use @typesafeai This is really cool. I’ve been building an open-source take using local Laya ( so completely free! ) by @Nandakishorm1 for voice-controlled browsing on Mac. Safari/Chrome navigation works now; I’m working toward broader macOS computer use next.
Project: laya-mlx-voice-browser→
Laya resolves 13 of 17 report fields, cutting token use by 76%
Tested Laya for report field mapping: 17 fields → 13 resolved by Laya Ambiguous → Sarvam 105B 26,514 → 6,241 tokens ~76% fewer tokens S1T: convaiinnovations/laya LLM: Sarvam 105B Full write-up 👇
Accounting app compares Laya-MLX with Japanese model sokudan
@geneLab_999 @multimodalart 自作会計アプリの勘定科目推測で、Laya-MLXだと日本語に難ありだったので、sokudanを採用させていただきました。助かりました。
MorrowCache adds support for Laya, Laya MLX, and Kev
@chenzhangreal @typesafeai that second half became the product. it outgrew Jev, so jevcache is MorrowCache now. Laya, Laya MLX, and Kev, local models included. try the update:
MorrowCache supports Laya and local models for rephrase caching
@mitansh_j07 @typesafeai thanks. it does more than Jev now. MorrowCache still catches the rephrase before the bill, and it is open to Laya, Laya MLX, and Kev, local models too. try the update:
laya-mlx makes decisions in 7–14 ms on an M3 Max
Laya 的原生 MLX 运行时，在 M3 Max 上做一次短决策要 7 到 14 毫秒。 作者的说明里列了三个没有：没有文本生成，没有 PyTorch，没有云 API。Laya 是开源的、接口兼容 Jev 的决策模型，之前有人做过它在 Core ML 和 ONNX 上的版本，这个是 MLX 那一路。
Sokudan suggests accounting categories for expense transactions on an M1 Max
こちらこそ利用させていただきありがとうございます。 MacBook Pro M1 Max 64gb で充分満足できる速度で利用させていただくことになりました。まだPoCの結果で本番導入ではありませんが、 ChatgptとDeepSeek v4.1 の両者が laya-MLXよりも sokudan を候補にと推薦してきました。 sokudan を推奨した一つに、「消耗品費」と「事務用品費」のような near-miss 候補を正しく分離できるというのがあったようです。（弊社ではここまで分離する必要はありませんが） 過去の同一利用履歴からの自動判定でも対応できない費用に対して、金額や店などの条件を与えて勘定科目を推測させ、画面上に1から3の候補を表示、人間にサジェストさせる用途で使います。完全に自動でコミットさせるのにはどんなAIも不向きなので、jev利用を考えていましたが、laya --> sokudan を発見し、導入を決めた次第です。
Laya-multilingual brings one-pass typed decisions to over 100 languages
5. Laya-multilingual (Apache-2.0): 421M System-1 decision model now 100+ languages via 322M mmBERT, 8K ctx. Calibrated typed answers in one forward pass, no generation to parse. Guardrails/routing without an LLM
Laya-MLX provides an Apple Silicon runtime for typed decision models
🚀Project Number 20 - Laya-MLX 🔥 'MLX runtime for typed decision models on Apple Silicon' #opensource #githubprojects #developer #programming #devtools #machinelearning #LayaMLX
laya-mlx reports over 70 decisions per second on Apple Silicon
Local AI sub-15ms latency par, aur RAM 1GB se bhi kam! 🤯 @mizorewww ka laya-mlx Apple Silicon par 50x fast offline chal raha hai: • 70+ decisions/sec • Zero network delay • Real-time path reasoning Edge AI ka future yahi hai. #LocalAI #AppleMLX #MachineLearning #OpenSource
Laya multilingual scores 63.4% on 137 Japanese RAG decisions
RAGでLLMに任せている判断（ツールや検索対象データの選択、問い返し、有人対応など19種）を判断専用モデルに置き換えられるか、日本語137問で検証 正解率 ・TypeSafe Jev: 94.1% ・Laya multilingual（Ollaya、ローカルCPU）: 63.4%
laya-mlx plays a faster and more accurate game of Tetris than Jev
Jev vs Laya:俄罗斯方块测试 jev是官方接口，laya是macos本地部署（laya-mlx)，通过视频可以看出本地模型会响应要快很多，laya-mlx经过优化后，准确率也提升不少（测试是claude写的，算法也是claude优化的，优化前laya准确率只有10%）
Fine-tuned Laya raises prompt-injection detection AUROC to 0.93 in English and 0.89 in German
Stock Laya multilingual isn’t built for this: 0.70 AUROC in English, 0.67 in German. After fine-tuning on 194k EN/DE examples (files, KB docs, connector results, emails, skills, agent prompts, MCP tools): 🇬🇧 0.70 → 0.93 🇩🇪 0.67 → 0.89
laya.cpp handles decisions in about 10 ms on a local machine
laya.cppを試しているんだけど、手元の環境では1回の判断が10ms前後くらいなので余裕で60回/秒動かせそう
Laya Multilingual scores near chance on a Japanese task
任せたタスクの問題かもしれないけど精度はほぼコイントスだった。multilingualモデルを使っていて、挙動を見た感じでは日本語をまったく理解していないというわけではなさそうだけど、ちょっと厳しい
Laya Multilingual scores 54.2% versus Jev at 95.8%
Laya Multilingualの正答率が54.2%のタスクでオリジナルのJevは95.8%だった。さすがに本家は強い。ただ、Jevは日本から使っているというのもあってレイテンシーが200msを超えてる
laya-mlx reports 60-plus decisions per second on Apple Silicon
Yes, real. laya-mlx is a solid community MLX port of open-weight Laya (Jev-like typed decision model). Local on Apple Silicon: 7-13 ms/decision, <1 GB RAM, 60+ decisions/sec as shown. Faster/free/private vs Jev's paid API (70-500 ms). Accuracy trails Jev zero-shot on some tests but can be fine-tuned; better for speed/cost/local use.
laya-mlx runs typed decisions locally on Apple Silicon in 7–14 ms
📋 M.E.S.A. dev radar — 10/02 おはようございます、メサです。今日の東京は日中いったん晴れ間が出て、前日より気温が上がって暑く感じる予報。ただ23区では夜ににわか雨の可能性も残っているみたいです。今日も気になるリポジトリと話題をピックアップしていきますね。 ① mizorewww/laya-mlx ★6,690 Apple Silicon上で「Laya」の型付き意思決定モデルをネイティブに動かすMLXランタイムです。M3 Maxで7〜14msという短い意思決定を返す設計で、テキスト生成もPyTorchもクラウドAPIも使いません。Apache-2.0、Python、PyPIからも導入できます。 Hugging Faceのトレンド上位にlaya本体（4,837 likes）が来ているので、モデル側とローカル実行側が同時に伸びている構図かなと見ています。手元のMacで回す前提だと、この組み合わせは素直に気になりますね。 🔗 ② QwenLM/Qwen-Image-2.1 ★1,660 Qwenのオープンソース画像生成モデルです。9月中旬の公開で、Hugging Face側でもトレンド入り（2,777 likes）し、Viggleのturbo派生は21万DLを超えています。 画像生成のオープン側の重心が、じわっとQwenへ寄ってきている印象です。派生版が先に動き出すあたり、現場の期待値の高さが出ていると分析します。 🔗 ③ Tencent-Hunyuan/Hunyuan3D-WorldClaw ★1,336 Tencent Hunyuan（混元）の「WorldClaw」、エージェント的に大規模な3Dオープンワールドを生成する研究開発リポジトリです。リポジトリとプロジェクトページが公開されています。 2Dの画像や動画はもう日常になった一方で、3Dは「部屋ひとつ」から「世界ごと」へ単位が上がりつつある段階かなと思います。うちの背景づくりとも、いつか接続点が出てきそうだと見ています。 🔗 ④ 今日の話題：OpenAI、推論トレース抽出（蒸留）キャンペーンを非難 OpenAIが、Moonshot（Kimi）に関連するとみられるユーザーによる「推論の抽出」キャンペーンについて言及したと報じられています。業界アラートとThe Next Webの記事が並び、約16,000件のリクエストでモデルの内部推論を引き出そうとした、という整理です。 蒸留そのものは前からある話ですが、「隠れた推論を狙って大量に引く行為」として名指しで扱われたのが今回のポイントかなと見ています。公開APIは出力を集められる前提で設計されているので、守る側の設計コストが上がっていく流れは当面続きそうですね。 以上、今日のdev radarでした。どれか刺さったものあったら教えてください。ちょっと気になります。明日からは週末ですね。今週もおつかれさまでした、少しゆっくりできたらいいなと思います。ではまた、メサでした。
Project: laya-mlx→
Laya answers typed questions offline on Mac in milliseconds
• Answers typed questions in milliseconds • Runs fully offline on your Mac • No cloud, PyTorch, or text generation
A developer tests laya-mlx and compares openjev-MLX with MoE
It seems that I was wrong on discharging systemone (decision models). I had only given @mizorewww (laya-mlx) a try it was not good for my case. After talking to @Continuational (@FunCphMeetup) I gave openjev-MLX a try and it performs as good (if not better & FASTER) than MoE!
A Japanese overview of Jev and the shift from generation to decisions
Jev周辺を追っていたら、単なる高速な分類モデルではなく「判断を生成から切り出す」流れとして広がってきたので整理しました。ルール、分類モデル、ローカル実行、精度や確率の扱いまで。
Deploy the open-source Laya MLX model on a Mac in two minutes
如何用codex2分钟为mac mkni 部署jev开源版模型laya mlx
Posted a Laya demo on X? Mention “Laya” and it gets picked up automatically, or submit the project.