AI 1 分钟阅读

手机内存装不下 60GB 模型怎么办？用 BigMoeOnEdge 把 MoE 专家按 Token 从闪存调进来

手机上的本地大模型，最常见的瓶颈不是 CPU 算得慢，而是权重根本放不进内存。尤其是 MoE（Mixture of Experts，混合专家）模型：文件可能有 18GB、60GB，甚至更大；但在生成一...

2026年8月7日 tinyash

阅读全文

AI 1 分钟阅读

端侧 AI Agent 不是自动攻击按钮：从 Nightcrawler 看手机本地推理、作用域代理与授权边界

把小型语言模型放到手机上，再让它调用安全工具，听起来很像“随身的自动渗透测试员”。Nightcrawler 的价值恰好不在于把这件事包装成炫技：它把本地模型、工具调用和网络访问限制拆成不同层，迫使使用...

2026年8月4日 tinyash

阅读全文

AI 1 分钟阅读

别把宠物摄像头只当告警器：用 pet-report 在本地把 Frigate 事件变成可复核的每日记录

家里已有 Frigate 摄像头时，常见的体验是：移动侦测和对象识别已经能产生大量事件，但信息仍碎成一段段通知。看到「检测到猫」以后，主人还得打开片段、判断是不是同一只、回忆今天是否喝水、有没有比平时...

2026年8月4日 tinyash

阅读全文

AI 1 分钟阅读

Ollama AI大模型管理工具

Ollama 是一个强大的工具，能够轻松访问和使用各种机器学习模型。本文将详细介绍如何在 Windows 和 Linux 上安装 Ollama，下载模型，使用模型以及如何部署前端 Open-WebUI。

2024年7月21日 tinyash

阅读全文