本文作者来自马里兰大学的 CASE (Collaborative, Automated, Scalable, and Efficient Intelligence) Lab，主要参与者为博士生孙国恒与王子瑶，指导教师为李昂教授。 近年来，大型语言模型（LLM）在处理复杂任务方面取得了显著进展，尤其体现在多步推理、工具调用以及多 ...

我们正迈入一个由大语言模型（Large Language Model, LLM）驱动的 AI 新时代，LLM在诸如客户服务、虚拟助理、内容创作、编程辅助等各类应用中正发挥着越来越重要的作用。 然而，随着 LLM 规模不断扩大，运行大模型所需的资源消耗也越来越大，导致其运行也越来越 ...

摘要：在 AI 开发进入深水区的 2026 年，如何选择靠谱的 LLM API 聚合服务商？本文基于延迟、价格、大模型 覆盖与合规性四大维度，深度评测全球十大 AI 大模型 聚合平台（OpenRouter, SiliconFlow, n1n.ai 等），助您避坑选择最佳 LLM API 合作伙伴，构建稳定的 AI ...

Hello folks，我是 Luga。今天我们来聊聊大语言模型（LLM）在 AI 应用中的关键基础设施——AI Gateway。 大模型从实验室走向生产，当 AI Agent 开始成为业务核心，云原生网关的使命已经悄然发生根本性转变：不再只是负责流量转发与负载均衡的“交通警察”，而正在进化成 AI ...

LLM是Large Language Model的简称，中文名是大语言模型，是一种基于海量文本数据训练的深度学习模型（人工智能模型）。 LLM发展至今，其参数量已经达到万亿规模。 私有LLM应用场景一般是私有化部署，给公司内部员工使用，聚焦垂直领域，训练数据涵盖公司特有 ...

11月16日，微软Ignite 2023大会盛大召开，英伟达高管出席并宣布更新了TensorRT-LLM版本。该版本现已支持对OpenAI Chat API的支持，并且还增强了DirectML功能。 今年10月份，英伟达面向数据中心和Windows PC推出了Tensor RT-LLM开源库。其中最大的亮点在于，如果Windows PC配备 ...

OpenAI & other LLM API Pricing Calculator 是一款专注于大型语言模型API价格对比的工具，提供实时价格比较、多维度分析（按模型类型、token用量等）、可视化图表及成本节省估算功能。支持OpenAI、Azure、AWS等主流服务商的价格追踪，帮助开发者根据用量精准预估API调用 ...

针对基于LLM的NLP软件输入鲁棒性测试难题，提出AORTA框架与ABS方法。AORTA将测试转化为组合优化问题，支持黑盒环境下的17种现有测试方法扩展，ABS通过自适应束宽和回溯策略优化搜索效率，在三个数据集和五种LLM模型上平均成功率达86.14%，较基线减少3441.9秒/次 ...

刚刚，硅谷爆出新料：OpenAI企业市场份额断崖式下跌，Anthropic全面反超！ GPT-5再不来，奥特曼正要熬夜头秃，无法入眠了！ 刚刚，OpenAI最强劲敌Anthropic被曝年化收益已达45亿美元，晋级为史上增长最快的软件公司。 在LLM API赛道上，Anthropic成功登顶，而OpenAI在AI ...

语言AI公司DeepL宣布旗下API解决方案推出新一代语言模型（next-gen LLM）与DeepL API for Write两大功能。新一代语言模型进一步提升翻译的准确度与精确度，而DeepL API for Write则让企业通过API直接使用文法建议、拼字修正等先进的写作工具。这次更新将为DeepL API用户提升 ...

谷歌云推出了Model Armor的公开预览版，这是一个集成到Apigee API管理平台的原生大语言模型（LLM）治理框架。一篇社区帖子中详细介绍了Model Armor，它引入了针对LLM特定策略的即开即用执行，例如提示验证、输出过滤和API层的token级控制。 Model Armor直接在Apigee的代理 ...

在数字化转型与AI技术快速发展的双重驱动下，API已成为企业业务与外部世界连接的神经中枢。然而，随着API的深度应用，针对API的攻击规模与复杂性也在持续升级。 API为何频频成为黑客重点盯防的突破口？企业常见的API防护手段是否还能应对日益智能化的攻击？