发布时间:2024-08-15
IT之家2月19日消息,OpenAI在去年11月召开的DevDay活动中,推出了GPT-4 Turbo,最多支持12.8万个token:输入token价格是GPT-4的三分之一,输出token价格是其二分之一。 OpenAI近日发布新闻稿,宣布GPT-4 Turbo速率上限翻番,每分钟最多可处理150万个token(TPM),而且完全取消了每日限制。 OpenAI为了防止滥用、确保公平性和管理基础架构负载,限制企业访问API的速率。这种限制可以防止恶意超载应用程序接口,确保所有用户都能公平访问,并通过节流指定时间内允许的请求数量,在高需求期间保持平稳的性能。 IT之家注:OpenAI一共使用了5种速率限制:RPM(每分钟请求数)、RPD(每天请求数)、TPM(每分钟tokens数量)、TPD(每天tokens数量)和IPM(每分钟图像数量)。 需要注意的是,速率限制是对组织级别实施的,对个体用户没啥影响。速率限制因所使用的模式而异,组织每月在API上的总支出也有"使用限制"。-九游体育入口