Skip to content

feat:新增请求性能数据记录 #421

@ding113

Description

@ding113

如首字节时间、每秒输出 token 数(请求耗时-首字节时间作为输出用时,该请求输出 token 除以输出用时)

请求性能数据记录于现有 log 表中,持久化存储于数据库。并在请求详情弹框中单独开辟区域精简显示。

并在排行榜中新增供应商排行榜部分,新增首字节时间、每秒输出 token 数两列统计口径。删除请求耗时列。(因为无意义)

需要确认:如何确定首字节时间(比如应该为流式输出收到第一个块的时间,不管是不是 message 块)

Metadata

Metadata

Assignees

No one assigned

    Projects

    Status

    Done

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions