Latency คือเวลาที่ระบบใช้ในการตอบสนองต่อคำขอเดียว (ความเร็วในการเริ่มต้น) ในขณะที่ Throughput คือปริมาณงานทั้งหมดที่ระบบสามารถประมวลผลได้ภายในระยะเวลาหนึ่ง (ความสามารถในการจัดการงานจำนวนมาก) Latency ต่ำหมายถึงการตอบสนองที่รวดเร็ว ส่วน Throughput สูงหมายถึงการประมวลผลได้หลายงานพร้อมกัน [6, 12, 13]

Max Context Window กำหนดว่า LLM สามารถจดจำและทำความเข้าใจข้อมูลอินพุตได้มากน้อยเพียงใดในการเรียกใช้งานครั้งเดียว ยิ่งหน้าต่างบริบทกว้าง โมเดลก็ยิ่งเข้าใจบริบทที่ซับซ้อนและยาวนานได้ดีขึ้น ซึ่งจำเป็นสำหรับงานที่ต้องการความเข้าใจเชิงลึก เช่น การสรุปเอกสารยาวๆ หรือการสนทนาต่อเนื่อง [11, 15]

โดยทั่วไปแล้ว มีการแลกเปลี่ยนกันระหว่างความแม่นยำและ Latency [12] โมเดลที่ซับซ้อนกว่ามักจะมีความแม่นยำสูงกว่า แต่ก็ใช้เวลาในการประมวลผลนานกว่า ทำให้ Latency สูงขึ้น ในทางกลับกัน การปรับแต่งโมเดลให้มี Latency ต่ำลง (เช่น ลดขนาดโมเดล) อาจทำให้ความแม่นยำลดลงเล็กน้อย

ตัวชี้วัดเหล่านี้ส่งผลต่อต้นทุนโดยตรง [6] การลด Latency หรือเพิ่ม Throughput อาจต้องใช้ฮาร์ดแวร์ที่มีประสิทธิภาพสูงขึ้น (เช่น GPU ที่มีราคาแพง) หรือการใช้เทคนิคการปรับแต่งโมเดลที่ซับซ้อนขึ้น ซึ่งเพิ่มต้นทุนในการพัฒนาและใช้งาน นอกจากนี้ หน้าต่างบริบทที่กว้างขึ้นยังหมายถึงการประมวลผลโทเค็นจำนวนมากขึ้น ซึ่งมักจะคิดค่าใช้จ่ายตามจำนวนโทเค็นที่ใช้