Inti bacaan

Sebuah aplikasi AI bisa mulai terasa lambat meski timnya tidak mengganti model. Pengguna mungkin mengirim dokumen lebih panjang atau berdatangan pada jam yang sama. Pada 19 November 2026, AWS menjelaskan fitur SageMaker AI yang memantau layanan penyajian model dan memberi tahu tim ketika latensi mulai bergeser, GPU jarang terpakai, atau konfigurasi layak diperiksa kembali.

Cakupannya spesifik. AWS menyebut pemantauan aktif secara bawaan untuk endpoint yang memakai kontainer vLLM dan instans GPU. Endpoint adalah alamat layanan tempat aplikasi meminta model memproses masukan. Menurut AWS, fitur pemantauan ini melihat sinyal operasional dan konfigurasi. Isi pertanyaan serta jawaban pengguna tidak dibaca oleh fitur tersebut.

Daftar isi

Bagaimana memutuskan apakah konfigurasi perlu diganti?

Pisahkan waktu menunggu kata pertama dari waktu menunggu seluruh jawaban. Pada fitur tanya jawab singkat, awal respons yang tersendat bisa membuat pengguna mengulang klik. Pada fitur peringkasan dokumen, pengguna mungkin lebih peduli kapan hasil lengkap siap dibaca. Pilihan ukuran ini memengaruhi apakah perubahan konfigurasi benar-benar memperbaiki pengalaman orang yang memakai aplikasi.

Membaca median tanpa melupakan jam sibuk

AWS membandingkan median latensi dari pekan ke pekan, antara lain untuk waktu sampai token pertama dan waktu respons keseluruhan. Median adalah nilai di tengah urutan pengamatan. Misalnya lima permintaan buatan selesai dalam satu, dua, dua, tiga, dan dua belas detik. Mediannya dua detik. Ada satu pengguna yang menunggu dua belas detik meskipun angka tengah terlihat baik.

Karena itu tim yang menerima peringatan perlu membaca hasilnya bersama pola kunjungan. Apakah antrean panjang terjadi tepat sesudah jam makan siang? Apakah layanan ringkasan mulai dipakai untuk dokumen lebih panjang? Pemantauan dapat menunjukkan kapan melihat lebih dekat. Penyebab dalam dua contoh itu masih harus dibuktikan dari pengukuran yang sesuai.

Apa yang terjadi setelah peringatan datang?

Temuan dikirim melalui AWS Health. Dari sana, tim dapat membuka SageMaker Studio dan membandingkan konfigurasi saat ini dengan alternatif, antara lain berdasarkan waktu respons, banyaknya pekerjaan yang selesai, serta biaya per sejuta token. AWS menyebut uji pembanding berjalan pada komputasi terpisah. Tim memilih sendiri apakah hasilnya cukup baik untuk diterapkan pada layanan aktif.

Untuk layanan yang sepi pada pagi hari dan padat menjelang tenggat, konfigurasi lebih kecil mungkin tampak menarik selama uji dengan lalu lintas rendah. Sertakan kondisi sibuk dalam pembandingan dan lihat apakah batas waktu layanan masih tercapai. Angka penghematan baru memiliki arti jika pengguna tetap mendapat jawaban pada saat mereka membutuhkannya.

Pisahkan biaya pemantauan dan biaya percobaan

AWS menyebut pemantauan ini tidak menimbulkan biaya GPU. Benchmark memakai tarif standar SageMaker AI atau reservasi komputasi pembelajaran mesin yang sesuai. Sebelum menjalankan uji pada beberapa pilihan, tentukan beban kerja dan berapa alternatif yang sungguh perlu dibandingkan. Pemberitahuan bahwa ada GPU menganggur, dengan sendirinya, belum memastikan percobaan tambahan akan kembali modal.

Laptop dengan editor kode di meja kerja.
Foto ilustrasi pekerjaan dengan perangkat lunak. Foto: Dawit / Unsplash · Unsplash License

Sumber dan referensi

Informasi berasal dari pengumuman penerbit. Nalarku independen dan tidak mewakili perusahaan tersebut.

Sumber diperiksa 21 Nov 2026, 09.35 WIB. Disusun dengan bantuan AI dan review editor.

Proses editorial dan penggunaan AI ·

NALAR PEKAN

Pahami kabar AI pilihan lewat email.

Kabar yang sudah ditinjau, konteks Indonesia, dan satu latihan untuk dicoba. Email dikirim ketika edisi sudah siap; konfirmasi alamatmu untuk berlangganan.

Memeriksa kesiapan pendaftaran email…

Pernah berlangganan? Kelola langganan atau daftar kembali.

Baca edisi web · Penggunaan data email