QA Engineer Generative AI Focus
Code.id
- South Jakarta, IndonesiaMangkuluhur City Tower One 7th Floor, South Jakarta, DKI Jakarta, IndonesiaSouth JakartaDKI JakartaIndonesiaIndonesia
- KontrakCONTRACTOR
Lowongan dipasang 8 hours ago dan batas waktu lamaran adalah 30 Aug
Rekruter terakhir aktif an hour ago
2026-07-02T02:58:59.461626+00:002026-08-30T17:00:00+00:00Deskripsi Pekerjaan
- Merancang, menyusun, dan melaksanakan test case untuk pengujian manual maupun otomatis pada aplikasi berbasis AI, chatbot, dan Large Language Models (LLM).
- Melakukan pengujian kualitas respons AI berdasarkan aspek akurasi, relevansi, koherensi, konsistensi, serta mengidentifikasi potensi hallucination pada hasil yang dihasilkan model.
- Melakukan validasi terhadap sistem Retrieval-Augmented Generation (RAG) untuk memastikan jawaban yang diberikan sesuai dan didukung oleh dokumen referensi (groundedness/faithfulness).
- Mengembangkan, memelihara, dan menjalankan automation test menggunakan Selenium, Playwright, Cypress, atau framework berbasis Python untuk pengujian API dan end-to-end.
- Melakukan pengujian API menggunakan Postman, JMeter, atau tools sejenis, termasuk pengujian fungsional, performa, throughput, dan latency layanan AI.
- Melakukan pengujian keamanan dasar terhadap aplikasi AI melalui simulasi prompt injection, jailbreak, dan red teaming untuk memastikan efektivitas guardrails dan mekanisme keamanan AI.
Kualifikasi Minimum
- Experience: Minimal 2-3 tahun pengalaman sebagai QA Engineer (Manual & Automation). Pengalaman dalam menguji aplikasi berbasis data atau chatbot sangat diutamakan.
- LLM Testing & Evaluation: Memahami metodologi pengujian khusus AI, termasuk evaluasi kualitas jawaban (akurasi, relevansi, dan koherensi) serta teknik hallucination detection.
- RAG Testing Knowledge: Memahami cara menguji sistem Retrieval-Augmented Generation, terutama dalam memvalidasi apakah jawaban sistem benar-benar bersumber dari dokumen referensi yang diberikan (Groundness/Faithfulness).
- Automation Skills: Mahir menggunakan tools automation seperti Selenium, Playwright, atau Cypress. Familiar dengan Python untuk menulis skrip pengujian otomatis pada level API.
- Prompt Injection & Security: Memahami teknik red teaming sederhana untuk menguji ketahanan model terhadap prompt injection atau upaya pembobolan sistem agar AI tetap memberikan respon sesuai batasan (guardrails).
- Data Validation: Kemampuan melakukan kueri SQL/NoSQL untuk memverifikasi integritas data yang masuk ke dalam vector database atau sistem audit log.
- API Testing: Mahir menggunakan Postman atau JMeter untuk menguji performa API, throughput, dan latency (terutama karena LLM memiliki latensi yang lebih tinggi dibanding API standar).
Ringkasan Perkerjaan
- Tingkat Posisi
- Lulusan Baru / Junior
- Spesialisasi
- IT and Software
- Persyaratan tingkat pendidikan
- Lulus program Sarjana (S1)
- Respon rekruter ke lamaran
- Sometimes
- Alamat Kantor
- Jalan Gatot Subroto 3, RT02/RW04, Karet Semanggi Kel., Setia Budi, Jakarta Selatan, 12930, Indonesia
Agar merasa aman saat melamar: carilah ikon verifikasi dan selalu lakukan riset terhadap Perusahaan yang Anda lamar. Hindari dan laporkan situasi dimana Perusahaan membutuhkan bayaran dalam proses rekrutmen mereka.
Tentang Code.id
CODE.ID was previously a business unit of INTEGRASI, a system integrator that also provided software services established in 1999. In 2014, CODE.ID becomes an independently run company which currently has around 100 passionate developers with a myriad numbers of skill sets.
CODE.ID has been established since 1999 and became a publicly listed company in Jakarta Stock Exchange in 2001 - as PT Integrasi Teknologi Tbk. It was back to be a private company in 2007.
Our Success Stories:
We successfully developed, deployed, and supported Information Technology Infrastructure for Komisi Pemilihan Umum (KPU) or the National Election Commission in 2004. We developed the election application and also distributed, installed, and supported (7x24 hour) two data centers and 8000 VPN connected personal computers in 5,000 locations in the cities, rural areas, and remote areas all over Indonesia.