QA Engineer Generative AI Focus
Code.id
- South Jakarta, IndonesiaMangkuluhur City Tower One 7th Floor, South Jakarta, DKI Jakarta, IndonesiaSouth JakartaDKI JakartaIndonesiaIndonesia
- ContractualCONTRACTOR
Posted 11 hours ago and deadline of application is on 30 Aug
Recruiter was hiring 4 hours ago
2026-07-02T02:58:59.461626+00:002026-08-30T17:00:00+00:00Job Description
- Merancang, menyusun, dan melaksanakan test case untuk pengujian manual maupun otomatis pada aplikasi berbasis AI, chatbot, dan Large Language Models (LLM).
- Melakukan pengujian kualitas respons AI berdasarkan aspek akurasi, relevansi, koherensi, konsistensi, serta mengidentifikasi potensi hallucination pada hasil yang dihasilkan model.
- Melakukan validasi terhadap sistem Retrieval-Augmented Generation (RAG) untuk memastikan jawaban yang diberikan sesuai dan didukung oleh dokumen referensi (groundedness/faithfulness).
- Mengembangkan, memelihara, dan menjalankan automation test menggunakan Selenium, Playwright, Cypress, atau framework berbasis Python untuk pengujian API dan end-to-end.
- Melakukan pengujian API menggunakan Postman, JMeter, atau tools sejenis, termasuk pengujian fungsional, performa, throughput, dan latency layanan AI.
- Melakukan pengujian keamanan dasar terhadap aplikasi AI melalui simulasi prompt injection, jailbreak, dan red teaming untuk memastikan efektivitas guardrails dan mekanisme keamanan AI.
Minimum Qualifications
- Experience: Minimal 2-3 tahun pengalaman sebagai QA Engineer (Manual & Automation). Pengalaman dalam menguji aplikasi berbasis data atau chatbot sangat diutamakan.
- LLM Testing & Evaluation: Memahami metodologi pengujian khusus AI, termasuk evaluasi kualitas jawaban (akurasi, relevansi, dan koherensi) serta teknik hallucination detection.
- RAG Testing Knowledge: Memahami cara menguji sistem Retrieval-Augmented Generation, terutama dalam memvalidasi apakah jawaban sistem benar-benar bersumber dari dokumen referensi yang diberikan (Groundness/Faithfulness).
- Automation Skills: Mahir menggunakan tools automation seperti Selenium, Playwright, atau Cypress. Familiar dengan Python untuk menulis skrip pengujian otomatis pada level API.
- Prompt Injection & Security: Memahami teknik red teaming sederhana untuk menguji ketahanan model terhadap prompt injection atau upaya pembobolan sistem agar AI tetap memberikan respon sesuai batasan (guardrails).
- Data Validation: Kemampuan melakukan kueri SQL/NoSQL untuk memverifikasi integritas data yang masuk ke dalam vector database atau sistem audit log.
- API Testing: Mahir menggunakan Postman atau JMeter untuk menguji performa API, throughput, dan latency (terutama karena LLM memiliki latensi yang lebih tinggi dibanding API standar).
Jobs Summary
- Job Level
- Entry Level / Junior, Apprentice
- Job Category
- IT and Software
- Educational Requirement
- Bachelor's degree graduate
- Recruiter response to application
- Sometimes
- Office Address
- Jalan Gatot Subroto 3, RT02/RW04, Karet Semanggi Kel., Setia Budi, Jakarta Selatan, 12930, Indonesia
Feel secure when applying: look for the verified icon and always do your research on a company. Avoid and report situations when employers require payment or work without compensation as part of their application process.
About Code.id
CODE.ID was previously a business unit of INTEGRASI, a system integrator that also provided software services established in 1999. In 2014, CODE.ID becomes an independently run company which currently has around 100 passionate developers with a myriad numbers of skill sets.
CODE.ID has been established since 1999 and became a publicly listed company in Jakarta Stock Exchange in 2001 - as PT Integrasi Teknologi Tbk. It was back to be a private company in 2007.
Our Success Stories:
We successfully developed, deployed, and supported Information Technology Infrastructure for Komisi Pemilihan Umum (KPU) or the National Election Commission in 2004. We developed the election application and also distributed, installed, and supported (7x24 hour) two data centers and 8000 VPN connected personal computers in 5,000 locations in the cities, rural areas, and remote areas all over Indonesia.