Apa Itu AI Generative LLMs? Bagian Dua

 

Ilustrasi AI Generative LLMs yang terus di update dan butuh di latih
Gambar : gorbysaputra.com

Pada bagian kedua ini saya gorby saputra. hmmmm gimana ya memang tidak sedikit yang ingin tahu AI Generative itu apa? AI Generative LLMs itu seperti apa?.

Mengapa saya berani mengatakan demikian?

Coba anda kroscek semenjak kehadiran AI seperti ChatGPT, Open AI, Meta, Gemini, Deepseek. berapa banyak hal-hal yang ditanyakan kepada AI itu semua?

Dari Pertanyaan yang receh,sedang, hingga mendalam, jika sudah tau, hmmmm dari itu saja tampak mana pengguna yang betul-betul bisa memanfaatkan AI, mana yang hanya sekedar iseng ?.

Berikut penjelasan detail tentang pembaruan data dan pelatihan AI Generatif serta LLM (Large Language Models), termasuk frekuensi dan metode yang digunakan oleh perusahaan pengembang:

Apakah Data dan Pelatihan AI Selalu Diperbarui?

AI Generatif dan LLM tidak selalu dilatih ulang secara penuh (full retraining) karena memerlukan biaya komputasi yang sangat besar. Namun, perusahaan melakukan pembaruan melalui dua pendekatan utama:

• Pembaruan Data Masukan: Menambahkan data baru ke dataset pelatihan.
• Pembaruan Model: Menyesuaikan parameter model atau arsitektur AI.

Jenis Pembaruan pada AI Generatif/LLM

Full Retraining (Pelatihan Ulang Penuh)

Apa Itu?

• Melatih model dari awal dengan dataset yang diperbarui (termasuk data lama + baru).

Frekuensi:

• Dilakukan setiap 1–3 tahun untuk model besar seperti GPT-4, Gemini, atau Claude.

Contoh:

• GPT-3 dirilis 2020 → GPT-4 dirilis 2023.
• Google BERT (2018) → BERT versi terbaru (2022).

Alasan Jarang Dilakukan:

• Biaya komputasi sangat tinggi (jutaan dolar).
• Risiko catastrophic forgetting (model lupa pengetahuan lama).

Fine-Tuning (Penyesuaian Bertahap)

Apa Itu?

• Melatih ulang sebagian parameter model pada data spesifik untuk meningkatkan performa di area tertentu.

Frekuensi:

• Dilakukan beberapa kali per tahun, tergantung kebutuhan.

Contoh:

• OpenAI memperbarui GPT-4 untuk memahami informasi terbaru (misalnya, pandemi COVID-19).
• Google memperbarui Gemini agar bisa menjawab pertanyaan tentang teknologi terkini.

Continuous Learning (Pembelajaran Berkelanjutan)

Apa Itu ?

• Memasukkan data baru secara bertahap tanpa mengganggu pengetahuan model yang ada.

Frekuensi:

• Real-time atau harian, tetapi jarang digunakan untuk LLM skala besar karena risiko bias dan ketidakstabilan.

Contoh:

• Model rekomendasi TikTok/Instagram yang terus belajar dari interaksi pengguna.

Sumber Data yang Diperbarui

Perusahaan menggunakan berbagai sumber data untuk memperbarui model:

Data Publik Terbaru:

• Artikel berita, jurnal ilmiah, buku, forum (Reddit, Quora).

Data Pengguna (Anonim):

• Interaksi pengguna dengan model (misalnya, riwayat chat di ChatGPT).

Sumber Khusus:

• Lisensi data dari organisasi (misalnya, data medis dari rumah sakit).

Faktor yang Menentukan Frekuensi Pembaruan

Tabel Penjelasan Faktor yang menentukan frekuensi pembaruan AI Generative
Data : gorbysaputra.com

Contoh Pembaruan oleh Perusahaan Terkemuka

OpenAI (ChatGPT, GPT-4)

Full Retraining:

• GPT-3 (2020) → GPT-3.5 (2022) → GPT-4 (2023).

Fine-Tuning:

• Pembaruan bulanan untuk meningkatkan akurasi dan mengurangi respons berbahaya.

Data Update:

• Data pelatihan terbaru hingga April 2023 (versi GPT-4 Turbo).
• Google (Gemini, Bard)

Continuous Integration:

• Model Gemini diperbarui dengan data dari Google Search dan YouTube.

Penyesuaian Real-Time:

• Integrasi informasi terkini (misalnya, hasil olahraga atau pemilu) melalui Google Search.

Meta (LLaMA)

Versi Model:

• LLaMA 1 (2023) → LLaMA 2 (2023) → LLaMA 3 (2024).

Open-Source Updates:

• Komunitas developer bisa melakukan fine-tuning pada model dasar.

Proses Pembaruan Data & Pelatihan

Pengumpulan Data:

• Menggunakan web crawlers (misalnya, Common Crawl) atau data berlisensi.

Pembersihan Data:

• Menghapus konten beracun, spam, atau duplikat.

Preprocessing:

• Tokenisasi, normalisasi teks, dan pembobotan data.

Pelatihan:

• Menggunakan framework seperti TensorFlow atau PyTorch pada cluster GPU/TPU.

Evaluasi:

• Mengukur performa dengan benchmark (misalnya, MMLU untuk pengetahuan umum).

Deployment:

• Rilis model ke publik atau pelanggan enterprise.

Tantangan dalam Pembaruan AI

Tabel penjelasan tantangan dalam pembaruan AI
Data : gorbysaputra.com

Masa Depan Pembaruan AI

• Efisiensi Pelatihan: Teknik seperti LoRA (Low-Rank Adaptation) memungkinkan fine-tuning lebih murah.
• Decentralized Learning: Pelatihan model melalui kolaborasi data tanpa sentralisasi (misalnya, federated learning).
• AI Self-Improvement: Model yang bisa memperbarui diri sendiri (seperti proyek AutoGPT).

Garis Besarnya

• AI Generatif/LLM tidak selalu dilatih ulang sepenuhnya, tetapi perusahaan melakukan pembaruan bertahap (fine-tuning) dan menambahkan data baru.

Frekuensi pembaruan bervariasi:

• Full retraining: 1–3 tahun.
• Fine-tuning: Beberapa kali per tahun.
• Data masukan: Terus diperbarui, tergantung sumber.
• Tujuan utama pembaruan: Meningkatkan akurasi, relevansi, dan keamanan, serta mematuhi regulasi.