Enterprise LLM Gateway with LiteLLM
- TTDT65
- Classroom
- Fundamental
- Thai | 0
หลักสูตร Enterprise LLM Gateway with LiteLLM มีวัตถุประสงค์เพื่อให้ผู้เข้าอบรมมีความรู้และทักษะในการออกแบบ พัฒนา และบริหารจัดการระบบ LLM Gateway สำหรับองค์กร โดยใช้ LiteLLM เป็นศูนย์กลางในการเชื่อมต่อและควบคุมการใช้งาน Large Language Model จากหลายแหล่ง ทั้ง Cloud LLM และ Local LLM ภายใต้มาตรฐาน API เดียวกัน
Course description
Time
Instructor
Venue
Enterprise LLM Gateway with LiteLLM
หลักสูตร Enterprise LLM Gateway with LiteLLM มีวัตถุประสงค์เพื่อให้ผู้เข้าอบรมมีความรู้และทักษะในการออกแบบ พัฒนา และบริหารจัดการระบบ LLM Gateway สำหรับองค์กร โดยใช้ LiteLLM เป็นศูนย์กลางในการเชื่อมต่อและควบคุมการใช้งาน Large Language Model จากหลายแหล่ง ทั้ง Cloud LLM และ Local LLM ภายใต้มาตรฐาน API เดียวกัน
ผู้เข้าอบรมจะได้เรียนรู้แนวคิดและสถาปัตยกรรมของ Enterprise LLM Platform ตั้งแต่การเชื่อมต่อโมเดลหลาย Provider การกำหนด Model Alias และ Routing การทำ Load Balancing, Retry และ Fallbackตลอดจนการบริหารจัดการ Virtual Key, User, Team, Model Permission, Rate Limit และ Budget เพื่อให้สามารถควบคุมการใช้งาน LLM ภายในองค์กรได้อย่างปลอดภัยและมีประสิทธิภาพ
นอกจากนี้ ผู้เข้าอบรมจะได้ฝึกปฏิบัติด้านการติดตามและวิเคราะห์การใช้งาน LLM เช่น Token Usage,Cost, Latency, Error Rate และ Model Usage พร้อมเรียนรู้การเชื่อมต่อระบบ Monitoring และ Observabilityเพื่อสนับสนุนการตรวจสอบ การบริหารต้นทุน และการวางแผน Capacity ของระบบ AI
หลักสูตรยังครอบคลุมการประยุกต์ใช้ LiteLLM ร่วมกับระบบ Embedding, Vector Database และ Retrieval-Augmented Generation (RAG) รวมถึงแนวทางการนำระบบขึ้นใช้งานจริงในระดับ Production ด้วย Docker, PostgreSQL, Redis, Reverse Proxy และแนวคิดด้าน High Availability
เมื่อจบหลักสูตร ผู้เข้าอบรมจะสามารถออกแบบและสร้าง Enterprise LLM Gateway ที่ทำหน้าที่เป็นศูนย์กลางสำหรับ Application, AI Agent และระบบต่าง ๆ ภายในองค์กร เพื่อเชื่อมต่อ LLM หลายรูปแบบ พร้อมควบคุมด้าน Security, Access Control, Cost Governance, Routing, Monitoring และ Scalability ได้อย่างเป็นระบบและพร้อมต่อยอดสู่การใช้งานจริงในองค์กร
- Automation Team
- Developer
- IT / Software Engineer
- Data / Digital Transformation
- Business Analyst / Ops
คุณสมบัติของผู้เข้าอบรม
- มีความเข้าใจในการในการใช้งานระบบไอทีเป็นอย่างดี
- มีความรู้ด้าน Internet เป็นอย่างดี
- เข้าใจสถาปัตยกรรมและแนวทางการออกแบบ Enterprise LLM Platform
- สามารถเชื่อมต่อ Cloud LLM และ Local LLM หลาย Provider ผ่าน API มาตรฐานเดียว
- สามารถบริหารจัดการผู้ใช้ ทีม Virtual Key สิทธิ์การเข้าถึงโมเดล และ Rate Limit ได้อย่างเป็นระบบ
- สามารถควบคุมและติดตามค่าใช้จ่ายจากการใช้งาน LLM ด้วย Budget และ Cost Governance
- สามารถออกแบบ Model Routing, Load Balancing, Retry และ Fallback เพื่อเพิ่มความเสถียรของระบบ
- สามารถติดตาม Token Usage, Cost, Latency, Error และ Model Usage ผ่านระบบ Monitoring และ Observability
- เข้าใจแนวทางการเชื่อมต่อ Embedding, Vector Database และ RAG ผ่าน LLM Gateway
- สามารถออกแบบระบบที่รองรับ Application, AI Agent และเครื่องมือ AI ภายในองค์กรจาก Gateway กลางเดียว
- สามารถนำ LiteLLM ไปติดตั้งและใช้งานใน Production Environment ร่วมกับ PostgreSQL, Redis,Docker และระบบ Monitoring
- สามารถต่อยอดไปสู่การสร้าง Private AI / Hybrid AI Platform ที่มีความปลอดภัย ควบคุมต้นทุน และขยายระบบได้ในอนาคต
Day 1 — Building an Enterprise LLM Gateway
Module 1: Enterprise LLM Architecture
- LLM Gateway คืออะไร
- ทำไมองค์กรไม่ควรให้ Application ต่อ LLM Provider โดยตรง
- AI Gateway vs API Gateway
- Multi-Provider LLM Architecture
- Cloud LLM vs Local LLM
- OpenAI Compatible API
- Centralized Model Management
- LiteLLM Proxy vs LiteLLM SDK
- Request Lifecycle ภายใน LiteLLM
Module 2: Multi-Provider & Local LLM
- Model Alias
- Model Groups
- Provider abstraction
- API Key management
- Environment Secret
- Cloud Model
- Self-hosted Model
- OpenAI Compatible Server
Day 2 — Security, Routing & Cost Governance
Module 3: Enterprise Authentication & Virtual Keys
- Master Key
- Virtual Key
- User
- Team
- Project
- Service Account
- Model Access Control
- Allowed Models
- RPM Limit
- TPM Limit
- Expiration
- Key lifecycle
Module 4: Budget, Quota & Cost Control
- Token Usage
- Input / Output Token
- Model Cost
- Spend Tracking
- User Budget
- Team Budget
- Model Budget
- Budget Duration
- RPM / TPM
- Cost attribution
- Chargeback / Showback
Module 5: Intelligent Model Routing
- Load Balancing
- Retry
- Timeout
- Cooldown
- Fallback
- Model Group
- Latency-based routing
- Cost-based routing
- Least-busy routing
- High Availability
Day 3 — Observability, RAG & Production Architecture
Module 6: Logging & Observability
- LLM Request Logging
- Token Usage
- Latency
- Error Rate
- Model Usage
- Cost Monitoring
- Audit concept
- Metrics
- Alerting
Module 7: Guardrails & Enterprise Security
- Prompt Security
- Sensitive Information
- Secret Redaction
- PII Protection
- Content Filtering
- Model Allowlist
- Required Metadata
- Logging Policy
- Data Governance
Module 8: Embedding & Enterprise RAG Gateway
- Embedding API
- Embedding Model
- Local Embedding
- BGE-M3
- Vector dimensions
- Chunking
- Metadata
- Semantic Search
- pgvector
- RAG Architecture
Module 9: Production Deployment
- Docker Compose
- Kubernetes Architecture
- Horizontal Scaling
- Redis
- PostgreSQL
- Reverse Proxy
- HTTPS
- Secret Management
- Health Check
- Backup
- High Availability
- Configuration Management
Payment can be made by:
- Cash or Credit Card or Bank Cheque payable to
สำนักงานพัฒนาวิทยาศาสตร์และเทคโนโลยีแห่งชาติ or National Science and Technology Development Agency
(a post-dated cheque is not accepted) on the first day of the service or within the last day of the service. - Account transfer and send the proof of the payment (the deposit slip) via email xxx@swpark.or.th
- ธนาคารกรุงเทพ สาขาอุทยานวิทยาศาสตร์
Saving Account Number: 080-0-00001-0
Account Name: สำนักงานพัฒนาวิทยาศาสตร์และเทคโนโลยีแห่งชาติ - ธนาคารกรุงไทย สาขาตลาดไท
Saving Account Number: 152-1-32668-1
Account Name: สำนักงานพัฒนาวิทยาศาสตร์และเทคโนโลยีแห่งชาติ
- ธนาคารกรุงเทพ สาขาอุทยานวิทยาศาสตร์
Notes:
- Withholding tax (3%) is exempt.
- Should you need to withdraw, you must send the notice of the withdrawal in writing no later than 7 working days before the commencement date. The cancellation less than 7 days will be subject to a fine of 40% of the fee.
- Software Park Thailand reserves the rights to cancel courses due to unforeseen circumstances.
Contact Person
For more information, contact our course coordinator on:
คุณภัสสร พรทิพย์
Ms. Patsorn Pornthip
Tel: 02583-9992 Ext. 81422
Mobile: 088-893-5564
Email:patsorn@swpark.or.th, ttd@swpark.or.th
You are encouraged to use the course schedule as a guide to plan your training.
The schedule is accessible at www.swpark.or.th for more information.
12,000 THB .
สำคัญ!!! กรุณารอการยืนยันเปิดการอบรมจากเจ้าหน้าที่ก่อนการชำระค่าลงทะเบียน
สำคัญ!!! กรุณารอการยืนยันเปิดการอบรมจากเจ้าหน้าที่ก่อนการชำระค่าลงทะเบียน
Course Detail :
Instructor info
