Cloud Native Meets Local LLM :Building Your Own Private AI Platform
- TTCS07
- Classroom
- Fundamental
- Thai | 0
ในยุคที่องค์กรเริ่มนำ Generative AI และ Large Language Models (LLMs) มาใช้งานอย่างแพร่หลาย ความท้าทายสำคัญไม่ได้อยู่เพียงแค่การเลือก AI Model ที่มีประสิทธิภาพ แต่ยังรวมถึงการออกแบบโครงสร้างพื้นฐานให้รองรับการใช้งาน AI อย่างปลอดภัย มีประสิทธิภาพ และสามารถควบคุมข้อมูลภายในองค์กรได้อย่างสมบูรณ์
Course description
Time
Instructor
Venue
Cloud Native Meets Local LLM :Building Your Own Private AI Platform
ในยุคที่องค์กรเริ่มนำ Generative AI และ Large Language Models (LLMs) มาใช้งานอย่างแพร่หลาย ความท้าทายสำคัญไม่ได้อยู่เพียงแค่การเลือก AI Model ที่มีประสิทธิภาพ แต่ยังรวมถึงการออกแบบโครงสร้างพื้นฐานให้รองรับการใช้งาน AIอย่างปลอดภัย มีประสิทธิภาพ และสามารถควบคุมข้อมูลภายในองค์กรได้อย่างสมบูรณ์
หลักสูตร Cloud Native Meets Local LLM: Building Your Own Private AI Platform มุ่งเน้นการนำเทคโนโลยีCloud Native มาประยุกต์ใช้ในการสร้าง Private AI Platform ภายในองค์กร ตั้งแต่การเตรียม GPU Infrastructure การติดตั้งและให้บริการ Local LLM ด้วย Docker และ vLLM การจัดการ AI Gateway ผ่าน LiteLLM การสร้าง AI Chat Platform ด้วยOpen WebUI ไปจนถึงการจัดการระบบด้วย Kubernetes การรักษาความปลอดภัย และการติดตามประสิทธิภาพของระบบ
ผู้เข้าอบรมจะได้ลงมือสร้าง AI Platform ที่สามารถให้บริการโมเดลภาษาแบบ Private รองรับการเรียกใช้งานผ่าน API และเชื่อมต่อกับระบบ AI Applications ภายในองค์กร พร้อมเรียนรู้แนวทางต่อยอดสู่ Production Environment
Who Should Attend (กลุ่มลูกค้าเป้าหมาย):
- Software Developers
- DevOps Engineers
- Cloud Engineers
- System Administrators
- AI Engineers
- IT Architects
คุณสมบัติของผู้เข้าอบรม
มีความเข้าใจในระบบงานไอทีพื้นฐาน
- เข้าใจสถาปัตยกรรม Cloud Native และแนวทางออกแบบ Private AI Infrastructure
- สามารถติดตั้งและบริหารจัดการ Local LLM บน GPU Server
- สามารถให้บริการ LLM ผ่าน OpenAI-Compatible API ด้วย vLLM
- สามารถติดตั้ง LiteLLM เพื่อบริหารจัดการโมเดลและ AI API Gateway
- สามารถสร้าง AI Chat Platform ด้วย Open WebUI และเชื่อมต่อ Local LLM
- เข้าใจการ Deployment และ Orchestration ของ AI Workloads ด้วย Kubernetes
- สามารถออกแบบระบบรักษาความปลอดภัย Monitoring และ Resource Management สำหรับ Private AI
- สามารถพัฒนาต้นแบบ Private AI Platform เพื่อต่อยอดสู่ระบบจริงภายในองค์กร
Day 1: Cloud Native Infrastructure & Local LLM Deployment
Module 1: Introduction to Cloud Native & Private AI Architecture
- Cloud Native Concepts for AI Infrastructure
- Containers, Microservices และ Kubernetes สำหรับ AI Workloads
- Public AI vs Private AI vs Hybrid AI
- องค์ประกอบของ Private AI Platform
- Overview of AI Inference Architecture
- Designing an Enterprise Private AI Platform
Module 2: GPU Infrastructure & Containerized AI Workloads
- GPU Architecture และการประมวลผล LLM
- GPU Memory, Model Quantization และ Context Window
- Introduction to NVIDIA Container Toolkit
- Docker & Docker Compose for GPU Workloads
- GPU Resource Allocation and Monitoring
- Preparing a Linux-Based Private AI Server
Module 3: Deploying Local LLM with vLLM
- Introduction to Local LLM Models
- Choosing Models: Qwen, Gemma และโมเดล Open Source
- Introduction to Ollama and vLLM
- Running vLLM with Docker
- Serving Models through OpenAI-Compatible API
- Configuring Context Length, KV Cache และ GPU Memory
- Testing LLM Performance and API Integration
Day 2: Building Enterprise AI Gateway & Private AI Services
Module 4: Building an Enterprise LLM Gateway with LiteLLM
- Introduction to AI Gateway Architecture
- Deploying LiteLLM Proxy with Docker Compose
- Connecting LiteLLM to Local vLLM Models
- Model Routing and Load Balancing
- API Key Management and Access Control
- Rate Limiting, Usage Tracking and Budget Management
- Integrating Multiple Local LLMs
Module 5: Building a Private AI Chat Platform
- Introduction to Open WebUI
- Deploying Open WebUI with Docker
- Connecting Open WebUI to LiteLLM Gateway
- User Management and Model Access
- Integration with Private AI APIs
- Managing Persistent Data and Storage
- Introduction to RAG and Enterprise Knowledge Base
Module 6: Security & Production-Ready AI Services
- Private AI Network Architecture
- API Gateway, Reverse Proxy และ HTTPS
- Authentication and Authorization
- Managing Secrets and Environment Variables
- Container Security and Network Isolation
- Model Access Policies and Data Privacy
- Backup and Disaster Recovery Considerations
Day 3: Kubernetes, Observability & Production Deployment
Module 7: Kubernetes for Private AI Workloads
- Kubernetes Architecture for AI Platforms
- Deploying AI Services on Kubernetes
- GPU Scheduling and Resource Management
- Kubernetes Deployments, Services and Ingress
- Persistent Volumes and Model Storage
- ConfigMaps and Secrets
- Introduction to Helm for AI Platform Deployment
Module 8: Monitoring, Performance & Scalability
- Monitoring GPU, CPU and Memory Usage
- Introduction to Prometheus and Grafana
- LLM Performance Metrics: TTFT, Throughput and Latency
- Centralized Logging and Troubleshooting
- Load Testing LLM APIs
- Scaling Model Serving and AI Gateway
- High Availability and Production Considerations
Module 9: Final Workshop – Building Your Own Private AI Platform
- Design a Private AI Platform Architecture
- Deploy Containerized AI Services
- Configure Model Serving with vLLM
- Integrate LiteLLM and Open WebUI
- Deploy AI Services to Kubernetes
- Configure Monitoring and Access Policies
- End-to-End Testing and Troubleshooting
Payment can be made by:
- Cash or Credit Card or Bank Cheque payable to
สำนักงานพัฒนาวิทยาศาสตร์และเทคโนโลยีแห่งชาติ or National Science and Technology Development Agency
(a post-dated cheque is not accepted) on the first day of the service or within the last day of the service. - Account transfer and send the proof of the payment (the deposit slip) via email xxx@swpark.or.th
- ธนาคารกรุงเทพ สาขาอุทยานวิทยาศาสตร์
Saving Account Number: 080-0-00001-0
Account Name: สำนักงานพัฒนาวิทยาศาสตร์และเทคโนโลยีแห่งชาติ - ธนาคารกรุงไทย สาขาตลาดไท
Saving Account Number: 152-1-32668-1
Account Name: สำนักงานพัฒนาวิทยาศาสตร์และเทคโนโลยีแห่งชาติ
- ธนาคารกรุงเทพ สาขาอุทยานวิทยาศาสตร์
Notes:
- Withholding tax (3%) is exempt.
- Should you need to withdraw, you must send the notice of the withdrawal in writing no later than 7 working days before the commencement date. The cancellation less than 7 days will be subject to a fine of 40% of the fee.
- Software Park Thailand reserves the rights to cancel courses due to unforeseen circumstances.
Contact Person
For more information, contact our course coordinator on:
คุณภัสสร พรทิพย์
Ms. Patsorn Pornthip
Tel: +66-2583-9992 Ext. 81422
Email: patsorn@swpark.or.th
You are encouraged to use the course schedule as a guide to plan your training.
The schedule is accessible at www.swpark.or.th for more information.
12,000 THB .
สำคัญ!!! กรุณารอการยืนยันเปิดการอบรมจากเจ้าหน้าที่ก่อนการชำระค่าลงทะเบียน
สำคัญ!!! กรุณารอการยืนยันเปิดการอบรมจากเจ้าหน้าที่ก่อนการชำระค่าลงทะเบียน
Course Detail :
Instructor info
