Software Park News

กลไกของการโจมตี

• การซ่อนคำสั่งในภาพต้นฉบับภาพที่สร้างขึ้นอย่างจงใจจะฝังคำสั่งที่มองไม่เห็นด้วยตาเปล่า
• การย่อขนาดโดยอัลกอริทึมของระบบ AIระบบ AI มักย่อขนาดภาพเพื่อความรวดเร็วและลดต้นทุน โดยใช้อัลกอริทึม เช่น nearest neighbor, bilinear หรือ bicubic interpolation
• การปรากฏของข้อความที่ซ่อนอยู่การย่อขนาดด้วยอัลกอริทึมเหล่านี้ทำให้เกิด “aliasing artifacts” ซึ่งอาจทำให้ข้อความแฝงปรากฏขึ้นมาอย่างชัดเจน
• AI อ่านและประมวลผลคำสั่งข้อความที่ซ่อนจะถูก LLM ตีความว่าเป็นส่วนหนึ่งของคำสั่งผู้ใช้ ส่งผลให้โมเดลทำงานเกินกว่าที่ผู้ใช้ตั้งใจ เช่น การดึงข้อมูลออกจากระบบหรือรันคำสั่งที่เสี่ยงอันตราย

การอบรมครั้งนี้นับเป็นก้าวแรกของการพัฒนาเครือข่ายอาสาสมัครในพื้นที่ปากเกร็ด เพื่อให้สามารถขับเคลื่อนโครงการ Food Bank ได้อย่างเป็นรูปธรรม โดยมี Software Park Thailand ทำหน้าที่เป็นกลไกสำคัญในการนำโครงการระดับประเทศมาเชื่อมต่อกับภาคประชาสังคมในระดับท้องถิ่น

ตัวอย่างจริง

ในกรณีศึกษา นักวิจัยสามารถทำให้ Gemini CLI ขโมยข้อมูลจาก Google Calendar และส่งไปยังอีเมลภายนอก โดยอาศัย Zapier MCP ที่ตั้งค่า trust=True ทำให้โมเดลอนุมัติการทำงานโดยไม่ต้องยืนยันจากผู้ใช้

• การซ่อนคำสั่งในภาพต้นฉบับภาพที่สร้างขึ้นอย่างจงใจจะฝังคำสั่งที่มองไม่เห็นด้วยตาเปล่า
• การย่อขนาดโดยอัลกอริทึมของระบบ AIระบบ AI มักย่อขนาดภาพเพื่อความรวดเร็วและลดต้นทุน โดยใช้อัลกอริทึม เช่น nearest neighbor, bilinear หรือ bicubic interpolation
• การปรากฏของข้อความที่ซ่อนอยู่การย่อขนาดด้วยอัลกอริทึมเหล่านี้ทำให้เกิด “aliasing artifacts” ซึ่งอาจทำให้ข้อความแฝงปรากฏขึ้นมาอย่างชัดเจน
• AI อ่านและประมวลผลคำสั่งข้อความที่ซ่อนจะถูก LLM ตีความว่าเป็นส่วนหนึ่งของคำสั่งผู้ใช้ ส่งผลให้โมเดลทำงานเกินกว่าที่ผู้ใช้ตั้งใจ เช่น การดึงข้อมูลออกจากระบบหรือรันคำสั่งที่เสี่ยงอันตราย

ระบบที่ได้รับผลกระทบ

จากการทดสอบ วิธีการโจมตีนี้สามารถใช้ได้จริงกับหลายระบบ ได้แก่:

• Google Gemini CLI
• Vertex AI Studio (Gemini backend)
• Gemini เวอร์ชันเว็บ
• Gemini API ผ่าน llm CLI
• Google Assistant (Android)
• Genspark

เนื่องจากการโจมตีอาศัย “กลไกการย่อขนาดภาพ” ที่มีอยู่ในหลายระบบ นักวิจัยเตือนว่าช่องโหว่นี้อาจขยายผลไปยังแพลตฟอร์ม AI อื่น ๆ ได้อีกในอนาคต
เพื่อสาธิตการค้นพบ ทีมวิจัยยังได้สร้าง Anamorpher (โอเพนซอร์ส เบต้า) เครื่องมือที่สามารถสร้างภาพโจมตีสำหรับอัลกอริทึมการย่อขนาดแต่ละแบบ

ความเสี่ยงต่อองค์กร

• การรั่วไหลของข้อมูลสำคัญ (Data Exfiltration): เช่น ปฏิทิน, อีเมล, หรือไฟล์ธุรกิจ
• การรันคำสั่งโดยไม่ได้รับอนุญาต: หากระบบผสานการทำงานกับ API หรือ workflow automation (เช่น Zapier)
• การโจมตีแบบมัลติโหมด (Multimodal Prompt Injection):ช่องโหว่นี้ตอกย้ำความเสี่ยงของการใช้ภาพ ร่วมกับข้อความ หรือเสียงใน AI

แนวทางป้องกันและลดความเสี่ยง

นักวิจัยจาก Trail of Bits แนะนำแนวทางดังนี้:

• ควบคุมขนาดและมิติของภาพ: จำกัด resolution ของภาพที่ผู้ใช้อัปโหลด เพื่อป้องกันการซ่อนข้อมูล
• Preview ก่อนส่งต่อให้ LLM: หากระบบต้องย่อขนาดภาพ ควรแสดงผลลัพธ์ให้ผู้ใช้ตรวจสอบก่อนส่งไปประมวลผล
• ยืนยันก่อนเรียกใช้เครื่องมือที่มีความเสี่ยง:โดยเฉพาะกรณีที่ระบบตรวจพบข้อความในภาพ
• การออกแบบเชิงป้องกัน (Secure Design Patterns):ใช้สถาปัตยกรรมที่สามารถป้องกัน prompt injection ได้ตั้งแต่ระดับรากฐาน ตามแนวทางงานวิจัยใหม่ ๆ เกี่ยวกับ LLM Security

การค้นพบนี้ชี้ให้เห็นว่า AI Security ไม่ได้จำกัดอยู่เพียงข้อความ แต่ยังรวมถึงสื่อหลายมิติ (ภาพ เสียง วิดีโอ) ที่องค์กรใช้งานร่วมกับ LLMs การโจมตีที่ซ่อนคำสั่งในภาพย่อขนาดเป็นเครื่องเตือนว่า ผู้โจมตีมักใช้ช่องทางที่ไม่คาดคิด และองค์กรจำเป็นต้องมี มาตรการป้องกันหลายชั้น (defense-in-depth)

การลงทุนด้าน AI Governance, Cybersecurity Awareness และ การออกแบบระบบที่ปลอดภัยตั้งแต่ต้น (secure-by-design) จึงเป็นกุญแจสำคัญที่ทำให้องค์กรสามารถใช้ AI ได้อย่างมั่นใจและปลอดภัยในระยะยาว

ที่มาบทความ :

• BIGFISH ENTERPRISE LIMITED
• เว็บไซต์: https://www.bigfish.co.th/resources/5-180