ในอุตสาหกรรมเทคโนโลยี คุณแทบจะไม่สามารถสนทนาได้เลยโดยไม่ต้องพูดถึงการอนุมาน ปัญญาประดิษฐ์ (AI) และการเรียนรู้ของเครื่อง (ML) อย่างไรก็ตาม สิ่งสำคัญที่ควรทราบคือแม้ว่าข้อกำหนดเหล่านี้จะเชื่อมโยงถึงกัน แต่ก็มีความแตกต่างกันอย่างมากเช่นกัน
ในบทความนี้ เราจะอธิบายความแตกต่างพื้นฐานและเน้นถึงความสำคัญของการใช้เทคโนโลยี Edge AI ที่ใช้การประมวลผลเทนเซอร์{0}} โดยเฉพาะในระบบ Edge และระบบฝังตัว เมื่อเปรียบเทียบกับโซลูชันที่ใช้หน่วยประมวลผลกราฟิก (GPU) หน่วยประมวลผลเทนเซอร์ (TPU) ให้ประสิทธิภาพที่มีประสิทธิภาพและคุ้มค่ากว่า{2}} นอกจากนี้ เรายังยกตัวอย่างกรณีการใช้งานที่แสดงให้เห็นว่าคุณอาจพบโซลูชัน AI ล้ำสมัยที่จุดใดในอนาคต
พื้นฐานของ ML และการอนุมาน
ML หมายถึงวิธีการของโมเดลการฝึกอบรมโดยใช้ข้อมูลตัวแทนเพื่อให้เครื่องจักรสามารถเรียนรู้วิธีการปฏิบัติงานได้ กระบวนการนี้อาจใช้การประมวลผลอย่างเข้มข้น โดยสร้างการดำเนินการนับล้านล้านรายการต่อจุดข้อมูลการฝึกอบรมใหม่ ลักษณะของการทำซ้ำของกระบวนการฝึกอบรม รวมกับชุดข้อมูลการฝึกอบรมจำนวนมหาศาลที่จำเป็นเพื่อให้ได้ความแม่นยำสูง ขับเคลื่อนความต้องการการประมวลผลจุด-ลอยตัว-ประสิทธิภาพสูงมาก การฝึกอบรม ML ถูกนำมาใช้เป็นโครงสร้างพื้นฐานของศูนย์ข้อมูลได้ดีที่สุด โดยที่เงินทุนและต้นทุนการดำเนินงานที่สูงสามารถพิสูจน์ได้ โดยการตัดจำหน่ายให้กับลูกค้าจำนวนมาก
การอนุมานเกี่ยวข้องกับการใช้แบบจำลองที่ได้รับการฝึกอบรมเพื่อสร้างการจับคู่ที่เป็นไปได้สำหรับข้อมูลใหม่ที่เกี่ยวข้องกับข้อมูลตัวแทนที่ใช้ในการฝึกอบรมแบบจำลอง การอนุมานมุ่งหวังที่จะให้คำตอบที่รวดเร็วภายในมิลลิวินาที ตัวอย่างของการอนุมาน ได้แก่ การรู้จำคำพูด การแปลภาษาแบบเรียลไทม์- วิชันซิสเต็ม และการตัดสินใจเพิ่มประสิทธิภาพการแทรกโฆษณา แม้ว่าการอนุมานต้องใช้พลังการประมวลผลเพียงเล็กน้อยสำหรับการฝึกอบรม แต่ก็ยังเหนือกว่าสิ่งที่ระบบที่ใช้หน่วยประมวลผลกลาง (CPU) แบบเดิม (CPU){4}} สามารถมอบให้ได้มาก โดยเฉพาะอย่างยิ่งสำหรับแอปพลิเคชันคอมพิวเตอร์วิทัศน์ นี่คือเหตุผลว่าทำไมบริษัทจำนวนมากจึงหันมาใช้-โซลูชันการเร่งความเร็วที่ใช้เทนเซอร์- ไม่ว่าจะเป็น IP บน SoC หรือใน-ตัวเร่งความเร็วของระบบ- เพื่อให้ได้เวลาตอบสนองต่ำกว่า-วินาทีที่ต้องการที่ Edge ความจริงก็คือการใช้เวลาแม้แต่นาทีหรือไม่กี่วินาทีในการประมวลผลภาพในระบบวิชั่นนั้นไม่มีประโยชน์มากนัก ระบบวิชันซิสเต็มทางอุตสาหกรรมกำลังมองหาความเร็ว-การประมวลผลระดับมิลลิวินาที
แยกการฝึกอบรมและการอนุมาน
การใช้ฮาร์ดแวร์เดียวกันกับที่ใช้ในการฝึกอบรมเพื่อจัดการปริมาณงานการอนุมานอาจส่งผลให้มี-เครื่องอนุมานที่มีตัวเร่งความเร็วและฮาร์ดแวร์ CPU มากเกินไป โซลูชัน GPU ที่พัฒนาขึ้นสำหรับ ML ในช่วงทศวรรษที่ผ่านมาไม่จำเป็นต้องเป็นตัวเลือกที่ดีที่สุดสำหรับการปรับใช้เทคโนโลยีการอนุมาน ML ขนาดใหญ่- แผนภาพด้านล่างแสดงให้เห็นการเปรียบเทียบระหว่างตัวเร่งความเร็ว TPU และตัวเร่งความเร็ว GPU ได้อย่างสมบูรณ์แบบ แสดงให้เห็นอย่างชัดเจนว่าตัวเร่ง TPU ให้การใช้พลังงานที่ต่ำกว่า ต้นทุนลดลง และประสิทธิภาพที่สูงกว่าเมื่อเปรียบเทียบกับโซลูชัน AGX ที่ใช้ GPU- ในขณะที่ยังคงให้ระดับประสิทธิภาพที่น่าสนใจสำหรับแอปพลิเคชันการอนุมาน
ข้อควรพิจารณาที่สำคัญอีกประการหนึ่งเมื่อเข้าใกล้การฝึกอบรม ML และการอนุมานคือสภาพแวดล้อมของซอฟต์แวร์ ในปัจจุบัน มีการใช้งานไลบรารียอดนิยมจำนวนมาก เช่น CUDA สำหรับ NVIDIA GPU, เฟรมเวิร์ก ML เช่น TensorFlow และ PyTorch, ไลบรารีโมเดลข้ามแพลตฟอร์ม-ที่ได้รับการปรับปรุงประสิทธิภาพ เช่น Keras และอื่นๆ อีกมากมาย ชุดเครื่องมือเหล่านี้จำเป็นสำหรับการพัฒนาและฝึกอบรมโมเดล ML แต่แอปพลิเคชันการอนุมานต้องใช้ชุดเครื่องมือซอฟต์แวร์ที่แตกต่างและเล็กกว่า
ชุดเครื่องมืออนุมานมุ่งเน้นไปที่การรันโมเดลบนแพลตฟอร์มเป้าหมาย รองรับการย้ายโมเดลที่ได้รับการฝึกอบรมไปยังแพลตฟอร์ม ซึ่งอาจเกี่ยวข้องกับการเปลี่ยนแปลงของผู้ปฏิบัติงาน การหาปริมาณ และบริการบูรณาการโฮสต์ อย่างไรก็ตาม นี่เป็นชุดฟังก์ชันที่ค่อนข้างตรงไปตรงมาเมื่อเปรียบเทียบกับที่จำเป็นสำหรับการพัฒนาโมเดลและการฝึกอบรม
เครื่องมืออนุมานจะได้รับประโยชน์จากการเริ่มต้นด้วยการแสดงโมเดลที่เป็นมาตรฐาน Open Neural Network Exchange (ONNX) เป็นรูปแบบมาตรฐานสำหรับการนำเสนอโมเดล ML ตามชื่อที่บอกเป็นนัย มันเป็นมาตรฐานแบบเปิดที่ได้รับการจัดการเป็นโครงการ Linux Foundation เทคโนโลยีอย่าง ONNX ช่วยให้สามารถแยกระบบการฝึกอบรมและการอนุมานออกได้ ทำให้นักพัฒนามีอิสระในการเลือกแพลตฟอร์มที่เหมาะสมที่สุดสำหรับแต่ละระบบ
ตัวอย่างการประยุกต์ใช้ภาพ
เนื่องจากเทคโนโลยี ML และตัวประมวลผลการอนุมานก้าวหน้าและพัฒนาอย่างต่อเนื่อง แอปพลิเคชันจึงแพร่หลายมากขึ้น ด้านล่างนี้เป็นเพียงบางส่วนที่คุณอาจพบเทคโนโลยีนี้ในอนาคต
เซิร์ฟเวอร์ Edge ในองค์กร เช่น โรงงาน โรงพยาบาล ร้านค้าปลีก และสถาบันการเงิน ตัวอย่างเช่น ในการตั้งค่าอุตสาหกรรม AI สามารถช่วยเหลือในการจัดการสินค้าคงคลัง การตรวจจับข้อบกพร่อง และแม้กระทั่งการบำรุงรักษาเชิงคาดการณ์ก่อนที่ปัญหาจะเกิดขึ้น ในการค้าปลีก ช่วยให้สามารถใช้งานฟีเจอร์ต่างๆ เช่น การประมาณท่าทาง การใช้คอมพิวเตอร์วิทัศน์เพื่อตรวจจับและวิเคราะห์ท่าทางของมนุษย์ ข้อมูลจากการวิเคราะห์นี้ช่วยให้ผู้ค้าปลีกที่มีหน้าร้านจริงและ-เข้าใจพฤติกรรมของมนุษย์และการสัญจรไปมาภายในร้านค้าของตนได้ดียิ่งขึ้น ทำให้พวกเขาสามารถปรับรูปแบบร้านค้าให้เหมาะสมเพื่อยอดขายสูงสุดและความพึงพอใจของลูกค้า
การสร้างภาพคุณภาพสูง-แม่นยำ/สูง-สำหรับการใช้งานต่างๆ เช่น หุ่นยนต์ ระบบอัตโนมัติทางอุตสาหกรรม/การตรวจสอบ การสร้างภาพทางการแพทย์ การสร้างภาพทางวิทยาศาสตร์ กล้องเฝ้าระวังและการรับรู้วัตถุ และโฟโตนิก ตัวอย่างเช่น วิธีการเรียนรู้ของเครื่องได้แสดงให้เห็นถึงความสามารถในการตรวจหามะเร็งโดยการประมวลผลรังสีเอกซ์ดิจิทัล- กระบวนการนี้เกี่ยวข้องกับการพัฒนาแบบจำลอง ML ที่ออกแบบมาเพื่อประมวลผลภาพรังสีเอกซ์- โดยทั่วไปจะใช้อัลกอริธึมการแบ่งส่วนความหมายที่ได้รับการฝึกเพื่อระบุรอยโรคที่เป็นมะเร็ง ในระหว่างการฝึกอบรม ภาพมะเร็งที่ระบุโดยนักรังสีวิทยาจะถูกนำมาใช้เพื่อสอนเครือข่ายว่าอะไรไม่ใช่มะเร็ง มะเร็งคืออะไร และมะเร็งชนิดต่างๆ ปรากฏขึ้นอย่างไร ยิ่งมีการฝึกอบรมโมเดล ML มากเท่าใด ก็จะยิ่งเพิ่มการวินิจฉัยที่ถูกต้องและลดการวินิจฉัยผิดพลาดได้ดีขึ้นเท่านั้น ซึ่งหมายความว่าแมชชีนเลิร์นนิงไม่เพียงอาศัยการออกแบบโมเดลอัจฉริยะเท่านั้น แต่ยังขึ้นอยู่กับตัวอย่างข้อมูลจำนวนมหาศาล (นับหมื่นถึงล้าน) ที่ได้รับการคัดสรรอย่างพิถีพิถันซึ่งมีการระบุมะเร็งอย่างเชี่ยวชาญ
รถเข็นช็อปปิ้งอัจฉริยะ-บริษัทหลายแห่งกำลังพัฒนาและปรับใช้ระบบช็อปปิ้งอัจฉริยะที่จดจำผลิตภัณฑ์ไม่ได้ด้วยบาร์โค้ด UPC แต่จากรูปลักษณ์ภายนอกของบรรจุภัณฑ์ ฟีเจอร์นี้ช่วยให้ผู้ซื้อวางสินค้าลงในรถเข็นหรือบนระบบชำระเงินได้โดยไม่จำเป็นต้องค้นหารหัส UPC และสแกนด้วยเครื่องสแกนเลเซอร์ UPC เทคโนโลยีนี้ทำให้กระบวนการช็อปปิ้งมีความแม่นยำ รวดเร็ว และสะดวกยิ่งขึ้น
การตัดสินใจที่ถูกต้อง
บริษัทต่างๆ ต้องประเมินโซลูชันที่มีอยู่ทั้งหมดในวันนี้ และเลือกโซลูชันที่เหมาะสมที่สุดตามกรณีการใช้งานเฉพาะของตน พวกเขายังไม่สามารถสรุปได้ว่าโซลูชัน AI ทั้งหมดได้รับการปรับใช้อย่างดีที่สุดบนอุปกรณ์ GPU เนื่องจากโซลูชันที่ใช้ TPU- ให้ประสิทธิภาพการประมวลผลที่สูงขึ้นและการใช้ซิลิคอนที่น้อยลง ซึ่งช่วยลดการใช้พลังงานและต้นทุน