Các thiết bị biên này được trang bị bộ xử lý AI có khả năng tính toán trực tiếp trên thiết bị, giúp đẩy nhanh hơn nữa việc ra mắt các ứng dụng Edge AI cải tiến. Tuy nhiên, các thiết bị này cũng phải đối mặt với một số thách thức, bao gồm mức tiêu thụ năng lượng GPU quá cao và chi phí cao hạn chế việc áp dụng rộng rãi các sản phẩm Edge AI.
DEEPX, một công ty khởi nghiệp về chip AI đến từ Hàn Quốc, đã giành được ba Giải thưởng Sáng tạo CES 2024 vào tháng 1 cho công nghệ nguồn siêu khoảng cách chip AI độc đáo của mình . Các giải thưởng thuộc các hạng mục Phần cứng máy tính, Công nghệ nhúng và Robotics cũng như Phần cứng & linh kiện máy tính.
Bộ xử lý NPU của họ tự hào có mức tiêu thụ điện năng thấp và hiệu quả về mặt chi phí, đồng thời giải quyết vấn đề thiếu độ chính xác thường thấy ở các NPU hiện có trên thị trường. Công nghệ này đã được nhiều công ty bán dẫn công nhận trong CES 2024 và dự kiến tung ra thị trường đại chúng vào cuối năm 2024.
Học hỏi từ ARM để xây dựng DEEPX thành công ty AI trên thiết bị hàng đầu
"Các chiến trường chính trong kỷ nguyên AI sẽ chuyển sang 'cạnh'. Giống như ARM thống trị thị trường CPU với điện thoại thông minh, công ty bán dẫn thống trị biên sẽ thống trị thị trường AI", Giám đốc điều hành DEEPX Lokwon Kim cho biết.
Kim, cựu nhà nghiên cứu cấp cao về thiết kế Bộ xử lý ứng dụng (AP) của Apple, đã trở lại Hàn Quốc để thành lập DEEPX sau khi có được nhiều kinh nghiệm về thiết kế chất bán dẫn tại các công ty nổi tiếng như Broadcom, Cisco và IBM TJ Watson. Mục tiêu của ông là xây dựng DEEPX thành công ty AI hàng đầu trong kỷ nguyên AI trên thiết bị, gợi nhớ đến cách ARM cách mạng hóa thị trường CPU bằng công nghệ tiêu thụ điện năng thấp.
AI trên thiết bị, xử lý thông tin trong thiết bị di động mà không cần kết nối với máy chủ hoặc đám mây, là một lĩnh vực đang phát triển. ARM đã phá vỡ sự thống trị của Intel trên thị trường CPU bằng bộ xử lý hiệu quả, tiêu thụ điện năng thấp, hiện đang phổ biến trên điện thoại thông minh và mở rộng sang PC và máy chủ. Kim mong muốn DEEPX có tác động tương tự đối với ngành bán dẫn AI.
Kim đã xác định điểm yếu trong hệ sinh thái bán dẫn của Hàn Quốc, đặc biệt là chất bán dẫn hệ thống. Lấy cảm hứng từ Morris Chang, người sáng lập TSMC, người đã trở lại Đài Loan để thành lập một xưởng đúc hàng đầu sau khi học hỏi từ gã khổng lồ bán dẫn TI của Mỹ, Kim đã nhìn thấy cơ hội để giải quyết những khoảng trống này ở thị trường Hàn Quốc.
Chang dự đoán một thị trường bán dẫn theo nhu cầu, dẫn đến việc thành lập TSMC, công ty sản xuất chất bán dẫn theo lô hàng. Tương tự, Kim tin rằng việc mở cửa thị trường bán dẫn AI mang đến cơ hội đổi mới và tăng trưởng.
Dân chủ hóa công nghệ AI
Kim phản đối việc độc quyền công nghệ bán dẫn AI thông qua các khoản đầu tư chiến lược (SI) thường dẫn đến sáp nhập, mua lại hoặc liên minh, dẫn đến công nghệ bị kiểm soát bởi một thực thể duy nhất. Kinh nghiệm của ông tại Apple đã thúc đẩy ông ủng hộ công nghệ bán dẫn AI dân chủ và dễ tiếp cận hơn. Ông tin rằng chất bán dẫn AI phải được cung cấp rộng rãi và không bị hạn chế sử dụng độc quyền, đồng thời nhấn mạnh tầm quan trọng của công nghệ mà mọi người đều có thể sử dụng.
Để theo đuổi tầm nhìn này, Kim đã thành lập DEEPX tại Pangyo, trung tâm dành cho các công ty không có kinh nghiệm của Hàn Quốc. Ông đặt mục tiêu tạo ra một công ty bán dẫn AI có giá trị độc đáo, thúc đẩy đổi mới thay vì độc quyền.
DEEPX được định vị không phải là đối thủ cạnh tranh với những gã khổng lồ bán dẫn toàn cầu mà là một lực lượng bổ sung, nâng cao bối cảnh bán dẫn toàn cầu bằng cách cung cấp công nghệ AI tiên tiến và dễ tiếp cận.
DEEPX đặt mục tiêu trở thành công ty dẫn đầu thế giới về AI trên thiết bị
Ảnh: DEEPX
Phân tích sự khác biệt giữa NPU và GPU: Giải pháp độc đáo của DEEPX
Sự cần thiết phải phát triển các chất bán dẫn AI chuyên dụng, chẳng hạn như NPU, bắt nguồn từ những hạn chế của GPU, vốn thường được sử dụng để tính toán AI. GPU, ban đầu được thiết kế để xử lý dữ liệu đồ họa, vượt trội trong việc xử lý đồng thời lượng lớn dữ liệu, khiến chúng phù hợp với các nhiệm vụ học tập AI.
Tuy nhiên, mức tiêu thụ điện năng cao và chi phí vận hành của chúng có những hạn chế đáng kể. Điều này khiến chúng kém lý tưởng hơn cho "AI biên", bao gồm việc chạy các ứng dụng AI trực tiếp trên các thiết bị như bộ điều khiển, robot và ô tô tự lái - được gọi chung là "biên".
NPU (Bộ xử lý thần kinh) được mô phỏng theo bộ não con người, mang lại lợi ích về mức tiêu thụ điện năng thấp hơn và giảm chi phí sản xuất. Tuy nhiên, các NPU hiện tại đang gặp khó khăn về độ chính xác và khả năng hỗ trợ các thuật toán AI mới nhất . DEEPX nổi bật trong số các công ty xuất sắc nhờ giải quyết các thách thức cốt lõi của chất bán dẫn AI bằng một giải pháp toàn diện.
Không giống như các nhà cung cấp NPU thông thường chỉ phát hành một con chip, DEEPX nhận thấy rằng các thiết bị điện tử khác nhau yêu cầu mức độ khả năng bán dẫn khác nhau. Ví dụ: AI cho truyền hình mạch kín (CCTV) chủ yếu cần phân tích video, trong khi AI cho robot liên quan đến các tính toán phức tạp hơn nhiều.
Để giải quyết vấn đề này, DEEPX đã phát triển bốn chip hiệu suất từ cấp thấp đến cao cấp cùng một lúc: một chip có thể kết nối một thiết bị điện tử duy nhất để tính toán AI và một chip khác có thể liên kết ba hoặc bốn thiết bị cho các nhiệm vụ AI rộng hơn. Tính phổ biến trên các thiết bị này là lý do chính khiến DEEPX nhận được Giải thưởng Sáng tạo tại CES 2024.
Cam kết của DEEPX về hiệu suất cao với mức điện năng và chi phí thấp hơn cũng đã mang lại cho họ Giải thưởng Sáng tạo. Thuật toán AI mới nhất của công ty, Yolo7, chạy trên chất bán dẫn DX-V1, được sản xuất bằng quy trình 28nm của Samsung.
Thuật toán này trước đây không tương thích với NPU thông thường. Ngoài ra, chip DX-M1 tự hào có diện tích thiết kế bằng 1/3 kích thước của các NPU khác và chi phí sản xuất của nó cũng giảm 1/3 tương tự. Kết hợp chi phí đơn vị thấp với hiệu suất cao trong NPU công suất thấp, các sản phẩm của DEEPX sẵn sàng dẫn đầu thị trường bán dẫn AI.
NPU được phân loại thành NPU dựa trên trung tâm dữ liệu, xử lý suy luận quy mô lớn và NPU loại biên, được thiết kế để sử dụng trong các thiết bị điện tử như robot, máy ảnh thông minh, nhà máy thông minh, điện tử tiêu dùng, v.v. DEEPX nhắm đến cả trung tâm dữ liệu và thị trường NPU biên. NPU của DEEPX khắc phục những thiếu sót chung của NPU hiện có bằng cách mang lại độ chính xác và hiệu quả cao.
Sự đổi mới của DEEPX nằm ở việc tạo ra các NPU không chỉ nhỏ và tiết kiệm chi phí mà còn đạt được độ chính xác tương đương hoặc thậm chí tốt hơn GPU. Thành công này là nhờ công việc tiên phong của DEEPX trong hai công nghệ cốt lõi: IQ8 (công nghệ nén mô hình INT8) và Truy cập bộ nhớ thông minh (giảm thiểu việc sử dụng D-RAM). DEEPX dẫn đầu thị trường về các giải pháp AI tiêu tốn ít năng lượng, đạt được tỷ lệ công suất trên hiệu suất cao nhất thế giới thông qua những cải tiến độc quyền về tối ưu hóa phần cứng và phần mềm.
Tiến tới sản xuất hàng loạt
DEEPX đã trình diễn thành công công nghệ ban đầu của mình bằng các đơn vị mẫu và đang trong giai đoạn cuối cùng trong quá trình chuẩn bị chip sản xuất hàng loạt. Dự kiến ra mắt thị trường vào cuối năm 2024, việc áp dụng rộng rãi các sản phẩm có chip của DEEPX có thể giúp công ty trở thành công ty dẫn đầu về công nghệ trong thị trường AI trên thiết bị vào năm 2025.
Bản chất của AI trên thiết bị nằm ở mức tiêu thụ điện năng thấp và sự tích hợp liền mạch giữa phần cứng và phần mềm. Vì AI phải hoạt động trên các thiết bị nhỏ nên việc giảm thiểu mức tiêu thụ điện năng là rất quan trọng đồng thời tối đa hóa hiệu suất AI trong khả năng tính toán hạn chế.
Kim, rút ra từ kinh nghiệm của mình tại Apple, nhấn mạnh tầm quan trọng của việc thiết kế phần cứng và phần mềm với mức độ ưu tiên ngang nhau ngay từ đầu. Không giống như Apple phát triển các thiết bị và dịch vụ của riêng mình, DEEPX tương tác với khoảng 700 khách hàng trong quá trình phát triển sản phẩm để hiểu nhu cầu của họ và tìm ra điểm phát triển tối ưu. Cách tiếp cận lấy khách hàng làm trung tâm này đóng vai trò then chốt trong việc cải tiến các sản phẩm của DEEPX.
Bốn công ty từ Israel và Mỹ, bao gồm DEEPX, đang cạnh tranh vị trí thống trị trong thị trường AI trên thiết bị mới nổi. Khi thị trường bắt đầu phát triển vượt ra ngoài thị trường máy chủ, sự cạnh tranh này rất quan trọng để tạo đà phát triển trong tương lai.
Kim tự tin vào chiến lược của DEEPX. Ông lưu ý rằng trong khi một số đối thủ cạnh tranh ưu tiên phát hành sản phẩm nhanh chóng thì DEEPX lại tập trung vào giá cả và tối ưu hóa trước tiên. Với sự phát triển nhanh chóng của các dịch vụ ứng dụng AI, Kim tin rằng điều quan trọng hơn là phải phù hợp với xu hướng thị trường và cung cấp các tính năng hiệu suất cao với chi phí cạnh tranh thay vì đưa sản phẩm ra thị trường một cách vội vã.
Cách tiếp cận đổi mới của DEEPX nhằm phát triển NPU linh hoạt, hiệu quả và tiết kiệm chi phí giúp công ty trở thành đối thủ đáng gờm trên thị trường AI trên thiết bị. Bằng cách ưu tiên nhu cầu của khách hàng và duy trì sự tập trung cân bằng vào tối ưu hóa phần cứng và phần mềm , DEEPX được thiết lập để dẫn đầu ngành với các giải pháp bán dẫn AI tiên tiến.
Giám đốc điều hành DEEPX Lokwon Kim
Ảnh: DEEPX
Triết lý của công ty DEEPX: Đánh giá công nghệ dựa trên kết quả ngắn hạn
DEEPX không tập trung vào việc sản xuất chất bán dẫn AI cho ô tô tự hành hoặc điện thoại thông minh. Thay vào đó, DEEPX đặt mục tiêu thúc đẩy việc tích hợp AI vào cuộc sống hàng ngày. Các sản phẩm của công ty được thiết kế để đưa AI vào các lĩnh vực như camera quan sát và robot, đẩy những công nghệ này vượt xa các thuật toán lỗi thời. Sứ mệnh của DEEPX là đi tiên phong trong những tiến bộ đáng lẽ phải được thực hiện trong ngành bán dẫn AI.
Ở lối vào của DEEPX, có một ghi chú dành cho nhân viên nhấn mạnh giá trị của công nghệ so với lợi nhuận tiền tệ. Nó trích dẫn "chấm xanh nhạt" của Carl Sagan, phản ánh ý tưởng rằng cuộc sống nên được sống có giá trị hơn là theo đuổi tiền bạc và quyền lực. Thông điệp khuyến khích 70 nhân viên yêu thích công việc của họ và thấy nó có ý nghĩa, phù hợp với đặc tính của công ty là tạo ra công nghệ vì lợi ích lớn hơn.
DEEPX tin vào 'công nghệ mà mọi người chia sẻ'. Ở góc độ quản lý, AI được coi là một trong những phát minh cuối cùng của loài người, đánh dấu điểm cuối trong quá trình tiến hóa của loài người. Mục tiêu không phải là độc quyền công nghệ hay theo đuổi lợi nhuận mà là dẫn đầu trong việc giúp AI có thể tiếp cận và mang lại lợi ích cho tất cả mọi người. Chất bán dẫn AI của DEEPX là nền tảng của tầm nhìn này, cho phép áp dụng rộng rãi AI.
Kế hoạch tương lai: Mở rộng và đổi mới toàn cầu
Giám đốc điều hành có tầm nhìn xa của DEEPX, Kim, đã vạch ra kế hoạch chiến lược cho tương lai:
- Thâm nhập thị trường toàn cầu: Bắt đầu từ nửa cuối năm nay, DEEPX có kế hoạch thâm nhập mạnh mẽ vào thị trường toàn cầu với sản phẩm thế hệ đầu tiên, bao gồm bốn chip AI. Động thái này được thiết lập để mở ra kỷ nguyên "AI ở mọi nơi".
- Đổi mới công nghệ: DEEPX đặt mục tiêu phát triển các công nghệ mới cho phép thực hiện các dịch vụ AI siêu quy mô với mức tiêu thụ điện năng dưới 5W. Sự đổi mới này sẽ làm cho các công nghệ AI tiên tiến trở nên dễ tiếp cận và thiết thực hơn để sử dụng rộng rãi.
- Dẫn đầu về AI: DEEPX cam kết trở thành công ty chip AI toàn diện hàng đầu trên toàn cầu. Bằng cách tập trung vào sức mạnh và hiệu quả chi phí, công ty tìm cách cung cấp các công nghệ cốt lõi giúp chuyển đổi những tiến bộ AI khổng lồ từ lĩnh vực khoa học sang các ứng dụng hàng ngày.
Sứ mệnh của DEEPX là tích hợp AI vào cuộc sống hàng ngày, thúc đẩy công nghệ theo những cách có ý nghĩa. Bằng cách coi trọng sự đổi mới hơn lợi nhuận và hướng tới vị trí dẫn đầu toàn cầu, DEEPX được thiết lập để đóng một vai trò then chốt trong tương lai của AI. Cam kết của công ty đối với công nghệ chia sẻ và mở rộng toàn cầu nêu bật sự cống hiến của công ty trong việc làm cho AI có thể tiếp cận được và mang lại lợi ích cho nhân loại.
Hãy tham gia Chương trình khách hàng tương tác sớm (EECP) của DEEPX và đừng bỏ lỡ các sản phẩm cải tiến của họ được thiết kế để nâng cao khả năng AI của bạn. Khám phá cách hơn 100 công ty toàn cầu, bao gồm Phòng thí nghiệm Robot của Hyundai Kia Motors, POSCO DX, Supermicro và Dell, tận dụng phần cứng và phần mềm của họ để cung cấp năng lượng cho các sản phẩm AI thế hệ tiếp theo của họ.
Để biết thêm thông tin, bạn có thể theo dõi DEEPX trên mạng xã hội hoặc truy cập trang web chính thức của họ .
(Digitimes Asia)
