Hàng khuyến mãi Hang khuyen mai hang thanh ly hàng thanh lý

Hãy chọn Truy cập bằng mobile | Tiếp tục
Từ khóa hot: Thời trang Đồng hồ Thẩm mỹ Xây dựng Chăm sóc sức khỏe   |  
Tìm nâng cao

Cơ sở hạ tầng điện toán nào tốt nhất cho AI? [Copy địa chỉ]

Thời gian đăng: 28/12/2022 11:32:08

Hơn bao giờ hết, câu hỏi cụ thể nhất mà một tổ chức CNTT phải trả lời về mọi workload của trung tâm dữ liệu mới đó là chạy nó ở đâu? Các workload mới nhất trong doanh nghiệp hiện nay là các biến thể của machine learning, hoặc AI, hoặc đó có thể là mô hình đào tạo (training) deep learning hoặc suy luận (inference), và đã có rất nhiều lựa chọn cho cơ sở hạ tầng AI mà việc tìm ra lựa chọn tốt nhất là không hề dễ dàng gì đối với một doanh nghiệp.

Có nhiều tùy chọn phần cứng AI trên thị trường, một loạt các dịch vụ đám mây AI đang phát triển nhanh chóng và nhiều tùy chọn trung tâm dữ liệu khác nhau để lưu trữ phần cứng AI. Một công ty với dày đặc các thành phần trong toàn bộ hệ sinh thái cơ sở hạ tầng machine learning này là Nvidia, công ty không chỉ sản xuất và bán phần lớn các bộ xử lý cho AI workload trên thế giới (Nvidia GPU), mà còn xây dựng rất nhiều phần mềm chạy trên các hệ thống đó, ngoài ra họ còn sản xuất và cung cấp siêu máy tính AI của riêng mình và gần đây hơn, các nhà cung cấp trung tâm dữ liệu bảo vệ trước để giúp khách hàng tìm thấy những máy tính có khả năng lưu trữ máy AI của họ.

Gần đây chúng tôi đã có dịp nói chuyện với Charlie Boyle, giám đốc tiếp thị cho dòng sản phẩm siêu máy tính DGX AI của Nvidia, để nói về những xu hướng mới nhất trong phần cứng AI và thế giới cơ sở hạ tầng AI rộng lớn hơn. Dưới đây là cuộc phỏng vấn của chúng tôi, đã được biên tập cho rõ ràng và ngắn gọn:

DCK: Làm thế nào để các công ty quyết định có nên sử dụng dịch vụ đám mây cho khối lượng công việc học máy của họ hoặc mua phần cứng AI của riêng họ không?

Charlie Boyle: Hầu hết khách hàng của chúng tôi sử dụng kết hợp tại chỗ và đám mây. Và động lực lớn nhất mà chúng ta thấy là vị trí của các ảnh hưởng dữ liệu nơi bạn xử lý nó. Trong bối cảnh AI, bạn cần một lượng dữ liệu khổng lồ để có kết quả. Nếu tất cả dữ liệu đó đã có trong trung tâm dữ liệu doanh nghiệp của bạn (bạn đã biết 10, 20, 30 năm dữ liệu lịch sử), bạn muốn di chuyển xử lý càng gần càng tốt. Vì vậy, ủng hộ các hệ thống tại chỗ. Nếu bạn là một công ty bắt đầu trên đám mây và tất cả dữ liệu khách hàng của bạn nằm trên đám mây, thì có lẽ tốt nhất là bạn nên xử lý dữ liệu đó trên đám mây.

>>> Xem thêm: ram hpe


Và đó là bởi vì thật khó để di chuyển nhiều dữ liệu vào và ra khỏi đám mây?

Đó là, nhưng nó cũng phụ thuộc vào cách bạn tạo dữ liệu của mình. Hầu hết dữ liệu của khách hàng khá năng động, vì vậy họ luôn thêm vào dữ liệu đó và vì vậy, nếu họ thu thập tất cả dữ liệu đó tại cơ sở trong hệ thống, thì việc tiếp tục xử lý dữ liệu tại cơ sở sẽ dễ dàng hơn. Nếu họ tổng hợp nhiều dữ liệu vào các dịch vụ đám mây, thì họ sẽ xử lý nó trong các dịch vụ đám mây.

Và đó thực sự là cho các trường hợp sử dụng sản xuất. Rất nhiều trường hợp sử dụng thử nghiệm có thể bắt đầu trong đám mây – bạn chỉ cần kích hoạt trình duyệt và bạn có quyền truy cập vào cơ sở hạ tầng AI – nhưng khi họ chuyển sang sản xuất, khách hàng đưa ra quyết định địa phương, quyết định tài chính, quyết định bảo mật, liệu có tốt hơn không họ để xử lý nó tại cơ sở hoặc trên đám mây.

Khách hàng của Nvidia thường thực hiện một số khóa đào tạo mô hình AI tại cơ sở, bởi vì đó là nơi chứa dữ liệu lịch sử của họ. Họ xây dựng một mô hình tuyệt vời, nhưng mô hình đó sau đó được phục vụ bởi các dịch vụ trực tuyến của họ – suy luận tăng tốc họ làm trong đám mây dựa trên mô hình mà họ xây dựng tại chỗ.

Đối với những người chạy khối lượng công việc AI trên phần cứng của chính họ tại cơ sở hoặc trong các trung tâm dữ liệu colocation, bạn đã thấy cách tiếp cận làm mát nào, với những hộp này có độ dày như thế nào?

Việc làm mát bằng chất lỏng so với không khí so với hỗn hợp luôn là một cuộc tranh luận tích cực, một vấn đề mà chúng tôi luôn nghiên cứu. Nói chung, nơi chúng ta ngày nay – mọi người đang vận hành rất nhiều hệ thống, có thể lên tới 50 hoặc hơn – chỉ cần làm mát không khí thông thường hoạt động tốt. Khi chúng ta bắt đầu đi vào các giá đỡ mật độ cao hơn, bạn sẽ biết các giá đỡ 30, 40, 50 kilowatt, chúng ta thường nhìn thấy các bộ trao đổi nhiệt làm mát bằng nước phía sau, đặc biệt là cửa sau hoạt động. Và đó là những gì chúng tôi thực hiện trong các trung tâm dữ liệu mới nhất của mình, bởi vì theo cách đó, bạn không thay đổi hệ thống ống nước trên chính hệ thống vật lý.

Giờ đây, một số đối tác OEM của chúng tôi đã xây dựng hệ thống làm mát bằng nước trực tiếp dựa trên GPU, không phải cho DGX. Một số khách hàng đang xây dựng một dữ liệu hoàn toàn mới nhập và muốn xây dựng một cơ sở hạ tầng siêu máy tính siêu dày đặc, họ sẽ đặt cơ sở hạ tầng đó trước thời hạn.

Nhưng chúng tôi đang ở cùng với hầu hết các nhà cung cấp dịch vụ colocation – và thậm chí hầu hết các trung tâm dữ liệu hiện đại mà mọi người đang xây dựng trong năm nay và có thể trong năm tới – đó là nước lạnh hoặc nhiệt độ nước xung quanh chỉ ở mức giá đỡ để hỗ trợ cửa sau.

Direct-to-chip là vấn đề của ngành và hoạt động. Công nghệ là có, chúng ta có thể làm điều đó ngày hôm nay, nhưng sau đó bạn làm thế nào để phục vụ nó? Đó sẽ là một đường cong học tập cho những người hoạt động bình thường của bạn.

>>> Xem thêm: ram hpe 16gb


Các hệ thống DGX và phần cứng AI hỗ trợ GPU khác của bạn sẽ dày đặc đến mức bạn sẽ không thể làm mát chúng bằng không khí, theo thời gian?

Tất cả các hệ thống tôi đang tìm kiếm trong tương lai gần có thể là làm mát bằng không khí, cửa nhiệt phía sau nước hoặc không khí trong giá đỡ. Chủ yếu là vì đó là nơi tôi thấy hầu hết các khách hàng doanh nghiệp đang ở. Không có gì vốn có trong những gì chúng ta cần làm trong mật độ nói rằng chúng ta không thể làm không khí hoặc hỗn hợp trong tương lai gần, chủ yếu là vì hầu hết mọi người sẽ bị giới hạn bởi bao nhiêu sức mạnh vật lý mà họ có thể đặt vào một giá đỡ

Ngay bây giờ, chúng tôi đang chạy các giá đỡ 30-40kW. Bạn có thể chạy các giá 100kW, giá 200kW, nhưng không ai có mật độ đó ngày hôm nay. Chúng tôi có thể đến điểm mà bạn cần làm mát nước? Có thể, nhưng đó thực sự là về lựa chọn hiệu quả nhất cho mỗi khách hàng. Chúng tôi thấy khách hàng thực hiện các phương pháp lai, nơi họ đang thu hồi nhiệt thải và những thứ khác như thế. Chúng tôi tiếp tục xem xét điều đó, tiếp tục làm việc với những người đang xây dựng mọi thứ trong những không gian đó để xem nó có hợp lý không.

Sản phẩm máy trạm của chúng tôi, trạm DGX, được làm mát bằng nước, vì vậy một trong những sản phẩm của chúng tôi đã được làm mát bằng nước khép kín. Nhưng từ phía máy chủ, cơ sở hạ tầng trung tâm dữ liệu đó, hầu hết mọi người chưa có.

Hầu hết các trung tâm dữ liệu doanh nghiệp không có khả năng làm mát ngay cả giá đỡ 30kW và 40kW. Đó có phải là rào cản cho doanh số DGX?

Nó thực sự không có. Đó là một điểm trò chuyện, nhưng đó cũng là lý do tại sao chúng tôi đã công bố giai đoạn thứ hai của chương trình sẵn sàng DGX . Nếu bạn chỉ nói về việc đưa một vài hệ thống vào, bất kỳ trung tâm dữ liệu nào cũng có thể hỗ trợ một vài hệ thống, nhưng khi bạn truy cập vào hệ thống 50-100, thì bạn đang xem xét việc thiết kế lại trung tâm dữ liệu hoặc đến nhà cung cấp colo đã có nó

Đó là lý do tại sao chúng tôi thực sự cố gắng loại bỏ những lực cản ra khỏi hệ thống, hợp tác với các nhà cung cấp colo này, để nhóm trung tâm dữ liệu của chúng tôi thực hiện trách nhiệm với họ, để họ có mật độ, họ đã có hệ thống làm mát nước ở cửa sau cần thiết, để khách hàng có thể nhấc điện thoại lên và nói rằng, tôi cần chỗ cho 50 DGX-2 và nhà cung cấp trung tâm dữ liệu đã có dữ liệu đó, đặt nó vào máy tính của họ và nói, OK, chúng tôi có thể có nó cho bạn tuần tới.

Công ty cổ phần thương mại Máy Chủ Hà Nội

- Trụ sở Hà Nội: Tầng 1,2,4 - Tòa nhà PmaxLand số 32 ngõ 133 Thái Hà - Q. Đống Đa

Hotline mua hàng Hà Nội: 0979 83 84 84       Điện thoai: 024 6296 6644

- CN Hồ Chí Minh: Lầu 1- Tòa nhà 666/46/29 Đường 3/2- Phường 14 - Quận 10

Hotline mua hàng Hồ Chí Minh: 0945 92 96 96      Điện thoai: 028 2244 9399

- Email: hotro@maychuhanoi.vn

- website: https://maychuhanoi.vn/

- facebook: https://www.facebook.com/maychuhanoi



Đánh giá

Lưu trữ | Phiên bản Mobile | Quy chế | Chính sách | Chợ24h

GMT+7, 28/3/2024 20:37 , Processed in 0.130160 second(s), 136 queries .

© Copyright 2011-2024 ISOFT®, All rights reserved
Công ty CP Phần mềm Trí tuệ
Số ĐKKD: 0101763368 do Sở KH & ĐT Tp. Hà Nội cấp lần đầu ngày 13/7/2005, sửa đổi lần thứ 4 ngày 03/11/2011
Văn phòng: Tầng 9, Tòa Linh Anh, Số 47-49 Khuất Duy Tiến, P. Thanh Xuân Bắc, Q. Thanh Xuân, Hà Nội
Tel: (84) 2437 875018 | (84) 2437 875017 | E-Mail: cho24h@isoftco.com

Lên trên