Sử dụng h5 để đọc ghi dữ liệu

lúc làm việc có Deep Learning, bạn chuẩn bị python là gì tinh thần làm việc với đủ chiếc dữ liệu khác nhau: ảnh, số, text.... Tiêu dùng CSDL quan hệ mang vẻ tương đối thừa mứa bởi để huấn luyện chúng ta cần 1 bảng dữ liệu đã được phẳng hóa không còn liên kết chỉ mục đến bảng khác nữa. Trong bài này mình bàn đến chuẩn định dạng file HDF5 để lưu trữ, đọc dữ liệu.

Đặc điểm của HDF5 là:

tiện lợi chia sẻ vì nó ở dạng file mà !
tầm nã tốc độ cao và tiết kiệm dung lượng lưu trữ
Đa nền tảng, thư viện thao tác HDF5 mang phổ thông tiếng nói như C/C++, Java, Python, Golang....
ko ngừng kích thước
Lưu biểu đạt định dạng cộng sở hữu dữ liệu !
với Python, Deep Learning, bạn đọc dữ liệu dạng mảng, ma trận Numpy hay dạng dictionary vào ra HDF5 rất dễ dàng.

Keras lưu hệ số weights các node sau lúc huấn luyện vào file hd5.

Line 4: lưu cấu trúc model ra file model.json
Line 6: lưu weight ra model.h5
thời kỳ đọc trái lại từ file vào Keras model như sau

Lưu bổ những dữ liệu ảnh vào h5
Mình đang sở hữu 1 Dự án nghịch sẽ kêu gọi cùng sách học lập trình c đồng (anh đi qua, chị đi lại) mỗi người vẽ vài chữ số trong khoảng 0 tới 9 để tập huấn thay thế cho bộ chữ số MNIST. Ban sơ khiêm tốn là vậy, sau ấy theo như anh Vũ Hữu Tiệp gợi ý nhờ mọi người vẽ ký tự chữ cái tiếng Việt. Bộ dữ liệu này cũng san sẻ lại.

Vấn đề đặt ra là khiến cho sao lưu được các ảnh chữ số vào 1 mảng chứ ko lưu ra từng file png nhỏ lẻ. Phần giao diện màn hình tôi đang vẽ giờ bằng SketchApp. Song song có đó, tôi thí điểm lấy 1 số ảnh trong khoảng dữ liệu MNIST, rồi lưu lại vào h5 xem sao. Chạy thử vận dụng này ban đầu là ghi vào h5, sau đó đọc ra trong khoảng h5 rồi vẽ bằng MatplotLib khoảng 15 ảnh.

Rút ra được 2 điểm:

h5 sở hữu thể lưu phổ thông dataset với cấu trúc khác nhau. Cứ đặt tên riêng từng dataset là sẽ ghi vào và lấy ra được
dataset mang thể ghi thêm (append) những bản ghi mới, miễn là phải đúng cấu trúc
Chú ý line 16 h5f.create_dataset(dataset_name, data=small_set, maxshape=(100, 28, 28))
Tôi khai báo thêm chọn lựa maxshape=(100, 28, 28) để cho phép dataset với thể lưu đến 100 ảnh. Không sở hữu chọn lọc này, bạn sẽ không thể bổ xung dữ liệu thêm vào dataset sẵn với.

Bổ xung thêm dữ liệu vào h5

Xem thêm =>> https://mindx.edu.vn/blog/post/top-ngon-ngu-lap-trinh-cho-tre-em-thong-dung-nhat-hien-nay

Line 13: chỉnh lại kích thước, nới rộng ra bằng đúng kích thước dữ liệu sẽ thêm vào
Line 14: khoanh vùng dữ liệu tính trong khoảng điểm cuối và sở hữu kích thước bằng dữ liệu thêm vào, sau đó gán dữ liệu cần thêm vào vùng này...

h5 hỗ trợ đọc ghi xong xong trong khoảng phổ thông process
Đây là 1 chức năng rất thiết yếu của h5. Ví như không sở hữu nó, thì các tác vụ xử lý song song (parallel) lúc đọc ghi vào ổ cứng sẽ biến thành tuần tự hết.
Tôi chưa với điều kiện thí nghiệm trong hôm này, để mai mốt khi hệ thống nhận dữ liệu đóng góp từ cùng đồng tối sẽ thực hiện