Restore Vietnamese diacritics with Transformer
In this article, we try to restore Vietnamese diacritics using a Transformer model. You don’t need to understand Vietnamese to read this, I promise :).
About technology stuff that piqued my interest
In this article, we try to restore Vietnamese diacritics using a Transformer model. You don’t need to understand Vietnamese to read this, I promise :).
Thêm dấu cho Tiếng Việt không dấu là một vấn đề thú vị. Hôm nay, chúng ta sẽ dùng Transformer và các kỹ thuật machine translation để giải quyết vấn đề này.
Adversarial example là tên gọi các ví dụ được tạo ra để đánh lừa model deep learning. Ta sẽ dùng Tensorflow và FSGM để tạo ra một ví dụ như thế.
An adversarial example is a data point specifically crafted to fool a deep learning model. Today, we will use Tensorflow and FSGM to create one such example.
Nếu không có GPU thì việc train model sẽ rất tốn thời gian. Lúc này, ta có thể dùng fast feature extraction để tăng tốc độ train.
It’s very time-consuming to train a deep learning model without a GPU. In that case, we can use fast feature extraction to speed up the training process.
Tối ưu hóa các hyperparameter cho một model deep learning là quá trình phức tạp. Tuy nhiên ta có thể tự động hóa một phần quá trình này bằng KerasTuner.
Tuning hyperparameters for a deep learning model can be tendious. Fortunately, we can automate part of the tuning process with KerasTuner.
Đôi khi training data của ta vượt quá dung lượng memory. Định dạng HDF5 cho phép ta đọc dữ liệu từ thiết bị lưu trữ nhanh nhất và hiệu quả nhất có thể.
Sometimes, our training dataset is too big to fit into memory. The HDF5 format can help us access data from disk as fast and efficiently as possible.