Luận văn Mô phỏng hệ thống Transputer trên môi trường MPI
Trước thập niên 1960, nền tảng để thiết kế các máy tính số đều dựa trên mô hình của John von Newmann. Theo mô hình này thì một máy tính gồm có một đơn vị xử lý được nối với một vùng nhớ lưu trữ và tại một thời điểm chỉ có một lệnh máy được thực thi. Từ những năm 1960, những hệ thống xử lý song song và đồng thời ra đời với kiến trúc máy có nhiều bộ xử lý ( Multiprocessor ). Một trong những mô hình theo kiến trúc này là mô hình của máy Transputer. Theo mô hình này, mỗi processor có thể có một vùng nhớ riêng của nó và chỉ dùng vùng nhớ chung khi thật sự cần thiết. Cùng với sự ra đời của kiến trúc này, các ngôn ngữ lập trình song song như PASCAL PLUS, ADA, OCCAM cũng đã được biết đến. Mặc dù có nhiều loại và nhiều hình thức xử lý song song khác nhau nhưng kỹ thuật lập trình song song tập trung ở hai hướng chính: song song theo cơ chế SIMD và MIMD. SIMD ( Single Instruction Multiple Data) : Cơ chế song song này được áp dụng vào các siêu máy tính như CRAY, DAP các máy xử lý vector, mảng. Lập trình song song trên hệ thống SIMD cũng tuân thủ một số quy tắc song song dữ liệu.