LUẬN VĂN:TÁI TẠO MÔ HÌNH KHUÔN MẶT TỪ CÁC ĐIỂM ĐẶC TRƯNG
3,498
262
72
ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ
Nguyễn Đình Tƣ
TÁI TẠO MÔ HÌNH KHUÔN MẶT
TỪ CÁC ĐIỂM ĐẶC TRƢNG
KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY
Ngành: Công nghệ Thông tin
HÀ NỘI - 2010
ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ
Nguyễn Đình Tƣ
TÁI TẠO MÔ HÌNH KHUÔN MẶT
TỪ CÁC ĐIỂM ĐẶC TRƢNG
KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY
Ngành: Công nghệ Thông tin
Cán bộ hƣớng dẫn: PGS.TS Bùi Thế Duy
HÀ NỘI - 2010
Tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư
i
LỜI CẢM ƠN
Lời đầu tiên em xin bày tỏ lòng biết ơn sâu sắc tới thầy giáo Bùi Thế Duy, thầy
đã hướng dẫn em tận tình trong suốt năm học vừa qua. Em xin cảm ơn cô giáo Ma
Thị
Châu đã trao đổi, thảo luận và giúp đỡ em nhiều trong quá trình làm khóa luận
này.
Em xin bày tỏ lòng biết ơn tới các thầy, cô giáo trong Khoa Công nghệ thông tin
– trường Đại học Công nghệ - ĐHQGHN. Các thầy cô đã dạy bảo, chỉ dẫn em và luôn
tạo điều kiện tốt nhất cho em học tập trong suốt quá trình học đại học, đặc biệt
là trong
thời gian làm khóa luận tốt nghiệp.
Tôi xin cảm ơn các anh, chị khóa trên và các bạn K51 trường Đại học Công nghệ
đã chỉ dẫn cũng như cho những ý kiến đóng góp giá trị cho khóa luận này.
Cuối cùng con xin gửi tới Bà, Bố Mẹ, Cậu Mợ, Chú Dì cùng toàn thể Gia đình
lòng biết ơn và tình cảm yêu thương.
Hà Nội, ngày 20/05/2010
Nguyễn Đình Tư
Tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư
ii
TÓM TẮT
Tái tạo mô hình khuôn mặt là việc khôi phục lại mô hình khuôn mặt từ hộp sọ
của người chết hoặc từ nhiều ảnh hai chiều đầu vào. Tái tạo mô hình khuôn mặt đã
và
đang trở thành một vấn đề khoa học máy tính hiện đại. Vấn đề (bài toán) này được
áp
dụng rộng rãi trong nhiều ứng dụng thực tiễn. Bài toán được áp dụng và có ý
nghĩa lớn
trong việc xác định danh tính của người chết từ hộp sọ của họ trong các vụ án
hình sự,
trong công cuộc tìm mộ liệt sĩ hay trong khảo cổ học. Bài toán còn được ứng dụng
trong tương tác người máy nhằm tạo ra những nhân vật ảo có khuôn mặt giống nhân
vật thật đồng thời có khả năng giao tiếp, biểu hiện cảm xúc và thái độ qua gương
mặt
giống như con người.
Hiện nay ở Việt Nam, tái tạo mô hình khuôn mặt đang thu hút được sự quan tâm
đặc biệt. Các nhà nghiên cứu và viện pháp y quân đội đang bước đầu xây dựng một
hệ
thống tái tạo khuôn mặt từ hộp sọ để ứng dụng vào việc xác định danh tính của
các liệt
sĩ vô danh.
Trong khóa luận này, chúng tôi trình bày về một hệ thống tái tạo mô hình khuôn
mặt từ các điểm đặc trưng trên khuôn mặt. Hệ thống sử dụng mô hình đa mạng hàm
cơ
sở bán kính, Radial Basis Function (RBF) để biến đổi một mô hình khuôn mặt nguồn
ra mô hình khuôn mặt đích. Mô hình đa mạng RBF được huấn luyện bởi tập các điểm
đặc trưng trên khuôn mặt nguồn và tập các điểm đặc trưng trên khuôn mặt đích
tương
ứng. Hệ thống đã được thử nghiệm trên dữ liệu được tạo từ ảnh của những khuôn
mặt
thật và cho kết quả có triển vọng. Bên cạnh đó chúng tôi đã xây dựng được một
quy
trình tạo cơ sở dữ liệu phục vụ cho việc thẩm định hệ thống và có thể phục vụ
cho các
nghiên cứu khác có cùng đối tượng nghiên cứu.
Tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư
iii
MỤC LỤC
LỜI CẢM ƠN
.........................................................................................................................................................
I
TÓM TẮT
.............................................................................................................................................................
II
MỤC LỤC
...........................................................................................................................................................
III
DANH SÁCH HÌNH VẼ
.....................................................................................................................................
IV
DANH SÁCH BẢNG
............................................................................................................................................
V
CHƢƠNG 1 GIỚI THIỆU
...................................................................................................................................
1
CHƢƠNG 2 CÁC PHƢƠNG PHÁP TÁI TẠO KHUÔN MẶT
....................................................................... 3
2.1 Giới thiệu chung về giải phẫu khuôn mặt
...............................................................................3
2.1.1 Xương mặt và hộp sọ
.......................................................................................................................
3
2.1.2 Giải phẫu cơ mặt
..............................................................................................................................
6
2.2 Các phương pháp biểu diễn mô hình khuôn mặt
....................................................................9
2.2.1 Tạo mô hình khuôn mặt với lớp da là lưới đa giác
........................................................................ 10
2.2.2 Tạo mô hình mặt người bằng bề mặt tham số
................................................................................
13
2.3 Các phương pháp tái tạo khuôn mặt
.....................................................................................15
2.3.1 Các phương pháp hai chiều (2D)
...................................................................................................
15
2.3.1.1 Phương pháp lồng sọ vào bức vẽ chân dung
........................................................................ 16
2.3.1.2 Phương pháp lồng sọ vào ảnh
..............................................................................................
16
2.3.2 Các phương pháp ba chiều (3D)
....................................................................................................
20
2.3.2.1 Các phương pháp 3D truyền thống
......................................................................................
20
2.3.2.2 Các phương pháp 3D sử dụng công nghệ thông tin
............................................................. 25
CHƢƠNG 3 HỆ THỐNG TÁI TẠO MÔ HÌNH KHUÔN MẶT TỪ CÁC ĐIỂM ĐẶC TRƢNG ..............
31
3.1 Mô hình hệ thống
..................................................................................................................31
3.2 Chuẩn hóa dữ liệu
.................................................................................................................34
3.2.1 Các phép biến đổi trong không gian ba chiều được sử dụng
......................................................... 34
3.2.2 Sử dụng các phép biến đổi để chuẩn hóa dữ liệu
........................................................................... 40
3.3 Biến đổi khuôn mặt
...............................................................................................................41
3.3.1 Mô hình khuôn mặt nguồn
.............................................................................................................
42
3.3.2 Biến đổi mô hình khuôn mặt
.........................................................................................................
42
3.4 Chỉnh sửa khuôn mặt
............................................................................................................44
3.4.1 Chỉnh sửa theo điểm
......................................................................................................................
44
3.4.2 Chỉnh sửa theo vùng
......................................................................................................................
45
3.5 Thiết kế hệ thống
...................................................................................................................49
CHƢƠNG 4 THỰC NGHIỆM VÀ ĐÁNH GIÁ
..............................................................................................
54
4.1 Các bước tiến hành thực nghiệm
..........................................................................................54
4.2 Kết quả và đánh giá
..............................................................................................................55
CHƢƠNG 5 TỔNG KẾT
....................................................................................................................................
62
TÀI LIỆU THAM KHẢO
...................................................................................................................................
63
Tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư
iv
DANH SÁCH HÌNH VẼ
Hình 1. Cấu trúc xương đầu người
.............................................................................................
4
Hình 2. Các nhóm cơ mặt
...........................................................................................................
7
Hình 3. Các loại cơ mặt
..............................................................................................................
8
Hình 4. Các phiên bản khác nhau của CANDIDE
................................................................... 11
Hình 5. Mô hình Greta
..............................................................................................................
12
Hình 6. Một bề mặt B-Spline
...................................................................................................
14
Hình 7. Lồng sọ vào bức vẽ chân dung
....................................................................................
16
Hình 8. Ảnh nửa mặt và nửa sọ
................................................................................................
16
Hình 9. Lồng sọ vào ảnh trên hệ thống gương bán mạ tại viện Pháp y Quân Đội
................... 17
Hình 10. Tái tạo mặt dựa trên xương sọ mặt của nạn nhân
...................................................... 23
Hình 11. Mô hình khuôn mặt với việc đắp đất sét lên hộp sọ, sử dụng
................................... 25
Hình 12. Quá trình tái tạo khuôn mặt từ hộp sọ
....................................................................... 27
Hình 13. Ảnh chụp đầu của xác ướp ở Florence (inv. N. 8643) (a) và ảnh chụp cắt
lớp xoắn ốc
(b)
.............................................................................................................................................
28
Hình 14. Dựng lại khuôn mặt của Pharaoh Tutankhamun.
...................................................... 29
Hình 15. Mô hình hệ thống tái tạo mô hình khuôn mặt từ các điểm đặc trưng
........................ 33
Hình 16. Phép quay chiều dương, trục quay Ox, hướng nhìn là hướng âm trục Ox
................ 35
Hình 17. Phép quay quanh một trục bất kì
...............................................................................
37
Hình 18. Quay vec-tơ về trục Oz
..........................................................................................
38
Hình 19. Cách tính góc α
..........................................................................................................
39
Hình 20. Chọn 4 điểm mốc để chuẩn hóa dữ liệu qua các phép biến đổi 3D
........................... 40
Hình 21. Mô-đun chỉnh sửa khuôn mặt theo từng điểm đặc trưng
........................................... 44
Hình 22. Mô-đun chỉnh sửa khuôn mặt theo vùng
................................................................... 45
Hình 23. Chỉnh sửa mắt to nhỏ
.................................................................................................
46
Hình 24. Chỉnh sửa mũi dài ngắn
.............................................................................................
46
Hình 25. Chỉnh độ rộng cánh mũi
............................................................................................
47
Hình 26. Chỉnh sửa miệng nhỏ, rộng
........................................................................................
47
Hình 27. Chỉnh sửa cằm dài,
ngắn............................................................................................
48
Hình 28. Chỉnh sửa tai to, nhỏ
..................................................................................................
48
Hình 29. Biểu đồ UML thể hiện thết kế phần điều khiển, hiển thị khuôn mặt
......................... 49
Hình 30. Biểu đồ UML thể hiện thiết kế phần điều khiển các thao tác biến đổi mô
hình khuôn
mặt
............................................................................................................................................
51
Hình 31. Giao diện của hệ thống tái tạo và chỉnh sửa mô hình khuôn mặt
.............................. 53
Hình 32. Các điểm đặc trưng được chọn để thử nghiệm
.......................................................... 55
Hình 33. Kết quả tái tạo khuôn mặt của người thứ nhất
........................................................... 56
Hình 34. Điều chỉnh cánh mũi hẹp hơn
....................................................................................
57
Hình 35. Điều chỉnh miệng nhỏ hơn
........................................................................................
57
Hình 36. Kết quả tái tạo khuôn mặt của người thứ hai
............................................................. 58
Hình 37. Điều chỉnh cho mắt nhỏ
.............................................................................................
59
Tái tạo mô hình khuôn mặt từ các điểm đặc trưng Nguyễn Đình Tư
v
DANH SÁCH BẢNG
Bảng 1. Chỉ số sọ của một số dân tộc khác
nhau...................................................................... 19
Bảng 2. Các thông số độ dày mô mềm (mm) cho người Mỹ da đen
........................................ 24
Bảng 3. Bảng đánh giá độ chính xác của các vùng trên khuôn mặt tái tạo được
..................... 60
Chương 1. Giới thiệu Nguyễn Đình Tư
1
Chƣơng 1 GIỚI THIỆU
Tái tạo mô hình khuôn mặt (nói chính xác hơn là tái tạo hình dạng khuôn mặt) từ
hộp sọ hoặc từ nhiều ảnh hai chiều là một bài toán được ứng dụng và có ý nghĩa
quan
trọng trong nhiều lĩnh vực. Một số lĩnh vực áp dụng tiêu biểu của bài toán có
thể kể
đến như khảo cổ học, nhân chủng học và giám định pháp y. Trong khảo cổ học, nhân
chủng học, nhiều khi ta cần tái tạo khuôn mặt của người xưa dựa vào các hộp sọ
khai
quật được. Trong giám định pháp y, ở các vụ án hình sự nghiêm trọng mà vật chứng
có
thể chỉ là sọ của nạn nhân, việc tái tạo lại được khuôn mặt của nạn nhân từ sọ
giúp tìm
ra danh tính của nạn nhân nhanh chóng hơn và từ đó đề ra cơ sở, phương hướng cho
việc điều tra. Ngoài ra bài toán còn có thể được áp dụng trong công cuộc tìm
danh tính
của các liệt sĩ vô danh dựa vào hài cốt của họ. Đây là ý nghĩa nhân văn cao cả
mà bài
toán có thể đem lại. Việc xây dựng được hệ thống tái tạo mô hình khuôn mặt như
vậy
sẽ giúp chúng ta tiết kiệm được nhiều chi phí và công sức hơn so với các hệ
thống
giám định gen.
Tái tạo mô hình khuôn mặt được nghiên cứu từ cuối thế kỉ 19, mở đầu bằng
nghiên cứu về mối quan hệ giữa xương và độ dày của các mô mềm trên khuôn mặt của
Paul Broca [12] vào năm 1867. Tuy nhiên công trình hoàn thiện đầu tiên và chính
thức
được ghi nhận thuộc về nhà khoa học Nga, Gerasimov [33]. Mùa xuân năm 1950,
Gerasimov đã đắp hoàn chỉnh tượng đầu dựa vào xác của một người đàn ông đã phân
rã gần hết. Quá trình nghiên cứu và đắp tượng giúp Gerasimov chuẩn đoán đó là
xác
của một thanh niên khoảng 24-25 tuổi. Ảnh của tượng do ông đắp đã được gửi đi
khắp
nơi để tìm tung tích của người chết. Ít lâu sau một bà mẹ đã nhận ra đó là con
mình,
sinh năm 1925 và mất tích từ năm 1949. Sau việc này, phương pháp của Gerasimov
được thừa nhận là một biện pháp kĩ thuật hình sự hiệu quả và đáng tin cậy. Nhà
nhân
chủng học, dân tộc học kiêm họa sĩ này được coi là cha đẻ của ngành khoa học về
tái
tạo khuôn mặt.
Ngày nay với sự phát triển của ngành giải phẫu học cùng sự trợ giúp đắc lực của
máy tính, việc tái tạo khuôn mặt được thực hiện nhanh chóng và hiệu quả hơn.
Khoa
học máy tính hiện đại thừa nhận tái tạo khuôn mặt là một lĩnh vực nghiên cứu hấp
dẫn
và đầy triển vọng bởi tính ứng dụng thực tiễn cao của bài toán. Nhiều hệ thống
tái tạo
khuôn mặt từ hộp sọ đã được phát triển như hệ thống do Björn Anderson và Martin
Chương 1. Giới thiệu Nguyễn Đình Tư
2
Valfridson phát triển năm 2005 [6]; hệ thống của Kolja Kahler và Jörg Haber xây
dựng
vào năm 2003 [19]; phần mềm FACES của nhóm tác giả thuộc Đại học Salerno, Italy,
năm 2004; hệ thống của nhà khoa học GosNIIAS, năm 2001.
Ở Việt Nam cũng có một số tác giả đã nghiên cứu đặc điểm của hình thái sọ mặt
người Việt Nam như GS Đỗ Xuân Hợp (Học viện Quân y), TS Lê Hữu Hưng (Trường
Đại học Y khoa Hà Nội), GS Nguyễn Lân Cường (Viện khảo cổ Việt Nam), … Năm
2007, Viện Pháp y Quân đội đã phối hợp với Viện Công nghệ thông tin tổ chức hội
thảo “Ứng dụng công nghệ thông tin trong khôi phục diện mạo khuôn mặt người dựa
trên hình thái xương sọ mặt” để bước đầu có những tiếp cận với bài toán này cho
người Việt [2]. Tuy nhiên tái tạo mô hình khuôn mặt dựa trên sự hỗ trợ của công
nghệ
thông tin thì chưa có nghiên cứu trong nước nào thực hiện. Do chưa được trang bị
phương tiện kĩ thuật đầy đủ, chúng ta gặp rất nhiều khó khăn trong việc mô hình
khuôn mặt bao gồm đầy đủ mối liên hệ giữa phần cứng và phần mềm của khuôn mặt
từ các thông số về hộp sọ. Trên cơ sở đó chúng tôi quyết định nghiên cứu và phát
triển
một hệ thống tái tạo mô hình khuôn mặt từ các điểm đặc trưng. Hệ thống sử dụng
một
mô hình khuôn mặt nguồn và các điểm đặc trưng nguồn trên khuôn mặt đó. Hệ thống
sử dụng mô hình đa mạng RBF để biến đổi mô hình khuôn mặt nguồn này thành mô
hình khuôn mặt đích. Mô hình đa mạng RBF này được huấn luyện bằng tập điểm đặc
trưng nguồn và đích.
Phần còn lại của khóa luận bao gồm 4 chương. Chương 2: trình bày tổng quan về
các phương pháp tái tạo khuôn mặt và các kiến thức liên quan, như giải phẫu
khuôn
mặt. Chương 3: mô tả chi tiết về hệ thống tái tạo và chỉnh sửa mô hình khuôn mặt
từ
các điểm đặc trưng mà chúng tôi phát triển. Chương 4: trình bày về phương pháp
xây
dựng cơ sở dữ liệu thử nghiệm. Chương 5: tổng kết những kết quả đã đạt được và
hướng phát triển tiếp theo.
Chương 2. Các phương pháp tái tạo khuôn mặt Nguyễn Đình Tư
3
Chƣơng 2 CÁC PHƢƠNG PHÁP TÁI TẠO
KHUÔN MẶT
Bài toán tái tạo khuôn mặt là một bài toán phức tạp, yêu cầu kiến thức của nhiều
ngành liên quan như giải phẫu học, toán học và khoa học máy tính. Khuôn mặt con
người có muôn hình vạn trạng, một hộp sọ có thể khớp với nhiều khuôn mặt khác
nhau. Bên cạnh đó, việc thay đổi một chi tiết nhỏ, ví dụ thay đổi một chút về vị
trí của
một điểm đặc trưng, cũng có thể làm cho khuôn mặt dựng lại được khác đi nhiều. Ở
khía cạnh toán học, đây là một bài toán ngược, có thể có nhiều lời giải. Tuy
nhiên,
chính sự phức tạp và tính ứng dụng thực tiễn cao của bài toán đã không ngừng thu
hút
sự quan tâm đặc biệt của các nhà nghiên cứu. Trong thực tế đã có nhiều phương
pháp
giải quyết từ nhiều góc độ nghề nghiệp khác nhau và cũng đã có những kết quả khả
quan được ghi nhận.
Trong chương này, chúng tôi trình bày cơ sở lý thuyết về giải phẫu khuôn mặt,
các phương pháp biểu diễn mô hình khuôn mặt, sau đó chúng tôi trình bày các
phương
pháp tái tạo khuôn mặt dựa trên những nền tảng lý thuyết đó.
2.1 Giới thiệu chung về giải phẫu khuôn mặt
2.1.1 Xƣơng mặt và hộp sọ
Hộp sọ mang nhiều tính chất và đặc điểm ảnh hưởng trực tiếp đến độ chính xác
của việc tái tạo khuôn mặt. Ta cần nắm được đặc điểm và tính chất của hộp sọ để
có
thể tái tạo khuôn mặt một cách chuẩn xác hơn. Xương sọ mặt là xương có tầm quan
trọng nhất trong việc cung cấp các thông tin về tuổi, giới tính, chủng tộc, và
làm nền
tảng quan trọng để xác định khuôn mặt. Sau đây là một số đặc điểm tổng quát về
hộp
sọ và xương mặt từ các nghiên cứu của Nguyễn Trọng Toàn [3][4].
Kích thước chính của hộp sọ được đặc trưng bởi: chiều cao, chiều rộng và chiều
sâu.
8 đặc điểm chính của hộp sọ được mô tả theo chuẩn Quốc tế bao gồm:
Hình dáng sọ gồm 5 dạng: Hình xoan, hình trứng, hình năm góc, hình tròn và
hình tròn thót