LUẬN VĂN:BÀI TOÁN NỘI SUY VÀ MẠNG NƠRON RBF

Thể loại: Khoa học tự nhiên
Lượt xem: 148,290Lượt tải: 9Số trang: 124

Mô tả tài liệu

Đề xuất một thuật toán lặp hai pha huấn luyện mạng nội suy RBF. Phân tích toán học và kết quả thực nghiệm cho thấy thuật toán có những ưu điểm vượt trội so với những thuật toán thông dụng: dùng được khi số mốc nội suy lớn (hàng chục ngàn mốc), dễ ước lượng sai số huấn luyện, thời gian huấn luyện ngắn, tính tổng quát cũng tốt hơn và dễ song song hoá. Kết quả này đã được đăng trên tạp chí quốc tế Signal Processing. 2) Trong trường hợp bài toán nội suy có mốc cách đều,...

Tóm tắt nội dung

BÀI TOÁN NỘI SUY VÀ MẠNG NƠRON RBF BÀI TOÁN NỘI SUY VÀ MẠNG NƠRON RBF BÀI TOÁN NỘI SUY VÀ MẠNG NƠRON RBF Các kết quả nêu trong luận án là trung thực và chưa từng được ai Bảng 3.2 : Thời gian huấn luyện của 2500 mốc, q==0.7 và  thay đổi. Kiểm tra các điểm với q=0.8;  =10-6 và  thay đổi nhận các giá trị 0.9 ;0.8 ;0.6 ... Bảng 3.4: Kiểm tra các điểm với α=0.9;  =10-6 và q thay đổi nhận các giá trị 0.9; 0.7; 0.5 ... Bảng 3.5: Kiểm tra sai số của 8 mốc huấn luyện để so sánh độ chính xác 4.1 : So sánh thời gian huấn luyện giữa thuật toán 2 pha HDH và 1 pha QHDH 4.2: So sánh sai số và thời gian huấn luyện của các thuật toán QHDH, HDH, QTL và Bảng 4.3: So sánh tính tổng quát của mạng huấn luyện bởi các thuật toán QHDH, HDH, QTL và QTH với 1331 mốc của hàm 3 5.1: Thời gian huấn luyện mạng với hàm 3 biến với =10-6, q=0.9; 5.2: So sánh thời gian và sai số huấn luyện của hàm 2 biến có 4096 mốc nội suy 5.3: So sánh thời gian và sai số huấn luyện của hàm 3 biến có 19683 mốc nội suy 1.1 Minh họa bài toán nội suy hàm một biến 2.9 Thủ tục Update(k) của thuật toán huấn luyện đầy đủ 3.2 Đặc tả thuật toán lặp hai pha huấn luyện mạng RBF 3.5 Đồ thị thời gian huấn luyện khi các tham số q và  thay đổi 3.8 So sánh độ chính xác và thời gian của thuật toán mới và thuật toán Grandient 3.9 Đồ thị so sánh tính tổng quát của thuật toán mới và thuật toán Grandient 4.1 : Thuật toán 1 pha huấn luyện mạng RBF với mốc cách đều 4.2: Đồ thị so sánh thời gian huấn luyện giữa thuật toán HDH và QHDH 4.3: So sánh sai số và thời gian huấn luyện của các thuật toán QHDH, HDH, QTL, QTH Hình 4.4: So sánh tính tổng quát của mạng huấn luyện bởi các thuật toán QHDH, HDH, QTL và QTH với 1331 mốc của hàm 3 5.4: Cây K-D mô tả tập dữ liệu trong không gian 2 chiều, với N=38, 5.5: Đồ thị so sánh thời gian và sai số huấn luyện của hàm 2 biến có 4096 mốc. Hình 5.6: So sánh thời gian và sai số huấn luyện của hàm 3 biến có 19683 mốc 5.7: So sánh tính tổng quát với hàm 2 biến có 4086 mốc tại 10 điểm xa tâm. Hình 5.8: So sánh tính tổng quát với hàm 3 biến có 19673 mốc tại 10 điểm xa tâm. NỘI SUY HÀM SỐ VÀ MẠNG NƠRON cơ sở bán kính RBF và bài toán nội suy toán nội suy nhiều biến với cách tiếp cận RBF xét chung các thuật toán huấn luyện TOÁN MỚI HUẤN LUYỆN MẠNG NỘI SUY RBF lược về mạng nội suy RBF với hàm RBF dạng Gauss toán lặp hai pha huấn luyện mạng nội suy RBF sánh thời gian và độ chính xác của những điểm huấn TOÁN NỘI SUY VỚI MỐC CÁCH ĐỀU xấp xỉ tổng quát của mạng nội suy RBF địa phương sánh thời gian và sai số huấn luyện suy hàm số là một bài toán cổ điển nhưng quan trọng trong giải tích số, Tuy nhiên, đa số các bài toán nội suy trong các ứng dụng thực tiễn lại là bài Do các khó khăn trong xử lý toán học và nhu cầu ứng dụng Các sơ đồ này có độ phức tạp cao và kết quả ứng dụng không tốt. địa phương của hàm nội suy khi biết điểm cần tính giá trị hàm, nên không dùng được cho bài toán cần xác định trước hàm nội suy để nội suy hàm số tại điểm tùy ý. thời gian huấn luyện lâu, chất lượng mạng tùy thuộc vào hiệu quả giải bài toán cực trị và đến nay chưa có phương pháp tốt nào để xác định kiến trúc đủ tốt cho (1987) đề xuất dùng các hàm cơ sở bán kính để giải quyết bài toán Mạng RBF với hàm cơ sở bán kính có thể xem là dạng lai của các phương pháp học dựa trên mẫu (k-lân cận gần nhất và hồi quy trọng số địa Như mạng nơron MLP, hàm nội suy của mạng xác định từ dữ liệu huấn luyện sau khi học, chất lượng mạng tùy thuộc vào thuật toán Mạng RBF giống với các phương pháp học dựa trên mẫu ở chỗ hàm nội suy là tổ hợp tuyến tính của các hàm RBF, các hàm này chỉ có ảnh hưởng địa Mạng RBF chủ yếu dùng để xấp xỉ hàm (mà nội suy là bài toán của mạng RBF là thời gian huấn luyện nhanh và luôn đảm bảo hội tụ đến cực nhỏ hơn 200 [38]) thì có thể lấy các mốc nội suy là tâm hàm RBF ở tầng ẩn, mạng này có thể cho nghiệm đúng của hệ phương trình nội suy nên gọi là mạng nội suy Khi số mốc nhiều, do các hạn chế trong kỹ thuật giải hệ phương trình tuyến tính, nên các phương pháp xây dựng mạng và huấn luyện hiện có vẫn tốn thời gian phương pháp hiệu quả và được ứng dụng rộng rãi để nội suy và xấp xỉ hàm nhiều Thuật toán huấn luyện mạng có vai trò rất quan trọng, nó ảnh hưởng trực định trọng số tầng ra theo phương pháp Gradient hoặc biến thể của nó. Một vấn đề có tính thời sự đang đặt ra trong các bài toán điều khiển học và khai thác tri thức từ dữ liệu (Data mining) là cần giải tốt các bài toán nội suy thời gian thực, trong đó việc xác định lại hàm nội suy khi có dữ liệu bổ sung phải hoàn Nhiệm vụ đặt ra cho tác giả luận án này là nghiên cứu và đề xuất các thuật toán huấn luyện mạng nội suy hiệu quả cho các trường hợp có số mốc nội suy lớn và tìm giải pháp cho bài toán thời gian luận án chúng tôi đề xuất một thuật toán lặp hai pha huấn luyện Pha thứ nhất xác định tham số độ rộng cho các hàm cơ sở bán kính sao cho các trọng số tầng ra được tìm nhờ phép lặp xác định điểm bất động của được khi số mốc nội suy lớn (hàng chục ngàn mốc), dễ ước lượng sai số huấn luyện, trường hợp bài toán nội suy có mốc cách đều, thay cho khoảng cách Euclide, chúng Phân tích toán học và kết quả thực nghiệm cho thấy thuật toán này cải thiện đáng kể chất lượng mạng so với thuật toán hai pha cả về thời gian thành các miền con chứa số mốc nội suy tương đối bằng nhau, nhờ phương pháp luyện hai pha để huấn luyện mạng RBF trên mỗi miền con và ghép chúng lại theo ý những điểm cơ bản của bài toán nội suy hàm số và mạng nơron nhiều tầng truyền tới cần cho nội dung chính của luận án bao gồm: nội suy đa thức cho hàm một biến, các khái niệm và tiếp cận chính đối với bài toán nội suy hàm nhiều biến, giới thiệu tóm tắt về mạng nơron nhân tạo và các mạng nơron nhiều tầng truyền tới. giới thiệu các khái niệm cơ bản về mạng nơron RBF và mạng nội suy với hàm cơ sở Sau đó chúng tôi mô tả các thuật toán thông dụng để huận huấn luyện mạng nội suy RBF bao gồm cả phân tích toán học và kết quả thực Chương 4 trình bày thuật toán một pha mới áp dụng cho bài toán nội suy NỘI SUY HÀM SỐ VÀ MẠNG NƠRON Nội suy hàm số là một bài toán quan trọng trong giải tích số và nhận dạng Bài toán nội suy hàm một biến Nhưng trong các ứng dụng thực tế ta thường phải giải quyết bài toán nội trọng số địa phương cho một giải pháp đơn giản, dễ sử dụng với bài toán này và trị hàm nội suy tại mẫu mới thực hiện khi đã biết mẫu để xác định láng giềng (lân Cách tiếp cận này sẽ gặp khó khăn khi áp dụng cho các bài toán cần xác định nhân tạo là một công cụ hữu hiệu để giải các bài toán nội suy hàm nhiều biến trong Trong đó thông dụng nhất là mạng MLP và mạng Chương này giới thiệu những điểm cơ bản của bài toán nội suy hàm số và mạng nơron nhiều tầng truyền tới (MLP) cần cho nội dung chính của luận án. 1.1 giới thiệu về bài toán nội suy bao gồm nội suy đa thức cho hàm một biến và các khái niệm và tiếp cận chính đối với bài toán nội suy hàm nhiều biến. bày tổng quan về mạng nơron nhân tạo và giới thiệu về các mạng nơron nhiều tầng Trong nhiều bài toán, ta cần tính giá trị của một hàm số tại những điểm của đối số trong miền D nào đó của không gian n-chiều, nhưng không có biểu diễn tường minh hàm số mà chỉ xác định được giá trị của hàm số trên một tập hữu hạn Việc xác định gần đúng hàm này dẫn tới bài toán nội suy và xấp xỉ hàm Bài toán nội suy tổng quát được phát biểu như sau. Các điểm xk được gọi là các mốc nội suy còn hàm g gọi là hàm nội suy của f . Hàm nội suy thường được dùng để xấp xỉ hàm f trên miền D, giá trị hàm nội suy tính được tại điểm x bất kỳ trên miền D gọi là giá trị nội suy của hàm f tại x (hay gọn hơn là giá trị nội suy tại x nếu không có sự nhầm 1.1 Minh họa bài toán nội suy hàm một biến Những giá trị yk tại mốc nội suy tương ứng xk có thể chứa nhiễu và nhiều Bài toán nội suy hàm một biến đã được nghiên cứu từ hơn ba thế kỷ đến nay và khá Trường hợp hàm một biến, bài toán nội suy được phát biểu như sau: Một hàm số y =f(x) chỉ xác định được tại các điểm x0 = b và gần đúng của y : y  g(x) tại các điểm x  [a,b] sao cho tại các điểm xi ta có: Lược đồ giải quyết : Giả sử đã biết các giá trị yi của hàm số tại các mốc nội Trong đó cj là các tham số cần tìm và  nkx 0k )(  là họ hàm độc Các hàm số k(x) thường được chọn theo kinh nghiệm hoặc đơn giản là là hàm nội suy và dùng làm công thức để tính giá trị hợp f là hàm một biến với n +1 mốc nội suy và hàm nội suy dạng đa thức thì nó phải là đa thức bậc n để hệ phương trình (1.2) có duy nhất nghiệm Khi đó hàm nội suy g(x) là đa thức nội suy Lagrange Ln(x) và Thỏa mãn các điều kiện đã nêu và hàm g(x) = Ln(x) thoả mãn hệ phương trình (1.1) Sai số nội suy tại điểm x được ước lượng bằng công thức: này chỉ phụ thuộc vào số mốc n và giá trị hàm tại các mốc nên có nhiều cách biểu Biểu thức này của ( )knP t là hàm không phụ thuộc vào các mốc nội suy nên sai phân hữu hạn của hàm y = f(x) được xác định như sau: Với các sai phân được xác định như trên ta có công thức nội suy Newton như sau. Khi có nhiều mốc nội suy, hàm nội suy sẽ là đa thức bậc cao. Tức là cho giá trị nội suy có sai số lớn tại các Để khắc phục hiện tượng phù hợp trội khi có nhiều mốc nội suy, người ta cần thiết trên toàn đoạn thành hàm nội suy, các hàm này có tên gọi là hàm nghĩa: Hàm Spline bậc (m,k) trên đoạn [a,b] là hàm số có các tính chất sau : Tập các hàm Spline bậc (m,k) trên đoạn [a,b] được ký hiệu là SPkm[a,b] nếu Giả sử y = f(x) đo được tại n+1 mốc nội suy a = x0 < x1 <....< xn = b là yi = f(xi) và Sm SPm[a,b] là hàm Spline được xác định bởi phân hoạch này. Bởi vì Pk là đa thức bậc m nên cần xác định m+1 hệ số của đa thức trên mỗi thực hành ta có thể tìm Spline nội suy bậc m dựa trên mệnh đề sau [5]: Mệnh đề : Nội suy bậc m của hàm y = f(x) với mốc nội suy a= x0 < x1 <....< xn =b: Bài toán nội suy nhiều biến là bài toán thường gặp trong ứng dụng thực Để tiện cho trình bày, ta ký hiệu hàm nội suy là )(x thay cho g(x) và bài toán Xét miền giới nội D trong Rn và f : D (Rn)Rm là một hàm liên tục xác Người ta chỉ mới xác định được tại N điểm x1,x2….xN trong D là f(xi) = yi với mọi i=1,2…,N và cần tính giá trị của f(x) tại các điểm x khác trong D. Ta tìm một hàm )(x xác định trên D có dạng đã biết sao cho: nội suy m hàm nhiều biến giá trị thực, nên để đơn giản ta chỉ cần xét với m=1. Các hàm nội suy )(x được chọn dưới dạng thuận tiện cho sử dụng, nên mặc dù các chuyên gia giải tích số đã có những nỗ lực để phát triển lý thuyết nội suy đa thức, nhưng tính toán thường phức tạp và dễ có hiện tượng phù hợp trội. khó khăn trong tính toán và chọn lớp hàm nội suy mà vẫn có thể cho kết quả xấp xỉ nhất (hoặc đủ tốt) và dùng nó để nội suy giá trị hàm số tại các điểm khác mốc nội Trong trường hợp này ta xem nó là nghĩa suy rộng của bài toán nội suy. dù các kết quả trong luận án là xét bài toán nội suy phát biểu ở trên nhưng đề so sánh với các phướng pháp được ứng dụng thông dụng, chúng tôi xét cả bài toán xấp Sau đây là các phương pháp được ứng dụng rộng rãi đó phương pháp k-lân cận gần nhất với trọng số nghịch đảo khoảng cách cho kết quả là hàm nội suy, còn hồi quy trọng số địa phương và mạng nơron huấn luyện trước được mà chỉ xác định được khi biết điểm cần nội suy. của các mạng nơron tuỳ thuộc vào phương pháp huấn luyện, mạng RBF huấn luyện đầy đủ với số hàm cơ sở ít hơn số mốc nội suy chỉ cho kết quả là hàm xấp đảo khoảng cách và bài toán xấp xỉ nhiều biến xác dịnh theo phương pháp ta xác định giá trị )(x qua giá trị của f tại k mốc nội suy gần nó nhất như sau. Ký hiệu z1,…,zk là k mốc nội suy gần x nhất và d(u,v) là khoảng cách của Dễ thấy rằng khi x dần tới các mốc nội suy thì )(x xác định như trên hội tụ đến giá trị của f tại mốc nội suy tương ứng khi đối số hội tụ tới mốc pháp này có ưu điểm là cách tính toán đơn giản và dễ thực hiện, tuy giá trị của một điểm, phương pháp này lại tìm trong tất cả các giá trị đã biết để tìm được các mốc gần nhất mới xác định được hàm nội suy, chứ không tính trước hàm Bài toán xấp xỉ hàm nhiều biến được xem là bài toán tổng quát mà nội suy Giả sử )(xfy  là một hàm nào đó, đo được tại N điểm  Nkkx 1 thuộc miền D giới nội trong nR là Nkxfy kk ..1);(  với Dxxx knkk  ),...,( 1 và mk Ry  . cần tìm một hàm )(x có dạng cho trước sao cho sai số tại các điểm đã biết là tốt nhất có thể được và dùng nó để xấp xỉ hàm )(xf . xác định các tham số kccc ,...,, 21 để cho tổng sai số  bài toán có duy nhất nghiệm và dễ dàng xác định được. Khi đó ta nói )(x là hàm xấp xỉ tốt nhất của )(xf theo bình phương tối thiểu, hay hàm )(xy  không đòi hỏi phải đi qua các điểm mốc như trong phép nội nhiều trường hợp khi số mốc nội suy lớn (N lớn), để giảm bớt chi phí tính toán, thay vì tính toán với Ni ..1 người ta có thể cho Mi ..1 với M<N để pháp này thường được gọi là phương pháp địa phương và hàm ),...,,,( 21 kcccx thường được chọn theo dạng hàm tuyến tính, và khi đó ta gọi là phương pháp hồi Mạng MLP và mạng RBF huấn luyện đầy đủ được trình mạng lưới chằng chịt các nơron liên kết với nhau, và kích hoạt lẫn nhau theo định máy tính và hình thành nên cấu trúc của mạng nơron nhân tạo. Đến nay người ta biết rằng các quá trình tính toán trong bộ não sinh học  Thân (Cell của nơron: là nơi tiếp nhận và xử lý các tín Có thể tóm tắt hoạt động của một nơron như sau: nơron lấy tổng tất cả các Một nơron bao gồm các liên kết nhận tín hiệu vào bằng số có các trọng số Liên kết: Mỗi liên kết thứ i sẽ nhận giá trị vào xi tương ứng và có trọng số kết nối Trọng số kết nối: Các trọng số kết nối wi của mỗi đường liên kết là yếu tố then chốt của nơron, chúng sẽ được xác định tuỳ theo tập dữ liệu nhờ quá trình huấn tổng: Hàm tổng S tích hợp các trọng số kết nối với các tín hiệu vào trên các là thông tin tổng hợp từ tín hiệu vào và trọng số kết nối. một hàm cụ thể nào đó được chọn tuỳ theo bài toán thực tế và thường có các dạng đầy đủ, nhưng người ta tạo ra được các máy có một số tính năng tương tự như bộ thống này tuỳ thuộc vào cấu trúc của hệ, các trọng số liên kết nơron và quá trình Mạng nơron có thể học từ dữ liệu mẫu và tổng quát Có rất nhiều mạng nơron trong đó mạng nơron nhiều tầng truyền tới là dạng Mỗi một mạng nơron khác nhau sẽ có số lượng nơron khác nhau cũng như sự kết Dùng cho liên kết các tầng nơron khác nhau và có vai trò quan trọng trong hoạt động của một mạng nơron, nó cũng là sự mô tả đặc tính riêng của mỗi mạng. Quá trình học/huấn luyện của mạng nơron Trong số nhiều đặc tính của mạng nơron đặc tính quan trọng nhất là tự cải Có nhiều định nghĩa về sự học, ở đây ta theo định nghĩa của Mendel và Mc Cloren (1970) về học trong mạng nơron: “Học là quá trình qua đó các tham số tự do ra giữa các nơron trong mạng, và chức năng của những kết nối này để làm gì. Huấn luyện mạng: Tại bước này các trọng số kết nối giữa các nơron sẽ liên tục thay đổi giá trị trong quá trình huấn luyện mạng, và chúng sẽ có giá trị cố định Mạng nơron được xác định là tốt nếu như kết Các mạng nơron có kiến trúc khác nhau và cách huấn luyện khác nhau cho các trong nhiều cuốn sách (xem các kiểu mạng được kết nối với kiến Các thông tin ra của các nơron được truyền lại cho nó hoặc các Các nơron có thể tổ chức lại thành các lớp sao cho mỗi nơron của lớp này chỉ được nối với các nơron ở lớp tiếp theo, không cho phép các liên kết giữa các nơron Dễ dàng nhận thấy rằng các nơron trong cùng một lớp nhận được tín hiệu từ lớp có Mạng nơron như một hệ thống thích nghi có khả năng học/huấn luyện để tinh chỉnh các trọng số liên kết cũng như cấu trúc của mình sao cho phù hợp với các Luật học là một thủ tục sửa đổi trọng số và ngưỡng của mạng để cho mạng Nó có thể xem là thuật toán huấn Trong học có giám sát, người ta dựa vào một tập mẫu huấn luyện:  11, tp , Các luật học có giám sát sẽ so sánh tín hiệu ra của mạng với tín hiệu đích của tín hiệu vào tương ứng để hiệu chỉnh trọng số kết nối và các giá trị Trong học không giám sát các trọng số và ngưỡng được sửa đổi dựa vào tín lượng mạng (cho điểm) khi biết tín hiệu vào và ra của nó. hiệu vào và quan sát tín hiệu ra ta có thể điều chỉnh để chất lượng mạng tốt dần lên. vào bằng số, một hoặc nhiều tầng nơron ẩn và tầng nơron ra, trong đó tín hiệu tầng Hàm tổng trong các nơron đều có dạng: s= với 6 nút vào, 3 nơron tầng ẩn và 2 nơron tầng ra (có thể gọi là mạng 3 tầng ). Tầng vào: Nếu hàm đang xét có n biến thì có n+1 nút trong đó nút đầu ứng với giá trị x0 = -1và trọng số là ngưỡng , mỗi nút còn lại ứng với một biến của đối. Mạng này có thế dùng để nhận dạng mẫu và tổng quát hơn là xấp xỉ hàm nhiều Huấn luyện mạng nơron là xác định các trọng số kết nối cho các liên kết Quá trình xác định các trọng số này gọi là quá trình huấn này trình bày phương pháp truyền ngược sai số để xác định các trọng số kết Tầng ẩn có j nơron với tín hiệu ra của chúng là Mạng này dùng để xấp xỉ hàm có giá trị véc tơ M Giả sử ta có các giá trị của y tại các điểm x thuộc tập X với y(xk)=dk theo mớ hoặc theo từng dữ liệu, để đơn giản ta xét thuật toán huấn luyện theo Ta xét nơron m của tầng ra có trọng số liên kết hiện thời với nơron j của Nơron j của tầng ẩn có trọng số kết nối hiện thời với Ký hiệu 0 là hàm chuyển của nơron tầng ra và h là hàm chuyển của nơron tầng ẩn, ta có các quy tắc học cho tầng ra và tầng ẩn như sau. Cho dữ liệu (xk, dk), ký hiệu yk là đầu ra của mạng tương ứng với xk ta hiệu chỉnh các trọng số kết nối để cực tiểu hoá tổng bình phương sai số của mạng: Ký hiệu newjiw , là trọng số kết nối mới của nơron j với nút vào i ta có:  Bước 1: Tạo các trọng số kết nối wc ban đầu cho mọi nơron và chọn  Bước 2: Lấy một mẫu xk từ tập huấn luyện (có thể lấy ngẫu nhiên) và Quá trình huấn luyện mạng có thể rơi vào cực trị địa phương nên có thể Trong đó các mẫu huấn luyện đánh số từ 1 đến T và yk là đầu ra tương ứng Với mạng MLP, nếu có đủ nơron trong tầng ẩn thì có thể dùng để xấp xỉ một hàm liên tục tùy ý, số tham số trong mạng không vượt quá số ràng buộc có được từ Một mạng đã cho thích hợp với hàm xấp xỉ như thế nào cũng chưa biết Thuật toán lan truyền ngược huấn luyện mạng truyền tới có tốc độ hội tụ gradient như thuật toán Newton và Gradient liên hợp để tăng tốc độ hội tụ cho thuật số, nhưng nó không đảm bảo giải quyết được bài toán nội suy và khó chọn số nơron Nhược điểm cơ bản nữa của mạng MLP là thời gian huấn luyện lâu và là một hàm phi tuyến của khoảng cách giữa véctơ vào X và véc tơ tâm jC kết hợp Cơ sở toán học của mạng RBF là kỹ thuật Ưu điểm của mạng RBF là thời gian huấn luyện nhanh và luôn sở bán kính có tâm là các mốc nội suy thì có thể cho lời giải của bài toán nội suy. vậy cùng với mạng MLP, mạng RBF tỏ ra là một phương pháp hiệu quả và được ứng dụng rộng rãi để nội suy và xấp xỉ hàm nhiều biến ( xem nội dung chính của luận án bao gồm kiến trúc; đặc điểm huấn luyện và các thuật toán huấn luyện mạng thông dụng hiện nay, chi tiết hơn xem thuật toán thông dụng huấn luyện mạng RBF được giới thiệu ở mục so sánh về đặc tính của mạng RBF với mạng MLP được điểm ra ở mục 2.4. Hàm cơ sở bán kính RBF và bài toán nội suy Bài toán nội suy nhiều biến với cách tiếp cận RBF Bài toán nội suy nhiều biến được giới thiệu chi tiết trong chương trước, Powell (1988) đề xuất dùng hàm nội suy dưới dạng tổ hợp tuyến tính của các hàm Với cách tiếp cận này, bài toán nội suy được phát biểu lại như Bài toán này tương đương với nội suy m hàm giá trị thực độc lập nên ta có trong đó:  Nkkx 1 là tập vectơ trong không gian n-chiều (các mốc nội suy) và )( kk xfy  là giá trị đo được của hàm f cần nội suy; hàm thực ),( kkvxh  được gọi là hàm cơ sở bán kính với tâm là vk và )( NM  là số hàm bán kính sử dụng để xấp xỉ hàm f ; wk và k là các giá trị tham số cần tìm. Có nhiều dạng hàm cơ sở bán kính, thông dụng nhất là các dạng sau: Nếu số hàm bán kính bằng số mốc nội suy và các k đã cho thì hệ phương Như đã nói trong chương 1, không giảm tổng quát, ta xét bài toán nội suy với m = 1, và số mốc nội suy không quá nhiều ta tìm hàm  dưới dạng sau: cơ sở bán kính, trong đó dạng hàm thông dụng nhất là hàm Gauss và về sau ta chỉ Đối với bài toán nội suy, ta lấy tâm chính là các mốc nội suy kv = kx k , khi đó M = N (xem Với bài toán xấp xỉ thì M<N, việc xác định tâm  Các tham số wk và k cần tìm để  cực tiểu tổng bình phương sai số Với mỗi k, tham số k được gọi là tham số độ rộng của hàm cơ sở bán kính kvx 3 thì giá trị hàm ( )k x là rất nhỏ, không có ý nghĩa vì nó gần triệt tiêu. hàm bán kính bằng số mốc nội suy (N=M) ta lấy tâm của chúng trùng với mốc Tính xấp xỉ tổng quát và xấp xỉ tốt nhất nhờ các hàm cơ sở bán kính điển phương sai số E của nó không có cực tiểu địa phương nơron RBF có kiến trúc để nội suy hàm mn RRDf  )(: là một  Tầng ẩn là tầng cơ sở bán kính, gồm M nơron trong đó nơron thứ k có tâm vk và đầu ra của nó là hàm bán kính tương ứng k.  Tầng ra có hàm kích hoạt tuyến tính, gồm m nơron xác định m hàm nội Kiến trúc của một mạng RBF tống quát được mô tả trong hình 2.5. Khi đó đầu ra của nơron j ở tầng ra là zj được xác định theo công thức sau: Trong đó wi,j là các trọng số của nơron ra thứ j kết nối với nơron ẩn thứ i và k là đầu ra của nơron ẩn thứ k, về sau ta sẽ dùng dạng Gauss: Với các w0j đã cho, các trọng số tầng ra có thể xác định nhờ tìm tổng bình Về sau ta quy ước gọi các mạng RBF có số hàm bán kính bằng số mốc nội suy và có tâm trùng với mốc tương ứng là mạng nội suy RBF (vì trong trường hợp Huấn luyện mạng nơron RBF là quá trình tìm các tham số (wj,k, vk, k) của các hàm bán kính và trọng số tầng ra, để đầu ra ứng với đầu vào là mốc nội suy (xấp hết các phương pháp này đều có đặc điểm chung là có xu hướng cực tiểu hóa giá trị bình phương sai số E bằng một biến thể của phưong pháp Gradient hoặc giải hệ MLP mạng nơron RBF có điểm mạnh hơn hẳn là có thời gian huấn luyện ngắn cực trị duy nhất nên khi số mốc lớn thì phương pháp bình phương tối thiểu là thông Có thể chia các kiểu huấn luyện mạng RBF ra thành ba loại: huấn luyện Phương pháp này khởi gán các tham số bán kính là một hằng số. huấn luyện trọng số kết nối w của tầng ra bằng phương pháp giả nghịch đảo hoặc pháp này, người ta thường chọn tâm vk của các hàm bán kính là một tập con của tập , với bài toán nội suy thì M=N và các tâm là mốc nội suy Các bán kính k được gán giá trị là một hằng số, trên cơ sở thực nghiệm  (trong đó M là số hàm cơ sở bán kính, n là số hai phương pháp này đều tìm các trọng số để giá trị bình phương sai số E đạt cực trận hàng thứ k là ma trận yk chuyển vị khi đó giá trị của các wk được tính như sau : Với phương pháp này ta tìm cực trị tổng bình phương sai số cho các nơron sau đó các tham số này được cập nhật bằng công thức sau: thì giá trị của các trọng số w tiến chậm đến điểm cực tiểu, nhưng nếu  lớn thì giá trị của các trọng số w thường có xu hướng dao động quanh điểm cực tiểu, cách xử Chúng tôi trình bày thuật toán Gradient cụ thể với huấn luyện nhanh (Quick Trong thuật toán này, khởi tạo ngẫu nhiên tập trọng số {wkj(0)} ứng với mỗi nơron ở tầng ra và tinh chỉnh chúng theo thuật toán Grandient nên ta sẽ có số nơron ẩn là M chính bằng tập dữ liệu vào N. Thuật toán Quick Training chỉ điều chỉnh trọng số w của các nơron ở tầng ra, trong đó sử dụng một nơron ẩn cho mỗi véctơ dữ liệu đã huấn luyện xi. Pha thứ hai huấn luyện tìm các trọng số kết nối tầng ra w. Với phương pháp huấn luyện hai pha khi số mẫu lớn, thông thường các giá trị tâm vk và bán kính k của hàm cơ sở bán kính k được tính bằng các thuật toán phân cụm như thuật toán k-mean, k-mean có ngưỡng… Sau đó giá trị của các trọng số wk Sau khi chạy thuật toán k-mean ta sẽ chọn tâm vk của các hàm cơ sở bán mạng đều được hiệu chỉnh để cực tiểu hoá tổng sai số bình đó (xi  Rn, yi  Rm) là tập dữ liệu huấn luyện, z là giá trị đầu ra ở Thuật toán Quick Training đã cho thấy hiệu quả với dữ liệu huấn luyện ít và số nơron ẩn bằng số mốc nội suy, khi dữ liệu huấn luyện nhiều và phân bố không đều Thuật toán này chọn số nơron ẩn M nhỏ hơn N, thông thường chọn ngẫu được điều chỉnh, các trọng số ở tầng ra vẫn được huấn luyện để cực tiểu hoá tổng Thuật toán được mô tả chi tiết trong hình 2.8 và hình 2.9. Hình 2.9 Thủ tục Update(k) của thuật toán huấn luyện đầy đủ Nhận xét chung các thuật toán huấn luyện phương trình (2.4), nhưng khi số mốc lớn thì các phương pháp này cho nghiệm có Các phương pháp huấn luyện mạng RBF một pha, hai pha hoặc huấn luyện Mặt khác, các tham số độ rộng bán kính k cũng ảnh hưởng lớn tới chất lượng mạng Mạng RBF và mạng MLP cùng là mạng truyền tới đều dùng để xấp xỉ hàm. Sau đây là một số điểm cần lưu ý khi chọn kiểu mạng ứng dụng: hoặc nhiều tầng nơron ẩn và khó xác định số nơron đủ tốt cho tầng này. sai số (BP), phức tạp hơn đối với mạng MLP có các tầng phi tuyến còn 3. Mạng MLP có thể dùng để ngoại suy hàm số. Mạng RBF với các hàm bán 4. Các thuật toán huấn luyện ảnh hưởng nhiều tới chất lượng của cho thấy mạng RBF có thời gian huấn luyện nhanh hơn mạng MLP Như đã nói trong chương 1 bài toán nội suy hàm một biến đã được nghiên Với bài toán nội suy nhiều biến thì pháp học dựa trên mẫu và mạng nơron đang là công cụ hữu hiệu để giải quyết bài So với các mạng nơron, phương pháp k-lân là không xác định trước hàm nội suy (xấp xỉ) qua dữ liệu huấn luyện được. số độ rộng nên mạng RBF có thể xem là cầu nối giữa mạng MLP và các phương Nó giống mạng MLP là xác định trước được hàm nội suy để mạng MLP, mạng RBF có thời gian huấn luyện nhanh hơn nhiều. có nhiều bài toán ứng dụng thời gian thực, đòi hỏi thời gian huấn luyện càng ngắn Đó là chủ để còn mở hiện nay và luận án tập trung tìm phương pháp huấn luận mạng nội suy, đưa ra các thuật toán dùng được cho số mốc lớn mà chưa xét THUẬT TOÁN MỚI HUẤN LUYỆN MẠNG Trong chương này, chúng tôi đề xuất một thuật toán lặp hai pha huấn luyện Pha thứ nhất xác định tham số độ rộng cho các hàm cơ sở bán kính, còn các trọng số tầng ra được tìm nhờ phép lặp xác định điểm bất động của lượng sai số huấn luyện, thời gian huấn luyện ngắn, tính tổng quát cũng tốt hơn và Thuật toán này cũng là cơ sở cho các thuật toán ở các chương tính cần dùng về sau và tóm tắt lại mạng nội suy RBF với hàm bán kính dạng Mục 3.4 dành để so sánh hiệu quả của thuật toán mới với thuật toán Gradient và các nhận xét chung được đưa ra trong mục hết chúng tôi trình bày phương pháp lặp đơn và cải tiến của nó là phương pháp seidel [5], sau đó sẽ đưa ra một số nhận xét về hàm Gauss. . Trong đó x* là nghiệm đúng duy nhất của (3.2) và ta có ước Tóm lược về mạng nội suy RBF với hàm RBF dạng Gauss Bài toán nội suy và kỹ thuật nội suy dùng hàm cơ sở bán kính đã được trình Các điểm xk là các mốc nội suy,  là hàm nội suy và được dùng để xấp xỉ Powell (1987) đề xuất tìm hàm nội suy  nhờ các hàm cơ sở bán kính, với M là số các hàm cơ sở bán kính trường hợp M=N vì chúng tôi quan tâm tới bài toán nội suy hơn là bài toán xấp Mà với bài toán nội suy có thể chọn số các hàm bán kính bằng chính số mốc nội suy, và các mốc này sẽ làm tâm cho hàm bán kính tương ứng. bán kính thông dụng nhất là hàm Gauss và về sau sẽ dùng dạng hàm giảm tổng quát, ta xét bài toán nội suy với m = 1, và tìm hàm  Các tham số wk và k cần tìm để hàm  dạng (3.11) và thỏa mãn các điều kiện Để giải quyết bài toán nội suy này, chúng tôi dùng mạng nơron RBF và gọi là mạng nội suy RBF cho gọn. cho vectơ tín hiệu vào nRx , tầng ẩn gồm N nơron trong đó nơron thứ k có tâm là mốc nội suy xk và đầu ra của nó là hàm bán kính )(xk tương ứng, tầng ra gồm m nơron xác định giá trị hàm nội suy của f. hàm đồng nhất (dạng đặc biệt của tuyến tính) và cũng có thể xem hàm tổng là bình phương khoảng cách của đầu vào đến tâm và hàm kích hoạt là f(u) = Các thuật toán huấn luyện thường xác định trọng số tầng ra w bằng phương Tham số độ rộng của hàm bán kính (còn gọi gọn hơn là bán kính)  có ảnh của các nơron tầng ẩn (như trên hình 3.1 là dấu x) sẽ ít bị ảnh hưởng bởi các hàm bán kính nên dẫn đến sai số nội suy ở các điểm này lớn, nhưng nếu tăng bán kính  bảo hội tụ nhanh và sai số có thể chấp nhận huấn luyện mạng RBF theo phương pháp lặp để khắc phục những hạn chế toán lặp hai pha huấn luyện mạng nội suy RBF Ý tưởng chính của thuật toán mới là ở pha đầu tìm các bán kính k được xác định nhờ cân bằng giữa tính tổng quát của mạng và tốc độ hội tụ của pha sau. pha thứ hai, các tham số wk được xác định nhờ tìm điểm bất động của một ánh xạ Trở lại xét hệ phương trình (3.13) để tìm các trọng số tầng ra: Với các tham số k đã chọn, w0 tùy ý thì hệ (3.12), (3.18) luôn có duy nhất Để tìm k,trước tiên ta lấy w0 là trung bình cộng của các giá trị yk: Bây giờ với mỗi Nk  , ta có hàm qk của k xác định theo công thức sau: Định lý 3.1: Hàm qk là đơn điệu tăng, hơn nữa với mọi số dương q<1, luôn Định lý này cho thấy với q < 1, chúng ta có thể tìm được tập các  Nkk 1 để nghiệm đúng W* của (3.18) là điểm bất động của ánh xạ co ứng với  W + Z và hệ Với sai số  và các hằng số dương q,  ( 0<q<1, 0< <1) cho trước, thuật toán sẽ gồm 2 pha để xác định các tham số k và W Hình 3.2 Đặc tả thuật toán lặp hai pha huấn luyện mạng RBF Với một số dương  < 1 và giá trị khởi tạo 0. Bước 3: Nếu p>q thì điều chỉnh tham số bán kính để qk  q và gần với q nhất. Các điều kiện dừng này được suy từ định lý về tính hội tụ được trình bày sau đây. Định lý sau đảm bảo tính hội tụ và cho phép ước lượng sai số của thuật toán huấn luyện mạng HDH luôn kết thúc sau hữu hạn thứ nhất của thuật toán sẽ kết thúc sau hữu hạn bước và qqk  với mọi k.  của ma trận  được xác định tương ứng với chuẩn vectơ (3.22) sẽ là: với t+1 bước lặp Zuu kk 1 của thuật toán tìm điểm bất động (trong định lý 1 Mục này sẽ phân tích và tính toán độ phức tạp của thuật toán. Pha 1: Bên cạnh tham số số chiều n và số mốc nội suy N. Pha 1 còn phụ thuộc vào phân bố của tập mốc nội suy  Nkkx 1 và nó không phụ trường hợp trước, với mỗi giá trị k  N, đặt mk là số lần lặp trong bước 3 sao cho qk Khi đó ta có độ phức tạp của Pha 1 là O(cnN2) (hình 3.3). Pha 2: Đặt T là số lần lặp trong Pha 2 của thuật toán. Vậy tổng độ phức tạp của thuật toán mới phát triển là thuật toán này thời gian huấn luyện pha thứ nhất chỉ phụ thuộc vào phân bố của các mốc nội suy còn thời gian ở pha thứ hai phụ thuộc vào độ lớn của Để đánh giá hiệu quả của thuật toán huấn luyện mạng độ hội tụ của thuật toán biểu hiện qua thời gian chạy của và sai số huấn Tính tổng quát của mạng biểu hiện qua chính sai số kiểm tra các điểm mới Trong phần này chúng tôi thực nghiệm trên mạng RBF với hàm 3 biến cho trong công thức (3.33) để thử nghiệm thời gian huấn luyện và tính tổng quát của Thử nghiệm tính tổng quát của mạng bằng cách sau: Đầu tiên chọn một số điểm không nằm trong tập mốc nội suy, sau khi huấn luyện mạng, nội suy các điểm đó rồi so sánh với giá trị đúng của hàm đã biết và ước lượng sai số. Kết quả và những nhận xét của thuật toán được trình Thời gian huấn luyện phản ánh tốc độ hội tụ của thuật với số mốc khác nhau với các tham số q,  và  thay đổi tuần tự. Tham số q và  nhận các giá trị lần lượt là 0.5 và 0.5; Hình 3.5 Đồ thị thời gian huấn luyện khi các tham số q và  thay đổi Trong bảng 3.2 là kết quả trong trường hợp q =  = 0.7 với 2500 mốc và các tham Bảng 3.2 : Thời gian huấn luyện của 2500 mốc, q==0.7 và  thay đổi. 1. Thời gian huấn luyện của thuật toán là ngắn so với các thuật toán khác khi q hoặc  tăng, có nghĩa là nó sẽ giảm khi các tham số q hoặc  huấn luyện mạng với các giá trị khác nhau của tham số q và , với tham số dừng  Thử nghiệm với trường hợp =10-6, q=0.8 và  lần lượt nhận các giá trị Kiểm tra các điểm với q=0.8;  =10-6 và  thay đổi nhận các giá trị 0.9 ;0.8 ;0.6 Cụ thể với trường hợp =0.6 thì sai số trung bình là còn khi  = gian huấn luyện và tính tổng quát của mạng. Thử nghiệm với trường hợp =10-6, =0.9 và q lần lượt nhận các giá trị 0.9; Bảng 3.4: Kiểm tra các điểm với α=0.9;  =10-6 và q thay đổi nhận các giá trị 0.9; 0.7; 0.5 Nhận xét: Từ kết quả trên bảng 3.4 và hình 3.7 chỉ ra rằng tính tổng quát của mạng Chúng tôi thực nghiệm trên hàm (3.33) với 100 mốc nội suy x1[0,3], x3[0,5] để so sánh hiệu quả của thuật toán mới và thuật toán thuật toán Gradient rất khó để đạt được độ chính xác cao trong huấn luyện và còn so sánh hai đặc tính của thuật toán đó là độ chính xác của những điểm huấn luyện và sai số của những điểm chưa huấn luyện chính là tính tổng quát của mạng. So sánh thời gian và độ chính xác của những điểm huấn các của thuật 3.5: Kiểm tra sai số của 8 mốc huấn luyện để so sánh độ chính xác Hình 3.8 So sánh độ chính xác và thời gian của thuật toán mới và thuật toán Nhận xét: Trong hình 3.8 và bảng 3.5 ta thấy, cùng thời gian huấn luyện là 1 giây thuật toán Gradient có sai số trung bình là còn thuật toán mới HDH là 0.19E-04, sai số trung bình của thuật toán mới nhỏ hơn rất thời gian huấn luyện của thuật toán Gradient lên 180 giây thì sai số trung bình là có giảm hơn so với huấn luyện 1 giây nhưng vẫn lớn hơn thuật toán Như vậy, theo thực nghiệm ta thấy thuật toán mới tốt hơn so với thuật toán Gradient trong cả hai trường hợp về thời gian huấn luyện và tính chính thuật toán với các tham số như mục 3.9 So sánh tính tổng quát của thuật toán mới và thuật toán Grandient Nhận xét: Nhìn các kết quả trên bảng 3.6 và hình 3.9 ta thấy cùng thời gian huấn luyện là 1 giây, thuật toán Gradient có sai số trung bình là lớn hơn rất nhiều so với của thuật toán mới với cùng thời hợp tăng thời gian huấn luyện cho thuật toán Gradient lên 180 giây thì sai số trung bình là vẫn lớn hơn rất nhiều so với thuật toán mới trong thời gian Như vậy, qua thực nghiệm ta thấy thuật toán mới HDH có thời gian huấn luyện và sai số nhỏ hơn nhiều cũng như tính tổng quát tốt hơn so với thuật toán Trong chương này chúng tôi đề xuất thuật toán hai pha đơn giản để huấn với từng mốc nội suy, pha thứ 2 dùng phương pháp lặp để tính trọng số tầng ra. vào việc khởi gán giá trị ban đầu q,  , phân bố của mốc nội suy và chuẩn của Qua kết quả thí nghiệm ta thấy thuật toán có thời gian huấn luyện mạng rất Với thuật toán cực tiểu sai số tổng các bình phương, Looney cho rằng chỉ nên chạy với số mốc nhỏ hơn 200 [38] còn thuật toán này vẫn Thuật toán mới đề xuất dễ thực hiện và có hiệu quả cao. thấy nó giải quyết tốt bài toán nội suy với số mốc lớn. giữa tốc độ hội tụ và tính tổng quát của mạng bằng việc điều chỉnh các tham số. Một ưu việt nữa của thuật toán là các bán kính tầng ẩn có thể huấn luyện độc lập và ở pha hai trọng số tầng ra có thể huấn luyện độc lập, điều này làm cho chúng có thể Hơn nữa, khi số mốc nội suy lớn, việc đánh giá chuẩn của Khi số mốc nội suy rất lớn, có thể phân dữ liệu thành những cụm con có mạng RBF địa phương và sẽ được trình bày chi tiết trong chương 5. Trong trường hợp số mốc nội suy N là rất lớn, khi đó có thể dùng một cách của mỗi nơron ẩn thứ i có thể được chọn là tâm của cụm Ci hoặc là gần với tâm của Mạng sẽ được huấn luyện với tập mốc nội suy mới  kii 1 . Một đặc điểm của mạng RBF là có tính ảnh hưởng địa phương [43]. Mặc dù chúng tôi không so sánh với thuật toán giả nghịch đảo và huấn dạng chữ viết tay và cho thấy ưu điểm nổi trội của thuật toán HDH. Tuy vậy với thuật toán mới HDH khi áp dụng nhận dạng mẫu, tính tổng quát của mạng tốt khi các mốc phân bố tương đối đều và không được tốt khi các mốc nội BÀI TOÁN NỘI SUY VỚI MỐC CÁCH ĐỀU Thuật toán lặp hai pha huấn luyện mạng nội suy RBF mới đề xuất đã rút ngắn đáng kể thời gian huấn luyện mạng nơron nội suy RBF so với các thuật toán Từ đây về sau ta gọi là thuật toán HDH cho gọn. Tuy nhiên, trong thuật toán HDH, thời gian huấn luyện của pha thứ nhất chiếm phần lớn thời gian huấn luyện của cả mạng và nó tăng rất nhanh khi số mốc Trong nhiều ứng dụng ở các lĩnh vực đồ hoạ máy tính, phương trình toán lý, các bài toán kỹ thuật, và nhận dạng mẫu thường gặp bài toán nội suy với mốc cách Trong trường hợp này, các mốc nội suy có thể được biểu diễn dưới dạng ),...,( 11,...2,1 inniinii xxx  , trong đó kkikk hikxx .0  ; với hk (k =1,…,n) là các hằng số bước cho trước (bước thay đổi của biến xk), ik nhận giá trị từ 0 đến Nk (Nk bước thay đổi của các biến, thì việc xác định các tham số bán kính k trong pha thứ chiều và miền xác định của hàm cần nội suy. cho những bài toán có mốc nội suy cách đều. định lý cơ sở và thuật toán được trình bày ở mục 4.2. các kết quả thí nghiệm và những nhận xét chung được đưa ra ở mục 4.4 thay cho Bài toán mốc cách đều: Khi các mốc nội suy là cách đều thì có thể biểu diễn các mốc nội suy theo bộ chỉ số dạng với ),...,( 11,...2,1 inniinii xxx  , trong đó: hk (k = 1,…,n) là các hằng số bước cho trước (bước thay đổi của biến xk), n là số chiều, và ik nhận giá trị từ 0 đến Nk (Nk +1 là số mốc chia của từng nhận thấy các hàm cơ sở bán kính xác định theo công thức (3.11) nhận giá trị bằng nhau ở những điểm có cùng khoảng cách với tâm và các mặt mức của Các tham số ak sẽ được chọn thích hợp với các bước hk (dưới đây sẽ cho Các bán kính ini ,...,1 được xác định sao cho ma trận  thoả mãn điều kiện Có nghĩa là với số dương q < 1, chọn các ini ,...,1 để cho Với cách biểu diễn mới, ta sẽ đưa ra định lý cơ sở của thuật toán: Ta sẽ chọn các tham số ni 1,...,1 bằng nhau và bằng  để (4.12) thỏa mãn. q<1 ta có thể chọn trước các i1,..,in theo công thức (4.21) để thoả mãn điều kiện của hai của thuật toán HDH để xác định trọng số tầng ra. Hình 4.1 : Thuật toán 1 pha huấn luyện mạng RBF với mốc cách đều 1) Trong [34], thuật toán 2 pha HDH yêu cầu iniq ,...,1 < q và nếu thay ini ,...,1 số bán kính ini ,...,1 được xác định trước theo công thức (4.21) và thoả 2) Những mạng được huấn luyện bằng thuật toán một pha là khác so với những mạng được huấn luyện bằng thuật toán 2 pha HDH. Mục tiêu của phần này là so sánh thời gian, sai số huấn luyện và tính tổng quát của thuật toán một pha mới phát triển (gọi tắt là thuật toán QHDH cho gọn) với thuật toán HDH và các thuật toán một pha Gradient khác. Với các mốc nội suy là cách đều cho mỗi chiều, sử dụng để so sánh thời gian huấn Thuật toán 1 pha huấn luyện mạng Tìm W* bằng phương pháp lặp đơn; // pha 2 của thuật toán HDH; Dùng để so sánh sai số huấn luyện và tính tổng quát của mạng với thuật giữa các mốc; N là số lượng các mốc nội suy, còn n là số chiều của mốc nội suy. Kết quả được chỉ ra trong bảng 4.1 với hàm hai biến để so sánh thời gian Bảng 4.1 : So sánh thời gian huấn luyện giữa thuật toán 2 pha HDH và 1 pha Hình 4.2: Đồ thị so sánh thời gian huấn luyện giữa thuật toán HDH và QHDH Nhận xét: Nhìn bảng 4.1, hình 4.2 ta thấy thời gian huấn luyện của thuật toán Còn trong thuật toán một pha với những mốc cách đều ta ước lượng được các bán kính trước sau đó chỉ còn huấn luyện pha hai. Kết quả thực nghiệm ở bảng 4.2 và hình 4.3 cho hàm 3 biến như công thức Sau khi huấn luyện, chúng tôi lấy 10 mốc nội suy để tính toán và so sánh sai số huấn luyện của các thuật toán QHDH, HDH, QTL, QTH. Hình 4.3: So sánh sai số và thời gian huấn luyện của các thuật toán QHDH, Nhận xét: Nhìn bảng 4.2 và hình 4.3 ta thấy sai số huấn luyện và thời gian huấn luyện của thuật toán QHDH là tốt nhất. 18 giây đã có sai số trung trình là 5.04E-06, còn với thuật toán QTH là 48 giây có Bảng 4.2: So sánh sai số và thời gian huấn luyện của các thuật toán QHDH, HDH, QTL và QTH với 1331 mốc của hàm 3 Kết quả thực nghiệm trong bảng 4.3 và hình 4.4 cho hàm 3 biến (như công Sau khi huấn luyện, chúng tôi lấy 10 điểm ngẫu nhiên xa tâm mốc nội suy để Hình 4.4: So sánh tính tổng quát của mạng huấn luyện bởi các thuật toán QHDH, HDH, QTL và QTH với 1331 mốc của hàm 3 xét: Nhìn bảng 4.3 và hình 4.4 thấy rằng tính tổng quát của thuật toán QHDH tốt hơn nhiều với thuật toán khác và thời gian cũng ít hơn. toán QHDH có sai số trung bình là trong 18 giây, còn thuật toán QTL Bảng 4.3: So sánh tính tổng quát của mạng huấn luyện bởi các thuật toán QHDH, HDH, QTL và QTH với 1331 mốc của Cho dù thuật toán hai pha HDH đã cải thiện đáng kể chất lượng của mạng, nhưng trong trường hợp các mốc nội suy cách đều nhau, thì thuật toán này chưa khai thác được ưu điểm phân bố đều của các mốc nội suy. việc xác định giá trị hàm cơ sở bán kính là giống nhau với những điểm có khoảng Euclide chúng tôi dùng chuẩn để xác định giá trị của hàm cơ sở bán Khi đó các tham số độ rộng bán kính sẽ được xác định trước, và sử dụng pha 2 của thuật toán HDH để huấn luyện mạng. một pha không những giảm đáng kể thời gian huấn luyện mà tính tổng quát của Thuật toán này thực sự có ý nghĩa cho bài toán có mốc nội suy thời gian huấn luyện mạng nơron nội suy RBF. mạng tăng rất nhanh khi số mốc tăng nên khó sử dụng mạng trong các bài toán phương pháp hiệu quả nào để xấp xỉ hàm nhiều biến hoặc phân lớp mẫu cho các bài toán thời gian thực đòi hỏi thời gian huấn luyện ngắn, đặc biệt với các bài toán Mạng nội suy RBF địa phương giới thiệu trong bài này là kết hợp cách tiếp Trong mạng này, các dữ liệu huấn luyện được phân cụm dựa trên miền xác định thành các cụm con có cỡ đủ nhỏ và dùng thuật toán lặp huấn luyện mạng nội suy RBF vừa đề xuất để huấn luyện mạng trên mỗi cụm con. Kiến trúc mạng và các thuật toán huấn luyện được mạng này, mô hình cho bài toán động và các kết quả thực nghiệm được giới thiệu Các kết quả chính của chương này được công bố trong hội thảo quốc tế của MLP, mạng RBF và các phương pháp học dựa trên mẫu như k-lân cận gần nhất và hồi quy địa phương có trọng số, đang là những giải pháp thông dụng để xấp xỉ hàm Các mạng nơron đòi hỏi nhiều thời gian huấn luyện khi cỡ mẫu huấn luyện lớn và khi có mẫu mới bổ sung cũng mất nhiều thời gian học lại, Vì vậy, với các bài toán thời gian thực đòi hỏi thời gian huấn luyện ngắn, đặc biệt với những bài toán động (khi thường xuyên có dữ liệu huấn luyện mới được bổ sung) thì các phương pháp này khó áp dụng và cũng chưa có một phương pháp mới nào thích hợp cho các phương pháp này, mạng RBF được xem là cầu nối giữa mạng MLP và các phương pháp học dựa trên mẫu với ưu điểm chính là: học của mạng không phụ thuộc vào mẫu mới như các phương pháp dựa trên mẫu. Khi cỡ mẫu nhỏ, người ta thường dùng mạng nội suy RBF, trong đó các mốc nội suy được dùng làm tâm của các hàm cơ sở bán mạng xấp xỉ RBF với số hàm cơ sở bán kính ít hơn số mốc nội suy. mạng này có sai số lớn, khó tìm tâm thích hợp cho mỗi hàm cơ sở và huấn luyện lại Chính vì vậy nó rất khó ứng dụng cho các bài toán thời gian Thuật toán lặp hai pha HDH huấn luyện mạng được giới thiệu trong chương trước có nhiều ưu điểm như: cải thiện đáng kể thời gian huấn luyện mạng, đạt được sai số bé, dễ ước lượng sai số, dễ song song hóa để giảm thời gian tính toán và đặc biệt là tốn ít thời gian huấn luyện lại khi bổ sung thêm các dữ liệu huấn luyện mới. Tuy vậy, thời gian huấn luyện của thuật toán tăng rất nhanh khi số mốc nội suy nội suy gần bằng nhau và không vượt quá M cho trước, rồi xây dựng mạng nội suy Thuật toán HDH huấn luyện mạng trên mỗi cụm con thực hiện rất nhanh và thực nghiệm cho thấy tính tổng quát của mạng địa phương tốt hơn mạng toàn Đối với các bài toán động, nếu có thêm các mốc nội suy mới trong thời gian Các đánh giá toán học và kết quả thực nghiệm cho thấy loại mạng này có nhiều ưu điểm và thích hợp cho các bài toán thời gian có các mốc nội suy trên hình hộp sai số =10-6 và q = Bảng 5.1: Thời gian huấn luyện mạng với hàm 3 biến với =10-6, q=0.9; =0.9. Đế giảm thời gian huấn luyện và sử dụng cho các bài toán thời gian thực hoặc bài toán động ta có thể dùng mạng RBF địa chọn trước số nguyên dương M cho số điểm trong mỗi cụm con và chia miền D thành các hình hộp n chiều Dj với số mốc trong mỗi cụm Sau đó sử dụng thuật toán lặp để huấn luyện các mạng RBF cho mỗi mạng RBF địa phương sẽ là kết nối giữa thủ tục này với các mạng RBF con. mỗi dữ liệu mới thuộc Dj thì chỉ có mạng nội suy địa phương của miền Dj phải huấn Khi bổ sung dữ liệu mới, nếu số mốc nội suy trong miền con lớn hơn M thì thuật toán cây k-d sẽ được sử dụng để phân chia thành hai cụm có kích cỡ nhỏ 3. Huấn luyện các mạng RBF con; // Dùng thuật toán HDH. 4. Kết nối bộ định vị đầu vào với các mạng con để được mạng RBF địa Trong khi nội suy, với mỗi giá trị vào x, bộ định vị sẽ xác định mạng con tương các mạng con đều là rỗng ngoại trừ mạng con có đầu vào x. hợp đầu ra là tổng đầu ra của các mạng RBF con. Với cấu trúc mạng RBF địa phương mới này, hàm nội suy khả vi liên tục Ở bước 1 của thuật toán, có thể xác định số miền con thay cho chọn trước Cây K-d được Bentley giới thiệu đề xuất trong [11] và các biến thể của nó với quy ước các điểm dữ liệu thuộc nhát cắt có thể đồng thời tính là thuộc hai hình Như vậy số mốc nội suy trong mỗi hình hộp con ở Hình 5.4: Cây K-D mô tả tập dữ liệu trong không gian 2 chiều, với N=38, M=10. Các tính toán huấn luyện mạng chủ yếu gồm thực hiện phân miền dữ liệu nhờ cấu trúc cây k-d và huấn luyện mạng RBF trên các hình hộp con. dựng cây K-d ở đây tương tự như thuật toán đã đánh giá trong có độ phức tạp là O(NlogN) với N là số mốc nội suy. RBF trên mỗi miền con là với n là số chiều của mốc nội suy, M là số độ phức tạp tính toán để huấn luyện các mạng RBF là toán để tìm ra cụm thích hợp cho nó là O  Tính xấp xỉ tổng quát của mạng nội suy RBF địa phương Tính xấp xỉ tổng quát của mạng nội suy RBF đã được Hartman và Park nhiều tới việc áp dụng nhưng tính tổng quát của mạng được xây dựng là không Định lý dưới đây cho ta đánh giá tính xấp xỉ tổng quát của mạng (tính xấp xỉ tổng quát của mạng nội suy RBF địa sử f là hàm liên tục trên miền D và M là số phần tử cực đại trong mỗi -lưới nào trên D, thì một mạng địa phương huấn luyện đủ tốt với tập dữ liệu này sẽ Với hàm f liên tục trên D và  đã xác định, ta phải chứng minh rằng tồn tại  sao cho nếu tập mốc nội suy là -lưới thì với mọi xD ta phải có Trong đó Mi là số mốc thuộc cụm Di còn )(xk là giá trị hàm bán kính của Nếu chọn sai số huấn luyện để với mọi mốc nội suy xk ta đều có : Bây giờ ta đặt  21 ,min   và xét xD tuỳ ý, khi đó xDk và có mốc nội Các biểu thức (3.11) và (5.7) cho ta thấy hàm nội suy dao động quanh giá trị trung bình của các mốc nội suy và các hàm có biên độ dao động bé Bài toán động là các bài toán sau khi huấn luyện xong thường được bổ sung Đối với các bài toán này, khi có các mốc nội suy mới, ta kiểm hiện tách đôi hình hộp con này và huấn luyện lại mạng RBF địa phương tương ứng. ở mục sau cho thấy thời gian huấn luyện tăng cường khi có dữ liệu bổ sung rất Thực nghiệm nhằm so sánh thời gian huấn luyện, sai số huấn luyện và tính tổng quát của mạng địa phương so với mạng nội suy RBF toàn cục (ở đây dùng từ thúc của thuật toán HDH ở biểu thức (3.23) ta xác định sai số cho vectơ W mà chưa biết sai số của hàm f nên cần so sánh hiệu quả của hai so sánh thời gian huấn luyện tăng cường bằng thuật toán HDH khi có dữ liệu mới và thời gian huấn luyện từ đầu để dùng cho bài toán động. Các hàm được xét là hàm 2 biến như công thức (5.10) với x1[0,8], Các tham số chọn thống nhất với q=0.8, α=0.9 và sai số cho Việc huấn luyện các mạng RBF địa phương thực hiện tuần tự, nếu xử lý So sánh thời gian và sai số huấn luyện Các mạng sau khi được huấn luyện sẽ lấy 10 mốc nội suy để so sánh sai số huấn cho trước số mốc trong từng cụm M còn Bảng 5.3 thì điều kiện dừng là số cụm Bảng 5.2: So sánh thời gian và sai số huấn luyện của hàm 2 biến có 4096 mốc nội suy Hình 5.5: Đồ thị so sánh thời gian và sai số huấn luyện của hàm 2 biến có 4096 Nhìn bảng 5.2 và hình 5.5 kiểm tra với 4096 hàm hai biến, ta thấy thời gian huấn luyện của “mạng toàn cục” là 432 giây, lớn hơn hẳn so với “mạng địa phương