Điện tử - Viễn thông - CNTT
Đại số tuyến tính và ứng dụng trong Trí tuệ nhân tạo và Xử lý ngôn ngữ tự nhiên (Sách chuyên khảo)
PGS.TS Huỳnh Công Pháp

GIỚI THIỆU TỔNG QUAN

Trong kiến trúc tổng thể của Trí tuệ nhân tạo (AI) và Xử lý ngôn ngữ tự nhiên (NLP) hiện đại, đại số tuyến tính là nền tảng toán học chi phối cách dữ liệu được biểu diễn, biến đổi và kết hợp để tạo ra tri thức. Nếu xem xác suất–thống kê cung cấp nguyên lý mô hình hoá sự bất định và xây dựng tiêu chuẩn đánh giá, còn giải tích cung cấp cơ chế tối ưu hoá để mô hình tự điều chỉnh tham số, thì Đại số tuyến tính (Linear Algebra) chính là ngôn ngữ cấu trúc hoá toàn bộ phép tính trong học sâu: từ biểu diễn ngôn ngữ đến cơ chế suy luận và kiến trúc mạng.

Điểm xuất phát của NLP hiện đại là việc chuyển đổi ngôn ngữ rời rạc (token, từ, câu) thành các đối tượng liên tục trong không gian nhiều chiều. Quá trình đó được thực hiện bằng embeddings với mỗi đơn vị ngôn ngữ được gán một vector . Từ đây, hầu hết các phép toán cốt lõi của mô hình trở thành các phép biến đổi tuyến tính và phép toán trên ma trận/tensor: các tầng tuyến tính, chuẩn hoá, chiếu không gian, rút trích đặc trưng, và ghép nối thông tin. Trong Transformer, Attention có thể được nhìn như một chuỗi thao tác đại số tuyến tính trên các ma trận truy vấn-khóa-giá trị (Q, K, V), trong đó tích vô hướng, nhân ma trận và chuẩn hoá đóng vai trò trung tâm để lượng hoá mức độ liên quan và tổng hợp ngữ cảnh.

Trên bình diện tối ưu hoá và suy luận, đại số tuyến tính còn là nền tảng để hiểu hình học của không gian biểu diễn: chuẩn (norm) và khoảng cách để đo độ tương đồng ngữ nghĩa, trực giao và phép chiếu để tách thành phần thông tin, trị riêng và phân rã ma trận để phân tích cấu trúc (PCA, SVD), cũng như điều kiện tốt của bài toán để đảm bảo tính ổn định tính toán. Trong huấn luyện mô hình, các đối tượng gradient và cập nhật tham số cũng được biểu diễn dưới dạng vector–ma trận, cho phép triển khai hiệu quả trên phần cứng song song (GPU/TPU).

Vì vậy, cuốn sách Đại số tuyến tính và ứng dụng trong Trí tuệ nhân tạo và Xử lý ngôn ngữ tự nhiên sẽ hệ thống hoá các khái niệm Đại số tuyến tính cốt lõi như vector, không gian vector, tích vô hướng, chuẩn và khoảng cách, ma trận và phép biến đổi tuyến tính, hệ phương trình tuyến tính, trị riêng–vector riêng, các phép phân rã (đặc biệt SVD), cùng các đối tượng tensor và phép toán liên quan, đặc biệt là ứng dụng cụ thể trong các mô hình AI và NLP như xây dựng và phân tích embeddings, attention, giảm chiều, nén biểu diễn, đánh giá tương đồng ngữ nghĩa và thiết kế kiến trúc tính toán hiệu quả.

Cuốn sách không tập trung chi tiết và sâu về kiến thức Đại số tuyến tính mà chỉ hệ thống hóa lại kiến thức toán nền tảng và ứng dụng trong AI và NLP. Mục tiêu của cuốn sách là hướng đến việc thu hẹp khoảng cách giữa toán học trừu tượng với ứng dụng trong khoa học–kỹ thuật, đặc biệt trong AI và NLP. Từ định nghĩa và công thức, người học sẽ được trải nghiệm thú vị việc ứng dụng Đại số tuyến tính để xây dựng hệ thống AI và NLP thực tế với đầy đủ các bước của quy trình từ xây dựng dữ liệu, tiền xử lý, vector hóa dữ liệu, xây dựng mô hình, cài đặt thuật toán, chạy thử nghiệm, trực quan hóa kết quả và phân tích chỉ số đánh giá. Tác giả kỳ vọng rằng, thông qua trải nghiệm này, bạn đọc sẽ nhận thức rõ lớp toán học nền tảng nằm bên dưới mỗi mô hình và thuật toán AI/NLP, từ đó có nền móng vững chắc để tiếp tục nghiên cứu, phát triển và đổi mới sáng tạo một cách bền vững.

 

138 lượt xem
KỶ YẾU HỘI THẢO KHOA HỌC QUỐC TẾ Chuyển đổi số trong đào tạo nguồn nhân lực công nghiệp văn hóa
Trường Đại học Sư phạm Nghệ thuật Trung ương

Cuộc Cách mạng Công nghiệp 4.0 và làn sóng chuyển đổi số đang diễn ra mạnh mẽ trên toàn thế giới, tác động sâu sắc đến mọi lĩnh vực, đặc biệt là lĩnh vực Công nghiệp Văn hóa. Công nghệ số đã thay đổi triệt để mô hình sản xuất, phân phối và tiêu thụ sản phẩm văn hóa, đồng thời mở ra không gian sáng tạo vô tận với các loại hình mới như nghệ thuật số, thực tế ảo và nền tảng nội dung số. Sự chuyển dịch này đặt ra yêu cầu cấp thiết về đổi mới trong đào tạo để cung cấp nguồn nhân lực có đủ năng lực thích ứng và dẫn dắt sự phát triển của Công nghiệp Văn hóa trong kỷ nguyên số.
Vị thế của Công nghiệp Văn hóa ngày càng được xác định là một ngành kinh tế mũi nhọn, có vai trò quan trọng trong việc thúc đẩy tăng trưởng kinh tế, tạo ra việc làm, đồng thời là phương tiện hữu hiệu để bảo tồn, phát huy bản sắc và quảng bá hình ảnh quốc gia ra thế giới. Sự chuyển dịch sâu rộng này đặt ra những yêu cầu mới và khắt khe đối với nguồn nhân lực. Nền tảng kiến thức truyền thống không còn đủ, thị trường đang tìm kiếm những chuyên gia có khả năng kết hợp nhuần nhuyễn giữa tư duy nghệ thuật, kỹ năng quản lý kinh doanh
sáng tạo và năng lực ứng dụng công nghệ số để tạo ra các sản phẩm văn hóa có giá trị cao trong môi trường số.

2174 lượt xem
INTERNATIONAL CONFERENCE DIGITAL TRANSFORMATION IN TRAINING HUMAN RESOURCES FOR CULTURAL INDUSTRY
Trường Đại học Sư phạm Nghệ thuật Trung ương

The Fourth Industrial Revolution and the ongoing wave of digital transformation are profoundly influencing all areas of life worldwide, particularly the Cultural Industry. Digital technology has fundamentally reshaped the models of production, distribution, and consumption of cultural products, while simultaneously opening up boundless creative spaces through emerging forms such as digital art, virtual reality, and digital content platforms. This transformation presents an urgent need for innovation in education and training to provide human resources capable of adapting to, and leading the evolution of the Cultural Industry in the digital era.
The position of Cultural Industry is increasingly recognized as a key economic sector that plays an essential role in driving economic growth, generating employment, and serving as an effective means of preserving, promoting, and disseminating national identity and cultural values globally. This profound transformation sets forth new and demanding requirements for human resources.
Traditional knowledge alone is no longer sufficient; the market now seeks for professionals who can integrate artistic thinking, creative business management skills, and the ability to apply digital technology to generate high-value cultural products in the digital environment.

5437 lượt xem
Tóm lược chuyển đổi số - Chiến lược & Lộ trình
David L. Rogers

Nhằm khuyến khích toàn dân nâng cao nhận thức và đưa mục tiêu phát triển chuyển đổi số vào cuộc sống, theo đề nghị của Bộ Thông tin và Truyền thông, được sự đồng thuận của tác giả David L Rodgers, Trường Doanh nhân PACE đã phối hợp với Nhà xuất bản Thông tin và Truyền thông tổ chức xuất bản cuốn sách “Tóm lược Chuyển đổi số - Chiến lược & Lộ trình” nhằm cung cấp một phiên bản tinh gọn từ 02 cuốn sách giá trị trên, phù hợp cho cả hai đối tượng độc giả: những người quan tâm đến chuyển đổi số ở tầm chiến lược và những người thực thi chuyển đổi số.

16827 lượt xem
Sách trắng lĩnh vực phát thanh, truyền hình và thông tin điện tử Việt Nam năm 2024
Bộ Thông tin và Truyền thông , Cục Phát thanh truyền hình và Thông tin điện tử

Sách Trắng PTTH&TTĐT năm 2024 đánh dấu lần đầu Sách Trắng lĩnh vực chuyên ngành được xây dựng, phát hành. Kế thừa và phát triển từ Sách Trắng Công nghệ thông tin và Truyền thông Việt Nam, bao gồm các lĩnh vực quản lý nhà nước của Bộ Thông tin và Truyền thông được ban hành trong 13 năm qua, Cục Phát thanh, truyền hình và thông tin điện tử mong muốn Sách Trắng PTTH&TTĐT năm 2024 sẽ là cẩm nang tham khảo phục vụ nhu cầu tra cứu thông tin, số liệu, phục vụ chỉ đạo, điều hành và xây dựng chính sách lĩnh vực phát thanh, truyền hình và thông tin điện tử nhằm mục tiêu phát triển ngành.

3476 lượt xem
5G, IoT và Thành phố thông minh
Bộ Khoa học và Công nghệ, Cục Tần số Vô tuyến điện

Nội dung sách xoay quanh hai bạn nhỏ tìm hiểu về thế giới IoT, 5G và thành phố thông minh. Họ đã được gặp "chuyên gia RF" - một bạn Robot giải thích về IoT (Internet of Thing) và 5G một cách dễ hiểu.

6241 lượt xem
CÔNG NGHỆ MẠNG MÁY TÍNH
TS. PHẠM THẾ QUẾ
Cuốn sách “Công nghệ mạng máy tính” không chỉ đề cập đến những vấn đề cơ sở lý luận mà còn trình bày một số kỹ năng, kinh nghiệm cần thiết để thiết kế và cài đặt các mạng máy tính. Hy vọng cuốn sách sẽ có ích cho các học sinh, sinh viên và những người quan tâm xây dựng các hệ thống tin học ứng dụng phục vụ cho quản lý và sản xuất trong các cơ quan, đơn vị và các doanh nghiệp. Trong quá trình biên soạn, cuốn sách không tránh khỏi thiếu sót, tác giả mong nhận được các ý kiến góp ý của bạn đọc.
3062 lượt xem
Các phương pháp tối ưu và ứng dụng
PGS. TS Phạm Ngọc Anh
Mô hình và các phương pháp tối ưu đóng vai trò quan trọng trong toán ứng dụng, đặc biệt là trong Lý thuyết tối ưu và các ứng dụng thực tế. Do vậy, nhu cầu học tập, giảng dạy, nghiên cứu và ứng dụng các phương pháp tối ưu ngày càng được quan tâm và phát triển ở hầu hết các trường đại học ở Việt Nam và trên thế giới. Cuốn sách "Các phương pháp tối ưu và ứng dụng" được biên soạn cho các sinh viên năm cuối, học viên cao học và nghiên cứu sinh các ngành kinh tế, kỹ thuật và toán ứng dụng, nhằm giới thiệu các phương pháp tối ưu thông dụng và một số tiếp cận mới cho các mô hình ứng dụng. Cuốn sách này cũng là một tài liệu tham khảo cho các thầy cô giảng dạy môn "Các phương pháp tối ưu" trong các trường đại học, những người làm trong lĩnh vực khác như kinh tế, tài chính, quản lý và các ngành khoa học kỹ thuật muốn tìm hiểu về các phương pháp tối ưu cơ bản và thông dụng. Tác giả cũng cố gắng tìm cách tiếp cận đơn giản và hợp lý để trình bày nội dung theo phương pháp dễ hiểu, nhằm giúp cho bạn đọc nắm được các kiến thức cơ bản nhất về các phương pháp tối ưu và các ứng dụng, một số cách tiếp cận với một vài vấn đề hiện đang được quan tâm nghiên cứu trong lý thuyết này. Phần cuối của mỗi chương là hệ thống các bài tập ứng dụng lý thuyết và các hướng dẫn giải ngay sau đó, nhằm giúp cho người đọc nắm vững hơn các kiến thức đã trình bày ở trong chương đó. Cuốn sách chuyên khảo này gồm 9 chương. Chương 1 hệ thống lại một số kiến thức cơ bản về hàm lồi, phép chiếu trực giao và ánh xạ giả co trong không gian Rn. Các kiến này làm nền tảng để hiểu cách tiếp cận bài toán cân bằng và các ứng dụng của nó, trong đó bài toán bất đẳng thức biến phân là một trường hợp đặc biệt của bài toán cân bằng, với các ứng dụng khá phổ biến trong thực tế. Chương 2 trình bày khá chi tiết về bài toán cân bằng và một số mô hình ứng dụng thực tế của nó, nổi bật với mô hình cân bằng kinh tế Nash. Các điều kiện cần và đủ cho bài toán tối ưu được đề cập trong Chương 3. Chương 4 trình bày phương pháp hướng giảm với các ví dụ minh họa và các chương trình tính toán bằng Matlab khá cụ thể. Các phương pháp chiếu áp dụng cho bài toán tối ưu, bài toán bất đẳng thức biến phân và bài toán cân bằng được đưa ra trong Chương 5. Phương pháp điểm gần kề có ảnh hưởng lớn trong Lý thuyết tối ưu được đưa ra trong Chương 6. Chương 7 trình bày về phương pháp nhánh cận, một phương pháp được sử dụng rộng rãi để giải các bài toán khó và đa dạng ứng dụng. Các phương pháp hàm phạt điểm trong và hàm phạt điểm ngoài được đề cập một cách cơ bản trong Chương 8. Bài toán qui hoạch tuyến tính và phương pháp đơn hình khá quan trọng trong việc áp dụng giải một số mô hình thực tiễn được trình bày cụ thể trong chương cuối cùng.
3037 lượt xem
Tìm hiểu về EMC
Cục Tần số Vô tuyến điện

Câu chuyện giúp trẻ hiểu EMC là khả năng giúp thiết bị điện tử không gây nhiễu nhau, khuyến khích chọn sản phẩm có chứng nhận EMC và giới thiệu vai trò của Cục Tần số trong giữ “không gian sóng sạch”.

5624 lượt xem
Hệ thống thông tin trọng yếu quốc gia - Thách thức toàn cầu và Giải pháp
TS. Nguyễn Ngọc Cương

Nhằm cung cấp cho bạn đọc những nhận thức về hệ thống thông tin trọng yếu quốc gia, chủ quyền quốc gia trên không gian mạng với những thách thức thời đại đối với lợi ích quốc gia, các cuộc khủng bố và tấn công mạng; một số quy định của pháp luật về bảo vệ hệ thống thông tin trọng yếu của một số quốc gia tiêu biểu về không gian mạng và chiến tranh không gian mạng; về bảo đảm an ninh mạng đối với hệ thống thông tin trọng yếu quốc gia Việt Nam; Nhà xuất bản Thông tin và Truyền thông đã kết hợp cùng các chuyên gia về an toàn thông tin xuất bản cuốn sách Hệ thống thông tin trọng yếu quốc gia - Thách thức toàn cầu và giải pháp.

Nhà xuất bản Thông tin và Truyền thông xin trân trọng giới thiệu cùng bạn đọc!

3575 lượt xem
Cơ sở lý thuyết song song
PGS.TS Lê Huy Thập
Trong thời đại số hóa, mọi công việc muốn được xử lý một cách tự động và nhanh nhất đều phải ứng dụng công nghệ thông tin. Với sự phát triển mạnh mẽ của kỹ thuật tính toán và các hệ thống tự động thì sự ra đời và phát triển của lý thuyết song song là điều tất yếu. Hiện nay lý thuyết song song và lập trình song song đang được khá nhiều bạn đọc quan tâm tìm hiểu. Kiến thức song song là một kiến thức hết sức mới mẻ, ứng dụng lý thuyết song song vào lập trình sẽ nâng cao hiệu năng tính toán, tiết kiệm thời gian, giảm chi phí, giải quyết được các vấn đề lớn hơn, phức tạp hơn và tăng khả năng xử lý đồng thời cao hơn... Cuốn sách gồm 9 chương, từ chương 1 đến chương 6 trình bày về tính toán song song và lập trình tính toán song song, chương 7 đến chương 9 trình bày các kiến thức về xử lý phân tán song song; Chương 1: Giới thiệu tổng quan các khái niệm và các thuật ngữ liên quan đến tính toán song song Chương 2: Kiến trúc bộ nhớ máy tính song song và phương pháp kết nối trong hệ thống đa bộ xử lý Chương 3: Lập trình song song và phụ thuộc dữ liệu Chương 4: Các mô hình lập trình song song Chương 5: Thiết kế các chương trình song song Chương 6: Cấu trúc lệnh, các ví dụ và thuật toán song song Chương 7: Cơ sở dữ liệu phân tán và song song Chương 8: Sắp xếp lại phép nối và viết lại câu vấn tin Chương 9: Lập lịch tối ưu cho cây và ma trận truy vấn song song
2365 lượt xem
Viet Nam Information and Communications Technology 2012
Bộ Thông tin và Truyền thông
Apart from the main purpose of the book which is to provide a realistic and comprehensive panorama of the current status of the ICT development in Viet Nam, the 2012 White Book also focuses on the role of ICT as a critical infrastructure for economic and social development as determined in the Resolution No.13-NQ/TW at the 4th Conference of the Central Executive Committee (Term XI) of the Communist Party of Viet Nam. It analyzes the situation and orientation of the development of the VIBrand -Viet Nam ICT brand name products and services. Also from 2012, the White Book will be supplemented and updated with reports outlining overall situation of the ICT development in the year to reflect a deeper assessment of the Industry. In terms of content and layout of this edition, the White Book is continuously improved so that it is easy and convenient for readers. Hopefully, the book will be a useful reference for various government agencies in formulating policies, for domestic and foreign organizations and enterprises in preparing their business strategies as well as in seeking opportunities for investment and cooperation in ICT in Viet Nam.
1179 lượt xem
Viet Nam Information and Communications Technology 2011
Bộ Thông tin và Truyền thông
Aiming at providing an overall view of Viet Nam ICT landscape, the assessment of 10 year implementation of Directive No. 58 of the Politburo and the introduction of the National Strategy on Transforming Viet Nam into an advanced ICT country, which was approved by the Prime Minister in September 2010, are also included. The Strategy is considered as the key direction that represents the political determination of the Vietnamese Government for the avocation of ICT in the coming period. Besides the information and data like in previous releases, the 2011 White Book comprises of reports on specific areas, including IT industry, Posts, IT applications, Human resources development, International Cooperation, and legal frameworks. It is expected that the book would be useful for authorities in making policies and for organizations and enterprises, both domestic and foreign, in setting up their business strategies as well as seeking for cooperation and investment opportunities in Viet Nam ICT market.
1766 lượt xem
Hỏi đáp về chuyển đổi số
Hồ Tú Bảo

Từ hơn hai thế kỷ qua lịch sử phát triển loài người còn được nhìn theo các giai đoạn phát triển của công nghiệp: cơ khí hóa, điện khí hóa và tự động hóa. Mỗi giai đoạn này đều bắt đầu với các đột phá lớn của khoa học và công nghệ, dẫn đến thay đổi sâu sắc của sản xuất công nghiệp và ảnh hưởng tới mọi mặt của kinh tế và xã hội. Ở mỗi giai đoạn phát triển ấy, luôn có những quốc gia vượt lên và phát triển.
Việt Nam đã luôn đứng ngoài những cơ hội đó của lịch sử.
Thập kỷ này được xem như bắt đầu của một giai đoạn mới, cuộc Cách mạng công nghiệp lần thứ tư, với những đột phá của các công nghệ số trên môi trường số, mở ra những cơ hội số của sản xuất thông minh và một xã hội thông minh, mở ra những thay đổi sâu sắc cho xã hội loài người.
Tháng 6/2020, Chính phủ phê duyệt “Chương trình chuyển đổi số quốc gia đến năm 2025, định hướng đến năm 2030”. Chương trình hướng đến xây dựng Việt Nam thành một quốc gia số lấy người dân là trung tâm với ba mục tiêu: Chính phủ số, kinh tế số và xã hội số. Chính phủ yêu cầu các bộ ngành, các địa phương nhanh chóng xây dựng chiến lược và chương trình chuyển đổi số của mình và khuyến khích các doanh nghiệp tích cực thực hiện chuyển đổi số.
Chuyển đổi số là cốt lõi của phát triển trong kỷ nguyên số, là cơ hội có một không hai để Việt Nam có thể vượt lên trong một vài thập kỷ tới.
Chúng ta không thể một lần nữa bỏ lỡ cơ hội nhiều chục năm mới có của lịch sử.
Cuốn “Hỏi đáp về Chuyển đổi số” là một nỗ lực chia sẻ nhận thức và kinh nghiệm ban đầu của các tác giả về chuyển đổi số. Cuốn sách được viết dưới dạng những câu hỏi và câu trả lời. Mỗi câu hỏi đề cập đến một vấn đề hay một khía cạnh của chuyển đổi số và trả lời của các tác giả. Cuốn sách được chia thành 5 phần, gồm câu hỏi chung về chuyển đổi số, đột phá của AI và các công nghệ số, chính phủ số, kinh tế số và xã hội số. Câu hỏi trong mỗi phần lại được gộp theo nhóm các vấn đề chuyển đổi số đặt ra là gì, tại sao, thế nào, bao giờ, ai liên quan…

3074 lượt xem
Podcast trên báo mạng điện tử ở Việt Nam hiện nay (Sách chuyên khảo)
TS. Lê Tuấn Anh

Cuốn sách “Podcast trên báo mạng điện tử ở Việt Nam hiện nay (Sách chuyên khảo)” phân tích sâu về sự phát triển, xu hướng và vai trò của podcast như một hình thức truyền thông mới trên các nền tảng báo mạng điện tử tại Việt Nam. Tác phẩm khảo cứu những đặc điểm nội dung, sản xuất và tiếp cận khán thính giả của podcast trong bối cảnh bùng nổ truyền thông số. Đồng thời, sách cung cấp góc nhìn lý luận kết hợp thực tiễn, góp phần làm rõ tiềm năng và thách thức của podcast trong hệ sinh thái báo chí đa phương tiện. Đây là tài liệu hữu ích cho nhà nghiên cứu, người làm truyền thông và những ai quan tâm đến đổi mới báo chí.

498 lượt xem
Chuyên tin 10: Các chuyên đề chọn lọc với ngôn ngữ C++ (Lý thuyết, bài tập và lời giải)
PGS.TSKH. Nguyễn Xuân Huy

Các kỹ thuật lập trình được minh họa qua những bài toán cụ thể tương đương với trình độ nâng cao của học sinh học sinh và sinh viên, đặc biệt bám sát chương trình Tin học dành cho khối chuyên Tin

Các kỹ thuật lập trình và phương pháp xây dựng thuật giải cho những bài toán thường được dùng rộng rãi trong quá trình thiết kế và cài đặt các phần mềm ứng dụng trong thực tiễn, cho nên việc sớm làm chủ các tri thức này là rất cần thiết.

Nội dung sách gồm 13 chương:

Chương 1 : Nhập, xuất dữ liệu

Chương 2: Số học

Chương 3 : Số nguyên tố

Chương 4 : Tập hợp

Chương 5 : Hoán vị

Chương 6 : Tổ hợp

Chương 7 : Sắp xếp

Chương 8 : Tìm kiếm

Chương 9 : Phương pháp Tham

Chương 10 : Phương pháp chia để trị

Chương 11 : Phương pháp quy hoạch động

Chương 12 : Phương pháp quay lui

Chương 13 : ROBOT

485 lượt xem