Khoa học dữ liệu

Từ khi internet còn sơ khai cho tới nay, khi có tới hàng chục tỉ trang web, việc tìm kiếm thông tin luôn là một nhu cầu thiết yếu của con người. Các công cụ tìm kiếm như Yahoo!, Google, Bing đã ra đời để giải quyết nhu cầu này. Chúng đã trải qua một vài cuộc cách mạng nhỏ, với lịch sử tóm lược như sau:

Năm 1994: WebCrawler, công cụ tìm kiếm đầu tiên ghi nhận toàn bộ nội dung các trang web, không chỉ tiêu đề hay từ khóa, ra đời. Nó cho phép người dùng tìm kiếm bằng các từ khóa và trả về các trang web có chứa từ khóa đó. Cùng thời điểm đó, Lycos và Yahoo! cũng xuất hiện. Yahoo! bắt đầu như một danh mục các trang web, được các biên tập viên con người quản lý. Sau đó, nó phát triển để bao gồm cả công cụ tìm kiếm.

Năm 1996: Larry Page và Sergey Brin phát triển một dự án công cụ tìm kiếm mới mang tên Backrub. Backrub sử dụng các liên kết ngược để xếp hạng tầm quan trọng của các trang. Dự án này phát triển thành Google, ra mắt năm 1998. Thuật toán PageRank của Google đã cách mạng hóa tìm kiếm bằng cách ưu tiên các trang dựa trên sự liên quan và số lượng liên kết trỏ về chúng.

Đầu những năm 2000: Nhiều công cụ tìm kiếm khác như AltaVista, Ask Jeeves, và MSN Search (sau này trở thành Bing) nổi lên. Mỗi công cụ mang đến những đổi mới riêng, nhưng Google nhanh chóng chiếm lĩnh thị trường với tốc độ, độ chính xác và sự đơn giản của nó. Google thậm chí được sử dụng như một động từ thay thế cho từ tìm kiếm.

Theo thời gian, các công cụ tìm kiếm dần trở nên thông minh hơn. Chúng bắt đầu hiểu ngôn ngữ tự nhiên, kết hợp hành vi người dùng và cá nhân hóa kết quả tìm kiếm. Những đổi mới như tìm kiếm bằng giọng nói, tìm kiếm trên di động và các tính năng do AI điều khiển đã làm cho việc tìm kiếm thông tin trở nên dễ dàng và trực quan hơn.

Dù có nhiều cải tiến như trên, bản chất của việc tìm kiếm thông tin không thay đổi. Người dùng vẫn phải đặt câu hỏi với những từ khóa chính xác để nhận được kết quả là những trang web có thông tin liên quan đến câu hỏi của mình. Họ vẫn phải tự đọc những kết quả này, phân tích và tổng hợp thông tin để tìm được câu trả lời chính xác.

Năm 2023: Đây là năm chứng kiến cuộc cách mạng đầu tiên trong lĩnh vực tìm kiếm thông tin kể từ khi Google thiết lập sự thống trị của mình cách đây 20 năm. Các mô hình ngôn ngữ lớn (tiêu biểu nhất là ChatGPT) đã ra đời và nhanh chóng trở thành các trợ lý ảo, giúp người dùng làm nhiều việc, bao gồm các dịch vụ hỏi đáp (Q&A).

Khi mới ra đời, hai điểm hạn chế nhất của ChatGPT là thông tin nó đưa ra có thể không chính xác, hoặc là thông tin đã cũ. Ví dụ như bản ChatGPT ra đời năm 2023 chỉ biết đến những thông tin từ các nguồn được xuất bản trước tháng 9 năm 2021. Do đó, nó không thể thay thế những công cụ tìm kiếm thông tin như Google.

Nhưng các công ty như Microsoft và nhiều công ty khởi nghiệp đã nhanh chóng nhận ra vấn đề cũng như tiềm năng của các công cụ như ChatGPT, và họ đã tích hợp thành công các mô hình ngôn ngữ lớn vào dịch vụ tìm kiếm của mình. Khi người dùng đặt câu hỏi, các công cụ này sẽ tìm kiếm dữ liệu từ những nguồn có liên quan, phân tích, tổng hợp nội dung, và đưa ra câu trả lời. Ví dụ khi mình đặt câu hỏi: "Hãy so sánh trường chuyên A ở bang B và trường chuyên C ở bang D", chúng sẽ lấy dữ liệu từ các trang web về trường A và B và đưa ra câu trả lời. Qua quá trình này, chúng tạo ra thông tin mới mà không một trang web nào hiện nay có, bởi khả năng một ai đó tình cờ so sánh hai trường này là cực kỳ thấp.

Gần đây mình hay sử dụng https://perplexity.ai. thay cho Google. Google (gemini.google.com) và Microsoft (bing.google.com) đều có các công cụ tương tự, nhưng qua thử nghiệm thì mình thấy Perplexity có khả năng hiểu câu hỏi và đưa ra câu trả lời đầy đủ và chính xác nhất. Nó cũng gợi ý các câu hỏi tương tự, giúp bạn đào sâu hơn vào vấn đề cần nghiên cứu. Mọi người dùng thử xem sao nhé!

https://3tinythoughts.substack.com/p/a-en-luc-thay-the-google-bang-mot

Đã đến lúc thay thế Google bằng một dịch vụ tìm kiếm khác? Từ khi internet còn sơ khai cho tới nay, khi có tới hàng chục tỉ trang web, việc tìm kiếm thông tin luôn là một nhu cầu thiết yếu của con người. Các công cụ tìm kiếm như Yahoo!, Google, Bing đã ra đời để giải quyết nhu cầu này. Chúng đã tr...

Mình chưa từng có dịp làm việc chính thức tại Việt Nam, nhưng bị ám ảnh bởi câu "Thứ nhất quan hệ/ Thứ nhì tiền tệ/ Thứ ba hậu duệ/ Thứ tư trí tuệ". Vậy ở Úc, liệu có cần "quan hệ" không? Từ kinh nghiệm của mình, câu trả lời là cần, rất cần.

Bài viết đầy đủ:

Sự cần thiết của quan hệ với sự nghiệp Mạng lưới quan hệ quan trọng như thế nào trong sự nghiệp của bạn.

Tiếp bài trước, hôm nay mình muốn kể về câu chuyện tìm việc khác từ L, một thành viên mới trong team mình.

L vừa chuyển đến Úc theo visa đi học của vợ. Sau 6 tháng cố gắng mòn mỏi, L vẫn chưa tìm được việc. Cậu phải làm tạm thời trong một nhà máy để kiếm tiền nuôi gia đình.

Chuyện tìm việc của những người nhập cư Tiếp bài trước, hôm nay mình muốn kể về câu chuyện tìm việc khác từ L, một thành viên mới trong team mình. L vừa chuyển đến Úc theo visa đi học của vợ. Sau 6 tháng cố gắng mòn mỏi, L vẫn chưa tìm được việc. Cậu phải làm tạm thời...

Cuối năm ngoái, mình chuyển việc và đảm nhận vai trò Head of ML tại Studiosity. Trong quá trình làm việc, do yêu cầu của dự án, team mình cần tuyển thêm một vài vị trí. Trong bài viết này, mình muốn chia sẻ bí quyết tìm việc thành công của một ứng viên đặc biệt.

Người này tên là R, ứng tuyển cho vị trí contractor (hợp đồng ngắn hạn). Lúc đó, thị trường lao động khá ảm đạm, các công ty tuyển dụng không nhiều, nên sự cạnh tranh rất khốc liệt. Có tới gần 300 người nộp hồ sơ cho vị trí này. Do lượng ứng viên quá lớn, bước đầu tiên trong quy trình tuyển dụng là tự động loại bỏ 80% hồ sơ thông qua các câu hỏi về bằng cấp và kinh nghiệm.

Bài viết đầy đủ: https://3tinythoughts.substack.com/p/tim-viec-thoi-kho-khan-bi-quyet-gay

Nếu bạn vẫn chưa thử ChatGPT, thì nên thử ngay và luôn để thấy độ hiệu quả đến kinh ngạc của AI. Hiện vẫn đang được dùng thử free

ChatGPT A conversational AI system that listens, learns, and challenges

Bạn có tin cô gái trong video này được tạo bởi AI?

Pantheon Lab | A Closer Look at Our Face Shifting Technology in High Resolution Come take a closer look at one of our core A.I. technologies! Our face shifting technology strives for realism, naturalness, scalability, and performance in ...

App học tiếng Anh qua video hiệu quả nhất?

Trong thời đại này, khả năng tiếng Anh là vô cùng quan trọng. Đặc biệt với các ngành như khoa học dữ liệu, học máy, hay khoa học máy tính, phần mềm.
Với kiến thức và công nghệ mới ra đời mỗi ngày, giỏi tiếng Anh là điều không thể thiếu để tiến xa hơn trong công việc và sự nghiệp.

Hãy dùng thử phần mềm học tiếng Anh BEFL (được đầu tư và phát triển bởi ad, sử dụng rất nhiều yếu tố liên quan đến AI).

www.befl.io

Nhân dịp ra mắt, ad sẽ tặng premium 1 năm ($60 / năm) cho bạn nào làm đủ các bước sau:

1. Like và chia sẻ bài viết
2. Tải app và đăng kí dùng
3. Review 5 stars
4. Gửi screenshot về email [email protected] để ad cấp gói premium. Nhớ dùng email đăng kí tài khoản.

Fastest Way to Learn English | Befl Befl helps you learn English faster than ever. Access thousands of short, fun video lessons by native speakers. Practice speaking, writing, listening and reading with AI feedback. Learn anywhere, anytime. Explore a variety of topics including stories, movies, news, conversations, and shows.

Data science tip #2: Pandasprofiling

Dưới đây là 3 dòng lệnh vô giá với ad khi khám phá một dataset mới.

```
from pandas_profiling import ProfileReport
profile = ProfileReport(df, title="Pandas Profiling Report")
profile.to_widgets()
```

Đoạn code này sẽ tính và hiển thị hầu hết các thống kê và thông tin bạn muốn biết khi bắt đầu làm việc với một tập dữ liệu (type, unique values, missing values, quantile statistics, descriptive statistics, most frequent and extreme values, etc).

Thời gian của bạn là vàng, là vô giá. Hãy dùng những thư viện như này để làm việc hiệu quả hơn.

GitHub - ydataai/pandas-profiling: Create HTML profiling reports from pandas DataFrame objects Create HTML profiling reports from pandas DataFrame objects - GitHub - ydataai/pandas-profiling: Create HTML profiling reports from pandas DataFrame objects

https://github.com/EthicalML/awesome-production-machine-learning

Danh sách hàng trăm thư viện mở (open source) cho đủ mọi tác vụ trong data science và machine learning

GitHub - EthicalML/awesome-production-machine-learning: A curated list of awesome open source libraries to deploy, monitor, version and scale your machine learning A curated list of awesome open source libraries to deploy, monitor, version and scale your machine learning - GitHub - EthicalML/awesome-production-machine-learning: A curated list of awesome open ...

Data science tip 1: Vấn đề "đầu tiên"

Bạn có một ý tưởng tuyệt vời để giải quyết một vấn đề nào đó cho công ty (dùng machine learning)? Câu hỏi quan trọng nhất bạn cần trả lời là "tiền đâu?".

Công thức đơn giản bạn có thể dùng để trả lời câu hỏi này là (tiền) lợi nhuận = doanh thu - chi phí.

Có nhiều cách để tăng doanh thu.
- Nếu giải pháp sẽ tăng khách hàng, doanh thu = số khách hàng mới x giá trị của mỗi khách hàng (LTV = life-time value).
- Nếu giải pháp sẽ giảm lượng khách hàng rời công ty (churns), cách tính cũng tương tự: doanh thu = số khách hàng giữ được x giá trị còn lại của mỗi khách hàng (cái này tất nhiên sẽ nhỏ hơn LTV)
- Nếu giải pháp sẽ tăng lượng mua trung bình của mỗi khách hàng, doanh thu = tổng số người dùng x % người dùng sẽ mua thêm x giá trị mua thêm.

Chi phí sẽ phụ thuộc vào nhiều yếu tố, nhưng bạn nên cân nhắc những yếu tố sau: chi phí nhân sự + chi phí hạ tầng (ví dụ như thuê máy chủ, sử dụng API) + chi phí phần mềm (nếu có) + chi phí bảo trì.

Tất nhiên không phải lúc nào lợi nhuận cũng là yếu tốt duy nhất để các chóp bu đi tới quyết định cuối cùng. Ví dụ như CTO muốn thể hiện công ty của mình đi đầu về công nghệ (và làm đẹp cho CV của họ cũng không phải là điều hiếm gặp.
Nhưng nếu bạn đưa ra ước tính về tiềm năng lợi nhuận của giải pháp, dựa trên dữ liệu của công ty, khả năng thuyết phục được người khác sẽ cao hơn nhiều.

Đây là kiểu giật tít và visualization bạn cần tránh. Vấn đề ở đây là gì?

Bạn nào dùng R trong công việc thì có thể tham khảo repo này nhé. Ad chia sẻ code mà ad hay dùng trong các dự án cách đây mấy năm (giờ chủ yếu dùng Python :) )

https://github.com/trungngv/datascience

What you can find:
- List of frequently used R packages
- Interactions with AWS S3 and Redshift using
PostgreSQL
- Statistical tests
- Training of regression and classification models with hyperparameters optimisation via gridsearch and the caret package
- Common plots for evaluating a binary classification model
- Example of doing forecasting
- Example of creating notebooks with R markdown

trungngv/datascience Template for data science projects (R-based) which includes a few useful utilities. - trungngv/datascience