5 Khoá Học Miễn Phí Về Big Data từ Đại Học Adelaide 2018

The University of Adelaide is one of Australia’s leading research-intensive universities and is consistently ranked among the top 1% of universities in the world. Established in 1874, it is Australia’s third oldest university and has a strong reputation for excellence in research and teaching. The University is known for its dedication to the discovery of new knowledge and preparing the educated leaders of tomorrow. It has over 100 Rhodes Scholars, including Australia’s first Indigenous winner, and five Nobel Laureates among its alumni community. Currently, there are more than 25,000 students from over 90 countries.

5-Course Series: Big Data

Learn how to transform big data into business insights and solutions as you learn essential data science skills and tools to advance your career.

Self-Paced

About this series:

Big data is changing the way businesses operate. Driven by a new scale of data collection that provides massive levels of information, businesses are now able to analyse and gather data insights to make better-informed decisions.

Data scientists and business analysts are in high-demand as companies look to use data to improve their business operations.

In this Big Data MicroMasters ® Program, you will learn tools and analytical methods to use data for decision-making, collect and organise data at scale, and gain an understanding of how data analysis can help to inform change within organisations.

You’ll develop both the technical and computational skills that are in high demand across a range of industries. You’ll develop critical skills in programming for data science, computational thinking, algorithm design, big data fundamentals, and data-driven analysis, with plenty of opportunities to apply and explore your new learnings through a range of case studies.

Other information:

• Average Length: 6-10 weeks per course
• Effort: 8-10 hours per week, per course
• Number Of Courses: 5 Courses in Program
• Subject: Computer Science, Data Analysis & Statistics
• Institution: University of Adelaide
• Language: English
• Video Transcripts: English

What you'll learn:

• How to design algorithms;
• Understand fundamental programming concepts including data abstraction, storage and structures;
• Understand computational thinking which includes decomposition, pattern recognition and abstraction;
• Data-driven problem and algorithm design for big data;
• Interpretation of data representation and analysis;
• Understand key mathematical concepts, including dimension reduction and Bayesian models;
• How to use analytical tools such as R and Java.

Courses in detail:

1. Programming for Data Science: Learn how to apply fundamental programming concepts, computational thinking and data analysis techniques to solve real-world data science problems.
2. Computational Thinking and Big Data: Learn the core concepts of computational thinking and how to collect, clean and consolidate large-scale datasets.
3. Big Data Fundamentals: Learn how big data is driving organisational change and essential analytical tools and techniques, including data mining and PageRank algorithms.
4. Big Data Analytics: Learn key technologies and techniques, including R and Apache Spark, to analyse large-scale data sets to uncover valuable business information.
5. Big Data Capstone Project: Further develop your knowledge of big data by applying the skills you have learned to a real-world data science project.

Please go to this MicroMasters Program's link on edX for further detailed information: Big Data.

Apache Hadoop and Spark: Introduction and Use Cases for Data Analysis

Apache Hadoop and Spark: Introduction and Use Cases for Data Analysis from Trieu Nguyen

•  Growth of big datasets
• Introduction to Apache Hadoop and Spark for developing applications 
• Components of Hadoop, HDFS, MapReduce and HBase 
• Capabilities of Spark and the differences from a typical MapReduce solution 
• Some Spark use cases for data analysis  

Machine Learning on Big Data

Có một cuộc cách mạng xảy ra trong lĩnh vực học máy và dữ liệu lớn. Từ mỗi cà phê mà bạn mua cho mọi thứ bạn nhấp vào (không phải đề cập đến mua hàng) trực tuyến, mọi thứ đang được theo dõi và phân tích. Từ những phân tích này, rất nhiều khoản khấu trừ được thực hiện để cung cấp cho bạn các lựa chọn mới và tốt hơn theo những gì bạn thích.

Các công nghệ trước đây như học máy và trí thông minh nhân tạo được sử dụng chỉ để ngồi trong phòng thí nghiệm, không bao giờ được thực hiện - nhưng không nữa. Với sự gia tăng của dữ liệu lớn, các công nghệ này đã đi chính. Và bằng cách sử dụng các công nghệ này, bạn có thể dự đoán gần như mọi thứ, từ đó quảng cáo người dùng sẽ nhấp chuột vào bên cạnh liệu một khối u có bị ung thư hay không chỉ dựa trên sự công nhận hình ảnh.

Hãy xem một số trường hợp sử dụng phổ biến, nơi chúng tôi sử dụng máy học và phân tích định kỳ về dữ liệu lớn trên cơ sở hàng ngày. Trên đường đi, tôi cũng sẽ đề cập đến cách chúng được giải thích trong cuốn sách Big Data Analytics With Java.

Recommendation Engines

Tôi thích xem Marco Polo trên Netflix, vì vậy tôi đã đề nghị những bộ phim và chương trình tương tự mà tôi thích (xem hình trên). Đây là một trong những trường hợp sử dụng phổ biến nhất của máy học - nơi mà máy học được từ dữ liệu lịch sử của chúng tôi và đưa ra các khuyến nghị thích hợp cho chúng tôi.

Frequently Bought Together


Chúng ta hãy nhìn vào hình trên. Như bạn có thể biết, bất cứ khi nào bạn mua bất kỳ sản phẩm nào trên bất kỳ cửa hàng thương mại điện tử nào và đến trang chi tiết của mặt hàng đó, bạn sẽ được hiển thị các sản phẩm khác thường được bán cùng với nó. Điều này mang lại cho người sử dụng nhiều lựa chọn hơn để mua cùng với mặt hàng hiện tại và được thực hiện để tăng doanh thu.

Predictive Analytics

Học máy đã được sử dụng rất nhiều trong dự đoán giá trị tương lai của các vật liệu miễn là có sẵn các dữ liệu lịch sử để đào tạo các mô hình. Giá trị có thể là bất cứ thứ gì, cho dù đó là số tiền cần cho một chiến dịch tiếp thị, số tiền cần thiết để khởi chạy một sản phẩm mới, hoặc giá của một sản phẩm. Cuốn sách Big Data Analytics With Java sử dụng một nghiên cứu trường hợp thực tế về dự đoán giá của căn nhà dựa trên một tập hợp các biến số khác nhau do Hạt King phát hành tại Chicago.

Spam Detection and Sentiment Analysis

Phát hiện spam là một trường hợp sử dụng phổ biến. Gmail thực hiện điều đó cho chúng tôi, và chúng tôi thường sử dụng nó. Hãy nhìn vào hình ảnh của hai email được hiển thị ở trên. Email ở bên trái rõ ràng là spam, trong khi email ở bên phải là hoàn toàn tốt.

Sử dụng cùng một thuật toán được sử dụng để phát hiện spam, Big Data Analytics Với Java xây dựng trên một nghiên cứu tình huống mẫu cho thấy tình cảm (cho dù tích cực hay tiêu cực) của người dùng trên đầu trang của một bộ tweets cho các bộ phim khác nhau. Xem hình dưới đây.



Social Analytics and Regular Graph Analytics

Khi bạn tìm kiếm điểm đến trên GPS của mình, thuật toán tìm kiếm đồ thị chạy để tìm ra con đường ngắn nhất đến điểm đến của bạn. Chạy các biểu đồ trên một mẩu dữ liệu nhỏ là một việc, nhưng chạy chúng trên một lượng lớn dữ liệu đòi hỏi phần mềm đặc biệt như GraphFrames trên dữ liệu lớn. Ngoài ra, trong thế giới ngày hôm nay của các mạng xã hội, chúng tôi có các biểu đồ xã hội khổng lồ của những người có thể kết nối chúng tôi với những người mà chúng tôi biết - ví dụ như bạn bè, bạn bè của chúng tôi, và vân vân. Hình ảnh trên cho thấy một biểu đồ xã hội rất đơn giản nhưng nó cho thấy mức độ phức tạp của những biểu đồ này có thể nhận được như thế nào.

Phân tích dữ liệu lớn Với Java có một chương mở rộng về phân tích đồ thị và bao gồm một nghiên cứu trường hợp về một tập dữ liệu thực về các sân bay và các chuyến bay kết nối. Sử dụng bộ dữ liệu này, chúng tôi chạy phân tích như thuật toán xếp hạng trang để tìm ra sân bay là lựa chọn tốt nhất, đường đi ngắn nhất giữa các điểm đến trong biểu đồ và nhiều hơn thế nữa.

Image Classification and Natural Language Processing



Phân loại hình ảnh và NLP là những vấn đề khó khăn và thú vị để giải quyết. Mạng thần kinh nhân tạo cực kỳ tốt và ngày càng trở nên tốt hơn trong những lĩnh vực này. Trên thực tế, một số mạng nơ ron xoắn có thể thực hiện phân loại bằng tay bằng độ chính xác 99%.

Phần kết luận
Các trường hợp sử dụng và ví dụ ở trên chỉ là một vài; hiện có rất nhiều trường hợp sử dụng phân tích khác. Trí tuệ nhân tạo và các quá trình phân tích khác đang được thu hút vào quá trình thường ngày của chúng tôi để ngày rằng nó là rất rõ ràng rằng chúng ta sẽ thấy việc sử dụng các kỹ thuật này ngày càng mở rộng trong tương lai gần.

How Volkswagen is using artificial intelligence for ad buying decisions

Cars aren’t the only thing Volkswagen wants to automate. Artificial intelligence is managing the brand’s media buys in Germany and proving to be more effective than its media agency.

Whenever Volkswagen uses the recommendations from Blackwood Seven, a Danish media agency that uses AI and predictive analytics to forecast ad spend decisions, it sells more cars than it would have if it had gone with its media agency’s recommendation, according to Lutz Kothe, the head of marketing and PR for Volkswagen’s passenger cars. Kothe said his team uses Blackwood Seven’s algorithm to buy the right ads based on sales.

Defining a role for the AI platform, however, has taken Volkswagen a while. Two years ago, the advertiser ditched MediaCom and gave its digital business in Germany to Blackwood Seven. At the time, Kothe wasn’t sure the algorithm would be able to deliver better media recommendations than its agency, but the signs were promising just months into the deal, according to Kothe. Between September and December 2016, Volkswagen used the algorithm’s media recommendations for a campaign for its up! model, which led to a 14 percent rise in orders from Volkswagen’s dealerships versus what those orders would’ve been had the campaign run solely on its agency’s recommendations. In some instances, the difference between the algorithm’s and its agency’s car orders has been as high as 20 percent, revealed Kothe.

Since those early campaigns, Volkswagen has applied the algorithm to all its media strategies in Germany. Every car model there from the advertiser has a different strategy, predicting which media investments will give the best returns for its marketers. Those forecasts are based on Volkswagen’s transactional data — or incoming orders — as well as market data such as fuel price, competitor prices and overall car registrations from sources such as Nielsen. Like other AI platforms, the more data fed into the algorithm, the smarter Blackwood Seven’s recommendations become.

Volkswagen’s marketing team bought those recommendations for display, search and social directly from the platform in 2017. By circumventing the agency and going direct to the media owner, the car manufacturer avoided any hidden rebate costs it might have incurred from buying via an agency. In 2018, however, Volkswagen will only use the AI platform to plan its campaigns, not buy them — a move that comes nearly a year after the advertiser appointed PHD as its global media agency.

Kothe would not comment on the prospect of Volkswagen eventually replacing all its agencies with AI platforms, instead stressing how important AI could be to finding marginal gains in media.

What separates Blackwood Seven from Volkswagen’s agencies, Kothe said, is the AI platform’s capacity to process reams of data. Volkswagen’s marketers pull data from more than 1,400 touch points, yet they relied on the “personal interpretations coming from the agency,” which wasn’t based wholly on the data, Kothe said. The biggest advantage the algorithm gives Volkswagen is the ability to better predict what the brand’s media investments will do, he added. The more precise the recommendations become, the more “we can steer our media activity into the best areas,” he concluded.

This means the brand can invest less for some campaigns and still see a sales uplift, Kothe said. While he would not reveal details on those campaigns, he noted how radio, which had been regarded as somewhat of a stale media for Volkswagen in Germany, has been used more frequently over other media to launch new cars, per the algorithm’s forecasts.

But trusting a machine hasn’t been easy. After two years of working with Blackwood Seven and another year before that of early discussions, Volkswagen’s German team is only now talking to other markets about the algorithm’s performance. While hype continues to build around AI replacing media agencies, the reality is it won’t happen anytime soon. Blackwood Seven’s failed launch in the U.K. is a testament to that; the startup closed its office there last month after just a year, despite offering to give marketers more control of their media spend at the height of the transparency crisis.