Web scraping to czynność wydobywania danych, informacji lub obrazów ze strony internetowej przy użyciu zautomatyzowanej metody. Pomyśl^(Think) o tym jako o kopiowaniu i wklejaniu w trybie automatycznym.

Piszemy lub używamy aplikacji, aby przejść do witryn, na które chcemy, i zrobić kopię konkretnych rzeczy, które chcemy z tych witryn. To znacznie dokładniejsze niż pobieranie całej witryny^{(downloading an entire website)} .

Jak każde narzędzie, web scraping może być używany do dobra lub zła. Niektóre z lepszych powodów skrobania stron internetowych to umieszczanie ich w wyszukiwarce na podstawie ich treści, porównywanie cen lub monitorowanie informacji giełdowych. Możesz nawet użyć go jako swego rodzaju narzędzia badawczego.

Jak mogę zeskrobać strony internetowe za pomocą programu Excel^(Excel) ?

Wierzcie lub nie, ale Excel już od dawna potrafi wydobywać dane z witryn internetowych, przynajmniej od 2003 roku^{(Excel 2003)} . Po prostu web scraping jest czymś, o czym większość ludzi nie myśli, nie mówiąc już o użyciu programu do arkuszy kalkulacyjnych do wykonania tej pracy. Ale jest zaskakująco łatwy i potężny. Dowiedzmy się, jak to się robi, tworząc kolekcję skrótów klawiaturowych pakietu Microsoft Office .^{(Microsoft Office)}

Znajdź witryny, które chcesz zeskrobać

Pierwszą rzeczą, jaką zamierzamy zrobić, jest znalezienie konkretnych stron internetowych, z których chcemy uzyskać informacje. Przejdźmy do źródła i poszukajmy na https://support.office.com/ . Będziemy używać terminu wyszukiwania „często używane skróty”. Możemy ją uściślić, używając nazwy konkretnej aplikacji, takiej jak Outlook , Excel , Word i tak dalej. Dobrym pomysłem może być dodanie zakładki do strony wyników, abyśmy mogli łatwo do niej wrócić.

Kliknij^(Click) wynik wyszukiwania „Skróty klawiaturowe w programie Excel dla Windows”. Na tej stronie znajdź listę wersji programu Excel^(Excel) i kliknij Nowsze wersje^{(Newer Versions)} . Teraz pracujemy z najnowszymi i najlepszymi.

Moglibyśmy wrócić do naszej strony wyników wyszukiwania i otworzyć wyniki dla wszystkich innych aplikacji pakietu Office^(Office) na ich własnych kartach i dodać je do zakładek. To dobry pomysł, nawet w przypadku tego ćwiczenia. W tym miejscu większość ludzi zatrzymałaby się w zbieraniu skrótów Office , ale nie my. ^(Office)Umieścimy je w Excelu^(Excel) , abyśmy mogli robić z nimi, co chcemy, kiedy tylko chcemy.

Otwórz Excel i Scrape

Otwórz Excel i rozpocznij nowy skoroszyt. Zapisz skoroszyt jako skróty pakietu Office^{(Office Shortcuts)} . Jeśli masz OneDrive, zapisz go tam, aby funkcja Autozapisu^{(AutoSave )} działała.

Po zapisaniu skoroszytu kliknij kartę Dane^(Data) .

Na wstążce karty Dane^(Data) kliknij opcję Z sieci^{(From Web)} .

Otworzy się okno kreatora Z Internetu . ^{(From Web )}W tym miejscu umieszczamy adres internetowy lub URL witryny, z której chcemy pobrać dane. Przejdź do przeglądarki internetowej i skopiuj^(copy) adres URL.

Wklej adres URL w polu adresu URL^(URL) kreatora Z sieci Web . ^{(From Web)}Możemy użyć tego w trybie podstawowym^(Basic) lub zaawansowanym^(Advanced) . Tryb zaawansowany^(Advanced) daje nam znacznie więcej opcji dostępu do danych ze strony internetowej. Do tego ćwiczenia potrzebujemy tylko trybu podstawowego. Kliknij ^(Click) OK .

Program Excel^(Excel) spróbuje teraz połączyć się z witryną internetową. Może to potrwać kilka sekund. Jeśli tak, zobaczymy okno postępu.

Otworzy się okno Nawigatora^(Navigator) , a po lewej stronie zobaczymy listę tabel ze strony internetowej. Gdy wybierzemy jedną, zobaczymy podgląd tabeli po prawej stronie. Wybierzmy tabelę Często używane skróty .^{(Frequently used shortcuts )}

Możemy kliknąć zakładkę Web View , aby zobaczyć rzeczywistą witrynę, jeśli musimy rozejrzeć się za tabelą, którą chcemy. Gdy go znajdziemy, możemy go kliknąć i zostanie wybrany do importu.

Teraz klikamy przycisk Załaduj^(Load) na dole tego okna. Istnieją inne opcje, które możemy wybrać, które są bardziej złożone i wykraczają poza zakres naszego pierwszego zadrapania. Po prostu miej świadomość, że tam są. Funkcje web scrapingu programu Excel są bardzo potężne.

Tabela internetowa zostanie załadowana do Excela^(Excel) po kilku sekundach. Zobaczymy dane po lewej stronie, gdzie cyfra 1 jest na poniższym obrazku. Numer 2 podkreśla zapytanie^(Query) użyte do uzyskania danych ze strony internetowej. Kiedy mamy wiele zapytań w skoroszycie, w tym miejscu wybieramy to, którego potrzebujemy.

Zwróć uwagę^(Notice) , że dane trafiają do arkusza kalkulacyjnego jako tabela programu Excel . ^(Excel)Jest już skonfigurowany, abyśmy mogli filtrować lub sortować dane.

Możemy powtórzyć ten proces dla wszystkich innych stron internetowych, które mają skróty pakietu Office^(Office) , które chcemy dla programów Outlook^(Outlook) , Word , Access , PowerPoint i dowolnej innej aplikacji pakietu Office .^(Office)

Aktualizowanie zeskrobanych danych^{(Scraped Data Current)} w programie Excel

Jako bonus dowiemy się, jak dbać o aktualność naszych zeskrobanych danych w programie Excel^(Excel) . To świetny sposób na zilustrowanie, jak potężny jest program Excel do skrobania danych. Mimo to wykonujemy tylko najbardziej podstawowe scraping, jakie może wykonać program Excel .

W tym przykładzie użyjmy strony internetowej z informacjami o giełdzie, takiej jak https://www.cnbc.com/stocks/ .

Przejrzyj to, co zrobiliśmy wcześniej, a następnie skopiuj i wklej nowy adres URL^(URL) z paska adresu.

Przejdziesz do okna Nawigatora^(Navigator) i zobaczysz dostępne tabele. Wybierzmy główne indeksy giełdowe w USA^{(Major U.S. Stock Indices)} .

Po zeskrobaniu danych zobaczymy następujący arkusz kalkulacyjny.

Po prawej stronie widzimy zapytanie dotyczące głównych indeksów giełdowych w USA^{(Major U.S. Stock Indexes)} . Wybierz^(Select) to, aby było podświetlone. Upewnij^(Make) się, że jesteśmy na karcie Narzędzia tabel^{(Table Tools)} oraz w obszarze Projekt^(Design) . Następnie kliknij strzałkę w dół pod opcją Odśwież^(Refresh) . Następnie kliknij Właściwości połączenia^{(Connection Properties)} .

W oknie Właściwości zapytania^{(Query Properties )} , na karcie Użycie^(Usage) , możemy kontrolować sposób odświeżania tych informacji. Możemy ustawić określony czas na odświeżenie lub odświeżenie, gdy następnym razem otworzymy skoroszyt, lub na odświeżenie w tle, lub dowolną ich kombinację. Po wybraniu tego, czego potrzebujemy, kliknij OK , aby zamknąć okno i kontynuować.

Otóż ​​to! Teraz możesz śledzić ceny akcji, wyniki sportowe lub inne często zmieniające się dane z arkusza kalkulacyjnego Excel . Jeśli znasz się na równaniach i funkcjach programu Excel^{(Excel equations and functions)} , możesz zrobić z danymi prawie wszystko, co chcesz.

Może spróbuj zidentyfikować trendy giełdowe, poprowadź w pracy basen sportowy fantasy, a może po prostu śledź pogodę. Kto wie? Jedynym ograniczeniem jest Twoja wyobraźnia i dane dostępne w Internecie^(Internet) .

Use Excel as a Tool to Copy Data from the Web

Web scraping is the aсt of extracting data, information, or images from a website using an automated method. Think of it as copy and paste on full automatic.

We either write or use an app to go to the websites we want it to and make a copy of the specific things we want from those websites. It’s much more precise than downloading an entire website.

Like any tool, web scraping can be used for good or evil. Some of the better reasons for scraping websites would be ranking it in a search engine based on its content, price comparison shopping, or monitoring stock market information. You might even use it as a research tool of sorts.

How Can I Scrape Websites with Excel?

Believe it or not, Excel has had the ability to extract data from websites for a long time, at least since Excel 2003. It’s just that web scraping is something most people don’t think of, let alone think of using a spreadsheet program to do the job. But it’s surprisingly easy, and powerful. Let’s learn how it’s done by making a collection of Microsoft Office keyboard shortcuts.

Find the Sites You Want to Scrape

The first thing we’re going to do is find the specific web pages from which we want to get information. Let’s go to the source and search at https://support.office.com/. We’re going to use the search term “frequently used shortcuts”. We can make it more specific by using the name of the specific app, like Outlook, Excel, Word, and so on. It may be a good idea to bookmark the results page so we can easily get back there.

Click on the search result, “Keyboard shortcuts in Excel for Windows”. Once on that page, find the list of Excel versions and click on Newer Versions. Now we’re working with the latest and greatest.

We could go back to our search results page and open the results for all the other Office apps in their own tabs and bookmark them. It’s a good idea, even for this exercise. This is where most people would stop in collecting Office shortcuts, but not us. We’re going to put them in Excel so we can do whatever we want with them, whenever we want.

Open Excel and Scrape

Open Excel and start a new workbook. Save the workbook as Office Shortcuts. If you have OneDrive, save it there so the AutoSave feature will work.

Once the workbook is saved, click on the Data tab.

In the ribbon of the Data tab, click on From Web.

The From Web wizard window will open. This is where we put the web address or URL of the website from which we want to scrape data. Switch to your web browser and copy the URL.

Paste the URL in to the URL field of the From Web wizard. We could choose to use this in Basic or Advanced mode. The Advanced mode gives us a lot more options on how to access the data from the website. For this exercise, we only need Basic mode. Click OK.

Excel will now attempt to connect to the website. This may take a few seconds. We’ll see a progress window, if it does.

The Navigator window will open, and we’ll see a list of tables from the website on the left. When we select one, we’ll see a table preview on the right. Let’s select the Frequently used shortcuts table.

We can click on the Web View tab to see the actual website, if we need to look around for the table we want. When we find it, we can click on it and it will be selected for import.

Now, we click on the Load button at the bottom of this window. There are other options we could choose, which are more complex and beyond the scope of doing our first scrape. Just be aware that they are there. Excel’s web scraping capabilities are very powerful.

The web table will be loaded in Excel after a few seconds. We’ll see the data on the left, where the number 1 is in the picture below. Number 2 highlights the Query used to get the data from the website. When we have multiple queries in a work book, this is where we select the one we need to use.

Notice that the data comes into the spreadsheet as an Excel table. It’s already set up for us to be able to filter or sort the data.

We can repeat this process for all the other web pages that have the Office shortcuts that we want for Outlook, Word, Access, PowerPoint, and any other Office app.

Keeping Scraped Data Current in Excel

As a bonus for you, we’re going to learn how to keep our scraped data fresh in Excel. This is a great way to illustrate just how powerful Excel is for data scraping. Even with this, we’re only doing the most basic scraping that Excel can do.

For this example, let’s use a stock information web page like https://www.cnbc.com/stocks/.

Go through what we did before and copy and paste the new URL from the address bar.

You’ll get to the Navigator window and see the tables available. Let’s select the Major U.S. Stock Indices.

Once the data is scraped we’ll see the following spreadsheet.

On the right, we see the query for Major U.S. Stock Indexes. Select that so it is highlighted. Make sure we’re in the Table Tools tab and in the Design area. Then click on the down arrow under Refresh. Then click on Connection Properties.

In the Query Properties window, under the Usage tab, we can control how this information refreshes. We can set a specific time period to refresh, or to refresh when we open the workbook the next time, or to refresh in the background, or any combination of these. Once we choose what we need, click on OK to close the window and continue.

That’s it! Now you can track stock prices, sports scores, or any other data that changes frequently from an Excel spreadsheet. If you’re good with Excel equations and functions, you can do almost anything you want with the data.

Maybe try to identify stock trends, run a fantasy sports pool at work, or maybe just keep track of the weather. Who knows? Your imagination and the data available on the Internet, are the only limits.

Related posts

• Użyj nowej funkcji Excel Mobile „Wstaw dane z obrazu”

• Użyj funkcji podsumowujących do podsumowania danych w programie Excel

• Użyj Excela, aby obliczyć efektywną stopę procentową na podstawie nominalnej stopy procentowej

• Wykresy danych w Excelu

• Jak filtrować dane w programie Excel

• Jak obliczyć wariancję w programie Excel

• 40 najlepszych skrótów klawiaturowych Microsoft Excel

• Jak tworzyć i używać formuł w tabelach w programie Word

• Jak oddzielić imię i nazwisko w programie Excel

• Jak używać Sparklines w Excelu

• Jak korzystać z funkcji YEARFRAC w programie Excel

• Jak znaleźć pasujące wartości w programie Excel

• Użyj Malarza formatów w programie Word, aby skopiować i wkleić formatowanie

• Jak usunąć, złamać lub złamać zapomniane hasło Excel XLS?

• Jak odjąć daty w Excelu

• Jak porównać dwa pliki Excela i podkreślić różnice?

• Jak dodać paski błędów w programie Excel?

• Jak zrobić histogram w Excelu

• Jak utworzyć listę rozwijaną w programie Excel?

• Użyj okna obserwacyjnego programu Excel do monitorowania ważnych komórek w skoroszycie