MS Excel może wyświetlić 1 048 576 wierszy. Chociaż może się to wydawać bardzo dużą liczbą w normalnym użytkowaniu, istnieje wiele scenariuszy, w których to nie wystarczy.

Niezależnie od tego, czy przeglądasz pliki dziennika, czy duże zestawy danych, łatwo znajdziesz pliki CSV z milionami wierszy lub ogromnymi plikami tekstowymi. Ponieważ program Excel^(Excel) nie obsługuje tak dużych plików, jak dokładnie je otwierasz? Dowiedzmy Się.

Dlaczego zwykłe edytory tekstu^{(Normal Text Editors)} nie mogą otwierać naprawdę dużych plików^{(Open Really Large Files)} ?

Komputer ma gigabajty pamięci, dlaczego więc edytory tekstu nie mogą otwierać dużych plików?

W grę wchodzą tutaj dwa czynniki. Niektóre aplikacje mają ustalony na stałe limit ilości danych, które mogą wyświetlić. Nie ma znaczenia, ile pamięci ma twój komputer, po prostu jej nie użyje.

Druga sprawa to pamięć RAM^(RAM) . Wiele edytorów tekstu nie ma sztywnego limitu liczby wierszy, ale nie może wyświetlać dużych plików ze względu na ograniczenia pamięci. Ładują cały plik do systemowej pamięci RAM^(RAM) , więc jeśli ta pamięć nie jest wystarczająco duża, proces kończy się niepowodzeniem.

Metoda nr 1: Korzystanie z bezpłatnych edytorów

Najlepszym sposobem na przeglądanie bardzo dużych plików tekstowych jest użycie… edytora tekstu. Nie byle jaki edytor tekstu, ale narzędzia przeznaczone do pisania kodu. Takie aplikacje zazwyczaj bez problemu obsługują duże pliki i są bezpłatne.

Przeglądarka dużych plików tekstowych^{(Large Text File Viewer)} jest prawdopodobnie najprostszą z tych aplikacji. Jest naprawdę łatwy w użyciu, działa szybko i zajmuje bardzo mało zasobów. Jedyny minus? Nie może edytować plików. Ale jeśli chcesz tylko przeglądać duże pliki CSV , jest to najlepsze narzędzie do tego zadania.

Do edycji dużych plików tekstowych również powinieneś wypróbować Emacs . Pierwotnie stworzony dla systemów Unix , działa doskonale również w systemie Windows^(Windows) i może obsługiwać duże pliki. Podobnie Neovim i Sublime Text to dwa lekkie IDE^(IDEs) , których można używać do otwierania plików tekstowych CSV o rozmiarze gigabajtów.^(CSV)

Jeśli wszystko, czego szukasz, to wyszukiwanie danych w dużych plikach dziennika, to klogg jest właśnie narzędziem dla Ciebie. Aktualizujący widelec popularnego glogga^(glogg) , aplikacja ta pozwala z łatwością wykonywać złożone operacje wyszukiwania w ogromnych plikach tekstowych. Ponieważ pliki dziennika generowane przez komputer mogą często mieć miliony wierszy, klogg jest zaprojektowany do pracy z plikami o takich rozmiarach bez problemu.

Metoda^(Method) #2: Podziel na wiele części^{(Into Multiple Parts)}

Cały problem z próbą otwarcia dużych plików CSV polega na tym, że są one zbyt duże. ^(CSV)Ale co, jeśli podzielisz je na wiele mniejszych plików?

Jest to popularne rozwiązanie, ponieważ generalnie nie wymaga uczenia się interfejsu nowego edytora tekstu. Zamiast tego możesz użyć jednego z wielu rozdzielaczy CSV dostępnych online^{(one of the many CSV splitters available online)} , aby podzielić duży plik na kilka łatwych do otwarcia plików. Do każdego z tych plików można wtedy normalnie uzyskać dostęp.

Jednak nie jest to najlepszy sposób, aby to zrobić. Dzielenie dużego pliku może często prowadzić do dziwnych literówek lub nieprawidłowo skonfigurowanych plików. Co więcej, otwieranie każdego fragmentu osobno uniemożliwia jednoczesne filtrowanie całych danych.

Metoda #3: Importuj do bazy danych

Pliki tekstowe i .csv, które mają wiele gigabajtów, są zazwyczaj dużymi zestawami danych. Dlaczego więc nie zaimportować ich do bazy danych?

SQL jest obecnie najczęściej używanym językiem znaczników baz danych. W użyciu jest wiele wersji SQL^{(many versions of SQL)} , ale najłatwiejszą jest prawdopodobnie MySQL . I na szczęście możliwe jest przekonwertowanie pliku CSV na tabelę MySQL^{(convert a CSV file into a MySQL table)} .

Nie jest to najłatwiejsza metoda radzenia sobie z dużymi plikami CSV , więc zalecamy ją tylko wtedy, gdy chcesz regularnie zajmować się dużymi zestawami danych. Jeśli MySQL wydaje się zbyt trudny, zawsze możesz zaimportować pliki .csv do MS Access .

Metoda^(Method) 4: Analizuj za pomocą bibliotek Pythona^(Python)

Kiedy pracujesz z plikiem .csv z milionami wierszy danych, oczywiście nie będziesz w stanie zrozumieć tego ręcznie. Prawdopodobnie chcesz filtrować dane i uruchamiać określone zapytania, aby zrozumieć trendy.

Dlaczego więc nie napisać kodu w Pythonie,^{(write Python code)} który właśnie to zrobi?

Po raz kolejny nie jest to najbardziej przyjazna dla użytkownika metoda. Chociaż Python nie jest najtrudniejszym językiem programowania^{(Python isn’t the hardest programming language to learn)} , jest to kodowanie, więc może nie być dla ciebie najlepszym podejściem. Jeśli jednak będziesz musiał codziennie analizować naprawdę duże pliki CSV , możesz chcieć zautomatyzować zadanie za pomocą kodu Pythona^{(automate the task with some Python code)} .

Metoda nr 5: Z narzędziami premium

Edytory tekstu, które widzieliśmy w pierwszej metodzie, nie były dedykowanymi narzędziami przeznaczonymi do przetwarzania CSV . Były to narzędzia ogólnego przeznaczenia, których można było używać również do pracy z dużymi plikami .csv.

Ale co z aplikacjami specjalistycznymi? Czy nie ma aplikacji, które zostały stworzone, aby rozwiązać ten problem?

Właściwie są. Na przykład CSV Explorer^{(CSV Explorer)} opiera się na tym samym procesie, który opisaliśmy w dwóch ostatnich metodach ( baza danych SQL i kod Pythona^(Python) ), aby stworzyć aplikację zdolną do przeglądania i edycji plików CSV o dowolnym rozmiarze. ^(CSV)Możesz zrobić wszystko, czego oczekujesz od narzędzia arkusza kalkulacyjnego, na przykład tworzyć wykresy lub filtrować dane w CSV Explorer .

Inną opcją jest UltraEdit . W przeciwieństwie do poprzedniego narzędzia, dotyczy to nie tylko plików .csv, ale dowolnego typu pliku tekstowego. Może z łatwością obsługiwać pliki tekstowe i CSV o wielkości do kilku gigabajtów, z interfejsem podobnym do wielu darmowych edytorów, o których mówiliśmy wcześniej. 

Jedyną wadą tych narzędzi jest to, że są to aplikacje premium, wymagające uzyskania płatnej licencji, aby móc z nich korzystać. Zawsze możesz wypróbować ich bezpłatne wersje próbne, aby sprawdzić ich funkcje, lub jeśli masz tylko jednorazowe użycie.

Jaki jest najlepszy sposób otwierania dużych plików tekstowych^{(Large Text)} i CSV^{(CSV Files)} ?

W dobie Big Data często zdarza się, że natrafia się na pliki tekstowe zajmujące gigabajty, które mogą być trudne do wyświetlenia za pomocą wbudowanych narzędzi, takich jak Notatnik^(Notepad) lub MS Excel . Aby móc otwierać tak duże pliki CSV , musisz pobrać i używać aplikacji innej firmy.

Jeśli chcesz tylko przeglądać takie pliki, przeglądarka plików tekstowych^{(Large Text File Viewer)} jest dla Ciebie najlepszym wyborem. Aby je edytować, możesz wypróbować bogaty w funkcje edytor tekstu, taki jak Emacs , lub skorzystać z narzędzia premium, takiego jak CSV Explorer .

Techniki takie jak dzielenie pliku CSV lub importowanie go do bazy danych obejmują zbyt wiele kroków. Lepiej jest uzyskać płatną licencję na dedykowane narzędzie premium, jeśli dużo pracujesz z dużymi plikami tekstowymi.

How to Open Really Large Text and CSV Files

MS Excel can display 1,048,576 rows. While that may seem lіkе a really large nυmber in normal usage, there are plenty of scenarios where that isn’t quite enough.

Whether you’re looking at log files or large data sets, it’s easy to come across CSV files with millions of rows or enormous text files. Since Excel cannot support files this large, how exactly do you open them? Let’s find out.

Why Can Normal Text Editors Not Open Really Large Files?

A computer has gigabytes of storage, so why can’t text editors open large files?

There are two factors at play here. Some applications have a hardcoded limit on how much data they can display. It doesn’t matter how much memory your PC has, they just won’t use it.

The second issue is RAM. Many text editors do not have a hard limit on the number of rows, but cannot display large files due to memory limitations. They load the entire file into the system RAM, so if this memory isn’t large enough, the process fails.

Method #1: Using Free Editors

The best way to view extremely large text files is to use… a text editor. Not just any text editor, but the tools meant for writing code. Such apps can usually handle large files without a hitch and are free.

Large Text File Viewer is probably the simplest of these applications. It’s really easy to use, works fast and has a very low resource footprint. The only downside? It cannot edit the files. But if you only want to view large CSV files, this is hands down the best tool for the job.

For editing large text files as well, you should try Emacs. Originally created for Unix systems, it works perfectly well on Windows as well, and can handle large files. Similarly, Neovim and Sublime Text are two lightweight IDEs that can be used to open gigabyte-sized CSV text files.

If all you’re looking for is to search for data through large log files, then klogg is just the tool for you. An updating fork of the popular glogg, this application allows you to perform complex search operations through enormous text files with ease. Since computer-generated log files can often have millions of rows, klogg is designed to work with such file sizes without an issue.

Method #2: Split Into Multiple Parts

The whole problem with trying to open large CSV files is that they are too large. But what if you were to split these into multiple smaller files?

This is a popular solution, as it generally doesn’t involve having to learn the interface of a new text editor. Instead, you can use one of the many CSV splitters available online to break up the large file into a number of easy-to-open files. Each of these files can then be accessed normally.

However, this isn’t the best way to go about this. Splitting a large file can often lead to weird typos or improperly configured files. Moreover, opening each chunk separately prevents you from filtering through the whole data at once.

Method #3: Import Into a Database

Text and .csv files extending to multiple gigabytes are generally large datasets. So why not just import them into a database?

SQL is the most common database markup language used these days. There are many versions of SQL in use, but the easiest is probably MySQL. And as luck would have it, it is possible to convert a CSV file into a MySQL table.

This is by no means the easiest method of dealing with large CSV files, so we only recommend this if you want to deal with large datasets on a regular basis. If MySQL sounds too tough, you can always import your .csv files to MS Access instead.

Method #4: Analyze With Python Libraries

When you’re working with a .csv file with millions of rows of data, you’re obviously not going to be able to make much sense of it manually. You probably want to filter the data and run specific queries to understand trends.

So why not write Python code to do just that?

Once again, this is not the most user-friendly method. While Python isn’t the hardest programming language to learn, it is coding, so it might not be the best approach for you. Still, if you find yourself having to parse through really large CSV files on a daily basis, you might want to automate the task with some Python code.

Method #5:  With Premium Tools

The text editors we saw in the first method weren’t dedicated tools meant for CSV processing. They were general-purpose tools that could be used to work with large .csv files as well.

But what about specialized applications? Are there no apps out there that are created to solve this problem?

There are, actually. CSV Explorer, for example, builds on the very process we described in the last two methods (SQL database and Python code) to create an app capable of viewing and editing CSV files of any size. You can do everything you expect from a spreadsheet tool like create graphs or filter the data in CSV Explorer.

Another option is UltraEdit. Unlike the previous tool, this is meant not just for .csv files but for any type of text file. It can easily handle text and CSV files ranging to a few gigabytes, with an interface similar to many of the free editors we discussed earlier. 

The only drawback with these tools is that they are premium applications, requiring you to get a paid license to be able to use them. You can always try out their free trial versions to check out their features, or if you only have a one-time use.

What Is the Best Way To Open Large Text and CSV Files?

In this age of Big Data, it’s not uncommon to run into text files running into gigabytes, which can be hard to even view with built-in tools like Notepad or MS Excel. To be able to open such large CSV files, you need to download and use a third-party application.

If all you want is to view such files, then Large Text File Viewer is the best choice for you. For actually editing them, you can try a feature-rich text editor like Emacs, or go for a premium tool like CSV Explorer.

Techniques like splitting the CSV file or importing it into a database involve just too many steps. You’re better off getting a paid license of a dedicated premium tool if you find yourself working with huge text files a lot.

Related posts

• Jak wyszukiwać tekst w wielu plikach PDF jednocześnie?

• Jak wysłać anonimową wiadomość tekstową, której nie można powiązać?

• Jak formatować tekst w Discord: czcionka, pogrubienie, kursywa, przekreślenie i więcej

• Jak konwertować wiele obrazów do plików PDF

• Jak automatycznie przenosić lub kopiować pliki w systemie Windows

• Nie możesz odtwarzać plików MP4 na konsoli Xbox 360?

• 4 sposoby konwersji wideo z YouTube na tekst lub transkrypcję

• Jak ukryć pliki w obrazie JPG

• Jak włączyć lub wyłączyć Caps Lock na Chromebooku?

• 4 sposoby na znalezienie najlepszych opcji internetowych (ISP) w Twojej okolicy

• Jak tworzyć, montować i nagrywać pliki obrazów ISO za darmo?

• Jak wykryć oprogramowanie do monitorowania komputera i poczty e-mail lub oprogramowanie szpiegujące?

• Jak zmienić datę ostatniej modyfikacji, datę utworzenia i datę ostatniego dostępu do plików i folderów?

• Jak wysyłać duże filmy

• Jak korzystać z funkcji WYSZUKAJ.PIONOWO w Arkuszach Google

• Jak uzyskać dostęp do plików Mac z komputera z systemem Windows

• Nie możesz odtwarzać plików AVI w programie Window Media Player?

• Jak czytać i otwierać pliki .DAT w systemie Windows

• Jak zbiorczo zmieniać rozszerzenia plików dla plików systemu Windows

• Jak zakrzywić tekst w programie InDesign