Melakukan Ilmu Data di Awan Dengan ScraperWiki

Iklan

Jika Anda memiliki gangguan mental, bakat untuk pemrograman dan bercerita, dan mata untuk desain, Anda dapat melakukan lebih buruk daripada masuk ke ilmu data. Ini hal besar baru dalam teknologi; sangat trendi dan dibayar tinggi, dengan para ilmuwan data dicari oleh beberapa perusahaan terbesar di dunia.

ScraperWiki adalah perusahaan yang telah lama dikaitkan dengan bidang ilmu data. Selama beberapa tahun terakhir, startup yang berbasis di Liverpool ini telah menawarkan platform bagi coders untuk menulis alat yang mendapatkan data, membersihkannya, dan menganalisisnya di cloud.

Dengan penyegaran baru-baru ini dan permintaan yang semakin meningkat untuk para ilmuwan data di perusahaan, ada baiknya melihat ScraperWiki.

Pengungkapan penuh: Saya magang di ScraperWiki musim panas lalu.

Apa yang dilakukan ScraperWiki?

ScraperWiki memasarkan dirinya sebagai tempat untuk mendapatkan, membersihkan, dan menganalisis data, dan itu memberikan pada masing-masing jumlah tersebut. Dalam bentuknya yang paling sederhana, ini memungkinkan Anda - pengguna - tempat di mana Anda dapat menulis kode yang mengambil data dari sumber, alat untuk mengkonversi itu menjadi format yang mudah dianalisis, dan disimpan untuk disimpan agar nantinya visualisasi - yang juga bisa Anda tangani dengan ScraperWiki.

Itu juga dilengkapi dengan sejumlah alat pra-dibangun yang mengotomatiskan tugas yang berulang, termasuk mendapatkan data dari PDF, yang terkenal sulit untuk diterjemahkan. Ini adalah tambahan Pencarian Twitter 5 Trik Pencarian Twitter yang Keren untuk Memantau Apa Kata Orang Tentang AndaJika Anda memiliki situs web atau hanya berusaha mendapatkan uang secara online sebagai freelancer, selalu baik untuk mengetahui apa yang orang katakan tentang Anda melalui Internet. Orang mungkin mengutip ... Baca lebih banyak dan utilitas memo. Anda tidak perlu pengalaman pengembangan perangkat lunak apa pun untuk menggunakannya.

Biaya

Seperti yang disebutkan sebelumnya, ScraperWiki mencakup model penentuan harga freemium dan menawarkan layanan yang memiliki beberapa tingkatan. Mereka yang baru memulai dengan ilmu data atau dengan kebutuhan terbatas dapat menggunakan layanan gratis ini. Ini memberi Anda tiga set data - tempat Anda menyimpan data dan kode Anda.

Mereka yang berencana untuk menulis banyak pencakar atau ingin melakukan banyak analisis data dapat membayar sejumlah uang tunai untuk akun premium. Ini mulai dari $ 9 per bulan dan menawarkan 10 set data. Jika itu masih belum cukup, Anda selalu dapat meningkatkan ke tingkat tertinggi yang dilengkapi dengan 100 kumpulan data dan biaya $ 29 per bulan.

Coding

Programmer sering sangat khusus dalam hal bagaimana mereka membuat kode. Beberapa lebih memilih bahasa scripting daripada bahasa yang dikompilasi. Beberapa lebih suka pengalaman pengeditan teks editor daripada lingkungan pengembangan terintegrasi (IDE). ScraperWiki mengakui hal itu, dan memberi pengguna sejumlah besar pilihan dalam hal bagaimana Anda menulis kode Anda.

Jika Anda cenderung, Anda dapat menulis kode di browser. Seperti yang Anda harapkan dari kelas profesional mana pun, berbasis web 3 IDE Berbasis Browser Paling Atas Untuk Kode Di Awan Baca lebih banyak alat pengembangan, ini dilengkapi dengan fitur yang dianggap penting oleh setiap programmer, seperti penyorotan sintaksis.

Ada sejumlah bahasa yang ditawarkan. Ini termasuk Python 5 Situs Web Terbaik untuk Belajar Pemrograman PythonIngin belajar pemrograman Python? Berikut adalah cara terbaik untuk belajar Python online, banyak di antaranya sepenuhnya gratis. Baca lebih banyak , bahasa scripting populer yang digunakan oleh orang-orang seperti Google dan NASA; Rubi 3 Interaktif, Menyenangkan, Cara Gratis Untuk Mulai Belajar Bahasa Pemrograman RubyRuby adalah bahasa scripting ekspresif, sangat tingkat tinggi. Ini digunakan di Web terutama sebagai bagian dari kerangka kerja pengembangan web Ruby on Rails, tetapi juga mandiri. Jika Anda ingin tahu tentang apa itu Ruby (bukan ... Baca lebih banyak , yang mendukung sejumlah situs web populer seperti Living Social; dan bahasa analisis statistik populer, R.

Selain itu, Anda juga dapat menulis kode dari baris perintah dengan menggunakan SSH, Git dan editor teks apa pun yang Anda sukai. Ya, Anda membacanya dengan benar. SSH Apa SSH & Apa Bedanya Dengan FTP [Dijelaskan Teknologi] Baca lebih banyak . Setiap kotak yang Anda gunakan adalah akun Linuxnya sendiri, dan Anda dapat menyambungkannya seperti yang Anda lakukan pada VPS atau akun shell lainnya. Ada sejumlah editor teks yang tersedia, termasuk Vim 7 Alasan Teratas Untuk Memberi Vim Text Editor KesempatanSelama bertahun-tahun, saya sudah mencoba satu editor teks demi satu. Sebut saja, saya mencobanya. Saya menggunakan setiap editor ini selama lebih dari dua bulan sebagai editor utama saya sehari-hari. Entah bagaimana, aku ... Baca lebih banyak yang dapat diperpanjang dengan plugin dan dengan mengedit konfigurasi. Mereka yang terintimidasi oleh Vim dapat menggunakan Nano, yang merupakan editor teks baris perintah ringan.

Perpustakaan yang diinstal harus memadai untuk alat tulis untuk mengambil data dan memprosesnya. Jika Anda membutuhkan sesuatu yang sedikit lebih tidak jelas, Anda selalu dapat membuat virtualenv dari baris perintah. Seperti yang Anda lihat, ada sejumlah besar fleksibilitas yang diberikan kepada pengembang.

Visualisasi data

Jadi, Anda sudah mendapatkan data Anda. Anda telah menormalkannya. Anda sudah membersihkannya. Anda sudah menganalisisnya. Sekarang saatnya untuk melakukan visualisasi dan menunjukkan kepada dunia apa yang telah Anda pelajari.

ScraperWiki memungkinkan pengembang untuk menampilkan data mereka menggunakan halaman web yang dibuat dari trifecta HTML, CSS, dan JavaScript yang sudah dikenal luas. Selain itu, komponen Bootstrap didukung di luar kotak.

Ada sejumlah visualisasi pra-dibuat yang tersedia, termasuk yang memplot data Anda di peta dan menemukan tren dalam temuan Anda. Untuk menggunakan ini, Anda perlu memastikan data Anda disimpan sebagai file SQLite dengan nama file ‘scraperwiki.sqlite’. Kemudian Anda cukup menambahkan visualisasi yang Anda minati. Sederhana bukan?

Kesimpulan

ScraperWiki menawarkan banyak hal kepada pengembang yang ingin melakukan beberapa analisis data tanpa menghalangi lingkungan pengembangan mereka, sementara memiliki fleksibilitas untuk menyenangkan bahkan para pengguna yang paling menuntut sekalipun. Tapi bagaimana menurutmu? Beritahu saya di komentar di bawah.
Kredit Foto: Ilmu Roket (Dan Brown)