Pengantar ARIMA: model nonseasonal Persamaan peramalan ARIMA (p, d, q): Model ARIMA secara teori adalah kelas model paling umum untuk meramalkan deret waktu yang dapat dibuat dengan cara membedakan (jika perlu), mungkin Dalam hubungannya dengan transformasi nonlinier seperti logging atau deflating (jika perlu). Variabel acak yang merupakan deret waktu adalah stasioner jika sifat statistiknya konstan sepanjang waktu. Seri stasioner tidak memiliki tren, variasinya berkisar rata-rata memiliki amplitudo konstan, dan bergoyang secara konsisten. Yaitu pola waktu acak jangka pendeknya selalu terlihat sama dalam arti statistik. Kondisi terakhir ini berarti autokorelasinya (korelasi dengan penyimpangannya sendiri dari mean) tetap konstan dari waktu ke waktu, atau ekuivalen, bahwa spektrum kekuatannya tetap konstan seiring berjalannya waktu. Variabel acak dari bentuk ini dapat dilihat (seperti biasa) sebagai kombinasi sinyal dan noise, dan sinyal (jika ada) dapat menjadi pola reversi rata-rata yang cepat atau lambat, atau osilasi sinusoidal, atau alternasi cepat pada tanda , Dan itu juga bisa memiliki komponen musiman. Model ARIMA dapat dilihat sebagai filter 8220filter8221 yang mencoba memisahkan sinyal dari noise, dan sinyal tersebut kemudian diekstrapolasikan ke masa depan untuk mendapatkan perkiraan. Persamaan peramalan ARIMA untuk rangkaian waktu stasioner adalah persamaan linier (yaitu regresi-tipe) dimana prediktor terdiri dari kelambatan variabel dependen dan atau lag dari kesalahan perkiraan. Yaitu: Prediksi nilai Y adalah konstanta dan atau jumlah tertimbang dari satu atau lebih nilai Y dan satu angka tertimbang dari satu atau lebih nilai kesalahan terkini. Jika prediktor hanya terdiri dari nilai Y yang tertinggal, itu adalah model autoregresif murni (8220 self-regressed8221), yang hanyalah kasus khusus dari model regresi dan yang dapat dilengkapi dengan perangkat lunak regresi standar. Sebagai contoh, model autoregresif orde pertama (8220AR (1) 8221) untuk Y adalah model regresi sederhana dimana variabel independennya hanya Y yang tertinggal satu periode (LAG (Y, 1) dalam Statgrafik atau YLAG1 dalam RegresIt). Jika beberapa prediktor tertinggal dari kesalahan, model ARIMA TIDAK merupakan model regresi linier, karena tidak ada cara untuk menentukan error8221 8220last period8417s sebagai variabel independen: kesalahan harus dihitung berdasarkan periode-ke-periode Saat model dipasang pada data. Dari sudut pandang teknis, masalah dengan menggunakan kesalahan tertinggal sebagai prediktor adalah bahwa prediksi model8217 bukanlah fungsi linear dari koefisien. Meskipun mereka adalah fungsi linier dari data masa lalu. Jadi, koefisien pada model ARIMA yang mencakup kesalahan tertinggal harus diestimasi dengan metode optimasi nonlinier (8220 climb-climbing8221) daripada hanya dengan memecahkan sistem persamaan. Akronim ARIMA adalah singkatan Auto-Regressive Integrated Moving Average. Lags dari rangkaian stasioner dalam persamaan peramalan disebut istilah quotautoregressivequot, kelambatan kesalahan perkiraan disebut istilah kuotasi rata-rata quotmoving, dan deret waktu yang perlu dibedakan untuk dijadikan stasioner disebut versi seri integimental dari seri stasioner. Model random-walk dan random-trend, model autoregresif, dan model smoothing eksponensial adalah kasus khusus model ARIMA. Model ARIMA nonseasonal diklasifikasikan sebagai model quotARIMA (p, d, q) quot, di mana: p adalah jumlah istilah autoregresif, d adalah jumlah perbedaan nonseason yang diperlukan untuk stasioneritas, dan q adalah jumlah kesalahan perkiraan yang tertinggal dalam Persamaan prediksi Persamaan peramalan dibangun sebagai berikut. Pertama, izinkan y menunjukkan perbedaan D dari Y. yang berarti: Perhatikan bahwa perbedaan kedua Y (kasus d2) bukanlah selisih 2 periode yang lalu. Sebaliknya, ini adalah perbedaan pertama perbedaan dari perbedaan pertama. Yang merupakan analog diskrit dari derivatif kedua, yaitu percepatan lokal dari seri daripada tren lokalnya. Dalam hal y. Persamaan peramalan umum adalah: Di sini parameter rata-rata bergerak (9528217s) didefinisikan sehingga tanda-tanda mereka negatif dalam persamaan, mengikuti konvensi yang diperkenalkan oleh Box dan Jenkins. Beberapa penulis dan perangkat lunak (termasuk bahasa pemrograman R) mendefinisikannya sehingga mereka memiliki tanda plus. Bila nomor aktual dicolokkan ke dalam persamaan, tidak ada ambiguitas, tapi penting untuk mengetahui konvensi mana yang digunakan perangkat lunak Anda saat Anda membaca hasilnya. Seringkali parameter dilambangkan dengan AR (1), AR (2), 8230, dan MA (1), MA (2), 8230 dll. Untuk mengidentifikasi model ARIMA yang sesuai untuk Y. Anda memulai dengan menentukan urutan differencing (D) perlu membuat stasioner seri dan menghilangkan fitur musiman musiman, mungkin bersamaan dengan transformasi yang menstabilkan varians seperti penebangan atau pengapuran. Jika Anda berhenti pada titik ini dan meramalkan bahwa rangkaian yang dibedakan konstan, Anda hanya memiliki model berjalan acak atau acak acak. Namun, rangkaian stationarized masih memiliki kesalahan autokorelasi, menunjukkan bahwa beberapa jumlah istilah AR (p 8805 1) dan beberapa persyaratan MA (q 8805 1) juga diperlukan dalam persamaan peramalan. Proses penentuan nilai p, d, dan q yang terbaik untuk seri waktu tertentu akan dibahas di bagian catatan selanjutnya (yang tautannya ada di bagian atas halaman ini), namun pratinjau beberapa jenis Model ARIMA nonseasonal yang biasa ditemui diberikan di bawah ini. ARIMA (1,0,0) model autoregresif orde pertama: jika seri stasioner dan autokorelasi, mungkin dapat diprediksi sebagai kelipatan dari nilai sebelumnya, ditambah konstanta. Persamaan peramalan dalam kasus ini adalah 8230 yang Y regresi pada dirinya sendiri tertinggal oleh satu periode. Ini adalah model konstanta 8220ARIMA (1,0,0) constant8221. Jika mean Y adalah nol, maka istilah konstan tidak akan disertakan. Jika koefisien kemiringan 981 1 positif dan kurang dari 1 besarnya (harus kurang dari 1 jika Y adalah stasioner), model tersebut menggambarkan perilaku rata-rata pada nilai periode berikutnya yang diperkirakan akan menjadi 981 1 kali sebagai Jauh dari mean sebagai nilai periode ini. Jika 981 1 negatif, ia memprediksi perilaku rata-rata dengan bergantian tanda, yaitu juga memprediksi bahwa Y akan berada di bawah rata-rata periode berikutnya jika berada di atas rata-rata periode ini. Dalam model autoregresif orde kedua (ARIMA (2,0,0)), akan ada istilah Y t-2 di sebelah kanan juga, dan seterusnya. Bergantung pada tanda dan besaran koefisien, model ARIMA (2,0,0) bisa menggambarkan sistem yang pembalikan rata-rata terjadi dengan mode sinusoidal oscillating, seperti gerak massa pada pegas yang mengalami guncangan acak. . ARIMA (0,1,0) berjalan acak: Jika seri Y tidak stasioner, model yang paling sederhana untuk model ini adalah model jalan acak, yang dapat dianggap sebagai kasus pembatas model AR (1) dimana autoregresif Koefisien sama dengan 1, yaitu deret dengan reversi mean yang jauh lebih lambat. Persamaan prediksi untuk model ini dapat ditulis sebagai: di mana istilah konstan adalah perubahan periode-ke-periode rata-rata (yaitu drift jangka panjang) di Y. Model ini dapat dipasang sebagai model regresi yang tidak mencegat dimana Perbedaan pertama Y adalah variabel dependen. Karena hanya mencakup perbedaan nonseasonal dan istilah konstan, model ini diklasifikasikan sebagai model quotARIMA (0,1,0) dengan konstan. Model acak-berjalan-tanpa-undian akan menjadi ARIMA (0,1, 0) model tanpa ARIMA konstan (1,1,0) membedakan model autoregresif orde pertama: Jika kesalahan model jalan acak autokorelasi, mungkin masalahnya dapat diperbaiki dengan menambahkan satu lag variabel dependen ke persamaan prediksi - - yaitu Dengan mengundurkan diri dari perbedaan pertama Y pada dirinya sendiri yang tertinggal satu periode. Ini akan menghasilkan persamaan prediksi berikut: yang dapat diatur ulang ke Ini adalah model autoregresif orde pertama dengan satu urutan perbedaan nonseasonal dan istilah konstan - yaitu. Sebuah model ARIMA (1,1,0). ARIMA (0,1,1) tanpa perataan eksponensial sederhana: Strategi lain untuk memperbaiki kesalahan autokorelasi dalam model jalan acak disarankan oleh model pemulusan eksponensial sederhana. Ingatlah bahwa untuk beberapa rangkaian waktu nonstasioner (misalnya yang menunjukkan fluktuasi yang bising di sekitar rata-rata yang bervariasi secara perlahan), model jalan acak tidak berjalan sebaik rata-rata pergerakan nilai masa lalu. Dengan kata lain, daripada mengambil pengamatan terbaru sebagai perkiraan pengamatan berikutnya, lebih baik menggunakan rata-rata beberapa pengamatan terakhir untuk menyaring kebisingan dan memperkirakan secara lebih akurat mean lokal. Model pemulusan eksponensial sederhana menggunakan rata-rata pergerakan rata-rata tertimbang eksponensial untuk mencapai efek ini. Persamaan prediksi untuk model pemulusan eksponensial sederhana dapat ditulis dalam sejumlah bentuk ekuivalen matematis. Salah satunya adalah bentuk koreksi yang disebut 8220error correction8221, dimana ramalan sebelumnya disesuaikan dengan kesalahan yang dibuatnya: Karena e t-1 Y t-1 - 374 t-1 menurut definisinya, ini dapat ditulis ulang sebagai : Yang merupakan persamaan peramalan ARIMA (0,1,1) - tanpa perkiraan konstan dengan 952 1 1 - 945. Ini berarti bahwa Anda dapat menyesuaikan smoothing eksponensial sederhana dengan menentukannya sebagai model ARIMA (0,1,1) tanpa Konstan, dan perkiraan koefisien MA (1) sesuai dengan 1-minus-alpha dalam formula SES. Ingatlah bahwa dalam model SES, usia rata-rata data dalam prakiraan 1 periode adalah 1 945. yang berarti bahwa mereka cenderung tertinggal dari tren atau titik balik sekitar 1 945 periode. Dengan demikian, rata-rata usia data dalam prakiraan 1-periode-depan model ARIMA (0,1,1) - tanpa model konstan adalah 1 (1 - 952 1). Jadi, misalnya, jika 952 1 0,8, usia rata-rata adalah 5. Karena 952 1 mendekati 1, model ARIMA (0,1,1) - tanpa-konstan menjadi rata-rata bergerak jangka-panjang, dan sebagai 952 1 Pendekatan 0 menjadi model random-walk-without-drift. Apa cara terbaik untuk memperbaiki autokorelasi: menambahkan istilah AR atau menambahkan istilah MA Dalam dua model sebelumnya yang dibahas di atas, masalah kesalahan autokorelasi dalam model jalan acak diperbaiki dengan dua cara yang berbeda: dengan menambahkan nilai lag dari seri yang berbeda Ke persamaan atau menambahkan nilai tertinggal dari kesalahan perkiraan. Pendekatan mana yang terbaik Aturan praktis untuk situasi ini, yang akan dibahas lebih rinci nanti, adalah bahwa autokorelasi positif biasanya paling baik ditangani dengan menambahkan istilah AR pada model dan autokorelasi negatif biasanya paling baik ditangani dengan menambahkan MA istilah. Dalam deret waktu bisnis dan ekonomi, autokorelasi negatif sering muncul sebagai artefak perbedaan. (Secara umum, differencing mengurangi autokorelasi positif dan bahkan dapat menyebabkan perubahan dari autokorelasi positif ke negatif.) Jadi, model ARIMA (0,1,1), di mana perbedaannya disertai dengan istilah MA, lebih sering digunakan daripada Model ARIMA (1,1,0). ARIMA (0,1,1) dengan perataan eksponensial sederhana konstan dengan pertumbuhan: Dengan menerapkan model SES sebagai model ARIMA, Anda benar-benar mendapatkan fleksibilitas. Pertama-tama, perkiraan koefisien MA (1) dibiarkan negatif. Ini sesuai dengan faktor pemulusan yang lebih besar dari 1 dalam model SES, yang biasanya tidak diizinkan oleh prosedur pemasangan model SES. Kedua, Anda memiliki pilihan untuk menyertakan istilah konstan dalam model ARIMA jika Anda mau, untuk memperkirakan tren nol-rata-rata. Model ARIMA (0,1,1) dengan konstanta memiliki persamaan prediksi: Prakiraan satu periode dari model ini secara kualitatif serupa dengan model SES, kecuali bahwa lintasan perkiraan jangka panjang biasanya adalah Garis miring (kemiringannya sama dengan mu) dan bukan garis horizontal. ARIMA (0,2,1) atau (0,2,2) tanpa pemulusan eksponensial linier konstan: Model pemulusan eksponensial linier adalah model ARIMA yang menggunakan dua perbedaan nonseasonal dalam hubungannya dengan persyaratan MA. Perbedaan kedua dari seri Y bukan hanya perbedaan antara Y dan dirinya tertinggal dua periode, namun ini adalah perbedaan pertama dari perbedaan pertama - i. Perubahan perubahan Y pada periode t. Jadi, perbedaan kedua Y pada periode t sama dengan (Y t - Y t-1) - (Y t-1 - Y t-2) Y t - 2Y t-1 Y t-2. Perbedaan kedua dari fungsi diskrit sama dengan turunan kedua dari fungsi kontinu: ia mengukur kuotasi kuadrat atau quotcurvaturequot dalam fungsi pada suatu titik waktu tertentu. Model ARIMA (0,2,2) tanpa konstan memprediksi bahwa perbedaan kedua dari rangkaian sama dengan fungsi linier dari dua kesalahan perkiraan terakhir: yang dapat disusun ulang sebagai: di mana 952 1 dan 952 2 adalah MA (1) dan MA (2) koefisien. Ini adalah model pemulusan eksponensial linear umum. Dasarnya sama dengan model Holt8217s, dan model Brown8217s adalah kasus khusus. Ini menggunakan rata-rata pergerakan tertimbang eksponensial untuk memperkirakan tingkat lokal dan tren lokal dalam rangkaian. Perkiraan jangka panjang dari model ini menyatu dengan garis lurus yang kemiringannya bergantung pada tren rata-rata yang diamati menjelang akhir rangkaian. ARIMA (1,1,2) tanpa perataan eksponensial eksponensial yang terfragmentasi. Model ini diilustrasikan dalam slide yang menyertainya pada model ARIMA. Ini mengekstrapolasikan tren lokal di akhir seri namun meratakannya pada cakrawala perkiraan yang lebih panjang untuk memperkenalkan catatan konservatisme, sebuah praktik yang memiliki dukungan empiris. Lihat artikel di quotWhy the Damped Trend karyaquot oleh Gardner dan McKenzie dan artikel quotGolden Rulequot oleh Armstrong dkk. Untuk rinciannya Umumnya dianjurkan untuk berpegang pada model di mana setidaknya satu dari p dan q tidak lebih besar dari 1, yaitu jangan mencoba menyesuaikan model seperti ARIMA (2,1,2), karena hal ini cenderung menyebabkan overfitting. Dan isu-isu kuotom-faktorquot yang dibahas secara lebih rinci dalam catatan tentang struktur matematis model ARIMA. Implementasi Spreadsheet: Model ARIMA seperti yang dijelaskan di atas mudah diterapkan pada spreadsheet. Persamaan prediksi hanyalah persamaan linier yang mengacu pada nilai-nilai masa lalu dari rangkaian waktu asli dan nilai kesalahan masa lalu. Dengan demikian, Anda dapat membuat spreadsheet peramalan ARIMA dengan menyimpan data di kolom A, rumus peramalan pada kolom B, dan kesalahan (data minus prakiraan) di kolom C. Rumus peramalan pada sel biasa di kolom B hanya akan menjadi Ekspresi linier yang mengacu pada nilai pada baris sebelumnya kolom A dan C, dikalikan dengan koefisien AR atau MA yang sesuai yang tersimpan dalam sel di tempat lain pada spreadsheet. Dari pukul 8:00 PM CST Jumat, 24 - 6:00 PM CST Sabtu, Feb 25, ni akan menjalani upgrade sistem yang bisa mengakibatkan gangguan layanan sementara. Kami menghargai kesabaran Anda saat kami meningkatkan pengalaman online kami. Melangkah Melampaui Microsoft Excel untuk Analisis dan Pelaporan Data Pengukuran Tanggal terbitan: 18, 2014 44 4.39 5 Cetak Karena tersedianya ketersediaan yang meluas, Microsoft Excel seringkali merupakan pilihan de facto para insinyur dan ilmuwan yang membutuhkan perangkat lunak untuk analisis data pengukuran dan manipulasi. Microsoft Excel sangat menyukai aplikasi uji dan pengukuran sederhana dan penggunaan finansial yang dirancangnya, di era ketika perusahaan dipaksa melakukan lebih banyak hal dengan lebih sedikit, memilih alat yang tepat untuk memaksimalkan efisiensi (dengan demikian mengurangi biaya) sangat penting. . Hanya karena Microsoft Excel sudah terinstal di komputer Anda tidak menjadikannya alat yang tepat untuk setiap pekerjaan. Perangkat lunak Instrumen DIAdem Nasional yang khusus dibuat untuk manajemen, inspeksi, analisis, dan pelaporan data teknik dan ilmiah yang diakuisisi atau disimulasikan menawarkan keuntungan dan skalabilitas efisiensi dengan fitur yang mengatasi keterbatasan Excel pada sebagian besar aplikasi pasca-pengolahan data. Daftar Isi 1. Perbedaan dalam Blok Bangunan Dasar: Sel versus Saluran Microsoft Excel menggunakan sel sebagai blok bangunan dasarnya.160 Sel membentuk barisan dan kolom untuk membuat spreadsheet, arsitektur yang ideal untuk anggaran dan neraca.160 Wikipedia , Aplikasi akuisisi data single-point misalnya, yang mengumpulkan satu titik data satu jam dalam satu hari sering dipetakan ke arsitektur ini dengan mudah karena masing-masing titik data memegang lebih penting bila ada lebih sedikit titik data yang dikumpulkan.160 Setiap data Point ada sebagai sel dalam spreadsheet dan harus dimanipulasi dengan menggunakan paradigma berbasis Excels. Sebagian besar aplikasi akuisisi data, bagaimanapun, bukanlah hal sepele ini.160 Aplikasi yang mengumpulkan lusinan saluran data pada tingkat mega sampel per detik (MSs) biasa terjadi.160 Dalam aplikasi ini, manipulasi data dan interaksi dilakukan pada sinyal atau saluran sebagai Keseluruhan.160 Ketika memanipulasi saluran di Excel sebagai kolom sel individual, kesatuan sinyal hilang.160 Meskipun keseluruhan kolom Excel dapat dimanipulasi pada satu waktu, ini lebih rumit dengan kolom yang lebih panjang.160 Selain itu, kolom seringkali berisi deskriptif. Informasi seperti nama atau unit di samping data numerik mentah.160 Dalam kasus ini, subkumpulan kolom harus dipilih (misalnya, kisaran A2: A99), memperkenalkan overhead dan potensi ketidakakuratan atau kesalahan. Pada Gambar 1. Excel digunakan untuk melakukan tugas teknik sederhana namun umum: rata-rata lima saluran suhu yang tersimpan di kolom untuk membuat kanal Rata-rata yang dihasilkan.160 Perhitungan rata-rata pertama-tama harus dilakukan dengan blok bangunan sel, lalu disalin (atau diisi) ke Semua sel di kolom resultan.160 Menggunakan DIAdem, yang menggunakan saluran sebagai blok bangunan dasarnya, saluran rata-rata sesederhana menyeret dan menjatuhkan saluran input ke fungsi Saluran Rata-Rata, seperti yang ditunjukkan pada Gambar 2.160 Butir data individual Masih dapat dimanipulasi dalam DIAdem bila diperlukan. Gambar 1 . Microsoft Excel menggunakan sel sebagai blok bangunan dasarnya.160 Bahkan analisis data sederhana pun harus diterapkan pada sel dan kemudian diulang untuk semua sel dalam kolom (saluran). Gambar 2. NI DIAdem beroperasi dengan blok bangunan a160channel.160 Rata-rata adalah sesederhana menyeret dan menjatuhkan seluruh saluran data alih-alih memanipulasi data poin individual yang tidak perlu. 2. Ratusan Perhitungan Analisis Teknik dan Ilmiah Meskipun jumlah formula yang tersedia untuk perhitungan berorientasi keuangan di Excel sangat luas, Anda harus mengkonfigurasi add-in opsional yang disebut Analisis Toolpak untuk mendapatkan akses ke beberapa perhitungan teknik dan statistik.160 Analisis Fungsi toolpak sangat terbatas, seperti yang ditunjukkan pada Gambar 3 dengan perhitungan teknik umum Fast Fourier Transform (FFT) .160 Secara umum, kemampuan analisis Excels seringkali tidak memenuhi persyaratan aplikasi ilmiah atau teknik.160 Untuk perluasan lebih lanjut, Excel menyediakan Mesin Visual Basic for Applications (VBA) yang hebat dan lingkungan pengeditan VBA yang sangat baik yang memungkinkan Anda untuk menulis perhitungan teknik Anda sendiri dari awal ketika fungsi yang tidak ada dalam aplikasi tidak memadai untuk aplikasi Anda. Gambar 3. Microsoft Excel menyediakan seperangkat perhitungan berbasis keuangan dan memungkinkan para insinyur menulis kode mereka sendiri untuk memenuhi kebutuhan aplikasi mereka. Di DIAdem, ratusan perhitungan analisis teknik dan ilmiah dari penambahan sederhana ke manipulasi matriks kompleks dan analisis ketertiban telah dimasukkan ke dalam lingkungan.160 Fungsi analisis di DIAdem tidak didasarkan pada pemrograman berbasis pemrograman yang diperlukan bahkan untuk analisis yang rumit seperti Digital Filtering. , Seperti yang ditunjukkan pada Gambar 4.160 Selain itu, fungsi analisis DIAdem mencakup preview hasil analisis yang lengkap sehingga Anda dapat menghindari perhitungan yang salah dengan memastikan bahwa Anda menggunakan parameter yang benar sebelum menjalankan setiap perhitungan. Gambar 4. DIAdem mencakup ratusan fungsi analisis yang spesifik untuk ilmuwan dan insinyur.160 Setiap perhitungan berbasis konfigurasi dan memberikan pratinjau saluran resultan sehingga Anda dapat berinteraksi dengan parameter untuk memastikan akurasi dan mengurangi kesalahan. DIAdem juga mencakup kerangka kerja untuk membuat perhitungan khusus domain Anda sendiri yang disebut Manajer Perhitungan, dan ini mencakup antarmuka skrip Visual Basic terpadu untuk menyusun kalkulasi DIAdem built-in atau menentukan penghitungan kustom Anda sendiri. 3. Memuat dan Memanipulasi Volume Data yang Besar Data kecepatan streaming aplikasi umum mencapai atau melebihi tingkat MS.160 Dalam sebuah aplikasi yang mengumpulkan satu saluran data tunggal pada 1 MS, total 1.000.000 titik data akan dikumpulkan dalam akuisisi satu detik . Dalam hitungan menit, miliaran data poin bisa disimpan ke gigabyte ruang harddisk. Ketika Microsoft Excel mencoba memuat file data yang berisi data dalam jumlah besar, ia mencoba memuat setiap titik data ke dalam memori.160 Dengan diluncurkannya versi Microsoft Excel 2010 versi 64-bit, ini kurang merupakan batasan, karena Aplikasi memiliki ruang memori beralamatkan lebih besar Namun, memuat keseluruhan kumpulan data yang besar ke dalam Excel seringkali dapat memakan waktu beberapa menit karena banyaknya data yang perlu dimuat.160 Lebih jauh lagi, Excel menyimpan tidak hanya nilai numerik di setiap sel. Tetapi juga format numerik, format sel, rumus, tautan spreadsheet, hyperlink Internet, dan komentar.160 Fleksibilitas sel-sentris ini sangat ideal untuk spreadsheet bisnis yang visibilitas tingkat selnya penting, namun menambahkan overhead memori yang perlu untuk kumpulan data dengan jutaan nilai . Untuk menghindari masalah memori potensial, Excel menetapkan batas jumlah maksimum 160 dan kolom.160 Pengenalan Excel 2007 meningkatkan jumlah baris per lembar kerja dari 65.536 menjadi lebih dari 1.000.000 (2 20. tepatnya) dan totalnya Jumlah kolom dari 256 sampai 16,384 (2 14) .160 Menggunakan Gambar 5 dan 6. Kontras Mengekspos batasan baris dan kolom dengan kemampuan DIAdems untuk memanipulasi 500.000.000 baris (poin) hanya sebagai bagian dari batasannya.160 Gambar 5. Excel hanya bisa memuat lebih dari 1 juta baris data untuk kolom tertentu.160 Ini adalah batasan bagi ilmuwan dan insinyur. Gambar 6. DIAdem dapat dengan mudah menangani kumpulan data yang sangat besar.160 Gambar ini menunjukkan contoh 500.000.000 (setengah miliaran) titik data di saluran - 500 kali jumlah maksimum baris yang diizinkan oleh Excel. Seperti ditunjukkan pada Gambar 5. Tingkat akuisisi 1 MS yang menggunakan satu saluran tunggal akan melebihi jumlah titik data yang dapat dimuat Excel hanya dalam waktu satu detik dari akuisisi.160 Banyak insinyur dan ilmuwan merasa dipaksa untuk membiarkan keterbatasan data mereka perangkat lunak pasca-pengolahan untuk menentukan Persyaratan akuisisi mereka dan baik mengurangi tingkat akuisisi atau akuisisi segmen di banyak file data, memperkenalkan mimpi buruk bagi pengelolaan data dan organisasi. DIAdem dirancang untuk memanipulasi data pengukuran baik dalam volume kecil maupun besar, dan dapat memproses hingga 2.000.000.000 titik data (2 31) per saluran di 65.536 (2 16) total saluran data.160 Selain itu, DIAdem menyertakan 1.60 pemuatan selektif, pengurangan dan pendaftaran data Fitur pembebanan yang dirancang khusus untuk bekerja dengan kumpulan data yang sangat besar.160 DIAdem dapat secara selektif memuat subkumpulan saluran data yang terdapat dalam file data, sedangkan Excel selalu mengimpor semua kolom dari file data.160 Jika Anda hanya perlu memuat 1 Saluran dari file data yang sangat besar dengan 10 saluran di dalamnya, hanya memuat 10 dari nilai data yang sebenarnya Anda butuhkan jauh lebih cepat dan lebih efisien daripada metode Excels memuat 100 data saat 90 diisikan.160 Saat file dimuat Dengan pengurangan data, DIAdem memuat data dari rentang baris yang dipilih dan juga mengembunkan setiap baris N ke dalam satu nilai representatif, sedangkan Excel selalu memuat semua baris data.160 Saat file terdaftar dimuat, DI Adem menggunakan file data yang ada pada disk karena memori virtual di tempatDIAdem tidak memuat semua nilai dari file data sekaligus tapi malah mencatat bagaimana mengakses blok nilai data sesuai permintaan.160 Hal ini membuat daftar saluran dimuat hanya sesuai, Namun memungkinkan grafik dan pemeriksaan cepat kumpulan data sangat besar, seperti yang ditunjukkan pada Gambar 6. Lihat solusi pengguna tentang bagaimana DIAdem memproses sejumlah besar data untuk membantu memprediksi dan memantau aktivitas gempa. 4. Fleksibilitas dalam Format Penyimpanan File Aplikasi yang mengumpulkan dan menyimpan data pada tingkat streaming tinggi harus menulis data ke disk menggunakan format file berkemampuan streaming.160 Format file biner paling sering digunakan karena tidak termasuk biaya tambahan yang diperlukan untuk membuat file. Dapat dibaca manusia seperti file ASCII .160 Perbandingan format file yang umum, 160 termasuk standar format biner terbuka untuk perangkat lunak Instrumen Nasional yang disebut Data Manajemen Teknis Streaming (TDMS), ditampilkan pada Tabel 1. 160160160160160 Tabel 1. Ada banyak pilihan format file yang tersedia, namun format file biner seperti TDMS adalah satu-satunya format yang mampu berkecepatan tinggi. Mungkin memerlukan toolkit atau add-on module. DIAdem cukup fleksibel untuk membaca format file ubahsuaian termasuk format file biner yang disesuaikan karena potongan kode modular yang disebut DataPlugins yang mengetahui cara mengurai dan menafsirkan isi file data.160 DataPlugins juga memformat ulang data yang dipecah dari file data tertentu ke dalam Sebuah struktur data umum di dalam DIAdem, yang memudahkan untuk membandingkan data yang diambil dari berbagai format file.160 Instrumen Nasional telah menerbitkan DataPlugins yang dapat didownload gratis untuk ratusan format file data yang paling umum digunakan, dan ada API yang diterbitkan untuk LabVIEW dan VBScript untuk Anda Untuk membuat DataPlugins untuk file data warisan Anda sendiri.160 Hal ini memungkinkan DIAdem menjadi modular dan cukup terukur untuk menangani pilihan format file saat ini, lama, atau masa depan. Sebaliknya, sementara Excel dapat membaca file ASCII, biasanya sama sekali tidak dapat memuat data dari file biner.160 Bahkan saat Excel berhasil memuat file ASCII, ia memiliki kemampuan terbatas untuk menafsirkan secara benar struktur properti dan saluran dari file data. Sering kali, pemformatan ulang data impor ASCII yang perlu waktu diperlukan sebelum bisa digunakan sama sekali.160 Salah satu pengecualian untuk masalah ini adalah format file 160TDMS dari 160National Instruments, yang memuat Excel dengan format struktur, properti, dan Data dari file TDMS, menggunakan160 TDM Excel Add-In gratis. Kunjungi homepage TDMS untuk mempelajari lebih lanjut tentang format file TDMS untuk menyimpan data pengukuran ke disk. 5. Built-In Tools untuk Manajemen Data dan Tren Seiring berjalannya waktu, umum untuk menyimpan dan mencoba mengorganisir ratusan atau ribuan file data pada disk.160 File-file ini sering disimpan dalam berbagai cara dengan menggunakan format yang berbeda, dan bahkan dapat disimpan Di berbagai lokasi pada mesin lokal atau di jaringan. Jika Anda ingin data tren di beberapa file data menggunakan Microsoft Excel, Anda harus membuka setiap file data individual, menyalin kolom yang bersangkutan dan menempelkannya ke file master (gabungan), dan pindah ke file data berikutnya.160 Tren yang sama persis Saluran data di ratusan file data unik bisa memakan waktu berhari-hari atau berminggu-minggu. DIAdem dapat menyelesaikan tugas yang sama ini dalam hitungan detik.160 Dengan menggunakan DataPlugins, DIAdem dapat memuat format file yang berbeda ini ke struktur impor yang umum untuk analisis dan pelaporan yang seragam. Selanjutnya, DIAdem memasang teknologi yang disebut My DataFinder yang membantu Anda menemukan dan mengisolasi kumpulan data pasti dengan tepat yang sebenarnya, walaupun berada di berbagai file berbeda seperti yang ditunjukkan pada Gambar 7. 160 My DataFinder secara otomatis membuat indeks informasi deskriptif. Yang terkandung di dalam file data yang dapat dicari di dalam DIAdem.160 Dengan menggunakan teknologi DIAdem dan DataFinder, Anda dapat dengan cepat menemukan semua file data yang ditulis oleh operator tertentu, menemukan semua tes yang gagal, atau bahkan mengidentifikasi setiap saluran data di semua file data yang disimpan. Menggunakan jenis sensor tertentu.160 Semakin banyak informasi yang Anda daftarkan dalam file data Anda, semakin banyak kemungkinan tersedia saat mencari data tertentu yang tersimpan di beberapa file dalam berbagai folder dan atau format file. Gambar 7. Dalam query ini, DataFinder telah menemukan saluran data di semua file data yang dikumpulkan menggunakan termokopel J-Type dan disimpan ke disk oleh Jennifer, operator. Lihat webcast yang menunjukkan DIAdem dan NI DataFinder untuk pengelolaan data, analisis, dan pelaporan. 6. Inspeksi Data dan Sinkronisasi Microsoft Excel memungkinkan pengguna untuk membuat diagram dasar dan grafik, namun grafik statis tidak memungkinkan Anda untuk sepenuhnya berinteraksi dan memeriksa data yang telah diukur dari waktu ke waktu.160 Sebagai contoh, tidak mungkin untuk memvisualisasikan data pengukuran berkorelasi Dan GPS160data menggunakan alat built-in di Excel. DIAdem menyertakan alat visualisasi yang kuat yang menampilkan area tampilan yang dapat disinkronkan secara ideal untuk memutar ulang ukuran yang terkoordinasi dengan video, model 3D, sistem sumbu, tampilan peta GPS, kontur, pemutaran suara, Dan lebih banyak lagi.160 Ini memungkinkan Anda untuk memutar ulang pengukuran yang disinkronkan dengan informasi lain untuk sepenuhnya memahami konteksnya.160 Alat visualisasi DIAdems juga memungkinkan Anda untuk dengan mudah memperbesar area tertentu dari grafik, menyalin atau menghapus atau menginterpolasi rentang data, dan memeriksa Nilai pasti dari titik-titik spesifik secara grafis.160 Dengan menggunakan alat dinamis ini, mudah untuk mengidentifikasi daerah yang diminati atau menemukan outlier dalam kumpulan data yang lebih besar. Angka 8 . Dengan menggunakan DIAdem, Anda dapat sepenuhnya menyinkronkan pemutaran data pengukuran, data suara, koordinat GPS, video, dan lainnya. 7. Template Pelaporan What-You-See-Is-What-You-Get (WYSIWYG) DIAdem memiliki mesin pelaporan yang kuat yang memanfaatkan template yang dapat digunakan kembali karena banyak insinyur menghasilkan laporan yang sama berulang kali dengan menggunakan kumpulan data yang berbeda.160 Template laporan WYSIWYG di DIAdem Menyimpan referensi ke data dalam memori dibandingkan dengan menyimpan nilai data sebenarnya. Untuk membuat laporan kumpulan data yang berbeda menggunakan kerangka laporan tersimpan yang sama, Anda cukup memuat data baru ke dalam memori dan kerangka laporan dimuat akan segera menampilkan 160 layar dengan nilai data yang baru dimuat.160 Anda kemudian dapat mengekspor resolusi tinggi yang diselesaikan, terbitan Sudah melaporkan format pelaporan yang paling umum termasuk PDF, PowerPoint, HTML, gambar, dan banyak lagi. Di Excel, tampilan laporan disimpan bersamaan dengan data dalam file spreadsheet umum, yang membuat lebih sulit untuk menggunakan tampilan laporan tertentu untuk beberapa kumpulan data. 160 Gambar 9. DIAdem menampilkan laporan publikasi editorial WYSIWYG yang siap diekspor akan terlihat identik dengan template edit-waktu mereka. 8. Interactive Automation Excel menyediakan lingkungan yang kuat untuk pengembangan macro.160 Dengan menggunakan mode perekaman, adalah mungkin untuk secara interaktif merekam makro yang memerlukan evaluasi atau perhitungan yang panjang.160 DIAdem serupa160 memiliki editor VBScript terintegrasi, editor dialog pengguna, dan sebuah Perekam script untuk secara interaktif menghasilkan skrip yang mengotomatisasi evaluasi atau perhitungan yang panjang. 160160Menggunakan scripting, seluruh lingkungan DIAdem dapat disesuaikan dan otomatis sehingga proses alur kerja data berulang yang digunakan untuk mengambil hari dapat dilakukan dalam hitungan menit.160 Ini benar-benar memaksimalkan efisiensi insinyur dan ilmuwan dan secara dramatis mengurangi waktu yang dibutuhkannya. Untuk mengubah data pengukuran mentah menjadi informasi yang dapat digunakan. 9. Excel Gratis, namun Terlalu Mahal untuk Menggunakan Microsoft Office digunakan oleh sekitar 80 perusahaan .160 Banyak insinyur dan ilmuwan melihat Excel sebagai perangkat lunak bebas karena dipasang di kebanyakan komputer perusahaan tanpa pertanyaan.160 Seringkali, para ilmuwan dan insinyur mulai Gunakan Excel untuk analisis dan kebutuhan pelaporan mereka karena sudah familiar dan tersedia.160 Ketika mereka menghadapi keterbatasan Excels seperti yang dirangkum dalam Tabel 2. Mereka tinggal dengan pemrosesan manual yang berulang kali berulang-ulang dan menghabiskan waktu berjam-jam mengembangkan dan mengembangkan kode makro khusus. Jika Anda memperkirakan bahwa biaya personil (termasuk gaji, asuransi, peralatan, dll.) Untuk satu insinyur dengan total 100.000 per tahun, biaya untuk membeli satu lisensi DIAdem Advanced dan satu minggu pelatihan akan disempurnakan setelah hanya 2,8 minggu kerja dari realisasi keuntungan produktivitas Lebih dari Microsoft Excel Seperti yang dijelaskan dalam dokumen ini, NI DIAdem dengan cepat membayar sendiri dengan mengatasi keterbatasan Excel dan memperkenalkan alat efisiensi tambahan untuk mengelola, menganalisis dan160 melaporkan data pengukuran.160160 Tabel 2. DIAdem akan meningkatkan efisiensi Anda dengan mengatasi keterbatasan Microsoft Excel. 10. Pelajari Lebih Lanjut dan Pindah ke DIAdem Hari Ini Gunakan sumber di bawah ini untuk mempelajari lebih lanjut tentang bergerak melampaui Excel ke alat yang lebih canggih untuk analisis dan pelaporan data pengukuran. Lihat webcast yang menyoroti manfaat DIAdems untuk pengelolaan data, analisis, dan pelaporan. Tonton enam video berdurasi 1 menit untuk mempelajari lebih lanjut tentang DIAdem. Download DIAdem dan jelajahi lingkungan dengan evaluasi 7 hari gratis. Berbicaralah kepada seorang ahli demo web gratis atau agar pertanyaan Anda dijawab dengan segera. Sebagian besar orang mengenal ungkapan tersebut, quotthis ini akan membunuh dua burung dengan satu batu batu. Jika tidak, fase mengacu pada pendekatan yang membahas dua tujuan dalam satu tindakan. (Sayangnya, ungkapan itu sendiri agak tidak menyenangkan, karena kebanyakan dari kita tidak ingin melempar batu pada hewan yang tidak berdosa) Hari ini saya akan membahas beberapa dasar mengenai dua fitur hebat di SQL Server: indeks Columnstore (hanya tersedia di SQL Server Enterprise) dan SQL Query Store. Microsoft benar-benar menerapkan indeks Columnstore di SQL 2012 Enterprise, meskipun mereka berhasil meningkatkannya dalam dua rilis terakhir dari SQL Server. Microsoft memperkenalkan Query Store di SQL Server 2016. Jadi, apa saja fitur ini dan mengapa mereka penting Nah, saya punya demo yang akan mengenalkan kedua fitur tersebut dan menunjukkan bagaimana mereka dapat membantu kita. Sebelum saya melangkah lebih jauh, saya juga membahas fitur ini (dan fitur SQL 2016 lainnya) di artikel Majalah KODE saya tentang fitur baru SQL 2016. Sebagai pengantar dasar, indeks Columnstore dapat membantu mempercepat kueri yang memindai berdasarkan data dalam jumlah besar, dan Query Query melacak eksekusi query, rencana eksekusi, dan statistik runtime yang biasanya Anda butuhkan untuk mengumpulkan secara manual. Percayalah ketika saya mengatakannya, ini adalah fitur hebat. Untuk demo ini, saya akan menggunakan database demo Data Warehouse Microsoft Contoso. Ngomong ngomong, Contoso DW seperti kuota AdventureWorksquot yang sangat besar, dengan tabel berisi jutaan baris. (Tabel AdventureWorks terbesar berisi sekitar 100.000 baris paling banyak). Anda bisa mendownload database Contoso DW disini: microsoften-usdownloaddetails. aspxid18279. Contoso DW bekerja dengan sangat baik saat Anda ingin menguji kinerja pada query melawan tabel yang lebih besar. Contoso DW berisi tabel data warehouse standar yang disebut FactOnLineSales, dengan 12,6 juta baris. Itu tentu bukan tabel gudang data terbesar di dunia, tapi juga permainan anak-anak. Misalkan saya ingin meringkas jumlah penjualan produk untuk tahun 2009, dan memberi peringkat produk. Saya mungkin menanyakan tabel fakta dan bergabung ke tabel Dimensi Produk dan menggunakan fungsi RANK, seperti: Berikut adalah hasil parsial dari 10 baris teratas, oleh Total Sales. Di laptop saya (i7, 16 GB RAM), permintaan membutuhkan waktu 3-4 detik untuk dijalankan. Itu mungkin tidak tampak seperti akhir dunia, namun beberapa pengguna mungkin mengharapkan hasil hampir instan (seperti yang mungkin Anda lihat dari hasil instan saat menggunakan Excel melawan kubus OLAP). Satu-satunya indeks yang saya miliki saat ini di tabel ini adalah indeks berkerumun pada kunci penjualan. Jika saya melihat rencana eksekusi, SQL Server membuat saran untuk menambahkan indeks penutup ke tabel: Sekarang, hanya karena SQL Server menyarankan sebuah indeks, tidak berarti Anda harus secara membabi buta membuat indeks pada setiap pesan kuota indeks kuota. Namun, dalam hal ini, SQL Server mendeteksi bahwa kita memfilter berdasarkan tahun, dan menggunakan Product Key dan Sales Amount. Jadi, SQL Server menyarankan indeks penutup, dengan DateKey sebagai bidang indeks kunci. Alasan kami menyebutnya indeks quotcoveringquot adalah karena SQL Server akan melakukan kuota sepanjang fieldquot non-key yang kami gunakan dalam query, quotfor the ridequot. Dengan cara itu, SQL Server tidak perlu menggunakan tabel atau indeks berkerumun di semua mesin database hanya dengan menggunakan indeks pengaitan untuk kueri. Meliputi indeks sangat populer di data pergudangan dan pelaporan database skenario tertentu, meskipun harganya terjangkau oleh mesin database. Catatan: Meliputi indeks telah lama ada, jadi saya belum melihat indeks Columnstore dan Query Store. Jadi, saya akan menambahkan indeks penutupnya: Jika saya menjalankan kueri yang sama dengan saya, saya berlari beberapa saat yang lalu (yang mengumpulkan jumlah penjualan untuk setiap produk), kueri kadang tampaknya berjalan sekitar satu detik lebih cepat, dan saya mendapatkan Rencana eksekusi yang berbeda, yang menggunakan Indeks Seek dan bukan Index Scan (dengan menggunakan tombol tanggal pada indeks penutup untuk mengambil penjualan untuk tahun 2009). Jadi, sebelum Indeks Columnstore, ini bisa menjadi salah satu cara untuk mengoptimalkan kueri ini di banyak versi SQL Server yang lebih lama. Ini berjalan sedikit lebih cepat dari yang pertama, dan saya mendapatkan rencana eksekusi dengan Index Seek daripada Index Scan. Namun, ada beberapa masalah: Dua operator eksekusi quotIndex Seekquot dan quotHash Match (Aggregate) mengutip keduanya pada dasarnya mengoperasikan quotrow oleh rowquot. Bayangkan ini di meja dengan ratusan juta baris. Terkait, pikirkan isi tabel fakta: dalam kasus ini, satu nilai kunci tanggal dan atau satu nilai kunci produk dapat diulang di ratusan ribu baris (ingat, tabel fakta juga memiliki kunci untuk geografi, promosi, salesman , Dll.) Jadi, ketika quotIndex Seekquot dan quotHash Matchquot bekerja baris demi baris, mereka melakukannya atas nilai yang mungkin diulang di banyak baris lainnya. Ini biasanya di mana saya akan beralih ke indeks Columnstore SQL Server, yang menawarkan skenario untuk meningkatkan kinerja kueri ini dengan cara yang menakjubkan. Tapi sebelum saya melakukan itu, mari kita kembali ke masa lalu. Mari kembali ke tahun 2010, saat Microsoft memperkenalkan add-in untuk Excel yang dikenal sebagai PowerPivot. Banyak orang mungkin ingat melihat demo PowerPivot for Excel, di mana pengguna bisa membaca jutaan baris dari sumber data luar ke Excel. PowerPivot akan memampatkan data, dan menyediakan mesin untuk membuat Tabel Pivot dan Diagram Pivot yang tampil dengan kecepatan luar biasa terhadap data yang dikompres. PowerPivot menggunakan teknologi in-memory yang disebut Microsoft quotVertiPaqquot. Teknologi in-memory di PowerPivot pada dasarnya akan mengambil kunci duplikat kunci bisnis kunci utama dan menekannya ke satu vektor tunggal. Teknologi in-memory juga akan memilah-milah nilai-nilai ini secara paralel, dalam blok beberapa ratus sekaligus. Intinya adalah Microsoft memanggang sejumlah besar penyempurnaan kinerja ke dalam fitur memori VertiPaq yang bisa kita gunakan, langsung dari kotak pepatah. Mengapa saya mengambil jalan kecil ini menyusuri jalur memori Karena di SQL Server 2012, Microsoft menerapkan salah satu fitur terpenting dalam sejarah mesin database mereka: indeks Columnstore. Indeks benar-benar sebuah indeks hanya dalam nama: ini adalah cara untuk mengambil tabel SQL Server dan membuat kolom kolom terkompresi dalam memori yang memampatkan nilai kunci asing duplikat ke nilai vektor tunggal. Microsoft juga menciptakan kolam penyangga baru untuk membaca nilai vektor terkompresi ini secara paralel, menciptakan potensi peningkatan kinerja yang sangat besar. Jadi, saya akan membuat indeks kolom di atas meja, dan saya akan melihat seberapa jauh lebih baik (dan lebih efisien) kueri berjalan, versus kueri yang berjalan melawan indeks penutup. Jadi, saya akan membuat salinan duplikat FactOnlineSales (saya akan menyebutnya FactOnlineSalesDetailNCCS), dan saya akan membuat indeks kolom di tabel duplikat sehingga saya tidak akan mengganggu tabel asli dan indeks penutupan dengan cara apa pun. Selanjutnya, saya akan membuat indeks kolom di tabel baru: Perhatikan beberapa hal: Saya telah menetapkan beberapa kolom kunci asing, serta Angka Penjualan. Ingatlah bahwa indeks kolom tidak seperti indeks toko-toko tradisional. Tidak ada quotkeyquot. Kami hanya menunjukkan kolom mana yang harus dikompres SQL Server dan ditempatkan di kolom memori dalam memori. Untuk menggunakan analogi PowerPivot untuk Excel saat kita membuat indeks kolom, kita akan memberitahu SQL Server untuk melakukan hal yang sama seperti PowerPivot saat kita mengimpor 20 juta baris ke Excel menggunakan PowerPivot Jadi, saya akan menjalankan kembali query, kali ini menggunakan Tabel factOnlineSalesDetailNCCS yang digandakan yang berisi indeks kolomstore. Permintaan ini berjalan seketika dalam waktu kurang dari satu detik. Dan saya juga bisa mengatakan bahwa meskipun tabel itu memiliki ratusan juta baris, buku itu tetap akan terbeli oleh kuotasi kuantum. Kita bisa melihat rencana eksekusi (dan dalam beberapa saat, kita akan melakukannya), tapi sekarang saatnya untuk meliput fitur Query Store. Bayangkan sejenak, bahwa kami menjalankan kedua pertanyaan semalam: kueri yang menggunakan tabel FactOnlineSales biasa (dengan indeks penutup) dan kemudian kueri yang menggunakan tabel duplikat dengan indeks Columnstore. Saat kita masuk keesokan paginya, kami ingin melihat rencana eksekusi untuk kedua pertanyaan saat mereka berlangsung, begitu juga dengan statistik eksekusi. Dengan kata lain, kami ingin melihat statistik yang sama bahwa kami dapat melihat apakah kami menjalankan kedua kueri secara interaktif di SQL Management Studio, menyerahkan TIME dan IO Statistics, dan melihat rencana eksekusi tepat setelah menjalankan kueri. Nah, begitulah yang diminta oleh Toko Kueri agar kita dapat mengaktifkan (enable) Query Store untuk database, yang akan memicu SQL Server untuk menyimpan eksekusi query dan merencanakan statistik sehingga kita dapat melihatnya nanti. Jadi, saya akan mengaktifkan Query Store di database Contoso dengan perintah berikut (dan saya juga akan menghapus semua caching): Kemudian saya akan menjalankan dua query (dan quotpretendquot yang saya jalankan beberapa jam yang lalu): Sekarang mari kita berpura-pura berlari berjam-jam. Lalu. Menurut apa yang saya katakan, Query Store akan menangkap statistik eksekusi. Jadi bagaimana cara melihatnya? Untungnya, itu cukup mudah. Jika saya memperluas basis data Contoso DW, saya akan melihat folder Query Store. Toko Kueri memiliki fungsionalitas yang luar biasa dan saya akan mencoba meliputnya di entri blog berikutnya. Tapi untuk sekarang, saya ingin melihat statistik eksekusi pada dua query, dan secara khusus memeriksa operator eksekusi untuk indeks kolomstore. Jadi, saya benar-benar klik kanan pada Kuasa Mengonsumsi Sumber Daya Teratas dan menjalankan pilihan itu. Itu memberi saya bagan seperti di bawah ini, di mana saya bisa melihat durasi eksekusi (dalam milidetik) untuk semua pertanyaan yang telah dieksekusi. Dalam contoh ini, Query 1 adalah query terhadap tabel asli dengan indeks penutup, dan Query 2 melawan tabel dengan indeks kolomstore. Angka-angka itu tidak terletak pada indeks kolomstat mengungguli indeks tablecovering asli dengan faktor hampir 7 banding 1. Saya dapat mengubah metrik untuk melihat konsumsi memori. Dalam kasus ini, perhatikan bahwa query 2 (query indeks kolomstore) menggunakan lebih banyak memori. Ini menunjukkan dengan jelas mengapa indeks kolomstart mewakili teknologi kuotasi-memoriquot SQL Server memuat seluruh indeks kolom di memori, dan menggunakan kolam penyangga yang sama sekali berbeda dengan operator eksekusi yang ditingkatkan untuk memproses indeks. OK, jadi kita punya beberapa grafik untuk melihat statistik eksekusi kita bisa melihat rencana eksekusi (dan eksekusi operator) yang terkait dengan setiap eksekusi Ya, kita bisa Jika Anda mengklik pada batang vertikal untuk query yang menggunakan indeks kolomstore, Anda akan melihat eksekusi Rencanakan di bawah ini Hal pertama yang kita lihat adalah bahwa SQL Server melakukan scan indeks kolom, dan itu mewakili hampir 100 dari biaya kueri. Anda mungkin berkata, quotWait sebentar, kueri pertama menggunakan indeks penutup dan melakukan pencarian indeks jadi bagaimana pemindaian indeks kolom bisa lebih cepat? Pertanyaan yang sah, dan untungnya ada sebuah jawaban. Bahkan ketika query pertama melakukan pencarian indeks, ia masih mengeksekusi quotrow oleh rowquot. Jika saya meletakkan mouse di atas operator pemindai indeks kolom, saya melihat tooltip (seperti yang ada di bawah), dengan satu pengaturan penting: Mode Eksekusi adalah BATCH (berlawanan dengan ROW), yaitu apa yang kami lakukan dengan kueri pertama menggunakan Meliputi indeks). Mode BATCH mengatakan bahwa SQL Server sedang memproses vektor terkompresi (untuk nilai kunci asing yang diduplikasi, seperti kunci produk dan tombol tanggal) dalam jumlah hampir 1.000, secara paralel. Jadi SQL Server masih bisa mengolah indeks columnstore jauh lebih efisien. Selain itu, jika saya menempatkan mouse di atas tugas Hash Match (Aggregate), saya juga melihat bahwa SQL Server menggabungkan indeks kolom menggunakan mode Batch (walaupun operator itu sendiri mewakili persentase kecil dari biaya kueri) Akhirnya, Anda Mungkin bertanya, quotOK, jadi SQL Server memampatkan nilai dalam data, memperlakukan nilai sebagai vektor, dan membacanya di blok hampir seribu nilai secara paralel namun kueri saya hanya menginginkan data untuk tahun 2009. Begitu juga pemindaian SQL Server atas Seluruh rangkaian dataquot Sekali lagi, sebuah pertanyaan bagus. Jawabannya adalah, quotNot reallyquot. Untungnya bagi kami, pool buffer index kolom baru berfungsi melakukan fungsi lain yang disebut quotsegment eliminationquot. Pada dasarnya, SQL Server akan memeriksa nilai vektor untuk kolom kunci tanggal di indeks kolomstore, dan menghilangkan segmen yang berada di luar cakupan tahun 2009. Saya akan berhenti di sini. Dalam posting blog berikutnya, saya akan membahas indeks kolom dan Query Store secara lebih rinci. Intinya, apa yang telah kita lihat di sini hari ini adalah bahwa indeks Columnstore dapat secara signifikan mempercepat kueri yang memindai berdasarkan data dalam jumlah besar, dan Toko Kueri akan menangkap eksekusi kueri dan memungkinkan kita memeriksa statistik eksekusi dan kinerja di lain waktu. Pada akhirnya, kami ingin menghasilkan kumpulan hasil yang menunjukkan hal berikut. Perhatikan tiga hal: Kolom pada pokoknya pivot semua Alasan Kembali yang mungkin, setelah menunjukkan jumlah penjualan Hasil set berisi subtotal oleh tanggal akhir minggu (minggu) di semua klien (di mana Klien adalah NULL) Kumpulan hasil berisi jumlah keseluruhan Baris (dimana Client dan Date keduanya NULL) Pertama, sebelum masuk ke akhir SQL kita bisa menggunakan kemampuan pivotmatrix dinamis di SSRS. Kita hanya perlu menggabungkan dua set hasil dengan satu kolom dan kemudian kita dapat memberi umpan hasilnya pada kontrol matriks SSRS, yang akan menyebarkan alasan pengembalian di sumbu kolom laporan. Namun, tidak semua orang menggunakan SSR (walaupun kebanyakan orang seharusnya). Tapi bahkan saat itu, terkadang pengembang perlu mengonsumsi set hasil dalam sesuatu selain alat pelaporan. Jadi untuk contoh ini, mari kita asumsikan kita ingin menghasilkan hasil yang ditetapkan untuk halaman grid web dan mungkin pengembang ingin mengeluarkan kuota baris subtotal (di mana saya memiliki nilai ResultSetNum 2 dan 3) dan menempatkannya di kolom ringkasan. Jadi intinya, kita perlu menghasilkan output di atas langsung dari prosedur yang tersimpan. Dan sebagai twist tambahan minggu depan mungkin ada Return Reason X dan Y dan Z. Jadi kita tidak tahu berapa banyak alasan pengembalian yang ada. Kami ingin query sederhana untuk berpaling pada kemungkinan nilai yang berbeda untuk Return Reason. Di sinilah TIVASI T-SQL memiliki batasan yang kita butuhkan untuk memberikan nilai yang mungkin. Karena kita tidak tahu bahwa sampai run-time, kita perlu menghasilkan string query secara dinamis dengan menggunakan pola SQL dinamis. Pola SQL dinamis melibatkan pembuatan sintaks, sepotong demi sepotong, menyimpannya dalam sebuah string, dan kemudian mengeksekusi string di akhir. Dynamic SQL bisa jadi rumit, karena kita harus menanamkan sintaks di dalam sebuah string. Tapi dalam kasus ini, itu satu-satunya pilihan kita jika kita ingin menangani sejumlah alasan pengembalian. Saya selalu menemukan bahwa cara terbaik untuk menciptakan solusi SQL yang dinamis adalah dengan mencari tahu apa query yang dihasilkan oleh kuotaalquot pada akhirnya (dalam kasus ini, mengingat alasan Kembali yang kita ketahui) dan kemudian membalik-ulangnya dengan memilah-milahnya Itu bersama satu bagian pada satu waktu. Jadi, inilah SQL yang kita butuhkan jika kita mengetahui Alasan Kembali (A sampai D) bersifat statis dan tidak akan berubah. Querynya adalah sebagai berikut: Menggabungkan data dari SalesData dengan data dari ReturnData, di mana kita quothard-wirequot kata Sales sebagai Tipe Aksi membentuk Tabel Penjualan, dan kemudian menggunakan Return Reason dari Return Data menjadi kolom ActionType yang sama. Itu akan memberi kita kolom ActionType yang bersih untuk diputar. Kami menggabungkan dua pernyataan SELECT ke dalam common table expression (CTE), yang pada dasarnya merupakan subquery tabel turunan yang kemudian kami gunakan dalam pernyataan berikutnya (untuk PIVOT) Pernyataan PIVOT melawan CTE, yang menetapkan jumlah dolar untuk Tipe Aksi Berada di salah satu nilai Action Type yang mungkin. Perhatikan bahwa ini adalah hasil akhir yang ditetapkan. Kami menempatkan ini ke CTE yang berbunyi dari CTE pertama. Alasan untuk ini adalah karena kita ingin melakukan beberapa pengelompokan di akhir. Pernyataan SELECT terakhir, yang terbaca dari PIVOTCTE, dan menggabungkannya dengan kueri berikutnya melawan PIVOTCTE yang sama, namun di mana kami juga menerapkan dua pengelompokan dalam fitur PENGATURAN SETELAH DI SQL 2008: MENGELOMPOKAN pada Tanggal Akhir Minggu (dbo. WeekEndingDate) PENGELOMPOKAN untuk semua baris () Jadi, jika kita tahu dengan pasti bahwa kita tidak akan pernah memiliki kode alasan pengembalian yang lebih banyak, maka itu akan menjadi solusinya. Namun, kita perlu memperhitungkan kode alasan lainnya. Jadi, kita perlu menghasilkan keseluruhan kueri di atas sebagai satu string besar di mana kita membuat kemungkinan alasan pengembalian sebagai satu daftar yang dipisahkan koma. Aku akan menunjukkan seluruh kode T-SQL untuk menghasilkan (dan mengeksekusi) kueri yang diinginkan. Dan kemudian saya akan memecahnya menjadi beberapa bagian dan menjelaskan setiap langkahnya. Jadi pertama, inilah keseluruhan kode untuk menghasilkan secara dinamis apa yang telah saya hadapi di atas. Pada dasarnya ada lima langkah yang perlu kita liput. Langkah 1 . Kita tahu bahwa di suatu tempat dalam campuran, kita perlu menghasilkan sebuah string untuk ini dalam query: SalesAmount, Reason A, Reason B, Reason C, Reason D0160016001600160 Yang dapat kita lakukan adalah membangun sebuah ekspresi tabel umum sementara yang menggabungkan kutipan kabel keras. Kolom Amountquot dengan daftar kode kemungkinan yang unik. Begitu kita memilikinya di CTE, kita bisa menggunakan sedikit trik bagus untuk XML PATH (3939) untuk menghancurkan baris tersebut menjadi satu string, meletakkan koma di depan setiap baris yang dibaca query, dan kemudian menggunakan STUFF untuk mengganti Contoh koma pertama dengan ruang kosong. Ini adalah trik yang bisa Anda temukan di ratusan blog SQL. Jadi bagian pertama ini membangun sebuah string yang disebut ActionString yang bisa kita gunakan lebih bawah. Langkah 2 . Kami juga tahu bahwa kami ingin SUM kolom dugaan yang dihasilkan, bersama dengan kolom penjualan standar. Jadi kita butuh string terpisah untuk itu, yang akan saya sebut SUMSTRING. Saya hanya akan menggunakan ActionString yang asli, lalu REPLACE kurung luar dengan sintaks SUM, ditambah tanda kurung asli. Langkah 3: Sekarang pekerjaan sebenarnya dimulai. Dengan menggunakan kueri asli sebagai model, kami ingin menghasilkan kueri asli (dimulai dengan UNION dari dua tabel), namun mengganti referensi ke kolom berporos dengan string yang kami buat secara dinamis di atas. Selain itu, meski tidak mutlak diperlukan, saya juga menciptakan variabel hanya kombinasi umpan balik jalur kereta yang ingin kami embed ke kueri yang dihasilkan (untuk keterbacaan). Jadi kita akan membangun seluruh query menjadi variabel yang disebut SQLPivotQuery. Langkah 4. Kami terus membangun kueri lagi, menggabungkan sintaks kami dapat kuotot-wirequot dengan ActionSelectString (yang kami hasilkan secara dinamis untuk menyimpan semua nilai alasan pengembalian yang mungkin) Langkah 5. Akhirnya, kita akan menghasilkan bagian terakhir dari Query Pivot, yang terbaca dari ekspresi tabel umum 2 (PIVOTCTE, dari model di atas) dan menghasilkan SELECT akhir untuk dibaca dari PIVOTCTE dan menggabungkannya dengan pembacaan 2 terhadap PIVOTCTE ke Menerapkan pengelompokan. Akhirnya, kita bisa quotexecutequot string menggunakan sistem SQL yang tersimpan proc spexecuteSQL Jadi mudah-mudahan Anda dapat melihat bahwa proses untuk mengikuti jenis usaha ini adalah Menentukan apa permintaan akhir, berdasarkan pada kumpulan data dan nilai Anda saat ini (yaitu dibangun Model kueri) Tuliskan kode T-SQL yang diperlukan untuk menghasilkan model kueri tersebut sebagai string. Arguably bagian yang paling penting adalah menentukan kumpulan nilai unik yang menjadi andalan Anda, dan kemudian menghancurkannya menjadi satu string dengan menggunakan fungsi STUFF dan trik FOR XML PATH (3939) Jadi, apa yang ada di pikiran saya hari ini. Setidaknya 13 item Dua Musim panas yang lalu, saya menulis draf BDR yang memusatkan perhatian pada peran pendidikan dan nilai latar belakang seni liberal yang baik tidak hanya untuk industri perangkat lunak tapi juga untuk industri lain. Salah satu tema BDR ini menekankan sudut pandang penting dan tercerahkan dari arsitek perangkat lunak terkenal Allen Holub mengenai seni liberal. Ill (dengan setia) menguraikan pesannya: dia menyoroti kesejajaran antara pemrograman dan mempelajari sejarah, dengan mengingatkan semua orang bahwa sejarah sedang membaca dan menulis (dan memberi, mengidentifikasi pola), dan pengembangan perangkat lunak juga membaca dan menulis (dan lagi, mengidentifikasi pola ). Maka saya menulis sebuah opini yang terfokus pada topik ini dan topik terkait lainnya. Tapi sampai hari ini, saya tidak pernah sempat mempublikasikannya. Sering sekali Id memikirkan untuk merevisinya, dan Id bahkan duduk selama beberapa menit dan membuat beberapa penyesuaian untuknya. Tapi kemudian kehidupan pada umumnya akan menghalangi dan Id tidak pernah menyelesaikannya. Jadi, apa yang berubah Beberapa minggu yang lalu, kolumnis CoDe Magazine dan pemimpin industri Ted Neward menulis sebuah artikel di kolom regulernya, Managed Coder, yang menarik perhatian saya. Judul artikelnya adalah On Liberal Arts. Dan saya sangat menyarankan agar semua orang membacanya. Ted membahas nilai latar belakang seni liberal, dikotomi palsu antara latar belakang seni liberal dan kesuksesan dalam pengembangan perangkat lunak, dan kebutuhan untuk menulis dengan baik. Dia berbicara tentang beberapa pertemuan masa lalunya dengan manajemen personalia HR mengenai latar belakang pendidikannya. Dia juga menekankan perlunya menerima dan menyesuaikan diri dengan perubahan dalam industri kami, sekaligus keunggulan profesional perangkat lunak yang sukses (dapat diandalkan, merencanakan ke depan, dan belajar untuk melewati konflik awal dengan anggota tim lainnya). Jadi bacaannya yang bagus, seperti juga artikel artikel dan blog Tested lainnya. Hal itu juga membuat saya kembali memikirkan pandangan saya tentang topik ini (dan topik lainnya) juga, dan akhirnya memotivasi saya untuk menyelesaikan editorial saya sendiri. Jadi, lebih baik terlambat daripada tidak pernah, inilah Bakers Dozen of Reflections saya saat ini: Saya memiliki sebuah perkataan: Air membeku pada suhu 32 derajat. Jika Anda dalam peran pelatihan, Anda mungkin berpikir bahwa Anda melakukan segala sesuatu di dunia untuk membantu seseorang padahal sebenarnya mereka hanya merasakan suhu 34 derajat dan karena itu hal-hal yang menghambat pemadaman untuk mereka. Terkadang dibutuhkan sedikit usaha atau katalis ideologis lain atau perspektif baru yang berarti bahwa mereka yang memiliki pendidikan terdahulu dapat memanfaatkan sumber yang berbeda. Air membeku pada suhu 32 derajat. Beberapa orang bisa mempertahankan tingkat konsentrasi yang tinggi meski dengan ruangan yang penuh dengan orang yang berisik. Saya tidak salah satu dari mereka kadang-kadang saya memerlukan beberapa privasi untuk memikirkan masalah kritis. Beberapa orang menggambarkan hal ini karena Anda harus belajar untuk menjauh darinya. Dengan kata lain, pencariannya untuk udara yang langka. Seminggu yang lalu aku menghabiskan berjam-jam di ruang sepi dan sepi dengan papan tulis, sampai aku benar-benar mengerti sebuah masalah. Baru pada saat itulah saya bisa berbicara dengan pengembang lain mengenai sebuah solusi. Pesan di sini bukan untuk mengkhotbahkan bagaimana Anda harus membicarakan bisnis Anda untuk memecahkan masalah tetapi lebih kepada setiap orang untuk mengetahui kekuatan dan apa yang berhasil, dan menggunakannya untuk keuntungan Anda sebanyak mungkin. Beberapa ungkapan seperti kuku di papan tulis untukku. Gunakan sebagai momen mengajar adalah satu. (Mengapa seperti kuku di papan tulis Karena jika Anda memiliki peran mentoring, biasanya Anda harus selalu mengikuti mode pengajar, namun dengan halus). Heres lain saya cant benar-benar menjelaskannya dengan kata-kata, tapi saya mengerti. Ini kedengarannya agak dingin, tapi jika seseorang benar-benar tidak dapat menjelaskan sesuatu dengan kata-kata, mungkin mereka tidak mengerti. Tentu, seseorang dapat memiliki perasaan tidak masuk akal tentang bagaimana sesuatu bekerja. Saya bisa menggertak dengan cara saya menjelaskan bagaimana sebuah kamera digital bekerja namun kenyataannya saya tidak benar-benar mengerti semuanya dengan baik. Ada bidang studi yang dikenal sebagai epistemologi (studi tentang pengetahuan). Salah satu dasar dasar untuk memahami apakah itu kamera atau pola desain - adalah kemampuan untuk membangun konteks, untuk mengidentifikasi rangkaian kejadian terkait, atribut dari setiap komponen di sepanjang jalan, dll. Ya, pemahaman terkadang sangat kerja keras. , Tapi menyelam ke topik dan memecahnya sepadan dengan usaha. Bahkan mereka yang menghindari sertifikasi akan mengakui bahwa proses belajar untuk tes sertifikasi akan membantu untuk mengisi kesenjangan dalam pengetahuan. Seorang manajer database lebih cenderung menyewa pengembang database yang dapat berbicara secara lantang (dan tanpa susah payah) tentang tingkat isolasi transaksi dan pemicu, dibandingkan dengan seseorang yang semacam tahu tentang hal itu namun berjuang untuk mendeskripsikan penggunaannya. Ada konsekuensi lain di sini. Ted Neward merekomendasikan agar pengembang berbicara di depan umum, ngeblog, dll. Saya setuju 100. Proses berbicara dan ngomong secara praktis akan memaksa Anda untuk mulai memikirkan topik dan memecah definisi yang mungkin Anda anggap remeh. Beberapa tahun yang lalu saya pikir saya mengerti pernyataan T-SQL MERGE dengan cukup baik. Tapi hanya setelah menulis tentang hal itu, berbicara tentang, mengajukan pertanyaan dari orang lain yang memiliki perspektif yang tidak pernah terpikir oleh saya bahwa tingkat pemahaman saya meningkat secara eksponensial. Saya tahu sebuah cerita tentang seorang manajer perekrutan yang pernah mewawancarai seorang pengembang authord untuk posisi kontrak. Manajer perekrutan menghina publikasi secara umum, dan menyalak pada pemohon. Jadi, jika Anda ingin bekerja di sini, lebih baik Anda menulis buku atau menulis kode Ya, saya akan memberikan bahwa di industri mana pun akan ada beberapa akademisi murni. Tapi apa yang dilewatkan manajer perekrutan adalah kesempatan untuk memperkuat dan mengasah ketrampilan. Sambil membersihkan kotak buku lama, saya menemukan harta karun dari tahun 1980an: Programmer at Work. Yang berisi wawancara dengan Bill Gates yang sangat muda, Ray Ozzie, dan nama-nama terkenal lainnya. Setiap wawancara dan setiap wawasan berharga sesuai dengan harga buku. Menurut saya, wawancara yang paling menarik adalah dengan Butler Lampson. Yang memberikan beberapa saran kuat. Persetan dengan melek komputer. Benar-benar konyol Belajar matematika Belajar berpikir Baca baca. Menulis. Hal-hal ini menjadi nilai yang lebih abadi. Pelajari bagaimana membuktikan teorema: Banyak bukti telah terakumulasi selama berabad-abad yang menunjukkan keterampilan ini dapat dipindahtangankan ke banyak hal lainnya. Butler mengatakan yang sebenarnya. Saya menambahkan pada saat itu bagaimana cara bermain setan menganjurkan diri Anda. Semakin Anda bisa realita-memeriksa proses dan pekerjaan Anda sendiri, semakin baik Anda. Ilmuwan ilmuwan komputer hebat Allen Holub membuat hubungan antara pengembangan perangkat lunak dan seni liberal secara khusus, subjek sejarah. Inilah intinya: apa itu sejarah Membaca dan menulis. Apa itu pengembangan perangkat lunak Antara lain, membaca dan menulis. Dulu saya memberi siswa saya pertanyaan esai T-SQL sebagai tes latihan. Seorang siswa bercanda bahwa saya bertindak lebih seperti profesor hukum. Nah, seperti kata Pelatih Donny Haskins di film Glory Road, jalan saya sulit. Saya sangat percaya pada dasar intelektual yang kuat untuk profesi apapun. Sama seperti aplikasi bisa mendapatkan keuntungan dari kerangka kerja, individu dan proses berpikir mereka bisa mendapatkan keuntungan dari kerangka kerja manusia juga. Itulah dasar dasar beasiswa. Ada sebuah cerita yang kembali di tahun 1970an, IBM memperluas usaha rekrutmen mereka di universitas-universitas besar dengan memusatkan perhatian pada lulusan seni liberal terbaik dan tercerdas. Bahkan kemudian mereka menyadari bahwa pembaca dan penulis terbaik suatu hari nanti bisa menjadi analis sistem pemrogram yang kuat. (Jangan ragu untuk menggunakan cerita itu ke tipe HR mana pun yang menegaskan bahwa seorang kandidat harus memiliki gelar sains komputer) Dan berbicara tentang sejarah: jika tidak ada alasan lain, penting untuk mengingat sejarah peluncuran produk jika saya melakukan pekerjaan di sebuah Situs klien yang masih menggunakan SQL Server 2008 atau bahkan (terkesiap) SQL Server 2005, saya harus mengingat fitur apa yang diimplementasikan dalam versi tersebut dari waktu ke waktu. Pernah memiliki dokter favorit yang Anda sukai karena heshe menjelaskan hal-hal dalam bahasa Inggris, memberi Anda kebenaran lurus, dan mendapatkan kepercayaan Anda untuk beroperasi pada Anda Mereka adalah keterampilan gila. Dan merupakan hasil pengalaman dan KERJA KERAS yang membutuhkan waktu bertahun-tahun dan bahkan berpuluh-puluh tahun untuk berkultivasi. Tidak ada jaminan keberhasilan pekerjaan dalam fokus pada fakta, ambil beberapa risiko yang dihitung saat Anda yakin bisa melihat jalan Anda ke garis finish, biarkan keripik jatuh di mana mereka berada, dan jangan pernah kehilangan pandangan seperti dokter yang mendapatkan itu. Kepercayaan anda Meskipun beberapa hari saya gagal, saya mencoba memperlakukan klien saya dan data mereka sebagai dokter akan merawat pasien. Meskipun seorang dokter menghasilkan lebih banyak uang Ada banyak klise yang saya benci tapi juga yang saya benci: Tidak ada yang namanya pertanyaan buruk. Sebagai mantan instruktur, satu hal yang menarik kemarahan saya adalah mendengar seseorang mengkritik orang lain karena mengajukan pertanyaan yang konyol dan bodoh. Sebuah pertanyaan menunjukkan seseorang mengakui bahwa mereka memiliki beberapa kesenjangan dalam pengetahuan yang ingin mereka isi. Ya, beberapa pertanyaan lebih baik daripada yang lain, dan beberapa pertanyaan memerlukan pembingkaian tambahan sebelum bisa dijawab. Tapi perjalanan dari membentuk sebuah pertanyaan ke sebuah jawaban cenderung menghasilkan proses mental yang aktif pada orang lain. Ada banyak hal yang baik. Banyak diskusi bagus dan bermanfaat berasal dari pertanyaan bodoh. Saya bekerja di seluruh papan di SSIS, SSAS, SSR, MDX, PPS, SharePoint, Power BI, DAX semua alat di tumpukan Microsoft BI. Saya masih menulis beberapa kode dari waktu ke waktu. Tapi tebak apa yang masih saya luangkan begitu banyak waktu untuk menulis kode T-SQL ke data profil sebagai bagian dari proses penemuan. Semua pengembang aplikasi harus memiliki daging T-SQL yang baik. Ted Neward menulis (benar) tentang kebutuhan untuk beradaptasi dengan perubahan teknologi. Saya menambahkan bahwa kebutuhan untuk menyesuaikan diri dengan perubahan pengusaha. Perusahaan mengubah peraturan bisnis. Perusahaan mengakuisisi perusahaan lain (atau menjadi target akuisisi). Perusahaan melakukan kesalahan dalam mengkomunikasikan kebutuhan dan spesifikasi bisnis. Ya, terkadang kita berperan dalam membantu mengelola perubahan tersebut dan terkadang terbang, bukan kaca depan. Hal ini terkadang menimbulkan rasa sakit yang luar biasa bagi semua orang, terutama I. T. orang-orang. Inilah sebabnya mengapa istilah kehidupan ada kita harus menghadapinya. Sama seperti tidak ada pengembang yang menulis kode bug bebas setiap saat, tidak ada I. T. Orang berurusan dengan baik dengan perubahan setiap saat. Salah satu perjuangan terbesar yang saya miliki dalam 28 tahun saya di industri ini menunjukkan kesabaran dan pengekangan saat perubahan terbang dari berbagai arah. Di sinilah saran saya sebelumnya tentang mencari udara yang bisa diperjelas bisa membantu. Jika Anda dapat mengatur untuk mengasimilasi perubahan ke dalam proses berpikir Anda, dan tanpa merasa terbebani, kemungkinan besar Anda akan menjadi aset yang signifikan. Dalam 15 bulan terakhir saya harus berurusan dengan sejumlah besar perubahan profesional. Its been very difficult at times, but Ive resolved that change will be the norm and Ive tried to tweak my own habits as best I can to cope with frequent (and uncertain) change. Its hard, very hard. But as coach Jimmy Duggan said in the movie A League of Their Own: Of course its hard. If it wasnt hard, everyone would do it. The hard, is what makes it great . A powerful message. Theres been talk in the industry over the last few years about conduct at professional conferences (and conduct in the industry as a whole). Many respected writers have written very good editorials on the topic. Heres my input, for what its worth. Its a message to those individuals who have chosen to behave badly: Dude, it shouldnt be that hard to behave like an adult. A few years ago, CoDe Magazine Chief Editor Rod Paddock made some great points in an editorial about Codes of Conduct at conferences. Its definitely unfortunate to have to remind people of what they should expect out of themselves. But the problems go deeper. A few years ago I sat on a five-person panel (3 women, 2 men) at a community event on Women in Technology. The other male stated that men succeed in this industry because the Y chromosome gives men an advantage in areas of performance. The individual who made these remarks is a highly respected technology expert, and not some bozo making dongle remarks at a conference or sponsoring a programming contest where first prize is a date with a bikini model. Our world is becoming increasingly polarized (just watch the news for five minutes), sadly with emotion often winning over reason. Even in our industry, recently I heard someone in a position of responsibility bash software tool XYZ based on a ridiculous premise and then give false praise to a competing tool. So many opinions, so many arguments, but heres the key: before taking a stand, do your homework and get the facts . Sometimes both sides are partly rightor wrong. Theres only one way to determine: get the facts. As Robert Heinlein wrote, Facts are your single clue get the facts Of course, once you get the facts, the next step is to express them in a meaningful and even compelling way. Theres nothing wrong with using some emotion in an intellectual debate but it IS wrong to replace an intellectual debate with emotion and false agenda. A while back I faced resistance to SQL Server Analysis Services from someone who claimed the tool couldnt do feature XYZ. The specifics of XYZ dont matter here. I spent about two hours that evening working up a demo to cogently demonstrate the original claim was false. In that example, it worked. I cant swear it will always work, but to me thats the only way. Im old enough to remember life at a teen in the 1970s. Back then, when a person lost hisher job, (often) it was because the person just wasnt cutting the mustard. Fast-forward to today: a sad fact of life is that even talented people are now losing their jobs because of the changing economic conditions. Theres never a full-proof method for immunity, but now more than ever its critical to provide a high level of what I call the Three Vs (value, versatility, and velocity) for your employerclients. I might not always like working weekends or very late at night to do the proverbial work of two people but then I remember there are folks out there who would give anything to be working at 1 AM at night to feed their families and pay their bills. Always be yourselfyour BEST self. Some people need inspiration from time to time. Heres mine: the great sports movie, Glory Road. If youve never watched it, and even if youre not a sports fan I can almost guarantee youll be moved like never before. And Ill close with this. If you need some major motivation, Ill refer to a story from 2006. Jason McElwain, a high school student with autism, came off the bench to score twenty points in a high school basketball game in Rochester New York. Heres a great YouTube video. His mother said it all . This is the first moment Jason has ever succeeded and is proud of himself. I look at autism as the Berlin Wall. He cracked it. To anyone who wanted to attend my session at todays SQL Saturday event in DC I apologize that the session had to be cancelled. I hate to make excuses, but a combination of getting back late from Detroit (client trip), a car thats dead (blown head gasket), and some sudden health issues with my wife have made it impossible for me to attend. Back in August, I did the same session (ColumnStore Index) for PASS as a webinar. You can go to this link to access the video (itll be streamed, as all PASS videos are streamed) The link does require that you fill out your name and email address, but thats it. And then you can watch the video. Feel free to contact me if you have questions, at kgoffkevinsgoff November 15, 2013 Getting started with Windows Azure and creating SQL Databases in the cloud can be a bit daunting, especially if youve never tried out any of Microsofts cloud offerings. Fortunately, Ive created a webcast to help people get started. This is an absolute beginners guide to creating SQL Databases under Windows Azure. It assumes zero prior knowledge of Azure. You can go to the BDBI Webcasts of this website and check out my webcast (dated 11102013). Or you can just download the webcast videos right here: here is part 1 and here is part 2. You can also download the slide deck here. November 03, 2013 Topic this week: SQL Server Snapshot Isolation Levels, added in SQL Server 2005. To this day, there are still many SQL developers, many good SQL developers who either arent aware of this feature, or havent had time to look at it. Hopefully this information will help. Companion webcast will be uploaded in the next day look for it in the BDBI Webcasts section of this blog. October 26, 2013 Im going to start a weekly post of T-SQL tips, covering many different versions of SQL Server over the years Heres a challenge many developers face. Ill whittle it down to a very simple example, but one where the pattern applies to many situations. Suppose you have a stored procedure that receives a single vendor ID and updates the freight for all orders with that vendor id. create procedure dbo. UpdateVendorOrders update Purchasing. PurchaseOrderHeader set Freight Freight 1 where VendorID VendorID Now, suppose we need to run this for a set of vendor IDs. Today we might run it for three vendors, tomorrow for five vendors, the next day for 100 vendors. We want to pass in the vendor IDs. If youve worked with SQL Server, you can probably guess where Im going with this. The big question is how do we pass a variable number of Vendor IDs Or, stated more generally, how do we pass an array, or a table of keys, to a procedure Something along the lines of exec dbo. UpdateVendorOrders SomeListOfVendors Over the years, developers have come up with different methods: Going all the way back to SQL Server 2000, developers might create a comma-separated list of vendor keys, and pass the CSV list as a varchar to the procedure. The procedure would shred the CSV varchar variable into a table variable and then join the PurchaseOrderHeader table to that table variable (to update the Freight for just those vendors in the table). I wrote about this in CoDe Magazine back in early 2005 (code-magazinearticleprint. aspxquickid0503071ampprintmodetrue. Tip 3) In SQL Server 2005, you could actually create an XML string of the vendor IDs, pass the XML string to the procedure, and then use XQUERY to shred the XML as a table variable. I also wrote about this in CoDe Magazine back in 2007 (code-magazinearticleprint. aspxquickid0703041ampprintmodetrue. Tip 12)Also, some developers will populate a temp table ahead of time, and then reference the temp table inside the procedure. All of these certainly work, and developers have had to use these techniques before because for years there was NO WAY to directly pass a table to a SQL Server stored procedure. Until SQL Server 2008 when Microsoft implemented the table type. This FINALLY allowed developers to pass an actual table of rows to a stored procedure. Now, it does require a few steps. We cant just pass any old table to a procedure. It has to be a pre-defined type (a template). So lets suppose we always want to pass a set of integer keys to different procedures. One day it might be a list of vendor keys. Next day it might be a list of customer keys. So we can create a generic table type of keys, one that can be instantiated for customer keys, vendor keys, etc. CREATE TYPE IntKeysTT AS TABLE ( IntKey int NOT NULL ) So Ive created a Table Typecalled IntKeysTT . Its defined to have one column an IntKey. Nowsuppose I want to load it with Vendors who have a Credit Rating of 1..and then take that list of Vendor keys and pass it to a procedure: DECLARE VendorList IntKeysTT INSERT INTO VendorList SELECT BusinessEntityID from Purchasing. Vendor WHERE CreditRating 1 So, I now have a table type variable not just any table variable, but a table type variable (that I populated the same way I would populate a normal table variable). Its in server memory (unless it needs to spill to tempDB) and is therefore private to the connectionprocess. OK, can I pass it to the stored procedure now Well, not yet we need to modify the procedure to receive a table type. Heres the code: create procedure dbo. UpdateVendorOrdersFromTT IntKeysTT IntKeysTT READONLY update Purchasing. PurchaseOrderHeader set Freight Freight 1 FROM Purchasing. PurchaseOrderHeader JOIN IntKeysTT TempVendorList ON PurchaseOrderHeader. VendorID Te mpVendorList. IntKey Notice how the procedure receives the IntKeysTT table type as a Table Type (again, not just a regular table, but a table type). It also receives it as a READONLY parameter. You CANNOT modify the contents of this table type inside the procedure. Usually you wont want to you simply want to read from it. Well, now you can reference the table type as a parameter and then utilize it in the JOIN statement, as you would any other table variable. So there you have it. A bit of work to set up the table type, but in my view, definitely worth it. Additionally, if you pass values from , youre in luck. You can pass an ADO data table (with the same tablename property as the name of the Table Type) to the procedure. For developers who have had to pass CSV lists, XML strings, etc. to a procedure in the past, this is a huge benefit. Finally I want to talk about another approach people have used over the years. SQL Server Cursors. At the risk of sounding dogmatic, I strongly advise against Cursors, unless there is just no other way. Cursors are expensive operations in the server, For instance, someone might use a cursor approach and implement the solution this way: DECLARE VendorID int DECLARE dbcursor CURSOR FASTFORWARD FOR SELECT BusinessEntityID from Purchasing. Vendor where CreditRating 1 FETCH NEXT FROM dbcursor INTO VendorID WHILE FETCHSTATUS 0 EXEC dbo. UpdateVendorOrders VendorID FETCH NEXT FROM dbcursor INTO VendorID The best thing Ill say about this is that it works. And yes, getting something to work is a milestone. But getting something to work and getting something to work acceptably are two different things. Even if this process only takes 5-10 seconds to run, in those 5-10 seconds the cursor utilizes SQL Server resources quite heavily. Thats not a good idea in a large production environment. Additionally, the more the of rows in the cursor to fetch and the more the number of executions of the procedure, the slower it will be. When I ran both processes (the cursor approach and then the table type approach) against a small sampling of vendors (5 vendors), the processing times where 260 ms and 60 ms, respectively. So the table type approach was roughly 4 times faster. But then when I ran the 2 scenarios against a much larger of vendors (84 vendors), the different was staggering 6701 ms versus 207 ms, respectively. So the table type approach was roughly 32 times faster. Again, the CURSOR approach is definitely the least attractive approach. Even in SQL Server 2005, it would have been better to create a CSV list or an XML string (providing the number of keys could be stored in a scalar variable). But now that there is a Table Type feature in SQL Server 2008, you can achieve the objective with a feature thats more closely modeled to the way developers are thinking specifically, how do we pass a table to a procedure Now we have an answer Hope you find this feature help. Feel free to post a comment.
No comments:
Post a Comment