30 November 2020

Regresi Partial Least Squares Regression (PLSR) di SPSS

Regresi Ordinary Least Squares (OLS) memiliki asumsi yang mendasarinya seperti tidak adanya multikolinieritas atau korelasi yang tinggi antara variabel independen, jumlah variabel independen juga tidak lebih besar dari observasinya. Dengan adanya multikolinieritas pada model regresi OLS maka model menjadi bias sebagai prediksi. Demikian untuk jumlah sampel yang lebih besar dari observasi maka degree of freedom (df) menjadi negatif sehingga regresi PLS tidak dapat menyelesaikan persamaan.


Untuk kasus seperti dalam ilmu kimia dan sebagainya yang mana memiliki jumlah variabel besar dan sampel observasi kecil diperlukan metode analisis Regresi Partial Least Squares. Metode ini diperkenalkan oleh ahli ekonometrik pertama kali oleh Herma Wold di tahun 1960 an.

"The PLS algorithm axtracts a latent factors (tehnically, components since principal components analysis is used) for the set of independent variables and for the set of dependent variables, such that explanation of the covariance between the two latent variables is maximized. Using multiple regression for scale variables, a classification algorithm for categorical variables, or a mixed model, the dependent variables or variables is predicted"

 " SPSS recomends PLS regression as particulary usefull when predictor variables are highly correlated or when the number of predictors excceds the number of case" (Garson, 2016).

 Di aplikasi IBM SPSS penambahan fitur Partial Least Squares (PLS) dimulai pada versi SPSS 16 ditahun 2017. Pada kesempatan kali ini saya memberikan cara untuk menginstal program regresi PLS di Aplikasi IBM SPSS 23. Ada beberapa program tambahan yang dibutuhkan untuk menginstal ke SPSS 23, antara lain :

  1. SPSS_STATSPYT_PLG-INTRL32B21.0WINML : download
  2. numpy-1.6.2-win32-superpack-python2.7 : Download https://www.scipy.org/
  3. scipy-0.10.0-win32-superpack-python2.7 : Download https://www.scipy.org/
  4. python-2.7.3 : download https://www.python.org/downloads/
  5. PLS dan Plscommand : download

NB. uNtuk versi SPSS yang lain bisa berbeda

Setelah selesai melakukan download program di atas, kemudian langkah instalasi program Regresi PLS di SPSS :

  1. Pastikan untuk program SPSS sudah terinstal di komputer/laptop.
  2. Instal program python 2.7.3 pada komputer
  3. Instal program scipy-0.10.0-win32-superpack-python2.7 di komputer
  4. Instal program  numpy-1.6.2-win32-superpack-python2.7 di komputer
  5. Instal program SPSS_STATSPYT_PLG-INTRL32B21.0WINML di komputer
  6. Copi file PLS  dan PLScommand ke dalam direktori program IBM SPSS 23, caranya : Program File --> IBM --> SPSS --> Statistics -->23 --> extentions.

Setelah selesai melakukan instalasi, kemudian buka di menu Analyze --> Regression --> Partial Least Squares. Jika muncul menu Partial Least Squares, maka proses instalasi sudah berhasil.

 

Selain dengan program aplikasi SPSS, ada beberapa aplikasi yang dapat digunakan untuk analisis Regression Partial Least Squares, antara lain :

  1. GENSTAT : software ini memiliki fitur yang cukup lengkap, termasuk regresi PLS. Link : www.vsni.co.uk/software/genstat
  2. The Scrumbler : Software berasal dari Camo.inc. Mampu mengimplementasikan PLS regression dan PLS-DA. PLS berdasarkan analisis diskriminan. Link   : www.camo.com/rt/Product/Unscrambler/unscrambler.html
  3. Morphoj : mendukung two block partial Least Squares. Link :  www.flywing.org.uk/MorphoJ_page.html
  4. tpsPLS : software ini dapat diperoleh secara gratis, juga  mendukung two block partial least squares. Link : http://tpspls.software.informer.com/
  5. XLSTAT-PLS : merupakan modul add-on untuk excel spreedsheet. Link :  www.xlstat.com/en/products-solutions/pls.html
  6. Stata : modul extention ini dinamakan dengan plssas. Link : www.bc.edu/RePEc/bocode/p
  7. Software S-Plus, Matlab dan aplikasi R
 
Referensi :   
Garson, David. G. (2016). Partial Least Squares : Regression & Structural Equation Model. Nort Carolina. Statistical Publishing Association.

Ghozali, I. (2013). Aplikasi Analisis Multivariate dengan Program IBM SPSS 21 Update PLS Regresi. Semarang : Badan Penerbit Universitas Diponegoro.

 

29 November 2020

Tutorial Regresi Berganda dengan AMOS

Regresi berganda adalah teknik statistik yang sangat dikenal luas pada berbagai bidangseperti ilmu psikologi, ekonomi,  manajemen dan lain sebagainya. regresi bertujuan untuk mengestimasi koefisien persamaan regresi dan pengaruh dari variabel bebas (independen) terhadap variabel terikat (dependen). Kita ketahui bahwa AMOS sebagai program aplikasi Structural Equation Modeling (SEM) yang dapat menyelesaikan model SEM secara full model yaitu dengan mengestimasi model dengan variabel laten dan variabel manifest (pengukur langsung). Selain itu AMOS juga dapat mengestimasi model regrsi yang dalam model ini hanya terdapat variabel-variabel manifest (pengukur langsung) baik untuk variabel bebas maupun variabel terikat. Yang mana hasil estimasi akan berbeda dengan model regresi pada umumnya yang menggunakan teknik estimasi Ordinary Least Square (OLS). Pada model regresi dengan AMOS kali ini menggunakan teknik Maximum Likelihood Estimation (MLE).


Untuk contoh model regresi pada kesempatan kali ini menggunakan  Model Kesidiplinan karyawan yang mana ada 3 variabel independen yaitu kompensasi, Aturan dan Pengawasan. Sedangkan kedisiplinan menjadi variabel dependen. Kerangka konsep selengkapnya disajikan pada gambar di bawah ini.

 
Dari kerangka konsep tersebu ada 3 pola hubungan pengaruh dan kembangkan menjadi hipotesis yaitu :
  1. Kompensasi signifikan berpengaruh positif terhadap Kedisiplinan
  2. Peraturan signifikan berpengaruh positif terhadap Kedisiplinan.
  3. Pengawasan signifikan berpengaruh positif terhadap Kedisiplinan.

Langkah Analisis Regresi Berganda dengan AMOS 

Siapkan data input (raw data) dalam format Microsoft Excel atau format *sav (SPSS). Kemudian buka aplikasi AMOS Graphics. Buat  model di Amos Graphics seperti kerangka konsep dari model di atas. Karena model regresi menggunakan variabel manifest atau pengukur langsung maka menggambar variabelnya memakai menu "Draw Observed variabel" sehingga setiap variabel akan berbentuk persegi/kotak. Ada dua model gambar dalam model di AMOS untuk mode regresi dengan variabel manifest :

1. Model yang variabel independen dibuat saling berkorelasi yaitu antara kompensasi, Peraturan dan Pengawasan. Hanya di variabel dependen yang ada nilai erornya. Hasil Model di AMOS seperti pada gambar di bawah ini. 

2. Model yang menggunakan eror pada setiap variabel manifestnya, baik independen maupun dependen sehingga tiap variabel independen tidak perlu dikorelasikan. Hasil model di AMOS seperti pada gambar di bawah ini.

Setelah menggambar meodel, lakukan setting pada AMOS dengan cara : Klik View -->Analysis --> Properties

Pada menu estimation : Pilih maximum likelihood dan estimate means dan intercept (ini untuk membuat AMOS menghasilkan nilai intercept atau nilai konstanta).


Pada menu Output : centang Minimization history, standardized estimation dan squared multiple correlations.

Kemudian lakukan anilisys , langkahnya : Klik Analyze ---> Calculate Estimates.

Hasil output model sebagai berikut 

Pertama kita lihat hasil output dengan cara klik View ---> Text output.  Output yang pertama dapat dilihat uji  normalitas data secara univariate dan multivariate. hasil nilai critical ratio (CR) pada skewness dan CR kurtosis tiap variabel baik X1 (Kompensasi), X2 (Peraturan), X3 (Pengawasan) dan Y (Kedisiplinan) memperoleh nilai CR diantara  - 2.58 dan 2.58, artinya bahwa baik variabel X1, X2, X3 dan Y memiliki distribusi normal univariate. Sedangkan pada nilai kurtosis multivariate diperoleh nilai sebesar 3.291 dengan nilai CR sebesar 2.124. karena nilai CR berada diantara -2.58 dan 2.58 maka terbukti normal multivariate.

 

Untuk uji multivariate outlier dapat diketahui dari nilai mahalnobis distance squared. Nilai d-squared ini dibandingkan dengan nilai chi-square tabel. Kriteria yang digunakan adalah berdasarkan nilai chi-square pada tingkat derajat kebebasan (degree of freedom) tertentu yaitu jumlah variabel yang ada dalam model dan tingkat signifikansi p -value 0.001. Nilai Mahalanobis distance berdasarkan chi-square tabel dengan DF 4 (jumlah variabel) adalah 18.47. Pada hasil uji Mahalanobis distance squared diperoleh nilai tertinggi pada observasi 59 sebesar 15.180. Jadi dengan nilai mahalanobis d-squared yang tertinggi 15.180 > 18.47 chi square tabel maka tidak ada observasi yang outlier. Hasil pengujian nilai Mahalanobis distance squared selengkapnya disajikan pada tabel di bawah ini.


Nilai koefisien estimasi pengaruh variabel independen terhadap dependen dapat dilihat pada tabel regression weight dibawah ini. Nilai koefisien pengaruh Kompensasi (X1) sebesar 0.270 dengan CR 3.197 dan p-value 0.001. Nilai koefisien pengaruh variabel Peraturan (X2) sebesar 0.429 dengan CR 4.898 dan p-value 0.000. Nilai koefisien pengaruh pengawasan (X3) sebesar 0.289 dengan CR 3.946 dan p-value 0.000. Dari hasil nilai CR ketiga variabel > 1.96 t-tabel dan p-value < 0.05 maka dapat diambil kesimpulan bahwa Kompensasi (X1), Peraturan (X2) dan Pengawasan (X3) signifikan berpengaruh positif terhadap Kedisiplinan (Y).

 

Pada tabel intercept di bawah ini diperoleh nilai estimate sebesar 0.439. Nilai intercept dikatakan juga nilai konstanta dimana nilai ini merupakan nilai Y pada saat X1, X2, X3 adalah nol. Sehingga dengan hasil estimasi nilai koefisien dan intercept dapat dibuat persamaaan regresi.

Persaman regresi yang terbentuk seperti ini :


 

 

Dari Output goodness of fit diperoleh nilai comparatif fit index (CFI) sebesar 1.000 dan Incremental Fit Index (IFI) sebesar 1.000 dan df sebesar 0. Maka dari hasil tersebut dapat dikatakan bahwa model overal fit.

20 November 2020

Tutorial Regresi Berganda dengan Lisrel

Analisis regresi berganda merupakan teknik statistik yang sudah dikenal luas pada berbagi bidang seperti ilmu sosial, psikologi, ekonomi, manajemen dan lain sebagainya. metode Regresi dapat mengestimasikoefiisen persamaan regresi dan pengaruh variabel independen (bebas) terhadap variabel dependen (terikat). Seperti kita ketahui bahwa Lisrel sebagai program aplikasi Structural Equation Modeling (SEM) yang mampu untuk menyelesaikan model SEM secara full model yaitu dengan mengestimasi model dengan variabel laten dan variabel manifest (indikator).Selain itu Lisrel juga dapat mengestimasi model regresi yang dalam model tersebut hanya memerlukan variabel-variabel manifest (pengukur langsung) baik pada variabel independen maupun dependen. Yang mana hasil akan berbeda dengan model regresi yang menggunakan estimasi Ordinary Least square (OLS). Pada model regresi dengan Lisrel teknik estimasi mengggunakan Maximum Likelihood (ML).

Pada kesempatan kali ini saya memberikan contoh model regresi dengan 3 variabel independen yaitu Kepuasan Kerja (KK), Quality of Network (QW), Budaya Organisasi (BO) dan Motivasi kerja (MO) sebagai variabel dependennya. Kerangka konsep sebagai berikut :

Dari konsep model tersebut dibuat 3 hipotesis :

  1. Kepuasan Kerja (KK) berpengaruh terhadap Motivasi kerja (MO)
  2. Quality of Network (QW) berpengaruh terhadap Motivasi kerja (MO)
  3. Budaya Organisasi I (BO) berpenaruh  terhadap Motivasi kerja (MO)

Langkah Analisis regresi dengan Lisrel

Siapkan data input (raw data) dalam format ms.excel atau *sav (SPSS). Kemudian Import data ke dalam aplikasi Lisrel dan simpan dalam folder (saya simpan di folder D:/Kinerja/Data) kemudian lakukan screening data untuk menguji normalitas univariat dan multivariate.

 

Hasil screening data menunjukkan bahwa nilai p-value skewness dan kurtosis dari masing-masing variabel KK sebesar 0.635, QW sebesar 0.519, BO sebesar 0.530 dan MO sebesar 0.680. Hasil ini membuktikan bahwa ke empat variabel tersebut berdistribusi normal multivariat karena nilai p-value < 0.05. Pas test of multivariate normality, terlihat bahwa nilai chi-square sebesar 3.602 dan p-value dari skewness dan kurtosis menunjukkan nilai sebesar 0.165. Karena nilai 0.165 > 0.05 maka terbukti bahwa data berdistribusi normal multivariate.

Selanjutnya membuat Simplis Project.

Klik  File -->New --> Simplis Project --> OK, beri nama : Kinerja

Ketik perintah/syntax di simplis project seperti di bawah ini :

Raw data from file 'D:/Kinerja/Data.psf'

Relationships

Path Diagram

MO = Constan KK QW BO

End of Problem

Baris ke-1 : informasi di mana data mentah (raw data) disimpan yang akan di baca oleh program prelis.

Baris ke-2 : pembatas bahwa informasi mengenai hubungan-hubungan antara variabel terletak setelah relationships.

Baris ke-3 : informasi mengenai persamaan yang akan diestimasi. variabel dependen ditulis di sebelah kanan dan independen ditulis sebelah kiri setelah tanda sama dengan.

Hasil akan terlihat seperti ini.

Setelah selesai membuat syntax langkah terakhir melakukan running dengan cara : klik Run Lisrel.

Hasil estimasi dan model yang terbentuk terlihat di bawah ini


Hasil output matrik kovarian dari variabel.
 

Pada tabel covariance matrix di atas merupakan hasil dari data mentah sebagai input data dinamakan juga matrik varians kovarian. Matrik varian kovarian yang terbentuk untuk nilai varian pada masing-masing variabel membentuk garis diagonal, varians MO sebesar 9.91, KK 21.92, QW 12.34, dan BO 1.49. Sedangakan nilai-nilai yang lain merupakan nilai kovarian antar variabel. Oleh sebab itu dinamakan matrik varian kovarian.

 

Pada tabel Structural Equation terlihat bahwa nilai estimasi koefisien pengaruh Kepuasan kerja  (KK) sebesar 0.13 dengan nilai eror 0.084 dan nilai t-statistik sebesar 1.59. Nilai estimasi koefisien pengaruh Quality of network (QW) sebesar 0.32, nilai eror 0,11 dan nilai t-statistik sebesar 2.97. Sedangkan untuk b udaya Organisasi (BO) nilai koefisien pengaruh sebesar 0.23, nilai eror 0.097 dan nilai t-statistik 2.41. Dari hasil tersebut hanya variabel Kepuasan kerja yang tidak berpengaruh signifikan terhadap Motivasi Kerja (MO) karena nilai t-statistik yang diperoleh sebesar 1.59 < 1.96 t-tabel pada taraf signifikansi 5%. Sedangkan Quality of Network (QW) dan Budaya Organisasi (BO) berpengaruh signifikan terhadap Motivasi Kerja (MO) karena nilai t-statistik > 1.96 t-tabel.

Nilai konstanta (intercept) sebesar 18.08, nilai konstanta ini dapat diartikan seperti pada model regresi pada umumnya, bahwa nilai motivasin kerja (MO)n sebesar 18.08 apabilai keluasan kerja, Quality of network dan budaya Organisasi sebesar 0 (nol). Lisrel output akan menampilkan nilai konstanta (intercept) jika input data adalah data mentah (raw data) dan memasukan perintah "constant" di simplis project. Tetapi jika input data dalam covariance matrix nilai kostanta akan ditampilkan output lisrel jika memasukkan data "Mean".

Nilai R-square yang diperoleh Motivasi kerja (MO) sebesar 0.47, artinya bahwa Kepuasan Kerja, Quality of Network dan Budaya Organisasi mampu menjelaskan variasi pada motivasi kerja sebesar 47% (0.47 x 100%).

Pada nilai Goodness of fit menunjukkan bahwa degree of freedom (df) sebesar 0 (nol) karena antara jumlah dinsting sampel dan jumlah dinsting parameter yang diestimasi berjumlah sama. Nilai chi-square sebesar 0 dengan nilai p-value sebesar 1.00 dan model dinyatakan "The fit is perfect".