Regresi Partial Least Squares Regression (PLSR) di SPSS

Regresi Ordinary Least Squares (OLS) memiliki asumsi yang mendasarinya seperti tidak adanya multikolinieritas atau korelasi yang tinggi antara variabel independen, jumlah variabel independen juga tidak lebih besar dari observasinya. Dengan adanya multikolinieritas pada model regresi OLS maka model menjadi bias sebagai prediksi. Demikian untuk jumlah sampel yang lebih besar dari observasi maka degree of freedom (df) menjadi negatif sehingga regresi PLS tidak dapat menyelesaikan persamaan.

Untuk kasus seperti dalam ilmu kimia dan sebagainya yang mana memiliki jumlah variabel besar dan sampel observasi kecil diperlukan metode analisis Regresi Partial Least Squares. Metode ini diperkenalkan oleh ahli ekonometrik pertama kali oleh Herma Wold di tahun 1960 an.

"The PLS algorithm axtracts a latent factors (tehnically, components since principal components analysis is used) for the set of independent variables and for the set of dependent variables, such that explanation of the covariance between the two latent variables is maximized. Using multiple regression for scale variables, a classification algorithm for categorical variables, or a mixed model, the dependent variables or variables is predicted"

 " SPSS recomends PLS regression as particulary usefull when predictor variables are highly correlated or when the number of predictors excceds the number of case" (Garson, 2016).

 Di aplikasi IBM SPSS penambahan fitur Partial Least Squares (PLS) dimulai pada versi SPSS 16 ditahun 2017. Pada kesempatan kali ini saya memberikan cara untuk menginstal program regresi PLS di Aplikasi IBM SPSS 23. Ada beberapa program tambahan yang dibutuhkan untuk menginstal ke SPSS 23, antara lain :

1. SPSS_STATSPYT_PLG-INTRL32B21.0WINML : download
   
2. numpy-1.6.2-win32-superpack-python2.7 : Download https://www.scipy.org/
   
3. scipy-0.10.0-win32-superpack-python2.7 : Download https://www.scipy.org/
4. python-2.7.3 : download https://www.python.org/downloads/
   
5. PLS dan Plscommand : download

NB. uNtuk versi SPSS yang lain bisa berbeda

Setelah selesai melakukan download program di atas, kemudian langkah instalasi program Regresi PLS di SPSS :

1. Pastikan untuk program SPSS sudah terinstal di komputer/laptop.
2. Instal program python 2.7.3 pada komputer
3. Instal program scipy-0.10.0-win32-superpack-python2.7 di komputer
4. Instal program  numpy-1.6.2-win32-superpack-python2.7 di komputer
5. Instal program SPSS_STATSPYT_PLG-INTRL32B21.0WINML di komputer
6. Copi file PLS  dan PLScommand ke dalam direktori program IBM SPSS 23, caranya : Program File --> IBM --> SPSS --> Statistics -->23 --> extentions.

Setelah selesai melakukan instalasi, kemudian buka di menu Analyze --> Regression --> Partial Least Squares. Jika muncul menu Partial Least Squares, maka proses instalasi sudah berhasil.

Langkah Analisis Regression Partial Least Squares

 

Selain dengan program aplikasi SPSS, ada beberapa aplikasi yang dapat digunakan untuk analisis Regression Partial Least Squares, antara lain :

1. GENSTAT : software ini memiliki fitur yang cukup lengkap, termasuk regresi PLS. Link : www.vsni.co.uk/software/genstat
2. The Scrumbler : Software berasal dari Camo.inc. Mampu mengimplementasikan PLS regression dan PLS-DA. PLS berdasarkan analisis diskriminan. Link   : www.camo.com/rt/Product/Unscrambler/unscrambler.html
3. Morphoj : mendukung two block partial Least Squares. Link :  www.flywing.org.uk/MorphoJ_page.html
4. tpsPLS : software ini dapat diperoleh secara gratis, juga  mendukung two block partial least squares. Link : http://tpspls.software.informer.com/
5. XLSTAT-PLS : merupakan modul add-on untuk excel spreedsheet. Link :  www.xlstat.com/en/products-solutions/pls.html
6. Stata : modul extention ini dinamakan dengan plssas. Link : www.bc.edu/RePEc/bocode/p
7. Software S-Plus, Matlab dan aplikasi R

Baca juga :

1. Analisis Jalur

2. Regresi Berganda

3. Cara Mengatasi data tidak Normal

Referensi :   

Garson, David. G. (2016). Partial Least Squares : Regression & Structural Equation Model. North Carolina. Statistical Publishing Association.

Ghozali, I. (2013). Aplikasi Analisis Multivariate dengan Program IBM SPSS 21 Update PLS Regresi. Semarang : Badan Penerbit Universitas Diponegoro.

Tutorial Regresi Berganda dengan AMOS

Regresi berganda adalah teknik statistik yang sangat dikenal luas pada berbagai bidangseperti ilmu psikologi, ekonomi,  manajemen dan lain sebagainya. regresi bertujuan untuk mengestimasi koefisien persamaan regresi dan pengaruh dari variabel bebas (independen) terhadap variabel terikat (dependen). Kita ketahui bahwa AMOS sebagai program aplikasi Structural Equation Modeling (SEM) yang dapat menyelesaikan model SEM secara full model yaitu dengan mengestimasi model dengan variabel laten dan variabel manifest (pengukur langsung). Selain itu AMOS juga dapat mengestimasi model regrsi yang dalam model ini hanya terdapat variabel-variabel manifest (pengukur langsung) baik untuk variabel bebas maupun variabel terikat. Yang mana hasil estimasi akan berbeda dengan model regresi pada umumnya yang menggunakan teknik estimasi Ordinary Least Square (OLS). Pada model regresi dengan AMOS kali ini menggunakan teknik Maximum Likelihood Estimation (MLE).

Untuk contoh model regresi pada kesempatan kali ini menggunakan  Model Kesidiplinan karyawan yang mana ada 3 variabel independen yaitu kompensasi, Aturan dan Pengawasan. Sedangkan kedisiplinan menjadi variabel dependen. Kerangka konsep selengkapnya disajikan pada gambar di bawah ini.

Kerangka Konseptual Model Regresi Kedisiplinan

 

 

Dari kerangka konsep tersebu ada 3 pola hubungan pengaruh dan kembangkan menjadi hipotesis yaitu :

1. Kompensasi signifikan berpengaruh positif terhadap Kedisiplinan
2. Peraturan signifikan berpengaruh positif terhadap Kedisiplinan.
3. Pengawasan signifikan berpengaruh positif terhadap Kedisiplinan.

Langkah Analisis Regresi Berganda dengan AMOS 

Siapkan data input (raw data) dalam format Microsoft Excel atau format *sav (SPSS). Kemudian buka aplikasi AMOS Graphics. Buat  model di Amos Graphics seperti kerangka konsep dari model di atas. Karena model regresi menggunakan variabel manifest atau pengukur langsung maka menggambar variabelnya memakai menu "Draw Observed variabel" sehingga setiap variabel akan berbentuk persegi/kotak. Ada dua model gambar dalam model di AMOS untuk mode regresi dengan variabel manifest :

1. Model yang variabel independen dibuat saling berkorelasi yaitu antara kompensasi, Peraturan dan Pengawasan. Hanya di variabel dependen yang ada nilai erornya. Hasil Model di AMOS seperti pada gambar di bawah ini. 

Model Regresi AMOS dengan korelasi pada variabel independen

2. Model yang menggunakan eror pada setiap variabel manifestnya, baik independen maupun dependen sehingga tiap variabel independen tidak perlu dikorelasikan. Hasil model di AMOS seperti pada gambar di bawah ini.

Model Regresi AMOS dengan eror pada variabel independen

Setelah menggambar meodel, lakukan setting pada AMOS dengan cara : Klik View -->Analysis --> Properties

Pada menu estimation : Pilih maximum likelihood dan estimate means dan intercept (ini untuk membuat AMOS menghasilkan nilai intercept atau nilai konstanta).

Seting Output AMOS Analysis Properties untuk Intercept

Pada menu Output : centang Minimization history, standardized estimation dan squared multiple correlations.

Seting Output AMOS Analysis Properties

Kemudian lakukan anilisys , langkahnya : Klik Analyze ---> Calculate Estimates.

Hasil output model sebagai berikut 

Model Regresi Kedisiplinan

Pertama kita lihat hasil output dengan cara klik View ---> Text output.  Output yang pertama dapat dilihat uji  normalitas data secara univariate dan multivariate. hasil nilai critical ratio (CR) pada skewness dan CR kurtosis tiap variabel baik X1 (Kompensasi), X2 (Peraturan), X3 (Pengawasan) dan Y (Kedisiplinan) memperoleh nilai CR diantara  - 2.58 dan 2.58, artinya bahwa baik variabel X1, X2, X3 dan Y memiliki distribusi normal univariate. Sedangkan pada nilai kurtosis multivariate diperoleh nilai sebesar 3.291 dengan nilai CR sebesar 2.124. karena nilai CR berada diantara -2.58 dan 2.58 maka terbukti normal multivariate.

Uji Normalitas univariate dan multivariat

 

Untuk uji multivariate outlier dapat diketahui dari nilai mahalnobis distance squared. Nilai d-squared ini dibandingkan dengan nilai chi-square tabel. Kriteria yang digunakan adalah berdasarkan nilai chi-square pada tingkat derajat kebebasan (degree of freedom) tertentu yaitu jumlah variabel yang ada dalam model dan tingkat signifikansi p -value 0.001. Nilai Mahalanobis distance berdasarkan chi-square tabel dengan DF 4 (jumlah variabel) adalah 18.47. Pada hasil uji Mahalanobis distance squared diperoleh nilai tertinggi pada observasi 59 sebesar 15.180. Jadi dengan nilai mahalanobis d-squared yang tertinggi 15.180 > 18.47 chi square tabel maka tidak ada observasi yang outlier. Hasil pengujian nilai Mahalanobis distance squared selengkapnya disajikan pada tabel di bawah ini.

Nilai Mahalanobis Distance

Nilai koefisien estimasi pengaruh variabel independen terhadap dependen dapat dilihat pada tabel regression weight dibawah ini. Nilai koefisien pengaruh Kompensasi (X1) sebesar 0.270 dengan CR 3.197 dan p-value 0.001. Nilai koefisien pengaruh variabel Peraturan (X2) sebesar 0.429 dengan CR 4.898 dan p-value 0.000. Nilai koefisien pengaruh pengawasan (X3) sebesar 0.289 dengan CR 3.946 dan p-value 0.000. Dari hasil nilai CR ketiga variabel > 1.96 t-tabel dan p-value < 0.05 maka dapat diambil kesimpulan bahwa Kompensasi (X1), Peraturan (X2) dan Pengawasan (X3) signifikan berpengaruh positif terhadap Kedisiplinan (Y).

Nilai Loading Regression

 

Pada tabel intercept di bawah ini diperoleh nilai estimate sebesar 0.439. Nilai intercept dikatakan juga nilai konstanta dimana nilai ini merupakan nilai Y pada saat X1, X2, X3 adalah nol. Sehingga dengan hasil estimasi nilai koefisien dan intercept dapat dibuat persamaaan regresi.

Nilai intercept

Persaman regresi yang terbentuk seperti ini :

 

baseline comparisons IFI CFI

 

Dari Output goodness of fit diperoleh nilai comparatif fit index (CFI) sebesar 1.000 dan Incremental Fit Index (IFI) sebesar 1.000 dan df sebesar 0. Maka dari hasil tersebut dapat dikatakan bahwa model overal fit.

Baca juga :  

1. Tutorial Regresi Berganda dengan Lisrel

2. Model Moderator Pada SEM 

3. Tiga Pendekatan Model Second Order Construct

Referensi :

Blunch,N.J.(2008).Introduction to Structural Equation Modeling Using SPSS and AMOS. Quenensland:Sage Publication Research

Byrne, B. M.(2016).Structural Equation Modeling With AMOS.New York : Taylor & Francis

Collier, J.E.(2020).Applied Structural Equation Modeling Using AMOS: Basic to Advanced Techniques.New York and London: Rouledge

Ghozali, I.(2011).Model Persamaan Struktural Konsep dan Aplikasi Dengan Program AMOS 19.0.Semarang : Badan Penerbit Universitas Diponegoro

Hoyle,R.H.(2012).handbook of Structural Equation Modeling.New York and London :  The Guillford Press

Tutorial Regresi Berganda dengan Lisrel

Analisis regresi berganda merupakan teknik statistik yang sudah dikenal luas pada berbagi bidang seperti ilmu sosial, psikologi, ekonomi, manajemen dan lain sebagainya. metode Regresi dapat mengestimasikoefiisen persamaan regresi dan pengaruh variabel independen (bebas) terhadap variabel dependen (terikat). Seperti kita ketahui bahwa Lisrel sebagai program aplikasi Structural Equation Modeling (SEM) yang mampu untuk menyelesaikan model SEM secara full model yaitu dengan mengestimasi model dengan variabel laten dan variabel manifest (indikator).Selain itu Lisrel juga dapat mengestimasi model regresi yang dalam model tersebut hanya memerlukan variabel-variabel manifest (pengukur langsung) baik pada variabel independen maupun dependen. Yang mana hasil akan berbeda dengan model regresi yang menggunakan estimasi Ordinary Least square (OLS). Pada model regresi dengan Lisrel teknik estimasi mengggunakan Maximum Likelihood (ML).

Pada kesempatan kali ini saya memberikan contoh model regresi dengan 3 variabel independen yaitu Kepuasan Kerja (KK), Quality of Network (QW), Budaya Organisasi (BO) dan Motivasi kerja (MO) sebagai variabel dependennya. Kerangka konsep sebagai berikut :

Konseptual model regresi Motivasi Kerja

Dari konsep model tersebut dibuat 3 hipotesis :

1. Kepuasan Kerja (KK) berpengaruh terhadap Motivasi kerja (MO)
2. Quality of Network (QW) berpengaruh terhadap Motivasi kerja (MO)
3. Budaya Organisasi I (BO) berpenaruh  terhadap Motivasi kerja (MO)

Langkah Analisis regresi dengan Lisrel

Siapkan data input (raw data) dalam format ms.excel atau *sav (SPSS). Kemudian Import data ke dalam aplikasi Lisrel dan simpan dalam folder (saya simpan di folder D:/Kinerja/Data) kemudian lakukan screening data untuk menguji normalitas univariat dan multivariate.

 

Screening  normalitas data

Hasil screening data menunjukkan bahwa nilai p-value skewness dan kurtosis dari masing-masing variabel KK sebesar 0.635, QW sebesar 0.519, BO sebesar 0.530 dan MO sebesar 0.680. Hasil ini membuktikan bahwa ke empat variabel tersebut berdistribusi normal multivariat karena nilai p-value < 0.05. Pas test of multivariate normality, terlihat bahwa nilai chi-square sebesar 3.602 dan p-value dari skewness dan kurtosis menunjukkan nilai sebesar 0.165. Karena nilai 0.165 > 0.05 maka terbukti bahwa data berdistribusi normal multivariate.

Selanjutnya membuat Simplis Project.

Klik  File -->New --> Simplis Project --> OK, beri nama : Kinerja

Ketik perintah/syntax di simplis project seperti di bawah ini :

Raw data from file 'D:/Kinerja/Data.psf'

Relationships

Path Diagram

MO = Constan KK QW BO

End of Problem

Baris ke-1 : informasi di mana data mentah (raw data) disimpan yang akan di baca oleh program prelis.

Baris ke-2 : pembatas bahwa informasi mengenai hubungan-hubungan antara variabel terletak setelah relationships.

Baris ke-3 : informasi mengenai persamaan yang akan diestimasi. variabel dependen ditulis di sebelah kanan dan independen ditulis sebelah kiri setelah tanda sama dengan.

Hasil akan terlihat seperti ini.

Syntax Lisrel

Setelah selesai membuat syntax langkah terakhir melakukan running dengan cara : klik Run Lisrel.

Hasil estimasi dan model yang terbentuk terlihat di bawah ini

Model regresi pada Lisrel

 

Hasil output matrik kovarian dari variabel.

 

Covariance MAtrix of Latent variables

Pada tabel covariance matrix di atas merupakan hasil dari data mentah sebagai input data dinamakan juga matrik varians kovarian. Matrik varian kovarian yang terbentuk untuk nilai varian pada masing-masing variabel membentuk garis diagonal, varians MO sebesar 9.91, KK 21.92, QW 12.34, dan BO 1.49. Sedangakan nilai-nilai yang lain merupakan nilai kovarian antar variabel. Oleh sebab itu dinamakan matrik varian kovarian.

Structural Equations

 Pada tabel Structural Equation terlihat bahwa nilai estimasi koefisien pengaruh Kepuasan kerja  (KK) sebesar 0.13 dengan nilai eror 0.084 dan nilai t-statistik sebesar 1.59. Nilai estimasi koefisien pengaruh Quality of network (QW) sebesar 0.32, nilai eror 0,11 dan nilai t-statistik sebesar 2.97. Sedangkan untuk b udaya Organisasi (BO) nilai koefisien pengaruh sebesar 0.23, nilai eror 0.097 dan nilai t-statistik 2.41. Dari hasil tersebut hanya variabel Kepuasan kerja yang tidak berpengaruh signifikan terhadap Motivasi Kerja (MO) karena nilai t-statistik yang diperoleh sebesar 1.59 < 1.96 t-tabel pada taraf signifikansi 5%. Sedangkan Quality of Network (QW) dan Budaya Organisasi (BO) berpengaruh signifikan terhadap Motivasi Kerja (MO) karena nilai t-statistik > 1.96 t-tabel.

Nilai konstanta (intercept) sebesar 18.08, nilai konstanta ini dapat diartikan seperti pada model regresi pada umumnya, bahwa nilai motivasin kerja (MO)n sebesar 18.08 apabilai keluasan kerja, Quality of network dan budaya Organisasi sebesar 0 (nol). Lisrel output akan menampilkan nilai konstanta (intercept) jika input data adalah data mentah (raw data) dan memasukan perintah "constant" di simplis project. Tetapi jika input data dalam covariance matrix nilai kostanta akan ditampilkan output lisrel jika memasukkan data "Mean".

Nilai R-square yang diperoleh Motivasi kerja (MO) sebesar 0.47, artinya bahwa Kepuasan Kerja, Quality of Network dan Budaya Organisasi mampu menjelaskan variasi pada motivasi kerja sebesar 47% (0.47 x 100%).

Goodness Of Fit Statistics

 Pada nilai Goodness of fit menunjukkan bahwa degree of freedom (df) sebesar 0 (nol) karena antara jumlah dinsting sampel dan jumlah dinsting parameter yang diestimasi berjumlah sama. Nilai chi-square sebesar 0 dengan nilai p-value sebesar 1.00 dan model dinyatakan "The fit is perfect".

Baca juga : 

1. Model regresi berganda dengan AMOS

2. Evaluasi Asumsi pada Model SEM

3. Uji Kesesuaian Fit Model SEM 

Referensi :

Byrne, B.M.(1998).Structural Equation Modeling With Lisrel, Prelis and Simplis: basic Concepts, Applications and Programing. New Jersey: Lawrence Erlabaum Associates,Inc

Hoyle,R.H.(2012).Handbook of Structural Equation Modeling.New York and London : The Guillford Press

Ghozali,I dan Fuad.(2014). Structural Equation Modeling : Teori, Konsep dan Aplikasi dengan Program Lisrel 9.10 Edisi 4. Semarang : Badan Penerbit Universitas Diponegoro

Mueller,R.O.(1996). Basci Principles of Structural Equation Modeling :An Introduction to Lisrel and EQS.New York: Springer-Verlag,Inc