Regresi dan Korelasi

Definisi Regresi dan Korelasi

A. Analisis Regresi

Analisis regresi adalah kajian terhadap hubungan satu variable yang disebut dengan variable yang diterangkan (the explained variable) dengan satu atau dua variable yang menerangkan (the explanatory). Variabel pertama disebut juga sebagai variable tergantung dan variable kedua disebut juga sebagai variable bebas. Analisis regresi merupakan salah satu analisis yang bertujuan untuk mengetahui pengaruh suatu variabel terhadap variabel lain.

Analisis regresi digunakan untuk mempelajari dan mengukur hubungan statistik yang terjadi antara dua atau lebih variabel. Dalam analisa regresi, suatu persamaan regresi hendak ditentukan dan digunakan untuk menggambarkan pola atau fungsi hubungan yang terdapat antar variabel.  Sumbu Y merupakan Variabel terikat (variabel yang akan disestimasi nilainya) Sumbu X merupakan Variabel bebas (variabel yang diasumsikan member pengaruh terhadap variasi variabel terikat).

B. Analisis Korelasi

Analisis yang melihat kecenderungan pola dalam satu variabel berdasarkan kecenderungan pola dalam variabel yang lain. Maksudnya, ketika satu variabel memiliki kecenderungan untuk naik maka kita melihat kecenderungan dalam variabel yang lain apakah juga naik atau turun atau tidak menentu. Jika kecenderungan dalam satu variabel selalu diikuti oleh kecenderungan dalam variabel lain, kita dapat mengatakan bahwa kedua variabel ini memiliki hubungan atau korelasi. Jika data hasil pengamatan terdiri dari banyak variabel, ialah beberapa kuat hubungan antara-antara variabel itu terjadi. Dalam kata-kata lain perlu ditentukan derajat hubungan antara variabel-variabel. Studi yang membahas tentang derajat hubungan antara variabel-variabel dikenal dengan nama korelasi. Ukuran yang digunakan untuk mengetahui derajat hubungan, terutama untuk data kuantitatif dinamakan koefisien korelasi. Korelasi menyatakan derajat hubungan antara dua variabel tanpa memperhatikan variabel mana yang menjadi peubah. Karena itu hubugan korelasi belum dapat dikatakan sebagai hubungan sebab akibat.

 Tujuan dan Kegunaan Analisis Regresi

            Analisis regresi dalam statistika adalah salah satu metode untuk menentukan hubungan sebab akibat antara satu variabel dengan variabel yang lain. Analisis regresi adalah salah satu analisis yang paling populer dan luas pemakaiannya. Hampir semua bidang ilmu yang memerlukan analisis. Analisis regresi dan analisis korelasi dikembangkan untuk mengkaji dan mengukur hubungan antara dua variabel atau lebih. Dalam analisis regresi dikembangkan persamaan estimasi untuk mendeskripsikan pola atau fungsi hubungan antara variabel-variabel. Sesuai dengan namanya, persamaan estimasi atau persamaan regresi itu digunakan untuk mengestimasi nilai dari suatu variabel berdasarkan nilai variabel lainnya. Variabel yang di estimasi itu disebut variabel dependen (atau variabel terikat) sedangkan variabel yang diperkirakan memengaruhi variabel dependen itu disebut variabel independen (atau variabel bebas) ( Nur, 2009)

Tujuan Analisis Regresi :

1. Untuk memperoleh suatu persamaan garis yang menunjukkan persamaan hubungan antara dua variabel. Persamaan garis yang diperoleh disebut persamaan regresi.
2. Untuk mengetahui besarnya pengaruh perubahan tiap unit variabel bebas terhadap perubahan variabel terikatnya. Pengaruh perubahan tiap unit variabel bebas ditunjukkan oleh nilai koefisien regresinya.
3. Untuk menaksir nilai variabel terikat (Y) berdasarkan variabel bebas (X) yang nilainya telah diketahui. Penaksiran disini bersifat deterministik (pasti) atau non-stokastik, maksudnya penaksiran atau pendugaan yang dilakukan mengabaikan faktor ketidakpastian.

Jenis-jenis Regresi dan Korelasi

A. Jenis-Jenis Regresi

Regresi linier dibedakan menjadi dua bagian berdasarkan banyaknya variabel bebas yang terlibat dalam persamaan yang ikut mempengaruhi nilai variabel terikat.
1. Regresi Linier Sederhana

Apabila dalam diagram pencar terlihat bahwa titik – titiknya mengikuti suatu garis lurus, menunjukkan bahwa kedua peubah tersebut saling berhubungan sacara linier. Bila hubungan linier demikian ini ada, maka kita berusaha menyatakan secara matematik dengan sebuah persamaan garis lurus yang disebut garis regresi linier. Untuk regresi linier sederhana, perlu ditaksir parameter. Jika ditaksir oleh a dan b, maka regresi linier berdasarkan sampel dirumuskan sebagai berikut :

Y=a+bx
Keterangan :

Y = nilai yang diukur/dihitung pada variabel tidak bebas

X = nilai tertentu dari variabel bebas

a = intersep/ perpotongan garis regresi dengan sumbu y

b = koefisien regresi / kemiringan dari garis regresi / untuk mengukur kenaikan atau penurunan y untuk setiap perubahan satu-satuan x / untuk mengukur besarnya pengaruh x terhadap y kalau x naik satu unit.

Sifat-sifat Garis Regresi Linear Terdapat dua sifat yang harus dipenuhi sebuah garis lurus untuk dapat menjadi garis regresi yang cocok (fit) dengan titik-titik data pada diagram pencar, yaitu:

1. Jumlah simpangan (deviasi) positif dari titik-titik yang terbesar di atas garis regresi sama dengan (saling meniadakan) jumlah simpangan negative dari titik-titik yang terbesar di bawah garis regresi. Dengan kata lain 2. Kuadrat dari simpangan-simpangan mencapai nilai minimum (last square value of deviation). Jadi:

Dari kedua sifat tersebut metode regresi ini disebut juga disebut sebagai metode least square. Hubungan konstanta a dan b pada persamaan regresi diuraikan sebagai berikut: Dengan n = jumlah titik (pasangan pengamatan (x,y)) = mean variabel x = mean variabel y

2. Analisis regresi linier berganda

Merupakan hubungan secara linear antara dua atau lebih variabel independen (X₁, X₂,….X_n) dengan variabel dependen (Y). Analisis ini untuk mengetahui arah hubungan antara variabel independen dengan variabel dependen apakah masing-masing variabel independen berhubungan positif atau negatif dan untuk memprediksi nilai dari variabel dependen apabila nilai variabel independen mengalami kenaikan atau penurunan. Data yang digunakan biasanya berskala interval atau rasio.

            Persamaan regresi linear berganda sebagai berikut:

Y’ = a + b₁X₁+ b₂X₂+…..+ b_nX_n

Keterangan:

Y’                 =   Variabel dependen (nilai yang diprediksikan)

X₁ dan X₂     =   Variabel independe

a                   =   Konstanta (nilai Y’ apabila X₁, X₂…..X_n = 0)

b                   =   Koefisien regresi (nilai peningkatan ataupun penurunan)

B. Jenis – Jenis Korelasi

Korelasi Linier

Angka yang digunakan untuk menggambarkan derajat hubungan ini disebut koefisien korelasi dengan lambang rxy. Teknik yang paling sering digunakan untuk menghitung koefisien korelasi selama ini adalah teknik Korelasi Product Momen Pearson. Teknik ini sebenarnya tidak terbatas untuk menghitung koefisien korelasi dari variabel dengan skala pengukuran interval saja, hanya saja interpretasi dari hasil hitungnya harus dilakukan dengan hati-hati. Pemikiran utama korelasi product momen adalah seperti ini:

Ø  Jika kenaikan kuantitas dari suatu variabel diikuti dengan kenaikan kuantitas dari variabel lain, maka dapat kita katakan kedua variabel ini memiliki korelasi yang positif.

Ø  Jika kenaikan kuantitas dari suatu variabel sama besar atau mendekati besarnya kenaikan kuantitas dari suatu variabel lain dalam satuan SD, maka korelasi kedua variabel akan mendekati 1.

Ø  Jika kenaikan kuantitas dari suatu variabel diikuti dengan penurunan kuantitas dari variabel lain, maka dapat kita katakan kedua variabel ini memiliki korelasi yang negatif.

Ø  Jika kenaikan kuantitas dari suatu variabel sama besar atau mendekati besarnya penurunan kuantitas dari variabel lain dalam satuan SD, maka korelasi kedua variabel akan mendekati -1.

Ø  Jika kenaikan kuantitas dari suatu variabel diikuti oleh kenaikan dan penurunan kuantitas secara random dari variabel lain atau jika kenaikan suatu variabel tidak diikuti oleh kenaikan atau penurunan kuantitas variabel lain (nilai dari variabel lain stabil), maka dapat dikatakan kedua variabel itu tidak berkorelasi atau memiliki korelasi yang mendekati nol. Koefisien korelasi antara dua peubah sehingga nilai r = 0 berimplikasi tidak ada hubungan linear, bukan bahwa antara peubah itu pasti tidak terdapat hubungan.Ukuran korelasi linear antara dua peubah yang paling banyak digunakan adalah koefisien karelasi momen-hasilkali pearson atau ringkasnya koefisien korelasi.

Persyaratan Penggunaan Regresi

Model kelayakan  regresi linear didasarkan pada hal-hal sebagai berikut:

1.      Model regresi dikatakan layak  jika angka signifikansi pada ANOVA sebesar <0.05.

2.      Predictor yang digunakan sebagai variabel bebas harus layak. Kelayakan ini diketahui jika angka Standard Error of Estimate < Standard Deviation.

3.      Koefesien regresi harus signifikan. Pengujian dilakukan dengan Uji T. Koefesien regresi signifikan jika T hitung > T tabel (nilai kritis).

4.      Tidak boleh terjadi multikolinieritas, artinya tidak boleh terjadi korelasi yang sangat tinggi atau sangat rendah antar variabel bebas. Syarat ini hanya berlaku untuk regresi linier berganda dengan variabel bebas lebih dari satu.

5.      Tidak terjadi otokorelasi. Terjadi otokorelasi jika angka Durbin dan Watson (DB) sebesar < 1 dan > 3.

6.      Keselerasan model regresi dapat diterangkan dengan menggunakan nilai r² semakin besar nilai tersebut maka model semakin baik. Jika nilai mendekati 1 maka model regresi semakin baik. Nilai r² mempunyai karakteristik diantaranya: 1) selalu positif, 2) Nilai r² maksimal sebesar 1. Jika Nilai r² sebesar 1 akan mempunyai arti kesesuaian yang sempurna. Maksudnya seluruh variasi dalam variabel Y dapat diterangkan oleh model regresi. Sebaliknya jika r² sama dengan 0, maka tidak ada hubungan linier antara X dan Y.

7.      Terdapat hubungan linier antara variabel bebas (X) dan variabel tergantung (Y)

8.      Data harus berdistribusi normal

9.      Data berskala interval atau rasio

10.  Kedua variabel bersifat dependen, artinya satu variabel merupakan variabel bebas (disebut juga sebagai variabel predictor) sedang variabel lainnya variabel tergantung (disebut juga sebagai variabel response)

Regresi Linear dengan Variabel Moderating

            Variabel moderating adalah variabel yang memperkuat atau memperlemah hubungan antara satu variabel dengan variabel lain. Sebagai contoh: seorang suami menyayangi istrinya. Dengan hadirnya seorang anak, maka rasa sayang tersebut bertambah. Berarti variabel anak merupakan moderating antara rasa saya suami terhadap istri. Contoh lain: kompensasi memperkuat pengaruh antara kepuasan kerja terhadap kinerja. Artinya kepuasan kerja berpengaruh terhadap kinerja, dan adanya kompensasi yang tinggi maka pengaruh antara kepuasan kerja terhadap kinerja menjadi lebih meningkat. Dalam hal ini, kompensasi bisa saja berpengaruh terhadap kinerja bisa saja tidak ( Nur, 2009). Metode analisis regresi linear dengan variabel moderating antara lain:

1.      Multiple Regression Analysis (MRA)

Metode ini dilakukan dengan menambahkan variabel perkalian antara variabel bebas dengan variabel moderatingnya, sehingga persamaan umumnya adalah sebagai berikut: Y = a + b1 X1 + b2 X2 + b3 X1 X2 dengan Y adalah kinerja, X1 adalah kepuasan kerja, X2 kompensasi dan X1 X2 adalah perkalian antara kepuasan kerja dengan kompensasi. Hipotesis moderating diterima jika variabel X1 X2 mempunyai pengaruh signifikan terhadap Y, tidak tergantung apakah X1 dan X2 mempunyai pengaruh terhadap Y atau tidak. Model ini biasanya menyalahi asumsi multikolinearitas atau adanya korelasi yang tinggi antara variabel bebas dalam model regresi, sehingga menyalahi asumsi klasik. Hampir tidak ada model MRA yang terbebas dari masalah multikolinearitas, sehingga sebenarnya model ini tidak disarankan untuk dipergunakan.

2.      Absolut residual

Model ini mirip dengan MRA, tetapi variabel moderating didekati dengan selisih mutlak (absolut residual) antara variabel bebas dengan variabel moderatingnya. Penerimaan hipotesis juga sama, dan model ini masih riskan terhadap gangguan multikolinearitas meskipun risiko itu lebih kecil dari pada dengan metode MRA.

3.      Residual

Model ini menggunakan konsep lack of fit yaitu hipotesis moderating diterima terjadi jika terdapat ketidakcocokan dari deviasi hubungan linear antara variabel independen. Langkahnya adalah dengan meregresikan antara kepuasan kerja terhadap kompensasi dan dihitung nilai residualnya. Pada program SPSS dengan klik Save pada regreesion, lalu klik pada usntandardized residual. Nilai residual kemudian diambil nilai absolutnya lalu diregresikan antara kinerja terhadap absolut residual.

2.6.Uji Hipotesis

      Pengujian hipotesis dapat didasarkan dengan menggunakan dua hal, yaitu; tingkat signifikan atau probabilitas dan tingkat kepercayaan atau confidence interval. Didasarkan tingkat signifikansi pada umumnya orang menggunakan 0,05. Kisaran tingkat signifikan mulai dari 0,01 sampai dengan 0,1. Yang dimaksud dengan tingkat signifikan adalah probabilitas melakukan kesalahan tipe 1, yaitu kesalahan menolak hipotesis ketika hipotesis tersebut benar. Tingkat kepercayaan pada umumnya ialah sebesar 95%, yang dimaksud dengan tingkat kepercayaan ialah tingkat dimana sebesar 95% nilai semple akan mewakili nilai populasi dimana sample berasal. Dalam melakukan uji hipotesis terdapat dua hipotesis, yaitu:

HO (hipotesis nol) dan H1 (hipotesis alternative)

Beberapa hal yang harus diperhatikan dalam uji hipotesis ialah:

a.       Untuk pengujian hipotesis kita menggunakan data sample.

b.      Dalam pengujian akan menghasilkan dua kemungkinan, yaitu pengujian signifikan secara statistic jika kita menlak HO dan pengujian tidak signifikan secara statistic jika kita menerima H0.

c.       Jika kita menggunakan nilai t, maka jika nilai t yang semakin besar atau menjauhi 0, kita akan cenderung menolak H0, sebaliknya jika nilai t semakin kecil atau mendekati 0 kita akan cenderung menerima H0

Menilai Goodness of Fit Suatu Model

            Ketepatan fungsi regresi sampel dalam menaksir nilai aktual dapat diukur dari Goodness of fitnya. Secara statistik, setidaknya ini dapat diukur dari nilai koefisien determinasi, nilai statistik F dan nilai statistik t. Perhitungan statistik disebut signifikan secara statistik apabila nilai uji statistiknya berada dalam daerah kritis (daerah dimana Ho ditolak). Sebaliknya disebut tidak signifikan bila nilai uji statistiknya berada dalam daerah dimana Ho diterima.

a. Koefisien Determinasi

Koefisien determinasi (R2) pada intinya mengukur seberapa jauh kemampuan model dalam menerangkan variasi variabel dependen. Nilai koefisien determinasi adalah antara nol dan satu. Nilai R2 = yang kecil berarti kemampuan variabel-variabel independen dalam menjelaskan variasi variabel dependen amat terbatas. Nilai yang mendekati satu berarti variabel-variabel independen memberikan hampir semua informasi yang dibutuhkan untuk memprediksi variasi variabel dependen. Secara umum koefisien determinasi untuk data silang (crossection) relatif rendah karena adanya variasi yang besar antara masing-rnasing pengamatan, sedangkan untuk data runtun waktu (time series) biasanya mempunyai nilai koefisien determinasi yang tinggi.

Satu hal yang perlu dicatat adalah masalah regresi lancung (spurious regression). Insukindro (1998) menekankan bahwa koefisien determinasi hanyalah salah satu dan bukan satu-satunva kriteria memilih model yang baik. Alasannya bila suatu estimasi regresi linear menghasilkan koefisien determinasi yang tinggi, tetapi tidak konsisten dengan teori ekonomika yang dipilih oleh peneliti, atau tidak lolos dari uji asumsi klasik, maka model tersebut bukanlah model penaksir yang baik dan seharusnya tidak dipilih menjadi model empirik.

Kelemahan mendasar penggunaan koefisien determinasi adalah bias terhadap jumlah variabel independen yang dimasukkan kedalam model. Setiap tambahan satu variabel independen, maka R2 pasti meningkat tidak perduli apakah variabel tersebut berpengaruh secara signifikan terhadap variabel dependen. Oleh karena itu banyak peneliti menganjurkan untuk menggunakan nilai Adjusted R2 pada saat mengevaluasi mana model regresi terbaik. Tidak seperti R2, nilai Adjusted R2 dapat naik atau turun apabila satu variabel independen ditambahkan kedalam model.

Dalam kenyataan nilai adjusted R2 dapat bernilai negatif, walaupun yang dikehendaki harus bernilai positif. Menurut Gujarati (2003) jika dalam uji empiris didapat nilai adjusted R2 negatif, maka nilai adjusted R2 dianggap bernilai nol. Secara matematis jika nilai R2 = 1, maka Adjusted R2 = R2 = I sedangkan jika nilai R2 = 0, maka adjusted R2 = (1 - k)/(n - k). Jika k > 1 , maka adjusted R= akan bernilai negative.

b. Uji Signifikan Parameter Individual (Uji Statistik t)

Uji statistik t pada dasarnya menunjukkan seberapa jauh pengaruh satu variabel penjelas/independen secara individual dalam menerangkan variasi variabel dependen. Hipotesis nol (Ho) yang hendak diuji adalah apakah suatu parameter (bi) sama dengan nol, atau Ho:bi = 0 . Artinya apakah suatu variabel independen bukan merupakan penjelas yang signifikan terhadap variabel dependen. Hipotesis alternatifnya (HA) parameter suatu variabel tidak sama dengan nol, atau  HA: bi # 0. Artinya, variabel tersebut merupakan penjelas yang signifikan terhadap variabel dependen.

            Dalam melakukan inferensi statistik dengan menggunakan analisis regresi sederhana terdapat beberapa asumsi dasar yang harus terpenuhi, yaitu:

1.Populasi memiliki variabel X dan Y yang dapat berhubungan secara linear dan persamaan garisnya memiliki nilai perpotongan dengan sumbu Y(A) dan kemiringan (B) yang tetap. Nilai-nilai a dan b yang diperoleh dari observasi sampel adalah nilai-nilai perkiraan untuk A dan B. Jadi,

2. Untuk setiap nilai X terdapat distribusi nilai Y pada diagram pencar populasi yang sama nilai tersebut terdistribusi secara normal di sekitar garis regresi.

3. Masing-masing distribusi nilai Y memiliki deviasi standar yang sama.

4. Masing-masing nilai Y pada distribusi ini saling bebas satu sama lainnya.

Langkah uji hipotesis kemiringan (slope) menggunakan uji-t:

1. Pernyataan hipotesis nol dan hipotesis alternatif:

Dalam persoalan ini ingin diketahui apakah terdapat hubungan antara variabel X dan Y yang diindikasikan melalui kemiringan garis regresi. Jika tidak terdapat hubungan, maka nilai B (kemiringan/slope dari garis regresi untuk populasi) adalah nol. Jadi hipotesis nol dan hipotesis alternatif yang akan diuji adalah:

2. Pemilihan tingkat kepentingan (level of significance)

Biasanya digunakan tingkat kepentingan 0.01 atau 0.05

3. Penentuan distribusi pengujian yang diinginkan

Dalam uji ini yang digunakan adalah distribusi t. nilai-nilai dari distribusi ditentukan dengan mengetahui:

a. Tingkat kepentingan (level of significance) α/2 (uji dua-ujung)

b. Derajat kebebasan/degree of freedom, df = n - 2 dimana n = jumlah data pasangan

4. Pendefinisian daerah penolakan atau daerah kritis

Daerah penerimaan dan penolakan dibatasi oleh nilai kritis tcr.

5. Pernyataan aturan keputusan (decision rule)

Tolak H0 dan terima H1 jika perbedaan yang terstandar antara kemeiringan sampel (b) dan kemiringan populasi yang dihipotesiskan (BH0) berdaa di daerah penolakan. Jika sebaliknya, terima H0.

6. Perhitungan rasio uji (RU)

7. Pengambilan keputusan secara statistik

Jika nilai rasio uji berada di daerah penerimaan maka hipotesis nol diterima, sedangkan jika berada di daerah penolakan maka hipotesis nol ditolak.