Merge pull request #645 from kinvolk/dongsu/correct-fail-func

validation: use t.Fail when checking for main test errors

Author: Zhou Hao

Diff for: validation/config_updates_without_affect/config_updates_without_affect.go

@@ -82,7 +82,7 @@ func main() {
 		err = r.Delete()
 	}
 	if err != nil {
-		util.Fatal(err)
+		t.Fail(err.Error())
 	}
 
 	t.AutoPlan()

Diff for: validation/delete/delete.go

@@ -85,7 +85,7 @@ func main() {
 			util.WaitingForStatus(testRuntime, util.LifecycleStatusStopped, time.Second*10, time.Second*1)
 			err = testRuntime.Delete()
 			if err != nil {
-				util.Fatal(err)
+				t.Fail(err.Error())
 			}
 		}
 	}

Diff for: validation/hooks_stdin/hooks_stdin.go

@@ -140,7 +140,7 @@ func main() {
 
 	err = util.RuntimeLifecycleValidate(config)
 	if err != nil {
-		util.Fatal(err)
+		t.Fail(err.Error())
 	}
 
 	expectedState := rspecs.State{

Diff for: validation/hostname/hostname.go

@@ -40,7 +40,7 @@ func main() {
 
 	for _, h := range hostnames {
 		if err := testHostname(t, h); err != nil {
-			util.Fatal(err)
+			t.Fail(err.Error())
 		}
 	}
 }

Diff for: validation/kill_no_effect/kill_no_effect.go

@@ -57,7 +57,7 @@ func main() {
 	}
 	err = util.RuntimeLifecycleValidate(config)
 	if err != nil && err != targetErr {
-		util.Fatal(err)
+		t.Fail(err.Error())
 	} else {
 		util.SpecErrorOK(t, err == nil, targetErr, nil)
 	}

Diff for: validation/killsig/killsig.go

@@ -31,6 +31,7 @@ func main() {
 	containerID := uuid.NewV4().String()
 	sigConfig, err := util.GetDefaultGenerator()
 	if err != nil {
+		os.RemoveAll(bundleDir)
 		util.Fatal(err)
 	}
 	rootDir := filepath.Join(bundleDir, sigConfig.Spec().Root.Path)

Diff for: validation/linux_ns_itype/linux_ns_itype.go

@@ -124,7 +124,7 @@ func main() {
 
 	err := testNamespaceInheritType(t)
 	if err != nil {
-		util.Fatal(err)
+		t.Fail(err.Error())
 	}
 
 	t.AutoPlan()

Diff for: validation/linux_ns_nopath/linux_ns_nopath.go

@@ -125,7 +125,7 @@ func main() {
 
 	err := testNamespaceNoPath(t)
 	if err != nil {
-		util.Fatal(err)
+		t.Fail(err.Error())
 	}
 
 	t.AutoPlan()

Diff for: validation/start/start.go

@@ -17,6 +17,7 @@ import (
 func main() {
 	t := tap.New()
 	t.Header(0)
+	defer t.AutoPlan()
 
 	bundleDir, err := util.PrepareBundle()
 	if err != nil {
@@ -54,7 +55,8 @@ func main() {
 
 	err = r.Create()
 	if err != nil {
-		util.Fatal(err)
+		t.Fail(err.Error())
+		return
 	}
 	_, err = os.Stat(output)
 	// check the existence of the output file
@@ -67,7 +69,8 @@ func main() {
 	} else {
 		err = util.WaitingForStatus(r, util.LifecycleStatusStopped, time.Second*10, time.Second*1)
 		if err != nil {
-			util.Fatal(err)
+			t.Fail(err.Error())
+			return
 		}
 		outputData, outputErr := ioutil.ReadFile(output)
 		// check the output
@@ -81,7 +84,8 @@ func main() {
 
 	err = util.WaitingForStatus(r, util.LifecycleStatusStopped, time.Second*10, time.Second*1)
 	if err != nil {
-		util.Fatal(err)
+		t.Fail(err.Error())
+		return
 	}
 
 	outputData, outputErr := ioutil.ReadFile(output)
@@ -90,7 +94,8 @@ func main() {
 
 	err = r.Delete()
 	if err != nil {
-		util.Fatal(err)
+		t.Fail(err.Error())
+		return
 	}
 
 	g.Spec().Process = nil
@@ -100,7 +105,8 @@ func main() {
 	}
 	err = r.Create()
 	if err != nil {
-		util.Fatal(err)
+		t.Fail(err.Error())
+		return
 	}
 
 	err = r.Start()
@@ -110,8 +116,6 @@ func main() {
 		err = r.Delete()
 	}
 	if err != nil {
-		util.Fatal(err)
+		t.Fail(err.Error())
 	}
-
-	t.AutoPlan()
 }